KI-Kompass / Kurzfassungen
Ob ein Scraper durchkommt, hängt auch von der Herkunft ab (eine Messung)
Nur mit klarem Vorbehalt: Wer die robots.txt achtet und gleichzeitig Sperren über Proxies umgeht, widerspricht sich selbst. Das ist eine Rechtsfrage, keine technische.
Ausführlich: Web-Daten sammeln – erst den Zugriffsweg klären, dann bauen
Creator Magic hat sich von Claude Code einen Scraper bauen lassen, also ein Programm, das Webseiten automatisch abruft. Er beachtet die robots.txt (die Datei, in der eine Website festlegt, was Programme abrufen dürfen) und ruft nur öffentliche Seiten ab. Aus einem Rechenzentrum erreichte er 33 von 100 Seiten. Über Residential-Proxies, also Umleitungen über private Internetanschlüsse, waren es über 90 %. Die Gesamtkosten nennt er mit rund 2 $ (eine Messung des Autors an 100 Seiten, nicht nachgeprüft). Übertragbar ist die Reihenfolge: erst klären, woher die Daten kommen dürfen und auf welchem Weg, dann bauen.
Werkzeug und Alternative
Im Video wird DataImpulse über einen Partnerlink beworben. Unbedenklicher sind offizielle APIs und Feeds der Zielseiten, die offizielle Brave Search API (auch im Video) und eigene Abrufe mit Ratenbegrenzung. Die Proxy-Variante empfehle ich nicht.
Quelle
- Creator Magic, „Claude Code Built A Web Scraper: No More $249 SaaS“, 30.09.2026 (Kapitel 02:02, 04:29, 10:25, 16:22; 12:50)
Werbung in der Quelle: Partnerlink zu DataImpulse in der Beschreibung.
Das mit deinem Team ausprobieren? Dafür gibt es die KI-Werkstatt. KI-Werkstatt ansehen