KI-Kompass / Wissenskarten

Web-Daten sammeln

erst den Zugriffsweg klären, dann bauen

Geprüft 2. Oktober 2026 · Michael Engel · Automatisierung · Solobusiness

Ein Scraper ist ein Programm, das Webseiten automatisch abruft und Daten herauszieht. Claude Code kann so ein Programm heute in kurzer Zeit bauen. Die Schwierigkeit liegt meist nicht im Code, sondern darin, woher die Anfragen kommen und ob sie erlaubt sind.

Wozu

Markt- und Preisrecherche ohne teures Abo, ohne dabei in rechtliche Probleme zu laufen.

Schritte

1. Suche zuerst nach offiziellen Wegen: APIs, RSS-Feeds oder Datenexporte der Zielseite.
2. Lies die robots.txt der Seite. Darin legt die Website fest, was Programme abrufen dürfen. Lies auch die Nutzungsbedingungen.
3. Ruf nur öffentliche Seiten ab, langsam und mit Pausen zwischen den Anfragen.
4. Rechne mit Sperren: Manche Seiten blockieren Anfragen aus Rechenzentren. In der Messung unten kam ein Scraper so nur bei 33 von 100 Seiten durch.
5. Wird eine Seite gesperrt, umgeh die Sperre nicht. Nutz einen anderen Weg oder lass die Seite aus.
6. Speichere keine personenbezogenen Daten, die du nicht brauchst.

Was das Beispiel zeigt

Creator Magic hat sich von Claude Code einen Scraper bauen lassen, der die robots.txt beachtet. Aus einem Rechenzentrum erreichte er 33 von 100 Seiten. Über Residential-Proxies, also Umleitungen über private Internetanschlüsse, waren es über 90 %, bei Gesamtkosten von rund 2 $. Das ist eine einzelne Messung des Autors an 100 Seiten, nicht nachgeprüft und nicht ohne Weiteres wiederholbar.

Die robots.txt beachten und gleichzeitig Sperren über Proxies umgehen widerspricht sich. Deshalb steht diese Variante hier nicht als Schritt.

Alternativen

• Offizielle APIs und Feeds der Zielseiten
• die offizielle Brave Search API für Suchergebnisse (auch im Video genutzt)
• Eigene, langsame Abrufe von deiner eigenen Verbindung aus

Verknüpfungen

• Entscheidungsmodelle: Gesammelte fremde Texte können eingeschleuste Anweisungen enthalten. Laut Creator Magic könnte ein Modell, das nur entscheidet, als Vorfilter dienen. Das ist nicht nachgeprüft, und auch ein solches Modell kann durch eingeschleusten Text falsch entscheiden.

Quellen

• Creator Magic: Claude Code Built A Web Scraper: No More $249 SaaS, 30.09.2026, Kapitel 02:02, 04:29, 10:25, 12:50, 16:22. Partnerlink zu einem Proxy-Anbieter in der Beschreibung

Stand

Geprüft 02.10.2026 · Reifegrad neu · keine Rechtsberatung

Das mit deinem Team ausprobieren? Dafür gibt es die KI-Werkstatt. KI-Werkstatt ansehen