ScrapTrap - AI‑Bot‑Policy & Payment Enforcement Modul

ScrapTrap-Modul AI‑Bot‑Policy & Payment Enforcement

Problem: Massenhafter Diebstahl hochwertiger und oftmals redaktionell erstellter Inhalte von Privatseiten, Sammlerportalen und Onlineshops.
Lösung: Dieses Modul.

Dieses Modul ist das Ergebnis einer langen Reihe von Verhaltens-Messungen von sog. KI-Bots, also Bots, die entweder im Auftrag von KI-Betreiber Daten für Trainingsmaterial einsammeln oder selbst von den KI-Betreibern unterhalten und gesteuert werden, wie z.B. der für sein aggressives Crawling und hohe Serverlast hervorrufend bekannte Claude-Bot von Anthropic oder der Perpexity-Bot von Perplexity, wobei sich viele dieser Bots auch nicht durch die sog. Robots.txt steuern lassen, die tatsächlich lediglich eine Art höfliche Bitte an die Bots darstellt, sich wie in der Robots.txt festgelegt zu verhalten, was jedoch häufig ohne jede technische Folgen ignoriert wird.
Im Augenblick wird noch stark darüber diskutiert, wie Webseiten und Shopbetreiber mit dieser ungefragten Aneignung von Inhalten umgehen sollten und technisch könnten. Um diesen Diskurs abzukürzen und den Rechteinhabern der Inhalte ihre Souveränität und Kontrolle darüber, wer wie auf welche Inhalte und zu welchen Bedingungen zugreifen darf, zurückzugeben, wurde dieses Modul, das Bestandteil der ScrapTrap-Sicherheitsprüfungen ist, entwickelt und in verschiedene Feature-Bereiche aufgeteilt, um alle denkbaren Fälle und Kombinationen im Umgang mit KI-Bots abzudecken.

Feature 1 - Payment:
Das AI‑Bot‑Policy‑Modul von ScrapTrap ist ein dedizierter Schutzmechanismus, der automatisierte KI‑Crawler, Trainingsbots und großvolumige Scraper eindeutig identifiziert und deren Zugriff auf urheberrechtlich geschützte Inhalte reguliert.
Es kombiniert technische Erkennung, rechtliche Klarheit und transparente Kommunikation in einem einzigen, deterministischen System.

Das Modul arbeitet vollständig serverseitig, ohne Cloud‑Abhängigkeiten, und reagiert ausschließlich dann, wenn ein Request eindeutig einem bekannten KI‑Bot oder Trainingscrawler zugeordnet werden kann. Die Zuordnung erfolgt über eine gepflegte Signatur‑ und Verhaltensdatenbank, die Bots wie AmazonBot, GPTBot, Claude‑Bots, Google‑Extended, PerplexityBot, CommonCrawl, TikTok/ByteSpider, Cohere, Diffbot, Meta‑Crawler und weitere umfasst.

Wird ein solcher Bot erkannt, liefert ScrapTrap keine Inhalte aus, sondern ersetzt die Antwort durch:

Damit ist für jede automatisierte Partei technisch und juristisch nachvollziehbar, dass:

1. die Inhalte urheberrechtlich geschützt sind,
2. KI‑Training und automatisiertes Scraping ohne Lizenz untersagt sind,
3. jeder unautorisierte Request eine Aufwandsentschädigung auslöst,
4. die Bedingungen mit dem Absenden des Requests akzeptiert werden,
5. Verstöße rechtliche Schritte nach sich ziehen können.

Die Kommunikation erfolgt transparent, ohne Täuschung und ohne technische Tricks. ScrapTrap blockiert nicht heimlich, sondern erklärt explizit, warum der Zugriff verweigert wird und unter welchen Bedingungen eine Nutzung möglich wäre.

Das Modul ist bewusst restriktiv gehalten:
Es liefert niemals Inhalte an KI‑Bots aus – weder teilweise noch reduziert.
Es dient ausschließlich der Abschreckung, Dokumentation und rechtlichen Klarstellung.
Das Modul ist, falls der Nutzer einen Verwertungsvertrag o.ä. abgeschlossen haben sollte, für einzelen KI-Bots oder insgesamt abschaltbar; ansonsten ist es standardmäßig als ScrapTrap-Modul aktiviert und dokumentiert jeden versuchten Zugriff von AI-Bots und sperrt diesen (jede IP für 24 Stunden).

Der juristische Hintergrund liegt sowohl in europäischer wie auch US-amerikanischer Rechtsprechung (CFAA).

Feature 2 - gesteuertes JSON-LD:
Viele Webmaster und Shopbetreiber fragen sich, wie sie ihre Sichtbarkeit im KI-Zeitalter aufrecht erhalten können ohne ihre Inhalte auf Gedeih und Verderb von KI-Betreibern abgreifen und monetarisieren zu lassen, ohne jedwede Kontrolle darüber, ob dies in irgendeiner Form der Sichtbarkeit honoriert wird. Hinzu kommt der zeitliche Verlust bei selbst erstellten Texten oder der (oft nicht unerhebliche) finanzielle Verlust bei agenturerstellten oder redaktionell betreuten Texten. Hinzu können rechtliche Probleme bei der Verwendung von Dritt-Texten treten, z.B. aus Herstellerkatalogen - auch wenn deren Verwendung durch die Rechteinhaber für Shopzwecke etc. freigegeben wurde, so könnte sich ein rechtliches Problem ergeben, wenn diese Texte explizit bzw. ohne angemessene, zumutbare Schutzmaßnahmen für KI-Training oder Scraper-Bots über eben jenen Shop zugänglich gemacht, also verbreitet werden. Durch den Einsatz dieses Moduls, das jeden Zugriff, seine Ausgestaltung und seine Bedingungen protokolliert, kann dieser Vorwurf nicht mehr erhoben werden.
Dies hat bisher bedeutet, entweder jede Art von KI-Bot zu sperren (sofern hierzu überhaupt die technischen Möglichkeiten bestanden) oder sich widerstandslos der Übermacht der Großkonzerne zu ergeben und die eigenen Inhalte auf- und gratis abzugeben.
Viele Webmaster und Onlineshop-Besitzer versuchen deshalb, über die Verwendung einer sog. llms.txt zumindest ein wenig Kontrolle über ihre Daten und Inhalte zurückzugewinnen. Diese Hoffnung jedoch ist trügerisch: Kein einziger der großen KI-Betreiber von Anthropic bis Google verwendet diese Dateien offiziell. (Dass Google Lighthouse neuerdings auch auf das Vorhandensein einer llms.txt prüft, widerspricht dem nicht; dabei handelt es sich lediglich um eine Erweiterung einer rein technischen Abfrage – ähnlich wie bei dem zu ScrapTrap gehörenden Header-Audit, das diese Datei ebenfalls auswertet).
llms.txt ist zudem kein anerkannter RFC-Standard, sondern lediglich der unverbindliche Vorschlag eines einzelnen Entwicklers – und wird hinsichtlich seiner Funktionsweise häufig grundlegend missverstanden. Eine solche Datei garantiert weder die Nennung Ihres Unternehmens noch Ihres Namens (die Entscheidung darüber wird während der Inferenzzeit des Modells getroffen und nicht anhand einer statischen Datenbankabfrage). Sie trägt nichts zum SEO bei und entspricht auch nicht den Mechanismen des modernen Generative Engine Optimization (GEO), das auf semantischen Datenstrukturen des Semantic Web basiert.
Die tatsächlichen Aufrufzahlen von llms.txt-Dateien durch KI-Bots tendieren nach aktueller Datenlage gegen null. Obwohl das Vorhandensein einer solchen Datei nicht schadet (sofern sie korrekt in Markdown strukturiert ist), erfüllt sie die Hoffnung der Websitebetreiber nach echter Kontrolle und Sichtbarkeit bisher keineswegs. Schon gar nicht durch teure Einträge in dubiose Verzeichnisse, die – durch KI-Begrifflichkeiten verbrämt – lediglich das Geschäftsmodell der Webverzeichnisse der 2000er-Jahre neu aufrollen, technisch unmögliche Versprechungen machen, angebliche "First-Mover-Vorteile" herausstellen und sich nutzlose Einträge versilbern lassen wollen, ohne eine echte Gegenleistung zu bieten.
Eine bessere Lösung zur Sichtbarkeit von Inhalten / Unternehmen - die jedoch, deutlich gesagt, nur einen Baustein darstellt - besteht darin, KI-Bots gezielt Informationen anzubieten, die Sie selbst hinsichtlich des Inhalts und Umfangs bestimmen; hierdurch erhalten Sie die Kontrolle darüber, was in einer KI-Antwort, sofern dies einmal der Fall sein sollte, überhaupt über Ihr Projekt oder Unternehmen ausgegeben wird.
Auch hierfür werden strukturierte Daten in Form eines JSON-LD benötigt. Um dieses zum Einsatz zu bringen gibt es zwei Möglichkeiten:
1. Die Verwendung eines Standard-Haupteintrags:
Diesen Eintrag können Sie über den Punkt "KI-Bot-Admin" links im Menü mittels eines einfachen Textfeldes anlegen und jederzeit wieder editieren und ändern. Dieser Haupteintrag wird, zusammen mit der Rechnung, bei jedem Aufruf Ihrer Inhalte über einen KI-Bot ausgegeben; dadurch wird dem Bot maschinenlesbar exakt mitgeteilt, welche Informationen möglicherweise in das KI-Training einfließen dürfen.
2. Die Verwendung differenzierter Einträge:
Dies funktioniert genauso wie unter 1., jedoch mit dem Unterschied, dass Sie diese Einträge mit bestimmten Aufrufen z.B. spezieller Kategorien / Inhalten verbinden können. Die hierzu gespeicherten JSON-Texte werden dann nur angezeigt, wenn ein KI-Bot diese spezielle Seite aufruft. Die Zuordnung erfolgt dabei ähnlich dem altruistic content.

Hinweis:
Auch die Anzeige strukturierter Daten ist - gleichwohl sie eine sehr viel höhere Steuerung und Kontrolle durch Aufruf-Logging als eine llms.txt erlauben, deren Aufruf oder Nichtaufruf die meisten Webseitenbetreiber aus technischen Gründen sowieso nicht nachvollziehen können - keine Garantie dafür, dass Ihre Sichtbarkeit im KI-Kontext erhöht oder Ihr Unternehmen in irgendeiner Weise erwähnt wird; dies zu versprechen wäre schlicht unseriös, da es erstens auf die saubere Struktur der Daten ankommt und zweitens auf deren Relevanz; alle KI-Anbieter sammeln zwar in riesiger Menge Daten aus dem Internet, jedoch kommt davon nur ein sehr kleiner Bruchteil als mögliches KI-Trainingsmaterial überhaupt infrage - die meisten Inhalte werden vorher durch eine interne Qualitätskontrolle als unbedeutendes und störendes "Rauschen" entfernt. Um die Chance auf Erwähnung und Sichtbarkeit zu erhöhen, ist deshalb noch eine Reihe weiterer Maßnahmen nötig. Fragen Sie dazu gern nach.

Feature 3 - Freigabe von altruistic content:
Diese Programmfunktion ermöglicht es, gezielt einzelne Inhalte für das KI-Trainung explizit freizugeben. Dies kann aus altruistischen Gründen geschehen oder bei praktisch oder gesellschaftlich wichtigen Inhalten von Erste Hilfe bis hin zu politischer Aufklärung, aus wissenschaftlichen Gründen oder zur Verfügungstellung von Open Source-Projekten. Dies beeinflusst nicht den Zugriff durch KI-Bots auf andere Inhalte, die Freischaltung gilt ausschließlich für die von Ihnen gewählen Inhalte.

Funktionsweise:
Gesteuert wird die Freigabe über den Query String (QS). Dies ist die Zeichenkette hinter dem ?, die Sie in der Adresszeile Ihres Browsers sehen können.
Wählen Sie in der Administration links im Menü den Punkt "KI-Bot-Admin".
Wählen Sie dann zur Freigabe aus der Liste die KI-Bots aus, denen Sie den Zugriff auf die Inhalte gewähren möchten.
Tragen Sie dann jene Teile des QS ein, der spezifisch für den aufgerufenen Inhalt ist, bei sog. Pretty Links z.B. den Verzeichnisnamen, bei normaler Parameterübergabe z.B. die ID der Rubrik oder des Artikels. Tragen Sie diese Zeichenkette in eines der zehn zur Verfügung stehenden Felder ein und speichern Sie die Zuordnung ab. In Zukunft wird, falls die Zeichenkette im QS vorkommt und ein von Ihnen ausgewählter KI-Bot die Seite aufruft, der Inhalt ohne Sperrung angezeigt.

Wichtig: Die Freigabe gilt ausschließlich für die von Ihnen aus der KI-Bot-Liste ausgewählten Bots; bezüglich aller anderen Bots, insbesondere getarnten Scrapern, bleibt der Inhalt weiterhin geschützt.

Zusatz 1:
Wenn der erwähnten llms.txt trotz deren bisheriger Unwirksamkeit Vertrauen entgegengebracht werden soll: Das Standard-JSON kann auf Wunsch durch das Aktivieren des Häkchens "llms generieren" beim Abspeichern des Standard-JSON automatisch als llms.txt im Hauptverzeichnis abgelegt werden, sofern sich dort nicht bereits eine gleichnamige Datei befindet. Deren Löschung bzw. Ersetzung muss mit der Aktivierung des Häkchens "Ersetzen" explizit autorisiert werden ("Ersetzen" steht nur zur Auswahl, wenn eine Datei vorhanden ist).

Zusatz 2:
Das AI Policy Modul lässt sich mit dem Download-Saver-Modul kombinieren - über den Saver kontrollierte Dateien werden dann genauso behandelt wie Seiteninhalte und entweder für den KI-Bot-Zugriff gesperrt und mit einer Rechnung bedacht, oder mit JSON und einer Rechnung ausgeliefert oder als altruistic content freigegeben.

Kombi-Hinweis:
Wenn Sie ScrapTrap nicht in voller Gänze nutzen möchten - warum auch immer - so kann auch nur das AI Policy-Modul verfügbar gemacht werden. Empfehlenswert ist es, dieses mit dem GoodBot-Modul zu kombinieren - dies ermöglicht Ihnen eine umfassende Übersicht über den Erfolg von SEO-Maßnahmen, Crawl-Raten und Kontrolle über Ihre Inhalte durch KI-Nutzung in einer Übersicht; zudem ist eine Mini-Inline-WAF enthalten, die den Query String überwacht, da auch SearchBots unbeabsichtigt Schadcode mit sich führen können. Sämtliche Daten bleiben dabei völlig DSGVO-konform und ohne Consent-Banner-Pflicht (keine Cookies / Sessions, kein Tracking, keine Datenübermittlung) auf Ihrem Server und können auch nur von Ihnen in Echtzeit eingesehen werden.