ScrapTrap - AI‑Bot‑Policy & Payment Enforcement Modul





ScrapTrap-Modul AI‑Bot‑Policy & Payment Enforcement



Problem: Massenhafter Diebstahl hochwertiger und oftmals redaktionell erstellter Inhalte von Privatseiten, Sammlerportalen und Onlineshops.
Lösung: Dieses Modul.



Dieses Modul ist das Ergebnis einer langen Reihe von Verhaltens-Messungen von sog. KI-Bots, also Bots, die entweder im Auftrag von KI-Betreibern Daten für Trainingsmaterial einsammeln oder selbst von den KI-Betreibern unterhalten und gesteuert werden, wie z.B. der für sein aggressives Crawling und hohe Serverlast hervorrufend bekannte Claude-Bot von Anthropic oder der Perplexity-Bot von Perplexity, wobei sich viele dieser Bots auch nicht durch die sog. Robots.txt steuern lassen, die tatsächlich lediglich eine Art höfliche Bitte an die Bots darstellt, sich wie in der Robots.txt festgelegt zu verhalten, was jedoch häufig ohne jede technische Folgen ignoriert wird.
Im Augenblick wird noch stark darüber diskutiert, wie Webseiten und Shopbetreiber mit dieser ungefragten Aneignung von Inhalten umgehen sollten und technisch könnten. Um diesen Diskurs abzukürzen und den Rechteinhabern der Inhalte ihre Souveränität und Kontrolle darüber, wer wie auf welche Inhalte und zu welchen Bedingungen zugreifen darf, zurückzugeben, wurde dieses Modul, das Bestandteil der ScrapTrap-Sicherheitsprüfungen ist, entwickelt und in verschiedene Feature-Bereiche aufgeteilt, um alle denkbaren Fälle und Kombinationen im Umgang mit KI-Bots abzudecken.



Feature 1 - Payment:
Das AI‑Bot‑Policy‑Modul von ScrapTrap ist ein dedizierter Schutzmechanismus, der automatisierte KI‑Crawler, Trainingsbots und großvolumige Scraper eindeutig identifiziert und deren Zugriff auf urheberrechtlich geschützte Inhalte reguliert.
Es kombiniert technische Erkennung, rechtliche Klarheit und transparente Kommunikation in einem einzigen, deterministischen System.

Das Modul arbeitet vollständig serverseitig, ohne Cloud‑Abhängigkeiten, und reagiert ausschließlich dann, wenn ein Request eindeutig einem bekannten KI‑Bot oder Trainingscrawler zugeordnet werden kann. Die Zuordnung erfolgt über eine gepflegte Signatur‑ und Verhaltensdatenbank, die Bots wie AmazonBot, GPTBot, Claude‑Bots, Google‑Extended, PerplexityBot, CommonCrawl, TikTok/ByteSpider, Cohere, Diffbot, Meta‑Crawler und weitere umfasst.

Wird ein solcher Bot erkannt, liefert ScrapTrap keine Inhalte aus, sondern ersetzt die Antwort durch:



Damit ist fĂĽr jede automatisierte Partei technisch und juristisch nachvollziehbar, dass:

1. die Inhalte urheberrechtlich geschĂĽtzt sind,
2. KI‑Training und automatisiertes Scraping ohne Lizenz untersagt sind,
3. jeder unautorisierte Request eine Aufwandsentschädigung auslöst,
4. die Bedingungen mit dem Absenden des Requests akzeptiert werden,
5. Verstöße rechtliche Schritte nach sich ziehen können.

Die Kommunikation erfolgt transparent, ohne Täuschung und ohne technische Tricks. ScrapTrap blockiert nicht heimlich, sondern erklärt explizit, warum der Zugriff verweigert wird und unter welchen Bedingungen eine Nutzung möglich wäre.

Das Modul ist bewusst restriktiv gehalten:
Es liefert niemals Inhalte an KI‑Bots aus – weder teilweise noch reduziert, sofern nicht Feature 2 oder 3 aktiviert wird.
Es dient ausschlieĂźlich der Abschreckung, Dokumentation und rechtlichen Klarstellung.
Das Modul ist, falls der Nutzer einen Verwertungsvertrag o.ä. abgeschlossen haben sollte, für einzelne KI-Bots oder insgesamt abschaltbar; ansonsten ist es standardmäßig als ScrapTrap-Modul aktiviert und dokumentiert jeden versuchten Zugriff von AI-Bots und sperrt diesen (jede IP für 24 Stunden).
NachprĂĽfbar authentische SearchBots (Googlebot, Bingbot etc.) werden vom KI-Bot-Modul nicht erfasst und auch nicht gesperrt, so dass keinerlei Gefahr der Rankingabstufung besteht.

Der juristische Hintergrund liegt sowohl in deutscher (§ 44b UrhG Opt-Out) europäischer wie auch US-amerikanischer Rechtsprechung (CFAA).

Hinweis:
Die Realisierung möglicher Rechtsansprüche hängt von der jetzigen und zukünftigen Rechtslage ab; dieses Modul bewirkt nicht automatisch eine rechtliche Durchsetzbarkeit (für die der Anwender verantwortlich ist), bietet aber eine genaue Dokumentation der Zugriffe, die hierzu die Grundlage darstellen.
Um zu gewährleisten, dass der jeweilige KI-Bot die entsprechenden Zugangsbeschränkungen, Zahlungsbedingungen und eventuelle Inhalte nach Feature 2 auch tatsächlich nachweisbar zu Kenntnis genommen hat, wurde eine doppelte Prüfung auf bestehende Verbindungskonsistenz (doublecheck) integriert, die unter diesem Begriff auch mitgeloggt wird.


Feature 2 - gesteuertes JSON-LD:
Viele Webmaster und Shopbetreiber fragen sich, wie sie ihre Sichtbarkeit im KI-Zeitalter aufrecht erhalten können ohne ihre Inhalte auf Gedeih und Verderb von KI-Betreibern abgreifen und monetarisieren zu lassen, ohne jedwede Kontrolle darüber, ob dies in irgendeiner Form der Sichtbarkeit honoriert wird. Hinzu kommt der zeitliche Verlust bei selbst erstellten Texten oder der (oft nicht unerhebliche) finanzielle Verlust bei agenturerstellten oder redaktionell betreuten Texten. Hinzu können rechtliche Probleme bei der Verwendung von Dritt-Texten treten, z.B. aus Herstellerkatalogen - auch wenn deren Verwendung durch die Rechteinhaber für Shopzwecke etc., meist durch ein einfaches Nutzungsrecht, freigegeben wurde, so könnte sich ein rechtliches Problem ergeben, wenn diese Texte explizit bzw. ohne angemessene, zumutbare Schutzmaßnahmen für KI-Training oder Scraper-Bots über eben jenen Shop zugänglich gemacht, also verbreitet werden; Details dazu können juristisch recht kompliziert sein und beziehen sich häufig auf das Vertragsrecht nach BGB und das Urheberrecht nach UrhG und sollten sehr genau, im Zweifelsfalls mit fachanwaltlicher Hilfe, geprüft werden. Durch den Einsatz dieses Moduls, das jeden Zugriff, seine Ausgestaltung und seine Bedingungen protokolliert, kann dieser Vorwurf jedoch nicht mehr ohne weiteres erhoben werden. Hinzu kommt, dass bei rechtlichen Fragen aus dem technischen Bereich stets der sog. "Stand der Technik" zur Beurteilung eines Sachverhalts herangezogen wird - in diesem Fall nur mit dem Vorhandensein einer Robots.txt zu argumentieren kann problematisch sein, weil der aktuelle Stand der Technik eben darauf verweist, dass die Robots.txt in sehr vielen Fällen schlicht ignoriert wird und technisch keinerlei Schutz vor einem Zugriff bietet, so dass es fraglich sein kann, ob dies noch als ausreichende Maßnahme angesehen werden kann. Die Nichtberücksichtigung der Rechte Dritter könnte sich deshalb als mögliche Haftungsfalle herausstellen - und auch wenn ScrapTrap an dieser Stelle keine Rechtsberatung ersetzen kann, so doch zumindest die Ausrede, dass man dagegen nichts habe tun können.
Dies hat bisher bedeutet, entweder jede Art von KI-Bot zu sperren (sofern hierzu überhaupt die technischen Möglichkeiten bestanden) oder sich widerstandslos der Übermacht der Großkonzerne zu ergeben und die eigenen Inhalte auf- und gratis abzugeben.
Viele Webmaster und Onlineshop-Besitzer versuchen deshalb, über die Verwendung einer sog. llms.txt zumindest ein wenig Kontrolle über ihre Daten und Inhalte zurückzugewinnen. Diese Hoffnung jedoch ist trügerisch: Kein einziger der großen KI-Betreiber von Anthropic bis Google verwendet diese Dateien offiziell. (Dass Google Lighthouse neuerdings auch auf das Vorhandensein einer llms.txt prüft, widerspricht dem nicht; dabei handelt es sich lediglich um eine Erweiterung einer rein technischen Abfrage – ähnlich wie bei dem zu ScrapTrap gehörenden Header-Audit, das diese Datei ebenfalls auswertet).
llms.txt ist zudem kein anerkannter RFC-Standard, sondern lediglich der unverbindliche Vorschlag eines einzelnen Entwicklers – und wird hinsichtlich seiner Funktionsweise häufig grundlegend missverstanden. Eine solche Datei garantiert weder die Nennung Ihres Unternehmens noch Ihres Namens (die Entscheidung darüber wird während der Inferenzzeit des Modells getroffen und nicht anhand einer statischen Datenbankabfrage). Sie trägt nichts zum SEO bei und entspricht auch nicht den Mechanismen des modernen Generative Engine Optimization (GEO), das auf semantischen Datenstrukturen des Semantic Web basiert.
Hinzu kommt, dass der Inhalt der Datei es überhaupt erst einmal durch die Qualitätsfilter schaffen muss, bevor er in irgendeiner Weise eine KI-Antwort beeinflussen könnte - ein Aspekt, der so gut wie nie bedacht oder angemerkt wird.
Die tatsächlichen Aufrufzahlen von llms.txt-Dateien durch KI-Bots tendieren nach aktueller Datenlage gegen null. Obwohl das Vorhandensein einer solchen Datei nicht schadet (sofern sie korrekt in Markdown strukturiert ist), erfüllt sie die Hoffnung der Websitebetreiber nach echter Kontrolle und Sichtbarkeit bisher keineswegs. Schon gar nicht durch teure Einträge in dubiose Verzeichnisse, die – durch KI-Begrifflichkeiten verbrämt – lediglich das Geschäftsmodell der Webverzeichnisse der 2000er-Jahre neu aufrollen, technisch unmögliche Versprechungen machen, angebliche "First-Mover-Vorteile" herausstellen und sich nutzlose Einträge versilbern lassen wollen, ohne eine echte Gegenleistung zu bieten.
Ähnliches lässt sich zur ai.txt anmerken, die weniger bekannt als die llms.txt ist und noch viel weniger in Gebrauch zu sein scheint - valide Daten zu ihrer Verwendung ließen sich nicht finden. Je nach Sichtweise kann die ai.txt als eine Art Mischung aus robots.txt und llms.txt angesehen werden, also sowohl KI-Bot-Steuerung bzw. Opt-Out beinhalten wie auch strukturierte Daten bezüglich des Inhalts bzw. Metadaten. Ansonsten besitzt sie die gleichen Nachteile wie robots.txt und llms.txt, d.h., sie ist völlig unverbindlich, bietet keinerlei echten Schutz vor Content-Diebstahl und kann vor allem im Normalfall nur einmal im Rootverzeichnis angelegt, ihr Inhalt also nicht flexibilisiert werden.
Eine bessere, flexible Lösung zur Sichtbarkeit von Inhalten / Unternehmen - die jedoch, deutlich gesagt, nur einen Baustein darstellt - besteht darin, KI-Bots gezielt Informationen anzubieten, die Sie selbst hinsichtlich des Inhalts und Umfangs bestimmen; hierdurch erhalten Sie die Kontrolle darüber, was in einer KI-Antwort, sofern dies einmal der Fall sein sollte, überhaupt über Ihr Projekt oder Unternehmen ausgegeben wird.
Auch hierfür werden strukturierte Daten in Form eines JSON-LD benötigt. Um dieses zum Einsatz zu bringen gibt es zwei Möglichkeiten:
1. Die Verwendung eines Standard-Haupteintrags:
Diesen Eintrag können Sie über den Punkt "KI-Bot-Admin" links im Menü mittels eines einfachen Textfeldes anlegen und jederzeit wieder editieren und ändern. Dieser Haupteintrag wird, zusammen mit der Rechnung, bei jedem Aufruf Ihrer Inhalte über einen KI-Bot ausgegeben; dadurch wird dem Bot maschinenlesbar exakt mitgeteilt, welche Informationen möglicherweise in das KI-Training einfließen dürfen.
2. Die Verwendung differenzierter Einträge:
Dies funktioniert genauso wie unter 1., jedoch mit dem Unterschied, dass Sie diese Einträge mit bestimmten Aufrufen z.B. spezieller Kategorien / Inhalten verbinden können. Die hierzu gespeicherten JSON-Texte werden dann nur angezeigt, wenn ein KI-Bot diese spezielle Seite aufruft. Die Zuordnung erfolgt dabei ähnlich dem altruistic content.

Hinweis 1:
Auch die Anzeige strukturierter Daten ist - gleichwohl sie eine sehr viel höhere Steuerung und Kontrolle durch Aufruf-Logging als eine llms.txt erlauben, deren Aufruf oder Nichtaufruf die meisten Webseitenbetreiber aus technischen Gründen sowieso nicht nachvollziehen können - keine Garantie dafür, dass Ihre Sichtbarkeit im KI-Kontext erhöht oder Ihr Unternehmen in irgendeiner Weise erwähnt wird; dies zu versprechen wäre schlicht unseriös, da es erstens auf die saubere Struktur der Daten ankommt und zweitens auf deren Relevanz; alle KI-Anbieter sammeln zwar in riesiger Menge Daten aus dem Internet, jedoch kommt davon nur ein sehr kleiner Bruchteil als mögliches KI-Trainingsmaterial überhaupt infrage - die meisten Inhalte werden vorher durch eine interne Qualitätskontrolle als unbedeutendes und störendes "Rauschen" entfernt. Um die Chance auf Erwähnung und Sichtbarkeit zu erhöhen, ist deshalb noch eine Reihe weiterer Maßnahmen nötig. Fragen Sie dazu gern nach.

Hinweis 2:
Auch wenn nach aktuellem Technikstand die Robots.txt als nutzlos zur Verhinderung von KI-Bot-Zugriffen angesehen werden kann, könnte ein Nichtvorhandensein dieser Datei oder ein fehlender Disallow-Eintrag für den jeweiligen KI-Bot als eine Art stillschweigendes Zugeständnis für den bedingungslosen Zugriff gewertet werden. Deshalb überprüft das AI Policy Modul bei Erststart eine vorhandene Robots.txt auf entsprechende Einträge oder bietet das Erstellen einer solchen mit den passenden Einträgen an.

Anmerkung zu AI-Webindexierungsunternehmen und ähnlichen "Diensten":
Derlei Anbieter schießen seit einiger Zeit wie Pilze aus dem Boden. Sie lassen - neben all den sowieso schon vorhandenen Scrapern, Exploit-Scannern, KI- und SearchBots - ihre eigenen Crawler durch das Internet laufen, um Webseiteninhalte abzugreifen und angeblich "KI-kompatibel" in Form eines JSON-LD-Datensatzes zu speichern, angeblich, damit eine KI darauf zugreifen und eventuell Ihr Unternehmen nennen könnte - ein ähnliches Versprechen, wie es auch die Betreiber der dubiosen llms.txt-Verzeichnisse von sich geben.
Webmaster oder Shop-Betreiber, die ihre Hoffnungen darauf setzen, hier "zitiert" zu werden und / oder an Reichweite zu gewinnen, sehen sich dabei aber getäuscht.
Denn tatsächlich besteht das eigentliche Geschäft der Betreiber fast immer darin, Ihre Inhalte, KI-gerecht aufbereitet, KI-Betreibern als Trainingsdaten anzubieten und zu verkaufen. Sie selbst erhalten weder eine Beteiligung noch (Kunden-)Traffic.
Sollten Sie derlei KI-Webindexern den Zugriff dennoch erlauben wollen, ist es empfehlenswert, Ihre Inhalt gleich selbst KI-geeignet in JSON auszuliefern, insbesondere, weil, wie bereits dargelegt, Sie selbst die Kontrolle über den ausgelieferten Inhalt haben. Denn ob diese KI-Webindexer Ihre Daten tatsächlich sachgerecht (oder überhaupt) verarbeiten, welche Informationen als relevant herausgestellt oder überhaupt in das JSON übernommen werden oder nicht, unterliegt nicht Ihrem Einfluss und ist von außen völlig unkontrollierbar. Zudem ist völlig unklar, was mit Ihren Daten nach einem Verkauf passiert, z.B. ob diese - eventuell verwässert - weiterverkauft werden, falls sie sich nicht als Trainingsmaterial eignen. Möglicherweise enden Ihre Inhalte auf einer automatisch erstellten Website, vermischt mit anderen Inhalten und drapiert mit bunten Werbeanzeigen, die Ihren echten, originären Inhalten dann Ranking-Konkurrenz bei Google oder gar den Vorwurf des Duplicate Content bescheren. Dies ist kein reine theoretische Möglichkeit, sondern wird von vielerlei Fachquellen als realistisch bestätigt.


Feature 3 - Freigabe von altruistic content:
Diese Programmfunktion ermöglicht es, gezielt einzelne Inhalte für das KI-Training explizit freizugeben. Dies kann aus altruistischen Gründen geschehen oder bei praktisch oder gesellschaftlich wichtigen Inhalten von Erste Hilfe bis hin zu politischer Aufklärung, aus wissenschaftlichen Gründen oder zur Verfügungstellung von Open Source-Projekten. Dies beeinflusst nicht den Zugriff durch KI-Bots auf andere Inhalte, die Freischaltung gilt ausschließlich für die von Ihnen gewählten Inhalte.

Funktionsweise:
Gesteuert wird die Freigabe über den Query String (QS). Dies ist die Zeichenkette hinter dem ?, die Sie in der Adresszeile Ihres Browsers sehen können und die einzige Stelle, die vor einem CMS-Bootstrap o.ä. ohne DB-Abfrage geprüft werden kann.
Wählen Sie in der Administration links im Menü den Punkt "KI-Bot-Admin".
Wählen Sie dann zur Freigabe aus der Liste die KI-Bots aus, denen Sie den Zugriff auf die Inhalte gewähren möchten.
Tragen Sie dann jene Teile des QS ein, der spezifisch für den aufgerufenen Inhalt ist, bei sog. Pretty Links z.B. den Verzeichnisnamen, bei normaler Parameterübergabe z.B. die ID der Rubrik oder des Artikels. Tragen Sie diese Zeichenkette in eines der zehn zur Verfügung stehenden Felder ein und speichern Sie die Zuordnung ab. In Zukunft wird, falls die Zeichenkette im QS vorkommt und ein von Ihnen ausgewählter KI-Bot die Seite aufruft, der Inhalt ohne Sperrung und ohne Zahlungsaufforderung angezeigt.

Wichtig: Die Freigabe gilt ausschließlich für die von Ihnen aus der KI-Bot-Liste ausgewählten Bots; bezüglich aller anderen Bots, insbesondere getarnten Scrapern, bleibt der Inhalt weiterhin geschützt.

Zusatz 1:
Wenn der erwähnten llms.txt trotz deren bisheriger Unwirksamkeit Vertrauen entgegengebracht werden soll: Das Standard-JSON kann auf Wunsch durch das Aktivieren des Häkchens "llms generieren" beim Abspeichern des Standard-JSON automatisch als llms.txt im Hauptverzeichnis abgelegt werden, sofern sich dort nicht bereits eine gleichnamige Datei befindet. Deren Löschung bzw. Ersetzung muss mit der Aktivierung des Häkchens "Ersetzen" explizit autorisiert werden ("Ersetzen" steht nur zur Auswahl, wenn eine Datei vorhanden ist).

Zusatz 2:
Das AI Policy Modul lässt sich mit dem Download-Saver-Modul kombinieren - über den Saver kontrollierte Dateien werden dann genauso behandelt wie Seiteninhalte und entweder für den KI-Bot-Zugriff gesperrt und mit einer Rechnung bedacht, oder mit JSON und einer Rechnung ausgeliefert oder als altruistic content freigegeben.



Kombi-Hinweis:
Wenn Sie ScrapTrap nicht in voller Gänze nutzen möchten - warum auch immer - so kann auch nur das AI Policy-Modul verfügbar gemacht werden. Empfehlenswert ist es, dieses mit dem GoodBot-Modul zu kombinieren - dies ermöglicht Ihnen eine umfassende Übersicht über den Erfolg von SEO-Maßnahmen, Crawl-Raten und Kontrolle über Ihre Inhalte durch KI-Nutzung in einer Übersicht; zudem ist eine Mini-Inline-WAF enthalten, die den Query String überwacht, da auch SearchBots unbeabsichtigt Schadcode mit sich führen können. Sämtliche Daten bleiben dabei völlig DSGVO-konform und ohne Consent-Banner-Pflicht (keine Cookies / Sessions, kein Tracking, keine Datenübermittlung) auf Ihrem Server und können auch nur von Ihnen in Echtzeit eingesehen werden.


Beispiellogs:

Eintrag 60590: 🔒🤖🧠 GESPERRT - Grund: AI-Crawler / KI-Bot; Gesperrt durch Schutzmodul: @ScrapTrap AI-Blocker (Mode: Pay)
Referer: Direktaufruf
IP: 216.73.217.145
Host: 216.73.217.145
UserAgent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +searchbot@anthropic.com)
Zeit: 19:09:42 31.07.2026 - Reaktionszeit ST-Aufruf→Log: 251.267 ms - Modulstart→Log: 3.45 ms
Conn.: keep-alive - Meth. (doublecheck) GET

Eintrag 60591: 🔒🤖🧠 GESPERRT - Grund: AI-Crawler / KI-Bot; Gesperrt durch Schutzmodul: @ScrapTrap AI-Blocker (Mode: Pay&JSON [Main])
Referer: Direktaufruf
IP: 216.73.217.145
Host: 216.73.217.145
UserAgent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +searchbot@anthropic.com)
Zeit: 19:12:06 31.07.2026 - Reaktionszeit ST-Aufruf→Log: 230.112 ms - Modulstart→Log: 2.09 ms
Conn.: keep-alive - Meth. (doublecheck) GET

Eintrag 60592: 🔒🤖🧠 GESPERRT - Grund: AI-Crawler / KI-Bot; Gesperrt durch Schutzmodul: @ScrapTrap AI-Blocker (Mode: Pay&JSON [SubT: "Produktvorteile"])
Referer: Direktaufruf
IP: 216.73.217.145
Host: 216.73.217.145
UserAgent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +searchbot@anthropic.com)
Zeit: 19:13:44 31.07.2026 - Reaktionszeit ST-Aufruf→Log: 211.359 ms - Modulstart→Log: 2.09 ms
Conn.: keep-alive - Meth. (doublecheck) GET

Eintrag 60593: 🔒🤖🧠 GESPERRT - Grund: AI-Crawler / KI-Bot; Gesperrt durch Schutzmodul: @ScrapTrap AI-Blocker (Mode: Altruistic ["Stichprobenrechner"])
Referer: Direktaufruf
IP: 216.73.217.145
Host: 216.73.217.145
UserAgent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +searchbot@anthropic.com)
Zeit: 19:14:14 31.07.2026 - Reaktionszeit ST-Aufruf→Log: 190.438 ms - Modulstart→Log: 2.09 ms
Conn.: keep-alive - Meth. (doublecheck) GET