llms.txt, GPTBot, ClaudeBot: der Leitfaden zur KI-Crawler-Hygiene für kleine Seiten

Wenn Sie eine kleine Seite betreiben, ist die Wahrscheinlichkeit hoch, dass Ihre robots.txt seit dem Hinzufügen einer einzigen GPTBot-Regel im Jahr 2023 nicht mehr angefasst wurde — oder dass Sie sie nie angefasst haben. Diese Lücke zählt heute mehr als früher. Bis Mitte 2025 zeigten Cloudflares Netzwerkdaten, dass das trainingsbezogene Crawling auf rund 80 % der gesamten KI-Bot-Aktivität gewachsen war, gegenüber 72 % ein Jahr zuvor.^[3] KI-Crawler sind heute ein bedeutender Teil derer, die täglich an die Tür Ihres Servers klopfen, und die Regeln, die Sie ihnen geben, entscheiden über zwei sehr verschiedene Dinge: ob Ihr Inhalt das Modell eines anderen kostenlos trainiert, und ob Sie erscheinen, wenn ein Käufer ChatGPT oder Perplexity etwas fragt.

Was 2026 wirklich anders macht: Die großen KI-Anbieter haben ihren einzigen Crawler in mehrere aufgeteilt. OpenAI betreibt nicht mehr einen Bot — es betreibt GPTBot fürs Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für Abrufe auf Anfrage. Anthropic betreibt drei. Die praktische Folge: Der instinktive Griff zu Disallow: / für jeden KI-User-Agent erledigt nun zwei Aufgaben auf einmal. Er meldet Sie von Trainings-Korpora ab (oft gewollt) und löscht Sie aus KI-Suchantworten (fast nie gewollt). Die Analyse von Digital Applied zu Anthropics Rahmenwerk berichtet, dass rund 71 % der großen Nachrichtenverlage mindestens einen Retrieval- oder Such-Bot blockieren, häufig in der Absicht, nur das Training zu blockieren.^[5] Genau diesen teuren Fehler soll dieser Leitfaden verhindern.

llms.txt ist eine von der Community vorgeschlagene Markdown-Datei, die Sie im Stammverzeichnis Ihrer Domain (/llms.txt) ablegen und die Ihre wichtigsten Seiten in sauberer, parsbarer Form auflistet, damit ein großes Sprachmodell Ihren besten Inhalt findet und versteht, ohne sich durch Navigation, Werbung und Skripte zu wühlen. Vorgeschlagen wurde sie von Jeremy Howard von Answer.AI im September 2024. Die übliche Analogie lautet „eine Sitemap für LLMs“, und die Absicht ist durchaus sinnvoll: den Modellen eine kuratierte, rauscharme Karte dessen geben, was auf Ihrer Seite zählt, optional mit einer ausführlicheren /llms-full.txt, die den eigentlichen Inhalt einbettet.

Das Problem ist die Kluft zwischen Idee und Beleg. Nach achtzehn Monaten Branchendiskussion sind die Daten ernüchternd:

• Die Adoption liegt bei etwa einer von zehn Seiten. Die SE-Ranking-Studie über 300.000 Domains fand eine Adoptionsrate von 10,13 %, und entscheidend: Die Adoption war über niedrige, mittlere und hohe Traffic-Stufen nahezu identisch (~9–10 % je) — es sind also nicht die ausgefeilten Seiten, die vorausstürmen.^[1]
• Kein messbarer Zitat-Zuwachs. Dieselbe SE-Ranking-Analyse fand keinen statistisch signifikanten Unterschied in der Häufigkeit von KI-Zitaten zwischen Seiten mit und ohne llms.txt. Ein auf KI-Zitatdaten trainiertes Modell verbesserte sich sogar, als die llms.txt-Variable entfernt wurde.^[1]
• Fast nichts liest sie. Limy.AI überwachte über 500 Millionen KI-Bot-Ereignisse in 90 Tagen und fand nur 408 Anfragen, die direkt auf llms.txt zielten.^[14] Search Engine Land verfolgte 10 Seiten 90 Tage vor und nach Hinzufügen der Datei; nur zwei verzeichneten KI-Traffic-Zuwächse, und nicht wegen der Datei.^[2]
• Keine offizielle Unterstützung. Stand Mitte 2026 hat weder OpenAI noch Anthropic, Google oder Perplexity offiziell bestätigt, dass seine Systeme llms.txt lesen oder befolgen. Sie bleibt eine Community-Spezifikation, kein etablierter Standard.

Die Erkenntnis ist nicht „llms.txt ist nutzlos“ — sondern dass die beiden Dateien nicht austauschbar sind und diejenige, die heute wirklich Ergebnisse verändert, die langweilige, jahrzehntealte ist. Wenn Sie 2026 nur Zeit haben, eine Datei richtig zu machen, dann robots.txt, mit Regeln, die die aktuelle KI-Crawler-Landschaft widerspiegeln und nicht die Version von 2023.

Bevor Sie eine sinnvolle Regel schreiben können, müssen Sie wissen, wofür jeder Bot da ist. Jeder KI-Crawler erledigt eine von drei Aufgaben: Er sammelt Seiten fürs Modelltraining, indexiert Seiten für KI-Suchantworten, oder ruft eine Seite in Echtzeit ab, weil ein Nutzer den Assistenten gerade jetzt danach gefragt hat. Das sind unterschiedliche kommerzielle Beziehungen, und 2026 legen die großen Anbieter sie endlich als unterschiedliche Bots offen, die Sie unabhängig steuern können.

Zwei Zeilen verdienen einen zweiten Blick. Google-Extended ist gar kein echter Crawler — es ist ein Steuer-Token, das nie als HTTP-Anfrage in Ihren Server-Logs auftaucht. Es regelt nur, ob Google Seiten, die es bereits (mit dem normalen Googlebot) gecrawlt hat, zum Training von Gemini und Vertex AI verwenden darf. Und Bytespider (ByteDance) hat eine dokumentierte Vorgeschichte, robots.txt uneinheitlich zu ignorieren, weshalb das Blockieren eine Firewall- oder IP-Regel statt eines höflichen Disallow erfordert.

Das geschäftliche Argument für das Blockieren von Trainings-Crawlern läuft auf ein einziges Verhältnis hinaus: wie viele Ihrer Seiten ein Bot crawlt für jeden Besucher, den er zurückschickt. Cloudflare veröffentlicht dieses Crawl-to-Referral-Verhältnis über sein Netzwerk, und die Spannweite zwischen Anbietern ist außergewöhnlich. Der traditionelle Googlebot liegt bei etwa 5 gecrawlten Seiten pro Referral. Anthropics ClaudeBot crawlte auf seinem Höchststand im Juni 2025 rund 70.900 Seiten für jeden Besucher, den er zurückverwies — eine Asymmetrie, die den Trainingszugang als einseitige Wertextraktion neu rahmt.^[5]

Doch es gibt einen Haken, der „blockieren Sie einfach die Trainings-Bots“ daran hindert, gratis zu sein, und es ist die wichtigste Nuance dieses ganzen Artikels. Das Blockieren hat Nebenwirkungen auf Zitate. AuthorityTechs Analyse von 2026 fand, dass Seiten, die Google-Extended blockieren, deutlich seltener von generativen Engines zitiert werden — sogar in AI Overviews, wo Google technisch über den normalen Index Zugriff auf den Inhalt behält.^[11] Und die Daten von ppc.land zeigen, dass das Blockieren auch in die andere Richtung durchlässig ist: KI-Crawler zu blockieren stoppt Zitate nicht zuverlässig, weil Engines aus alternativen Pfaden, Zitaten Dritter und zwischengespeicherten Kopien schöpfen.^[10] Sie können den Sichtbarkeitsvorteil verlieren, ohne die Privatsphäre, für die Sie blockiert haben, ganz zu gewinnen.

Auf der anderen Seite der Waage steht der Traffic-Schaden, der die Leute überhaupt erst zum Blockieren treibt. Googles AI Overviews haben den Verweis-Traffic messbar gesenkt: Digital Content Next berichtet Traffic-Rückgänge von 1–25 % für Mitglieder, im Schnitt rund 25 %, und die Klickraten fallen je nach Anfragetyp um 34,5 % bis 79 %, wenn ein AI Overview erscheint.^[8] Von ppc.land befragte Verlage erwarten in den nächsten drei Jahren einen weiteren Traffic-Rückgang von 43 %.^[10] Wenn die KI Ihren Traffic nimmt und Sie zugleich 70.000 zu 1 crawlt, ist der Drang, die Zugbrücke hochzuziehen, verständlich.

Zwei Jahre lang war die meistgestellte Frage zu KI-Crawlern eine Variante von: „Wie erscheine ich in der normalen Google-Suche, aber nicht in den AI Overviews?“ Bis Juni 2026 lautete die ehrliche Antwort „gar nicht“. Google-Extended — das Token, zu dem die meisten griffen — steuert nur, ob Google Gemini und Vertex AI mit Ihren bereits gecrawlten Seiten trainiert. Es hat nie die AI Overviews oder den AI Mode gesteuert, die den Standard-Googlebot-Index nutzen. Google-Extended zu blockieren tat nichts, um Sie aus den KI-Zusammenfassungen herauszuhalten, die tatsächlich Ihre Klicks fraßen.^[8]

Das änderte sich am 3. Juni 2026, als Google einen KI-Leistungsbericht in der Search Console zusammen mit einem Opt-out-Schalter einführte, mit dem Verlage Inhalte aus AI Overviews und AI Mode entfernen können, ohne das Standard-Such-Ranking zu verlieren.^[6] Die Einstellung wird am 17. Juni 2026 wirksam, wenn Google beginnt, das Signal zu befolgen, und ihre Aktivierung beeinflusst Ihre Position in den normalen Google-Ergebnissen nicht.^[7] Zwei Vorbehalte zum zweimaligen Lesen: Die eigenständige Gemini-App ist ausgeschlossen von diesem Opt-out (sie ist ein separates Produkt), und sich abzumelden bedeutet zu akzeptieren, dass auch die Zitate/Sichtbarkeit verschwinden, die Sie aus den AIO erhielten.

Es gibt nicht die eine richtige Konfiguration — es gibt eine richtige Konfiguration für Ihr Ziel. Hier sind die drei Profile, die fast jede kleine Seite abdecken, von „ich will in jeder Antwort sein“ bis „halte mich ganz aus KI heraus“.

Für die meisten kleinen Seiten lautet die ehrliche Empfehlung Profil 1 — alles erlauben. Ihr Ziel ist Sichtbarkeit, die Bandbreitenkosten des KI-Crawlings sind im kleinen Maßstab vernachlässigbar, und das Blockieren von Trainings-Crawlern bringt Nebenwirkungen auf Zitate mit sich, die Sie nicht vollständig vorhersagen können. Das Profil „Training blockieren, Zitate behalten“ (Profil 2) ist die richtige Voreinstellung für Content-Unternehmen, Verlage und alle, die Originalforschung veröffentlichen und einseitige Extraktion wirklich ablehnen. Profil 3 ist nur für bezahlte, mitgliedergebundene oder rechtlich heikle Inhalte.

Im Dunkeln geschriebene Regeln sind Rätselraten. Investieren Sie zwanzig Minuten, um zu sehen, wer Sie wirklich crawlt, bevor Sie eine einzige Zeile ändern, denn die Bot-Landschaft variiert je nach Nische enorm. Hier ist der praktische Monitoring-Stack, vom Günstigsten zum Übrigen:

• Server-/CDN-Zugriffslogs. Filtern Sie nach User-Agent für GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot und Bytespider. Das zeigt Ihnen Häufigkeit und welche Seiten jeder Bot anfasst. Hinweis: Google-Extended erscheint nie — es ist ein Token, keine Anfrage.
• Cloudflare Radar AI Insights. Wenn Sie hinter Cloudflare sind, zeigt das kostenlose AI-Insights-Dashboard die KI-Crawler-Aktivität und die in diesem Artikel zitierten Crawl-to-Referral-Daten.
• Google Search Console. Der neue KI-Leistungsbericht (Juni 2026) ist der Ort, wo Sie die Impressionen von AI Overviews / AI Mode sehen — und wo der Opt-out-Schalter sitzt.
• Authentizität prüfen. Gefälschte User-Agents sind verbreitet. Gleichen Sie verdächtige Zugriffe mit den veröffentlichten IP-Bereichen ab — OpenAI listet sie unter openai.com/gptbot.json, openai.com/searchbot.json und openai.com/chatgpt-user.json.

→ Tun Sie es jetzt: Öffnen Sie https://ihre-domain.com/robots.txt in einem Browser. Erwähnt sie weder OAI-SearchBot noch Claude-SearchBot, ist sie veraltet — und Sie sind womöglich unsichtbar für genau die KI-Suchprodukte, die Ihre Kunden nutzen. Wählen Sie ein Profil aus der Tabelle oben, fügen Sie die passende Konfiguration ein, und Sie haben mehr Crawler-Hygiene betrieben als die überwältigende Mehrheit kleiner Seiten in 2026.