Du beauftragst ChatGPT mit der Zusammenfassung deiner Leistungsseite. Das System reagiert mit einer unerwarteten Antwort. Die Seite weise angeblich keinen lesbaren Inhalt auf. In den Google-Suchergebnissen steht exakt dieselbe Seite gut da. Das ist kein Einzelfall. Es hat rein technische Ursachen.
Unser Beitrag zur robots.txt aus dem Mai behandelte die Zugangsberechtigung für KI-Bots. Der heutige Text widmet sich dem nächsten Schritt. Wir klären, was die Programme nach dem Betreten der Seite tatsächlich lesen können.
Was ein KI-Bot von deiner Seite sieht
Eine Website setzt sich grundlegend aus zwei Komponenten zusammen. Der Server liefert zunächst das rohe HTML als Text aus. Im Browser laufen zusätzlich Programme auf Basis von JavaScript. Sie laden viele Inhalte oft erst im Nachhinein in die Darstellung.
Der Bot von Google führt dieses JavaScript aus. Dadurch erfasst er auch später hinzugefügte Elemente. Die Programme von OpenAI, Anthropic sowie Perplexity scheiterten in bisherigen Messungen an dieser Aufgabe. Der Hosting-Dienstleister Vercel wertete Ende 2024 Hunderte Millionen Zugriffe aus. Die Analyse ergab ein klares Bild. Kein einziger großer KI-Crawler führt JavaScript aus. Die Programme laden die Dateien zwar teilweise herunter, starten sie jedoch nicht. Ein unabhängiger Test im August 2025 bestätigte dieses Verhalten. Weder ChatGPT noch Perplexity oder Claude konnten eine Seite lesen, deren sichtbarer Text ausschließlich über JavaScript entstand.
Die Anbieter der KI-Modelle äußern sich in ihren Unterlagen nicht dazu. Neuere unabhängige Messungen aus dem Jahr 2026 haben wir nicht gefunden. Der Kenntnisstand beruht folglich auf den Erkenntnissen aus 2024 und 2025. Gemini bildet hierbei eine Ausnahme. Laut Vercel nutzt Gemini die Technik des Googlebots und kann JavaScript ausführen.
Baukästen: meist unkritisch
Viele kleine Betriebe dürfen an dieser Stelle aufatmen. Die gängigen Baukastensysteme liefern ihre Seiten im Regelfall als fertiges HTML aus. Wix schreibt in seiner Dokumentation, dass Bots die vollständig aufgebaute Seite erhalten. Squarespace verzichtet ab Werk auf eine Sperre für KI-Programme.
Größere technische Risiken bergen Seiten, die als eigenständige Web-App programmiert wurden. Gleiches gilt für Inhalte, die ein Zusatzprogramm nachlädt. Beispiele sind integrierte Preisrechner oder eingebettete Leistungsverzeichnisse. Für Jimdo, IONOS MyWebsite sowie Shopify liegen uns keine offiziellen Aussagen zur Auslieferung der Inhalte vor. Der kleine Selbsttest am Ende dieses Textes liefert dir in zwei Minuten Gewissheit für deine eigene Seite.
Bot-Schutz: der unterschätzte Schalter
Zahlreiche Websites nutzen Schutzdienste wie Cloudflare zur Abwehr von Angriffen. Cloudflare begann im Juli 2025, KI-Crawler für neu angelegte Domains standardmäßig zu sperren. Im Juli 2026 überarbeitete das Unternehmen diese Einstellung. Cloudflare teilt die Bots nun in drei Gruppen ein: Suche, Training sowie Agenten, die im Auftrag eines Nutzers handeln. Der Zugriff für die Suche bleibt bei neuen Domains standardmäßig erlaubt.
Ein wichtiges Detail verlangt besondere Aufmerksamkeit. Blockiert ein Kunde das Training, sperrt er laut Cloudflare gleichzeitig auch Mehrzweck-Programme wie den Googlebot, den Applebot sowie den BingBot aus. Wer aus reiner Vorsicht vor KI-Training alle Schalter umlegt, schließt sich im schlimmsten Fall selbst aus der klassischen Suche aus. Die entsprechende Funktion trägt bei Cloudflare den Namen „AI Crawl Control“. Sie ist in allen Tarifen verfügbar, auch im kostenlosen.
Auch klassische Hoster greifen ein. IONOS bestätigte 2025 eine Sperre bestimmter KI-Bots in einigen Shared-Hosting-Paketen. Das betraf die Trainings-Programme. Die Such-Bots von ChatGPT sowie Perplexity kamen weiterhin durch.
Training oder Suche: welcher Bot wofür
Die großen Anbieter unterscheiden ihre Programme nach dem Verwendungszweck. Für die Sichtbarkeit in KI-Antworten spielen vor allem die Such-Bots eine Rolle.
| Anbieter | Bot für die Suche | Bot für das Training |
|---|---|---|
| OpenAI (ChatGPT) | OAI-SearchBot | GPTBot |
| Anthropic (Claude) | Claude-SearchBot | ClaudeBot |
| Perplexity | PerplexityBot | nutzt ihn laut eigener Angabe nicht fürs Training |
| Googlebot | Google-Extended (beeinflusst die Google-Suche laut Google nicht) |
OpenAI rät ausdrücklich zur Freigabe des OAI-SearchBot, damit Seiten in der ChatGPT-Suche erscheinen können. Anthropic schreibt, dass eine Sperre des Claude-SearchBot die Sichtbarkeit mindern kann. Wer seine Daten nicht für das Training hergeben, aber in der Suche auftauchen will, blockiert ausschließlich die Trainings-Programme.
Cookie-Banner: meist harmlos
Ein Cookie-Banner, das über dem Inhalt liegt, ist laut Google für das Erfassen der Seite kein Problem. Kritisch wird die Situation, wenn die eigentlichen Inhalte erst nach einem Klick auf „Akzeptieren“ erscheinen. Das Gleiche gilt für Weiterleitungen auf eine eigene Einwilligungs-Seite. Der Bot von Google lehnt solche Anfragen ab. Die KI-Anbieter machen dazu keine offiziellen Angaben. Auch ihre Bots klicken aber nach allem, was bekannt ist, nichts an.
Der Selbsttest in zwei Minuten
- Öffne deine wichtigste Seite ganz normal im Browser.
- Lass dir den Quelltext anzeigen. Am Mac klappt das mit Cmd + Option + U, unter Windows drückst du Strg + U.
- Suche mit Cmd + F oder Strg + F nach einem konkreten Satz von deiner Seite. Das kann die Telefonnummer oder die Beschreibung einer Dienstleistung sein.
- Findest du den Text im Quelltext, können ihn die KI-Bots ebenfalls lesen. Fehlt er dort, entsteht der Inhalt erst durch JavaScript.
Google bietet zusätzlich eine URL-Prüfung in der Search Console an. Diese Ansicht zeigt dir allerdings das Ergebnis nach dem Ausführen von JavaScript aus Sicht von Google. Sie spiegelt nicht die Sicht der KI-Bots wider.
Quott AI prüft die technische Erreichbarkeit deiner Seite für KI-Crawler automatisch mit. Du siehst, ob Texte ohne JavaScript lesbar sind und ob Bots ausgesperrt werden.
Kurz zusammengefasst
Eine Website kann für Google gut lesbar sein und für ChatGPT völlig leer erscheinen. Die Ursache liegt darin, dass die meisten KI-Bots nach bisherigen Messungen kein JavaScript ausführen. Gängige Baukästen machen hier selten Probleme. Die häufigere Falle ist ein Bot-Schutz, der zu viel sperrt. Mit einem kurzen Blick in den Quelltext findest du in zwei Minuten heraus, was die KI von deiner Seite lesen kann.
Quellen
- Vercel: The rise of the AI crawler (17.12.2024)
- Glenn Gabe, GSQi: AI search and JavaScript rendering (11.08.2025)
- Google Search Central: JavaScript SEO basics (Stand 04.03.2026)
- Wix: SEO Guide, Server-side rendering
- Squarespace Hilfe: Blocking AI crawlers (08.01.2026)
- Cloudflare: Pressemitteilung zum Blockieren von KI-Crawlern (01.07.2025)
- Cloudflare Blog: Content Independence Day, AI options (01.07.2026)
- Cloudflare Doku: AI Crawl Control
- SEO Südwest: IONOS blockiert Zugriffe mancher KI-Bots (21.08.2025)
- OpenAI: Overview of OpenAI crawlers
- Anthropic Hilfe: Does Anthropic crawl data from the web? (07.04.2026)
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Stand 14.07.2026)
- Google Search Central: Avoid intrusive interstitials (Stand 10.12.2025)
- Google Search Central: Fix Search-related JavaScript problems (Stand 18.12.2025)