Ja, wenn Ihre Website öffentlich erreichbar ist, nicht in der robots.txt gesperrt wird und Firewall oder Hoster die Bots nicht abweisen, kann der ChatGPT-Crawler Ihre Website erreichen. OpenAI nutzt dafür drei Kennungen: OAI-SearchBot für die Suche, GPTBot für das Training und ChatGPT-User für Abrufe auf Nutzeranfrage. Ob ein Besuch tatsächlich stattfindet, zeigt nur das Server-Log. In unserer Stichprobe von 56 Websites lieferten 55 auf die Kennung von OAI-SearchBot die Startseite aus, bei GPTBot waren es 50, denn 6 Server antworteten mit einem 403-Fehler.
Welche drei Bots ChatGPT einsetzt
Laut der Übersicht der OpenAI-Crawler sind die Einstellungen für OAI-SearchBot und GPTBot unabhängig voneinander: Eine Website kann in der Suche erscheinen und trotzdem das Training ablehnen. Zusätzlich gibt es den OAI-AdsBot, der nur Seiten besucht, die als Anzeige eingereicht wurden. Die Tabelle fasst die drei wichtigen Kennungen zusammen:
| Kennung | Wofür sie dient | Wirkt die robots.txt? |
|---|---|---|
| OAI-SearchBot | Zeigt Websites in der Suche von ChatGPT an | Ja, Änderungen brauchen laut OpenAI rund 24 Stunden |
| GPTBot | Sammelt Inhalte, die zum Training von Modellen genutzt werden können | Ja, eine Sperre bedeutet: nicht für das Training verwenden |
| ChatGPT-User | Ruft Seiten ab, wenn Nutzer in ChatGPT oder einem Custom GPT danach fragen | Nicht unbedingt, weil der Abruf von einer Person ausgelöst wird |
Für jede Kennung veröffentlicht OpenAI Listen mit IP-Bereichen. In den veröffentlichten Listen stehen 39 Bereiche für OAI-SearchBot, 18 für GPTBot und 234 für ChatGPT-User. Das ist wichtig, weil sich die Kennung leicht fälschen lässt und Firewalls deshalb oft die Herkunft prüfen. Wie ChatGPT aus den Funden dann Quellen für lokale Empfehlungen auswählt, beschreibt unser Ratgeber zur Quellenauswahl von ChatGPT.
So prüfen Sie, ob ChatGPT Ihre Seite abruft
Den sichersten Beleg liefert das Server-Log Ihres Hosters. Es zeigt jede Anfrage mit Kennung und IP-Adresse. Suchen Sie nach den drei Namen und vergleichen Sie die Adresse mit den veröffentlichten Listen, denn nur dann ist der Besuch echt. Beim Abruf der robots.txt hängt OpenAI laut Dokumentation außerdem den Zusatz robots.txt an die Kennung, daran erkennen Sie diese Zugriffe im Log. Ein Beispiel für Befehl und Zeile aus einem fiktiven Log:
grep -E "OAI-SearchBot|GPTBot|ChatGPT-User" access.log 203.0.113.7 - - [Tag/Monat/Jahr:10:15:32 +0200] "GET /leistungen/notdienst/ HTTP/1.1" 200 18432 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"
Findet sich dort nichts, kann das an einer Sperre liegen, aber auch daran, dass noch niemand eine passende Frage gestellt hat oder dass der Hoster keine Logs liefert. Nach einer Änderung der robots.txt brauchen die Systeme laut OpenAI rund 24 Stunden. Was die Datei sperren kann und was nicht, erklärt unser Ratgeber zur robots.txt. Für Perplexity gilt dieselbe Logik mit eigenen Kennungen, wie der Ratgeber Perplexity als Suchmaschine zeigt.
Eigene Auswertung: Wer weist OpenAI-Kennungen ab?
Wir haben bei 56 Websites aus unseren früheren Stichproben die Startseite viermal abgerufen: mit einer normalen Browserkennung und mit den Kennungen von OAI-SearchBot, GPTBot und ChatGPT-User. Alle 56 lieferten dem Browser die Seite aus. Das Diagramm zeigt, wie viele Server auf die Bot-Kennung mit einem Fehlercode antworteten:
Anteil der 56 Websites mit Fehlercode statt Startseite, je Kennung. Browserkennung: bei allen 56 erfolgreich.
Am häufigsten traf es GPTBot: 6 von 56 Servern lieferten einen 403-Fehler, fünf davon bei Betriebs-Websites. Nur eine dieser Websites nannte GPTBot in der robots.txt, bei den anderen fünf steht dazu nichts in der robots.txt, die Sperre liegt auf dem Server. Das trifft laut OpenAI zunächst das Training, nicht die Suche. Eine Betriebs-Website wies alle drei Kennungen ab, bei ChatGPT-User kam zusätzlich bei einem Verzeichnis der Fehler 405. Von den 56 Websites lagen 6 hinter Cloudflare, zwei davon wiesen GPTBot ab. Wir haben die Abweichungen wiederholt abgerufen, sie blieben gleich. Drei Einschränkungen gehören dazu: Der Test prüft nur die Kennung und nicht die echten IP-Adressen von OpenAI, die Stichprobe ist klein, und die Startseite sagt nichts über alle Unterseiten.
Wo es hakt: Firewall, CDN und Plugins
In unserer Stichprobe lag die Sperre meist nicht in der robots.txt, sondern in einer Schutzschicht davor. Cloudflare etwa trennt laut seiner Dokumentation zu KI-Bots in Search, Agent und Training und lässt jede Gruppe getrennt blocken oder erlauben. Für neue Domains sehen die Standardwerte vor, Training- und Agent-Bots auf Seiten mit Werbung zu blockieren, Search bleibt erlaubt. Wer Werbung ausspielt oder Bots global blockt, sollte nachsehen, ob Search frei ist. Die Tabelle ordnet typische Ursachen ein:
| Ursache | So zeigt es sich | Was Sie tun |
|---|---|---|
| robots.txt sperrt OAI-SearchBot oder alle Bots | Disallow: / bei User-agent: * oder beim Bot-Namen | Regel entfernen oder für OAI-SearchBot erlauben |
| CDN oder Firewall blockt KI-Bots | Browser sieht die Seite, im Log erscheinen 403-Fehler | Bot-Einstellungen prüfen, Search nicht blockieren |
| Server blockt unbekannte Kennungen | Fehlercode nur bei Bot-Kennung, nicht im Browser | Sperrliste des Hosters oder Plugins anpassen |
| Seite nur per Skript sichtbar | Rohtext der Seite ist fast leer | Inhalte im HTML-Text ausliefern |
Ein Beispiel zur Einordnung: Ein Heizungsbauer aktiviert in seinem Sicherheits-Plugin den Schutz vor „unbekannten Bots“. Die Website sieht für Kunden unverändert aus, im Log stehen aber 403-Fehler für alle Bot-Kennungen. Technische Grundlagen wie diese behandelt unsere Leistung Technische SEO und Ladezeit. Eine Zusatzdatei ersetzt die Erreichbarkeit nicht, wie unser Ratgeber zur llms.txt zeigt.
Interaktiv: Wo könnte ChatGPT bei Ihnen scheitern?
Wählen Sie Ihre Situation:
Fazit: Erreichbar sein ist die Voraussetzung, nicht die Garantie
ChatGPT kann Ihre Website nur abrufen, wenn robots.txt, Firewall und Server den Zugriff zulassen, und in unserer Stichprobe taten das die meisten Server für OAI-SearchBot. Fünf von sechs GPTBot-Sperren standen dagegen nicht in der robots.txt, sondern im Server. Prüfen Sie deshalb die robots.txt, die Bot-Einstellungen Ihrer Schutzschicht und das Server-Log. Dass ein Bot Ihre Seite abrufen darf, heißt aber nicht, dass ChatGPT sie nennt, denn wie bei der Zitierfähigkeit in KI-Antworten entscheidet der Inhalt mit.