robots.txt einfach erklärt heißt vor allem: unterscheiden, was die Datei tatsächlich kann und was nicht. Eine robots.txt-Datei kann steuern, welche Bereiche einer Website Google und andere Suchmaschinen crawlen dürfen – sie kann aber weder eine Seite sicher aus den Suchergebnissen fernhalten noch sensible Daten vor Menschen schützen. Laut Googles eigener Dokumentation ist robots.txt in erster Linie ein Werkzeug gegen unnötigen Crawling-Verkehr, keine Sicherheits- oder Indexierungssperre. Genau diese Verwechslung führt bei Betriebs-Websites regelmäßig zu Fehlern, die niemand bemerkt, bis eine eigentlich private Seite plötzlich in Google auftaucht.
Was robots.txt wirklich steuert: Crawling, nicht Indexierung
Der wichtigste Unterschied, den Google in der eigenen Dokumentation ausdrücklich betont: robots.txt entscheidet, ob eine Seite gecrawlt wird, nicht ob sie indexiert wird – zwei technisch unterschiedliche Vorgänge, die im Alltag oft verwechselt werden. Wird eine Seite per robots.txt gesperrt, besucht Googlebot sie schlicht nicht mehr. Verlinken aber andere Websites auf genau diese Seite, kann Google die URL trotzdem in den Suchergebnissen anzeigen – nur eben ohne Beschreibungstext, weil der Inhalt nie gelesen wurde. Wer eine Seite wirklich zuverlässig aus Google heraushalten will, braucht stattdessen ein noindex-Tag im HTML-Code der Seite selbst. Genau diese Unterscheidung wird in WordPress oft übersehen: Die Einstellung „Suchmaschinen vom Indexieren dieser Website abhalten“ erzeugt technisch ein noindex-Tag auf jeder Seite, nicht etwa einen robots.txt-Eintrag – wie unser Ratgeber zu den wichtigsten WordPress-SEO-Einstellungen beschreibt.
Die drei häufigsten Missverständnisse
Weil robots.txt oft mit Sicherheit oder vollständiger Unsichtbarkeit gleichgesetzt wird, entstehen regelmäßig dieselben drei Fehlannahmen:
| Annahme | Tatsächliche Wirkung laut Google |
|---|---|
| „Disallow blockiert die Seite komplett aus Google“ | Die URL kann trotzdem erscheinen, wenn sie von außen verlinkt wird – nur ohne Beschreibung |
| „robots.txt schützt sensible Daten vor Zugriff“ | Regeln sind nicht erzwingbar – unseriöse Crawler und Menschen mit dem direkten Link können die Datei trotzdem lesen |
| „Eine Sperre gilt für die ganze Domain inklusive Subdomains“ | Eine robots.txt gilt nur für genau das Protokoll, den Host und den Port, unter dem sie liegt |
Besonders der zweite Punkt wird häufig zum Problem: Weil die robots.txt-Datei selbst öffentlich unter beispielbetrieb.de/robots.txt einsehbar ist, verrät ein darin aufgeführter Pfad wie /interne-kalkulation/ potenziell sogar erst, dass es diesen Bereich gibt – ein Effekt, der bei tatsächlich sensiblen Bereichen genau das Gegenteil der gewünschten Wirkung erzielt. Für echten Schutz gilt deshalb: Passwort statt Disallow.
Aufbau einer robots.txt: Syntax an einem Beispiel
Eine robots.txt-Datei besteht aus einfachen Textregeln. Laut Google-Dokumentation ist dieses Beispiel bereits eine vollständige, gültige Datei:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/uploads/*.pdf$ Sitemap: https://beispielbetrieb.de/sitemap.xml
Die erste Zeile legt fest, für welchen Crawler die folgenden Regeln gelten – ein Sternchen steht für alle Crawler gleichzeitig. Disallow sperrt einen Pfad, Allow hebt innerhalb eines gesperrten Bereichs gezielt eine Ausnahme wieder auf, und Sitemap verweist auf die XML-Sitemap der Website, die Google zeigt, welche Seiten überhaupt zum Crawlen vorgesehen sind – wofür eine Sitemap genau gebraucht wird und wie man sie auf Fehler prüft, zeigt unser Ratgeber zur XML-Sitemap. Ein Beispiel zur Einordnung: Das WordPress-eigene Verwaltungsverzeichnis /wp-admin/ muss für Suchmaschinen nicht sichtbar sein, eine einzelne technische Datei darin (admin-ajax.php) wird aber von vielen Plugins benötigt und deshalb gezielt wieder freigegeben – würde diese Ausnahme fehlen, könnten manche Website-Funktionen für Google unvollständig erscheinen.
Der häufigste Praxisfehler: Vergessene Sperre nach dem Relaunch
Ein besonders häufiger Fehler entsteht nicht durch böse Absicht, sondern durch Vergesslichkeit: Während der Entwicklung einer neuen Website setzen Agenturen und Entwickler auf der Test- oder Staging-Version oft bewusst die Regel Disallow: / für alle Crawler, damit die unfertige Seite nicht versehentlich in Google auftaucht. Wird diese robots.txt beim Livegang unverändert mit auf die echte Domain übertragen, blockiert sie ab diesem Moment die komplette fertige Website für sämtliche Suchmaschinen – ein Fehler, der oft erst nach Wochen auffällt, wenn der organische Traffic unerklärlich einbricht, weil niemand aktiv nach der Ursache sucht. Ein Beispiel zur Einordnung: Ein Handwerksbetrieb lässt seine Website neu aufsetzen und freut sich über den pünktlichen Livegang – erst sechs Wochen später fällt im Suchmaschinen-Ranking auf, dass keine einzige Unterseite mehr in Google auftaucht, weil die Staging-Sperre nie entfernt wurde. Wer eine Website zu einem neuen Hoster umzieht oder komplett neu aufsetzt, sollte die robots.txt deshalb zu den ersten Dingen zählen, die direkt nach dem Livegang geprüft werden – unser Ratgeber zum Website-Umzug ohne Ausfallzeit listet weitere Punkte für genau diesen Übergang.
Interaktiv: Testen Sie die Beispiel-robots.txt
Wählen Sie einen Beispielpfad aus und sehen Sie, wie die robots.txt von oben ihn behandeln würde:
Fazit: robots.txt ist ein Wegweiser, kein Schloss
robots.txt eignet sich, um Suchmaschinen-Crawler gezielt von unwichtigen oder technischen Bereichen einer Website fernzuhalten und ihnen den Weg zur Sitemap zu zeigen – für echte Geheimhaltung oder eine sichere Entfernung aus Google reicht sie dagegen nicht aus. Auch KI-Crawler wie OAI-SearchBot lassen sich dort steuern, wie unser Ratgeber zur Quellenauswahl von ChatGPT zeigt; ob eine Firewall sie trotz erlaubter robots.txt aussperrt, beschreibt der Ratgeber Wird meine Website von ChatGPT gecrawlt?, und ob daneben eine llms.txt sinnvoll ist, erklärt unser Ratgeber llms.txt einfach erklärt. Wer eine Seite wirklich aus den Suchergebnissen heraushalten will, kombiniert robots.txt deshalb mit noindex oder Passwortschutz, statt sich allein auf die Disallow-Regel zu verlassen. Damit diese Mühe überhaupt zu mehr Sichtbarkeit führt, muss der Rest der Website ohnehin auf echte Ranking-Faktoren einzahlen – welche das sind, zeigt unser Ratgeber zu den wichtigsten Ranking-Faktoren.