Für die allermeisten Betriebs-Websites ist das Crawling-Budget schlicht kein Thema, um das man sich aktiv kümmern muss – Google schreibt das in der eigenen Dokumentation sogar wörtlich so. Relevant wird es laut Google erst bei sehr großen Websites mit mehr als einer Million Seiten oder bei mittelgroßen Websites mit über 10.000 Seiten, die sich täglich ändern. Eine Betriebs-Website mit einigen Dutzend bis wenigen Hundert Seiten liegt weit unterhalb dieser Schwelle.
Was Crawling-Budget genau ist: Kapazität und Nachfrage
Laut Googles eigener Dokumentation zum Crawling-Budget setzt es sich aus zwei Faktoren zusammen: der Crawling-Kapazitätsgrenze, die verhindert, dass Google einen Server mit zu vielen gleichzeitigen Anfragen überlastet, und der Crawling-Nachfrage, die davon abhängt, wie viele Seiten eine Website hat, wie oft sich Inhalte ändern und wie populär die Seiten im Web sind. Jede Website startet dabei laut Google mit demselben vorsichtigen Standardwert – reagiert der Server zuverlässig und stabil, hebt Google die Kapazitätsgrenze im Lauf der Zeit automatisch an. Reagiert ein Server dagegen langsamer oder mit Serverfehlern, senkt Google die Grenze wieder ab. Die Nachfrage-Seite hängt zusätzlich davon ab, wie viele URLs Google auf einer Website überhaupt kennt: Enthält eine Website viele doppelte oder unwichtige URL-Varianten, etwa durch unterschiedliche Sortierungen derselben Übersichtsseite, verbraucht Google einen Teil der ohnehin begrenzten Zeit auf genau diesen Seiten, statt auf die tatsächlich wichtigen Inhalte.
Googles eigene Schwellenwerte: Wann es überhaupt relevant wird
Google richtet den eigenen Leitfaden zum Crawling-Budget ausdrücklich nur an drei Arten von Websites: Große Websites ab etwa einer Million Seiten mit mindestens wöchentlichen Änderungen, mittelgroße bis große Websites ab etwa 10.000 Seiten mit täglichen Änderungen, oder Websites mit einem großen Anteil an Seiten, die im Indexierungsbericht der Search Console als „Gefunden – momentan nicht indexiert“ geführt werden. Ein Beispiel zur Einordnung: Der gesamte Ratgeber- und Leistungsseiten-Bereich einer typischen Betriebs-Website umfasst meist zwischen 30 und 150 Seiten – selbst bei wöchentlichen Aktualisierungen liegt das um mehrere Zehnerpotenzen unter der von Google genannten Schwelle von 10.000 Seiten. Google selbst formuliert die Konsequenz für solche Websites unmissverständlich: Werden neue Seiten ohnehin am selben Tag gecrawlt, an dem sie veröffentlicht werden, muss der Leitfaden zum Crawling-Budget gar nicht erst gelesen werden – stattdessen reicht es, die Sitemap aktuell zu halten und den Indexierungsbericht regelmäßig zu prüfen.
Der eine Fall, der auch kleine Websites betreffen kann
Eine Ausnahme nennt Google ausdrücklich unabhängig von der reinen Seitenzahl: Zeigt der Indexierungsbericht der Search Console einen großen Anteil an Seiten mit dem Status „Gefunden – momentan nicht indexiert“, deutet das laut Google auf ein tatsächliches Crawling-Problem hin, das auch eine kleinere Website betreffen kann. Ein Beispiel zur Einordnung: Ein Betrieb mit einer schwachen, überlasteten Hosting-Umgebung reagiert bei jedem Crawling-Versuch nur sehr langsam – selbst bei überschaubaren 80 Seiten kann Google dann Schwierigkeiten haben, alle Seiten zeitnah zu erfassen, weil die Kapazitätsgrenze durch die instabile Serverantwort niedrig bleibt. In diesem konkreten Fall lohnt sich ein Blick auf die eigene Ladezeit und Serverstabilität, unabhängig von der Seitenzahl – wie sich die mobile Ladezeit konkret verbessern lässt, zeigt unser Ratgeber zu den häufigsten LCP-Ursachen.
Ein verbreiteter Irrtum: noindex spart kein Crawling-Budget
Ein technisches Detail überrascht selbst erfahrene Website-Betreiber: Laut Google verbraucht eine mit noindex versehene Seite weiterhin Crawling-Budget, weil Googlebot die Seite trotzdem anfragen muss, um das noindex-Tag überhaupt zu entdecken, bevor die Seite wieder verworfen wird. Nur eine per robots.txt gesperrte Seite verhindert den Crawling-Versuch von vornherein vollständig. Google rät deshalb ausdrücklich davon ab, robots.txt nur vorübergehend zur Umverteilung von Crawling-Budget einzusetzen – stattdessen sollte die Datei ausschließlich für Seiten genutzt werden, die dauerhaft überhaupt nicht gecrawlt werden sollen. Welche weiteren Missverständnisse rund um robots.txt verbreitet sind, erklärt unser Ratgeber zu robots.txt. Für dauerhaft entfernte Seiten empfiehlt Google stattdessen einen echten 404- oder 410-Statuscode, weil Google eine bekannte URL sonst über lange Zeit weiter im Crawling-Vormerk behält. Ein Beispiel zur Einordnung: Ein Betrieb stellt eine alte Aktionsseite ein und belegt sie mit noindex, statt sie technisch zu löschen – Google fragt die Seite dadurch weiterhin regelmäßig ab, findet das noindex-Tag, verwirft die Seite erneut und wiederholt diesen Kreislauf unnötig oft. Ein sauberer 404-Statuscode hätte Google stattdessen das eindeutige Signal gegeben, die URL dauerhaft aus der Warteschlange zu entfernen.
Interaktiv: Ist Crawling-Budget für Ihre Website relevant?
Stellen Sie die ungefähre Seitenzahl und Aktualisierungsfrequenz Ihrer Website ein:
Fazit: Erst die Ausnahme, dann die Regel
Crawling-Budget ist laut Google ein Thema für sehr große oder sehr schnelllebige Websites – für die typische Betriebs-Website mit einigen Dutzend bis wenigen Hundert Seiten spielt es praktisch keine Rolle. Wichtiger bleibt für diese Websites, was ohnehin zu den Grundlagen gehört: eine aktuelle Sitemap, ein sauberer technischer Unterbau ohne unnötige Sperren, und ein regelmäßiger Blick in den Indexierungsbericht der Search Console.