Crawl Budget

SEO-Glossar

Definition

Das Crawl Budget beschreibt die Menge an Ressourcen, die eine Suchmaschine für das Crawling einer Website innerhalb eines bestimmten Zeitraums aufwendet. Es setzt sich im Wesentlichen aus zwei Faktoren zusammen: der Crawl-Rate-Limitierung und der Crawl-Nachfrage.

Die Crawl-Rate-Limitierung bestimmt, wie viele Anfragen ein Bot an eine Website stellen kann, ohne den Server zu überlasten. Die Crawl-Nachfrage beschreibt, wie stark Google bestimmte URLs tatsächlich crawlen möchte, abhängig von ihrer Relevanz, Aktualität und internen Verlinkung. ¹

Wichtig: Das Crawl Budget ist keine feste Zahl und kein manuell verteilbarer Wert. Es wird dynamisch angepasst und variiert je nach Website, Server-Performance und Seitenstruktur. Für kleine Websites spielt es in der Regel keine Rolle. Für große Websites hingegen sehr wohl.

Definition

SEO-Relevanz

Crawl Budget ist nur dann SEO-relevant, wenn Crawling zum Engpass wird. Das betrifft vor allem große Websites mit vielen Tausend oder Millionen URLs, etwa Shops, Marktplätze oder umfangreiche Magazine.

Ist das Crawl Budget ineffizient verteilt, werden wichtige Seiten zu selten gecrawlt, Aktualisierungen verzögert erkannt oder neue Inhalte spät indexiert. Gleichzeitig verschwenden irrelevante URLs wertvolle Ressourcen. ²

Typische Crawl-Budget-Killer sind:

endlose URL-Parameter
facettierte Navigationen ohne Begrenzung
Duplicate Content
fehlerhafte Weiterleitungsketten
Soft-404-Seiten

Ein häufiger Fehler ist die Überbewertung des Themas. Wer mit 500 indexierbaren Seiten über Crawl Budget diskutiert, hat andere Probleme. Wer mit 500.000 Seiten keines hat, ignoriert ein reales Risiko.

SEO-Relevanz

Praxis-Tipp

Optimiere Crawl Budget nicht pauschal, sondern zielgerichtet. Der erste Schritt ist immer Transparenz: Analysiere Crawling-Daten in der Google Search Console und, wenn möglich, per Logfile-Analyse.

Priorisiere dabei:

indexierbare Seiten mit organischem Potenzial
saubere interne Verlinkung zu wichtigen URLs
Reduktion irrelevanter und redundanter Seiten

Blockiere Crawling nur dort, wo es sinnvoll ist. robots.txt verhindert Crawling, nicht Indexierung. Für indexierte, aber unerwünschte Seiten ist noindex oft das bessere Werkzeug.

Ein praktisches Beispiel:

Ein Online-Shop stellt fest, dass Googlebot einen Großteil seines Crawl Budgets auf Filterkombinationen verwendet. Nach der Begrenzung dieser URLs und der Stärkung der internen Verlinkung zu Kategorie- und Produktseiten werden neue Produkte schneller indexiert und Ranking-Veränderungen zeitnäher erkannt. Das Crawl Budget wurde nicht erhöht, sondern endlich sinnvoll genutzt.

Praxis-Tipp

Quellen

¹ Google Search Central – Optimize your crawl budget

https://developers.google.com/crawling/docs/crawl-budget

² Google Search Central – Overview of crawling and indexing topics

https://developers.google.com/search/docs/crawling-indexing