Crawl Budget
SEO-Glossar
Definition
Das Crawl Budget beschreibt die Menge an Ressourcen, die eine Suchmaschine für das Crawling einer Website innerhalb eines bestimmten Zeitraums aufwendet. Es setzt sich im Wesentlichen aus zwei Faktoren zusammen: der Crawl-Rate-Limitierung und der Crawl-Nachfrage.
Die Crawl-Rate-Limitierung bestimmt, wie viele Anfragen ein Bot an eine Website stellen kann, ohne den Server zu überlasten. Die Crawl-Nachfrage beschreibt, wie stark Google bestimmte URLs tatsächlich crawlen möchte, abhängig von ihrer Relevanz, Aktualität und internen Verlinkung.
Wichtig: Das Crawl Budget ist keine feste Zahl und kein manuell verteilbarer Wert. Es wird dynamisch angepasst und variiert je nach Website, Server-Performance und Seitenstruktur. Für kleine Websites spielt es in der Regel keine Rolle. Für große Websites hingegen sehr wohl.
SEO-Relevanz
Crawl Budget ist nur dann SEO-relevant, wenn Crawling zum Engpass wird. Das betrifft vor allem große Websites mit vielen Tausend oder Millionen URLs, etwa Shops, Marktplätze oder umfangreiche Magazine. Ist das Crawl Budget ineffizient verteilt, werden wichtige Seiten zu selten gecrawlt, Aktualisierungen verzögert erkannt oder neue Inhalte spät indexiert. Gleichzeitig verschwenden irrelevante URLs wertvolle Ressourcen. ²
Typische Crawl-Budget-Killer sind:
- Soft-404-Seiten
- Duplicate Content
- endlose URL-Parameter
- fehlerhafte Weiterleitungsketten
- facettierte Navigationen ohne Begrenzung
Ein häufiger Fehler ist die Überbewertung des Themas. Wer mit 500 indexierbaren Seiten über Crawl Budget diskutiert, hat andere Probleme. Wer mit 500.000 Seiten keines hat, ignoriert ein reales Risiko.
Praxis-Tipp
Optimiere Crawl Budget nicht pauschal, sondern zielgerichtet. Der erste Schritt ist immer Transparenz: Analysiere Crawling-Daten in der Google Search Console und, wenn möglich, per Logfile-Analyse.
Priorisiere dabei:
- indexierbare Seiten mit organischem Potenzial
- saubere interne Verlinkung zu wichtigen URLs
- Reduktion irrelevanter und redundanter Seiten
Blockiere Crawling nur dort, wo es sinnvoll ist. robots.txt verhindert Crawling, nicht Indexierung. Für indexierte, aber unerwünschte Seiten ist noindex oft das bessere Werkzeug.
Ein praktisches Beispiel:
Ein Online-Shop stellt fest, dass Googlebot einen Großteil seines Crawl Budgets auf Filterkombinationen verwendet. Nach der Begrenzung dieser URLs und der Stärkung der internen Verlinkung zu Kategorie- und Produktseiten werden neue Produkte schneller indexiert und Ranking-Veränderungen zeitnäher erkannt. Das Crawl Budget wurde nicht erhöht, sondern endlich sinnvoll genutzt.
Quellen
¹ Google Search Central – Optimize your crawl budget
² Google Search Central – Overview of crawling and indexing topics
Dein SEO in guten Händen
Sichere dir jetzt eine kostenlose Erstberatung
