Bots (Crawler)
SEO-Glossar
Definition
Bots, auch Crawler oder Spider genannt, sind automatisierte Programme, die Websites systematisch aufrufen, Inhalte abrufen und analysieren. Im SEO-Kontext sind damit in erster Linie Suchmaschinen-Bots gemeint, etwa Googlebot oder Bingbot, die das Web crawlen, um Inhalte für den Suchindex zu erfassen.
Ein Crawler folgt dabei internen und externen Links, ruft HTML-Dokumente ab, interpretiert Inhalte und wertet technische Signale wie Statuscodes, Weiterleitungen, Canonicals oder strukturierte Daten aus. Auf Basis dieser Informationen entscheidet die Suchmaschine, ob und wie eine Seite indexiert wird. ¹
Neben „guten“ Bots existieren auch nicht erwünschte Bots, etwa Scraper, Spam-Bots oder aggressive Monitoring-Tools. Technisch unterscheiden sie sich kaum, in ihrer Absicht allerdings sehr deutlich. ²
SEO-Relevanz
Bots sind die Grundvoraussetzung für SEO. Ohne Crawling keine Indexierung, ohne Indexierung keine Rankings. Entsprechend entscheidend ist es, dass Suchmaschinen-Bots eine Website effizient, vollständig und korrekt erfassen können.
SEO-relevant sind unter anderem:
- Crawlbarkeit aller wichtigen Seiten
- saubere interne Verlinkung als Crawl-Pfad
- korrekte Steuerung über robots.txt und Meta-Robots
- effiziente Nutzung des Crawl-Budgets bei großen Websites
Probleme entstehen, wenn Bots durch technische Fehler blockiert werden oder ihre Ressourcen auf irrelevante Seiten verschwenden. Endlose URL-Parameter, Filterkombinationen oder kaputte Weiterleitungsketten führen dazu, dass wichtige Inhalte zu selten oder gar nicht gecrawlt werden. ³
Wichtig: Bots bewerten keine Inhalte „wie Menschen“. Sie interpretieren Code, Struktur und Signale. Wer darauf vertraut, dass sich „Google das schon denkt“, wird zuverlässig enttäuscht.
Praxis-Tipp
Analysiere das Verhalten von Bots regelmäßig über Logfile-Analysen oder Crawling-Reports aus der Google Search Console. Nur dort siehst du, welche Seiten tatsächlich gecrawlt werden, nicht nur welche gecrawlt werden könnten.
Priorisiere für Suchmaschinen-Bots:
- indexierbare Seiten mit organischem Potenzial
- klare interne Verlinkung zu wichtigen Inhalten
- Blockierung irrelevanter URLs über robots.txt oder noindex
Ein praktisches Beispiel:
Ein großes Magazin stellt fest, dass Googlebot täglich Tausende Filter-URLs crawlt, während neue Artikel verzögert indexiert werden. Nach der gezielten Blockierung der Filterseiten steigt die Crawl-Frequenz relevanter Inhalte deutlich, die Indexierung beschleunigt sich messbar. Bots sind berechenbar. Man muss sie nur ernst nehmen.
Quellen
¹ Google Search Central – How Googlebot crawls the web
² Cloudflare – What is a bot?
³ Google Search Central – Optimize your crawl budget
Dein SEO in guten Händen
Sichere dir jetzt eine kostenlose Erstberatung
