Definition

 

Bots, auch Crawler oder Spider genannt, sind automatisierte Programme, die Websites systematisch aufrufen, Inhalte abrufen und analysieren. Im SEO-Kontext sind damit in erster Linie Suchmaschinen-Bots gemeint, etwa Googlebot oder Bingbot, die das Web crawlen, um Inhalte für den Suchindex zu erfassen.

​

Ein Crawler folgt dabei internen und externen Links, ruft HTML-Dokumente ab, interpretiert Inhalte und wertet technische Signale wie Statuscodes, Weiterleitungen, Canonicals oder strukturierte Daten aus. Auf Basis dieser Informationen entscheidet die Suchmaschine, ob und wie eine Seite indexiert wird. ¹

​

Neben „guten“ Bots existieren auch nicht erwünschte Bots, etwa Scraper, Spam-Bots oder aggressive Monitoring-Tools. Technisch unterscheiden sie sich kaum, in ihrer Absicht allerdings sehr deutlich. ²

SEO-Relevanz

 

Bots sind die Grundvoraussetzung für SEO. Ohne Crawling keine Indexierung, ohne Indexierung keine Rankings. Entsprechend entscheidend ist es, dass Suchmaschinen-Bots eine Website effizient, vollständig und korrekt erfassen können.

​

SEO-relevant sind unter anderem:

​

• Crawlbarkeit aller wichtigen Seiten

• saubere interne Verlinkung als Crawl-Pfad

• korrekte Steuerung über robots.txt und Meta-Robots

• effiziente Nutzung des Crawl-Budgets bei großen Websites

​

Probleme entstehen, wenn Bots durch technische Fehler blockiert werden oder ihre Ressourcen auf irrelevante Seiten verschwenden. Endlose URL-Parameter, Filterkombinationen oder kaputte Weiterleitungsketten führen dazu, dass wichtige Inhalte zu selten oder gar nicht gecrawlt werden. ³

​

Wichtig: Bots bewerten keine Inhalte „wie Menschen“. Sie interpretieren Code, Struktur und Signale. Wer darauf vertraut, dass sich „Google das schon denkt“, wird zuverlässig enttäuscht.

Praxis-Tipp

 

Analysiere das Verhalten von Bots regelmäßig über Logfile-Analysen oder Crawling-Reports aus der Google Search Console. Nur dort siehst du, welche Seiten tatsächlich gecrawlt werden, nicht nur welche gecrawlt werden könnten.

​

Priorisiere für Suchmaschinen-Bots:

​

• indexierbare Seiten mit organischem Potenzial

• klare interne Verlinkung zu wichtigen Inhalten

• Blockierung irrelevanter URLs über robots.txt oder noindex

​

Ein praktisches Beispiel:

​

Ein großes Magazin stellt fest, dass Googlebot täglich Tausende Filter-URLs crawlt, während neue Artikel verzögert indexiert werden. Nach der gezielten Blockierung der Filterseiten steigt die Crawl-Frequenz relevanter Inhalte deutlich, die Indexierung beschleunigt sich messbar. Bots sind berechenbar. Man muss sie nur ernst nehmen.