Crawling Crawling bezeichnet das automatisierte Abrufen von Webseiten durch Programme, die Verweisen folgen und Inhalte einsammeln. Suchmaschinen und KI-Anbieter setzen dafür eigene Crawler ein, die sich über die robots.txt einzeln steuern lassen. Wie oft und wie tief eine Website abgerufen wird, hängt von ihrer Größe, ihrer Aktualität und der Serverantwortzeit ab.
Kurz-Fakten
Vorstufe der Indexierung, nicht dasselbe
Steuerbar über robots.txt, Verweisstruktur und Sitemap
Langsame Server verringern die Zahl abgerufener Seiten
Bei kleinen Websites ist das Crawl-Budget praktisch nie das Problem
Bedeutung in der Praxis
Der letzte Punkt räumt mit einer verbreiteten Sorge auf: Unterhalb einiger zehntausend Adressen ist das Crawl-Budget kein sinnvoller Ansatzpunkt. Wer bei dreihundert Seiten daran arbeitet, optimiert an der falschen Stelle.
Relevant wird es bei großen Shops mit Filterkombinationen – dort werden regelmäßig Millionen von Adressen erzeugt, die niemand braucht.
Inhaber von SEO NW in Bertingen, Sachsen-Anhalt. Optimiert seit 2012 Websites für Suchmaschinen und arbeitet seit dem Aufkommen generativer Antwortsysteme an derselben Frage für Sprachmodelle: unter welchen Bedingungen ein Inhalt übernommen und der richtigen Quelle zugeschrieben wird. Schwerpunkt: technisches SEO, strukturierte Daten und Generative Engine Optimization.