Was ist Crawling?
Crawling bezeichnet den automatischen Prozess, bei dem Suchmaschinen-Bots (Crawler, Spider) Webseiten besuchen und deren Inhalte erfassen. Googles Crawler heißt „Googlebot" und folgt Links von Seite zu Seite, um neue und aktualisierte Inhalte zu entdecken. Crawling ist der erste Schritt vor der Indexierung – was nicht gecrawlt wird, kann nicht indexiert werden und nicht in den Suchergebnissen erscheinen.
Was ist das Crawl-Budget?
Das Crawl-Budget beschreibt die Anzahl der Seiten, die Google innerhalb eines bestimmten Zeitraums auf einer Domain crawlt. Es setzt sich aus zwei Faktoren zusammen: der Crawl-Rate (wie schnell Google crawlen kann, ohne den Server zu überlasten) und dem Crawl-Bedarf (wie wichtig und aktuell Google die Inhalte einschätzt). Für kleine Websites ist das Crawl-Budget selten ein Problem; für große Websites mit tausenden Seiten ist es ein kritischer SEO-Faktor.
Wie optimiert man das Crawl-Budget?
Die wichtigsten Maßnahmen: unwichtige Seiten per robots.txt vom Crawling ausschließen, eine aktuelle XML-Sitemap bereitstellen, Duplicate Content vermeiden, Weiterleitungsketten minimieren und die Seitenarchitektur flach halten, damit der Crawler alle wichtigen Seiten mit wenigen Klicks erreicht.
Wie crawlen AI-Systeme?
Neben dem Googlebot gibt es mittlerweile zahlreiche AI-Crawler – GPTBot, ClaudeBot, PerplexityBot und andere. Diese crawlen ebenfalls Websites, um Inhalte für ihre Sprachmodelle und Echtzeitsuche zu erfassen. Die Steuerung erfolgt über dieselbe robots.txt, die auch für Google gilt.
💡 Kurz & knapp
Crawling = Bots besuchen Ihre Website und erfassen Inhalte. Crawl-Budget = wie viel davon gecrawlt wird. Für große Websites ein kritischer Optimierungsfaktor.