AI-Crawling AI-Crawling bezeichnet das automatisierte Abrufen von Webseiten durch die Systeme von KI-Anbietern – teils zum Sammeln von Trainingsdaten, teils zur Beantwortung einer konkreten Anfrage in Echtzeit. Beide Zwecke werden häufig von unterschiedlichen Crawlern desselben Anbieters bedient und lassen sich in der robots.txt getrennt steuern. Wer einen Crawler sperrt, kann in den zugehörigen Antworten nicht als Quelle erscheinen.
Kurz-Fakten
Trainings- und Abrufcrawler sind meist getrennt steuerbar
Steuerung erfolgt über benannte User-Agents in der robots.txt
Ein gesperrter Abrufcrawler bedeutet keine Nennung als Quelle
Viele Systeme sperren AI-Crawler versehentlich als Voreinstellung mit
Bedeutung in der Praxis
Die Entscheidung ist eine Abwägung, keine technische Frage: Wer Inhalte nicht in Trainingsdaten sehen möchte, verzichtet auf einen Teil der Sichtbarkeit. Beides gleichzeitig geht nicht.
Wichtig ist vor allem, dass die Entscheidung bewusst fällt. In der Praxis ist der häufigste Befund eine robots.txt, die Abrufcrawler sperrt, ohne dass jemand das gewollt oder gewusst hätte.
Inhaber von SEO NW in Bertingen, Sachsen-Anhalt. Optimiert seit 2012 Websites für Suchmaschinen und arbeitet seit dem Aufkommen generativer Antwortsysteme an derselben Frage für Sprachmodelle: unter welchen Bedingungen ein Inhalt übernommen und der richtigen Quelle zugeschrieben wird. Schwerpunkt: technisches SEO, strukturierte Daten und Generative Engine Optimization.