Ausschluss von KI-Crawlern

Ausschluss von KI-Crawlern bezeichnet die technische Maßnahme, bestimmte KI-Crawler daran zu hindern, die Inhalte einer Website abzurufen. Dies kann beispielsweise über die Datei robots.txt erfolgen. (vgl. O‘Daniel/Jaeckert 2026, S. 31 ff.)

Beispiel: Ein Medienunternehmen, das seine kostenpflichtigen Fachartikel vor dem Zugriff bestimmter KI-Crawler schützen möchte und diese deshalb gezielt sperrt. Dadurch kann die Website allerdings auch als Quelle für entsprechende KI-Antworten wegfallen.

O‘Daniel, B.; Jaeckert, F. (2026): Generative Engine Optimization: Sichtbar in KI-Systemen. Von SEO zu GEO – eine Einführung für Unternehmen. Wiesbaden: Springer Fachmedien