Sichtbar bleiben, KI-Training verweigern

Lesezeit
2 Minuten
Bis jetzt gelesen

Sichtbar bleiben, KI-Training verweigern

18.09.2026 - 10:00
Veröffentlicht in:

Wer im Netz sichtbar bleiben will, musste bislang oft in Kauf nehmen, dass die eigenen Inhalte auch fürs KI-Training genutzt werden. Cloudflare will diesen Zielkonflikt jetzt auflösen – mit einer neuen Einstellung, die Suche und Training erstmals sauber trennt.

Websitebetreiber standen bislang oft vor einem Dilemma: Entweder sie erlauben KI-Systemen, ihre Inhalte zum Training zu nutzen, oder sie riskieren, in Suchmaschinen schlechter gefunden zu werden. Der Grund dafür liegt in sogenannten Mixed-Use-Crawlern, die große Anbieter gleichzeitig für die Suchindexierung und für KI-Training einsetzen.

Cloudflare hat nun eine neue Einstellung namens "Disallow AI Training" eingeführt. Sie soll es erlauben, Inhalte weiterhin für die klassische Suche zugänglich zu machen, gleichzeitig aber deren Nutzung für KI-Training zu untersagen. Apple, Google und Microsoft unterstützen die Funktion laut Cloudflare bereits oder haben sich verpflichtet, dies in absehbarer Zeit nachzuholen.

Warum Mixed-Use-Crawler zum Problem wurden

Laut Cloudflare blockieren weniger als ein Prozent der Websites auf der Plattform Suchmaschinen-Bots, weil die meisten Betreiber grundsätzlich gefunden werden wollen. Beim Training sieht das Bild anders aus: 17 Prozent der Websites versuchen inzwischen, KI-Training über irgendeinen Mechanismus zu unterbinden.

Eine simple robots.txt-Anweisung reicht dafür allerdings nicht aus, da sie weder erkennt, wer tatsächlich crawlt, noch einen Crawler stoppen kann, der die Vorgabe ignoriert. Cloudflare will dieses Problem über sein Netzwerk lösen, indem es Crawler identifiziert, ihr Verhalten klassifiziert und Regelverstöße blockiert.

Um Orientierung zu schaffen, führt Cloudflare zusätzlich die Kennzeichnung "Accountable" ein. Bot-Betreiber müssen dafür unter anderem eine Opt-out-Möglichkeit für Training anbieten, KI-Zusammenfassungen ablehnbar machen, URL-genaue Transparenz liefern und zusichern, dass ein Trainings-Opt-out das Suchranking nicht beeinflusst.

Automatische Trainings-Ablehnung gelant

Mit dem Update erhalten Betreiber vier Einstellungsmöglichkeiten auf Domain-Ebene: "Allow", "Disallow AI Training", "Block on pages with ads" und "Block". Die bisherige Sammeloption "Block AI Bots" entfällt zugunsten dieser feineren Steuerung für Suche, Training und Agenten.

Für Bestandskunden übernimmt Cloudflare die bisherigen Einstellungen automatisch in die neue Logik, ein manuelles Eingreifen ist laut Unternehmen in den meisten Fällen nicht nötig. Neue Domains erhalten je nach Geschäftsmodell unterschiedliche Voreinstellungen – werbefinanzierte Seiten bekommen dabei restriktivere Standardwerte für Training und Agenten.

Konkret als "Accountable" eingestuft sind unter anderem Applebot, Googlebot und Bingbot sowie die separaten Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI. Eine Ausnahme bildet Bingbot: Eine automatische Trainings-Ablehnung über robots.txt soll laut Cloudflare erst Anfang 2027 folgen, bis dahin bleibt nur der Umweg über ein Meta-Tag oder ein separates Tool.

KI-Zusammenfassungen als nächste Baustelle

Neben dem Training rückt für Cloudflare nun die Frage der KI-Zusammenfassungen in den Fokus, da sie beeinflussen, ob Nutzer eine Website überhaupt noch besuchen. Nach Unternehmensangaben liest mehr als die Hälfte der Verbraucher solche Zusammenfassungen und bricht die Suche danach deutlich häufiger vorzeitig ab.

Gleichzeitig sollen Besucher, die über KI-Suche auf eine Seite gelangen, laut den zitierten Daten deutlich häufiger konvertieren als klassische Suchbesucher. Cloudflare kündigt an, Betreibern künftig eine zentrale, feinere Steuerung darüber zu geben, in welchem Umfang eigene Inhalte in Zusammenfassungen auftauchen dürfen, orientiert auch an offenen Standards wie ai-prefs.

Update: Kritik an der automatischen Übertragung

Eine Auswertung von robots.txt-Dateien stellt die von Cloudflare versprochene automatische Übertragung allerdings infrage. Diese untersuchte rund 96.000 robots.txt-Dateien aus dem Common-Crawl-Datensatz. Demnach enthielt der alte Sperrvermerk der "Managed robots.txt" zwischen dem 5. und 13. September noch in rund 2,5 Prozent der Dateien eine Blockade für KI-Crawler, nach dem Stichtag am 15. September jedoch nur noch in 0,03 Prozent.

Besonders deutlich soll sich das an einer Stichprobe von 754 Websites zeigen, die im August noch alle acht untersuchten KI-Crawler ausschlossen: Bei den meisten später noch auswertbaren Seiten hätte sich im September keine entsprechende Sperre mehr in der robots.txt-Datei gefunden. Auf den ersten Blick sieht es also so aus, als hätten diese Websites den Zugang für KI-Crawler plötzlich wieder geöffnet, ohne dass die Betreiber das aktiv veranlasst hätten.

Ganz so dramatisch scheint die Lage aber offenbar nicht: Bei einem Großteil der betroffenen Seiten weise Cloudflare Trainings-Crawler wie GPTBot und ClaudeBot demnach weiterhin technisch ab, direkt am Netzwerkrand, bevor sie überhaupt auf die Website zugreifen könnten. Die eigentliche Sperre bestehe in diesen Fällen also fort. Verschwunden sei lediglich der öffentlich einsehbare Hinweis in der robots.txt-Datei, über den Website-Betreiber und Crawler-Anbieter bislang nachvollziehen konnten, dass eine Sperre überhaupt existiert.

Wir haben Cloudflare diesbezüglich um eine Stellungnahme gebeten.