KI-Training per robots.txt: Was die neue gemeinsame Steuerung von Google, OpenAI & Co. für Ihre Website bedeutet

Am 30. Oktober 2026 hat Google angekündigt, eine gemeinsame Steuerung für KI-Training in der robots.txt zu unterstützen. Am selben Tag haben OpenAI und Microsoft ähnliche Schritte bekannt gegeben, Anthropic setzt den zugrunde liegenden Entwurf nach eigenen Angaben bereits um. Für Website-Betreiber ist das die erste Chance, mit einer Regel festzulegen, ob ihre Inhalte zum Training von KI-Modellen verwendet werden dürfen, statt für jeden Anbieter einen eigenen Crawler zu blockieren.

In diesem Beitrag erklären wir, was genau angekündigt wurde, was sich an Ihrer Website heute nicht ändert und welche Entscheidung Sie trotzdem jetzt treffen sollten, damit Sie 2027 nicht unter Zeitdruck an der robots.txt herumbasteln.

Das Wichtigste in Kürze

• Was: Eine gemeinsame, maschinenlesbare Regel in der robots.txt, mit der Sie einmal für viele KI-Anbieter festlegen, ob Ihre Inhalte für KI-Training genutzt werden dürfen.
• Wer: Google hat Unterstützung angekündigt, OpenAI eine parallele Zusage gemacht, Microsoft für Bing eigene neue Steuerungen vorgestellt. Der technische Entwurf kommt aus der IETF-Arbeitsgruppe „AI Preferences“.
• Wann: Google strebt die Unterstützung für 2027 an. Heute müssen Sie nichts umstellen.
• Wichtig: Training ist nicht dasselbe wie Sichtbarkeit in der Google-Suche oder in KI-Antworten. Wer das verwechselt, sperrt sich im schlimmsten Fall aus der Suche aus.

Was wurde genau angekündigt?

Google hat im Search Central Blog erklärt, künftig ein gemeinsames Signal für KI-Training in der robots.txt auszuwerten. Die Grundlage ist ein Internet-Draft der IETF mit dem Titel „Machine-Readable Training Preference Signal“, der ebenfalls am 30. Oktober 2026 veröffentlicht wurde. Die Idee: Statt dass jeder KI-Anbieter seinen eigenen Crawler-Namen oder sein eigenes Token pflegt, gibt es eine einheitliche Angabe, die alle teilnehmenden Anbieter lesen.

Google baut damit auf Google-Extended auf, dem Token, mit dem Website-Betreiber schon seit 2023 steuern können, ob Inhalte für Gemini-Modelle genutzt werden. Google-Extended bleibt bestehen. Die neue Regel ist eher eine Abkürzung, die über allen Anbietern liegt.

Microsoft geht für Bing einen Schritt weiter und trennt künftig ausdrücklich zwischen Training (Inhalte fließen in ein Modell ein) und Grounding (Inhalte werden live herangezogen, um eine KI-Antwort mit Quellen zu belegen). Laut Microsoft sollen die neuen Einstellungen ab dem 1. Februar 2027 greifen. Die alten Meta-Angaben NoArchive und NoCache will Bing ab März 2027 nicht mehr als KI-Präferenz auswerten.

Was sich heute an Ihrer Website nicht ändert

Ganz klar: Sie müssen heute nichts tun, und Ihr Ranking ändert sich durch die Ankündigung nicht. Google hat die finale Syntax der neuen Regel noch nicht als verbindlich veröffentlicht, der IETF-Entwurf ist ein Entwurf. Wer jetzt Zeilen aus Blogartikeln in die eigene robots.txt kopiert, riskiert Tippfehler in einer Datei, die über die Indexierung der ganzen Website entscheidet.

Außerdem gilt weiterhin, was Google zu Google-Extended dokumentiert: Das Token hat keinen Einfluss darauf, ob Ihre Seiten in der Google-Suche erscheinen, und ist kein Rankingfaktor. Die Trainings-Frage ist also bewusst von der Such-Frage getrennt.

Training, KI-Antworten und Suche: drei verschiedene Dinge

Die meisten Fehler, die wir in Audits sehen, entstehen, weil diese drei Ebenen vermischt werden:

1. Klassische Suche: Der Googlebot crawlt Ihre Seiten, indexiert sie und zeigt sie in der Suchergebnisseite. Blockieren Sie hier etwas, verschwinden Sie aus Google.
2. KI-Antworten mit Quellen: AI Overviews, der AI Mode, ChatGPT-Suche oder Perplexity ziehen Inhalte heran und verlinken sie als Quelle. Das ist für lokale Unternehmen oft wertvolle Sichtbarkeit. Wie Sie dort genannt werden, haben wir im Beitrag KI-Suche 2026: Wie Unternehmen in Google, ChatGPT & Co. sichtbar werden beschrieben.
3. KI-Training: Ihre Texte fließen dauerhaft in ein Sprachmodell ein, ohne dass in einer späteren Antwort zwingend auf Sie verwiesen wird. Genau hier setzt die neue Steuerung an.

Ein Handwerksbetrieb, der in KI-Antworten als Empfehlung auftauchen möchte, sollte also Ebene 1 und 2 auf keinen Fall blockieren. Ob er Ebene 3 erlaubt, ist eine geschäftliche Entscheidung, keine SEO-Pflicht.

Sollten Unternehmen KI-Training erlauben oder sperren?

Es gibt keine pauschal richtige Antwort. Aus unserer Arbeit mit Betrieben in der Region hat sich aber ein einfaches Raster bewährt:

Eher erlauben, wenn …

• Ihre Website vor allem Leistungen, Standorte und Kontaktwege beschreibt (typisch für Handwerk, Praxen, Dienstleister).
• Sie möchten, dass KI-Systeme Ihr Unternehmen, Ihre Marke und Ihr Angebot „kennen“.
• Ihre Inhalte ohnehin öffentlich und nicht Ihr eigentliches Produkt sind.

Eher sperren, wenn …

• Ihre Texte selbst das Produkt sind, etwa Fachartikel, Kurse, Anleitungen oder kostenpflichtige Inhalte.
• Sie mit Fotos, Grafiken oder Designs arbeiten, deren Nutzung Sie kontrollieren wollen.
• Es Vorgaben von Kammern, Verbänden oder Auftraggebern zur Weiterverwendung von Inhalten gibt.

Wichtig ist, dass die Entscheidung bewusst getroffen und dokumentiert wird. In vielen robots.txt-Dateien, die wir prüfen, wurden in den letzten zwei Jahren KI-Crawler „auf Verdacht“ per Copy-and-paste gesperrt, teils mit Einträgen, die zusätzlich die Sichtbarkeit in KI-Antworten kosten.

Was Sie jetzt schon vorbereiten können

1. Bestandsaufnahme der robots.txt: Öffnen Sie ihre-domain.de/robots.txt und notieren Sie, welche Bots aktuell gesperrt sind und warum. Wenn niemand mehr weiß, warum ein Eintrag da steht, ist das ein Warnsignal.
2. Entscheidung festhalten: Training erlauben oder nicht? Separat davon: Sichtbarkeit in KI-Antworten gewünscht? Schreiben Sie das in zwei Sätzen auf, dann ist die spätere Umsetzung eine Sache von Minuten.
3. Zuständigkeit klären: Wer darf die robots.txt ändern? Bei WordPress-Websites schreiben SEO-Plugins die Datei oft virtuell, ein zweiter Eintrag per FTP führt dann zu Verwirrung.
4. Monitoring einrichten: Beobachten Sie in der Google Search Console die Seiten-Indexierung und in Ihren Server-Logs die Zugriffe von KI-Crawlern. Unser Glossar zum Website-Monitoring erklärt die Grundlagen.
5. Inhalte stärken statt nur sperren: Wer in KI-Antworten genannt werden will, braucht klare Fakten, Autorinnen und Autoren mit Erfahrung und eine saubere Struktur. Mehr dazu im Beitrag E-E-A-T für lokale Unternehmen.

Und was ist mit KI-Agenten in WordPress?

Die Trainings-Steuerung betrifft Crawler, die öffentlich zugängliche Seiten lesen. Etwas ganz anderes sind KI-Assistenten, die Sie selbst mit Zugangsdaten an Ihr WordPress anbinden, etwa über die neue MCP-Schnittstelle. Dort entscheiden Benutzerrechte und Zugangsschlüssel, nicht die robots.txt. Wie das funktioniert und welche Sicherheitsregeln wir empfehlen, lesen Sie in KI-Agenten in WordPress: Was die neue MCP-Schnittstelle kann.

Unsere Einschätzung

Die gemeinsame Steuerung ist ein vernünftiger Schritt, weil sie ein Durcheinander aus Dutzenden Bot-Namen durch eine klare Aussage ersetzt. Sie ist aber kein Schutzschild: Sie ist eine Präferenz, die seriöse Anbieter respektieren. Vertragliche Vereinbarungen zwischen Verlagen und KI-Firmen können sie überstimmen, und unseriöse Crawler ignorieren robots.txt ohnehin.

Für die meisten kleinen und mittleren Unternehmen ist die wichtigere Frage weiterhin: Werden Sie in Google und in KI-Antworten gefunden? Die Trainings-Frage sollten Sie bis Anfang 2027 einmal sauber beantworten und dann umsetzen, sobald die finale Syntax veröffentlicht ist. Wer unsicher ist, ob die eigene robots.txt aktuell Sichtbarkeit kostet, kann das in einem SEO-Audit prüfen lassen. Wir schauen dabei gezielt auf Indexierung, Crawler-Regeln und KI-Sichtbarkeit.

Häufige Fragen

Verliere ich Rankings, wenn ich KI-Training sperre?

Nach Googles Dokumentation zu Google-Extended nein. Das Token beeinflusst weder die Aufnahme in die Google-Suche noch das Ranking. Achten Sie aber darauf, nicht versehentlich den Googlebot selbst zu sperren.

Ab wann gilt die neue Regel?

Google strebt die Unterstützung für 2027 an und will über den Fortschritt informieren. Bei Bing sollen die neuen KI-Einstellungen ab Februar 2027 greifen.

Muss ich die robots.txt jetzt ändern?

Nein. Treffen Sie die Entscheidung jetzt, setzen Sie sie um, sobald die endgültige Syntax veröffentlicht ist.

Quellen: Search Engine Roundtable: Google Adopts New AI Training Control (30.10.2026) · Unite.AI: Google plant Unterstützung für gemeinsame robots.txt-Steuerung · Search Engine Roundtable Recap 02.11.2026