Google baut auf der Suche auf
Laut Google nutzen die KI-Funktionen die bestehende Suchinfrastruktur. Ein besonderes KI-Schema ist nicht erforderlich; Indexierbarkeit, Snippet-Regeln und normale Suchkontrollen bleiben maßgeblich.
OpenAI trennt Suche und Training
OAI-SearchBot dient der Auffindbarkeit in der Suche. GPTBot ist eine separate Einstellung im Zusammenhang mit möglichem Modelltraining. Beide Zwecke sollten unabhängig entschieden werden.
Anthropic und Perplexity dokumentieren eigene Zugriffe
Beide Anbieter veröffentlichen Crawler-Kennungen und Hinweise zum Abruf. Robots-Regeln sollten durch Live-Tests an CDN oder WAF ergänzt werden, da eine Richtlinie erfolgreichen Zugriff nicht beweist.
KURZANTWORT / CRAWLER-RICHTLINIE
KI-Crawler sollten nach eindeutig benanntem Agenten und Zweck gesteuert werden, nicht mit einer einzigen Pauschalregel.
Die automatische Suche, ein Seitenabruf auf ausdrücklichen Wunsch eines Menschen und die Sammlung von Inhalten für die Modellentwicklung sind drei verschiedene Vorgänge. Mehrere Anbieter veröffentlichen deshalb getrennte Agentennamen. So kann ein Betreiber den Such-Crawler zulassen und dem Trainings-Crawler den Zugriff verwehren. Alle Bots mit einem KI-Bezug im Namen als denselben Besucher zu behandeln, nimmt diese Wahlmöglichkeit wieder weg.
Die Entscheidung beginnt in der robots.txt, endet dort aber nicht. Ursprungsserver, CDN, Firewall, Bot-Management, Rate-Limits und Anwendung müssen gemeinsam die beabsichtigte öffentliche Antwort ausliefern. Da sich ein User-Agent leicht fälschen lässt, sollte eine sicherheitsrelevante Ausnahme zusätzlich über die aktuellen IP-Listen oder das Verifizierungsverfahren des Anbieters geprüft werden. Eine robots.txt-Regel hält den Willen des Herausgebers fest; sie beweist weder einen echten Besuch noch Indexierung oder Zitierung.
Für einen Herausgeber, der gefunden werden möchte, ist meist folgende Ausgangslage sinnvoll: öffentliche Such-Crawler und nutzerveranlasste Abrufe zulassen, die Modellentwicklung separat entscheiden, nicht öffentliche Bereiche mit Authentifizierung schützen und typische URLs von außerhalb der Produktionsumgebung testen. Die Richtlinie braucht ein Datum und einen Verantwortlichen, denn Bezeichnungen, Zwecke und Netzbereiche können sich ändern.
DREI ZWECKE / DREI ENTSCHEIDUNGEN
Erst den Vorgang benennen, dann die Regel schreiben.
Ein Anbieter kann mehrere Agenten betreiben. Eine belastbare Richtlinie hält für jeden Zweck, Ziel und vertretbaren Betriebsaufwand fest.- 01
Sucherschließung
Ein automatischer Crawler findet und aktualisiert Dokumente für einen Such- oder Antwortindex. Wer ihn sperrt, kann die Teilnahme an der jeweiligen Suche einschränken oder verlieren. Eine Freigabe ist dennoch keine Garantie für Indexierung oder Auswahl.
Entscheidung: Soll dieses öffentliche Material über die Suche dieser Plattform auffindbar sein? - 02
Abruf auf Nutzerwunsch
Der Fetcher kommt, weil ein Mensch das Produkt gebeten hat, eine bestimmte Seite zu öffnen oder zu verwenden. Einige Anbieter erklären, dass gewöhnliche robots.txt-Regeln für solche nutzerveranlassten Abrufe nicht gelten müssen. Vertrauliche Inhalte schützt deshalb nur eine echte Zugriffs- und Berechtigungskontrolle.
Entscheidung: Darf ein Nutzer dieses Produkt eine Seite abrufen lassen, die auch jeder anonyme Besucher öffnen kann? - 03
Modellentwicklung
Ein eigener Crawler oder Kontrolltoken drückt aus, ob öffentliche Inhalte zum Trainieren oder Verbessern von Basismodellen gesammelt werden dürfen. Diese Wahl ist von der Sucherschließung unabhängig und sollte zur Rechts-, Lizenz- und Geschäftspolitik des Herausgebers passen.
Entscheidung: Erlaubt der Herausgeber diese dokumentierte Entwicklungsnutzung im Rahmen seiner Rechte und Risikopolitik?
PLATTFORM- UND AGENTENMATRIX
Die aktuelle offizielle Bezeichnung verwenden und anschließend den gesamten Auslieferungsweg prüfen.
Die Tabelle gibt den dokumentierten Stand zum Prüfdatum wieder. Vor jeder Änderung ist die verlinkte Primärquelle erneut zu lesen; eine kopierte IP-Liste gehört ohne laufende Aktualisierung nicht dauerhaft in die Sicherheitskonfiguration.RICHTLINIE UND PRÜFABLAUF
In fünf Durchgängen von der Veröffentlichungsabsicht zum belastbaren Nachweis.
01 / EINORDNEN
Inhalte erfassen und festlegen, was tatsächlich öffentlich ist.
Öffentliche redaktionelle und kommerzielle Seiten sind von Kontobereichen, Formulardaten, privaten Dateien, Vorschau-Hosts, internen Suchergebnissen und Administrationspfaden zu trennen. robots.txt ist keine Zugangskontrolle. Vertrauliche Inhalte gehören hinter eine Authentifizierung, selbst wenn sämtliche Crawler gesperrt sind.
Auch die Rechte an Büchern, Datensätzen, Bildern und Kundenmaterial müssen dokumentiert sein. Eine Crawler-Regel kann keine Rechte einräumen, die der Herausgeber nicht besitzt. Eine großzügige globale Freigabe darf deshalb kein Material erfassen, dessen Veröffentlichungsstatus ungeklärt ist.
02 / ENTSCHEIDEN
Für jeden dokumentierten Zweck eine eigene Entscheidung treffen.
Eine kleine Entscheidungstabelle genügt: Agent, Anbieter, Zweck, gewünschte Regel, Verantwortlicher, Quell-URL, Entscheidungs- und Prüftermin. Suchzugriff, Nutzerabruf und Modellentwicklung dürfen nicht automatisch dieselbe Regel erben, nur weil sie vom selben Unternehmen stammen.
Ist Auffindbarkeit das Ziel, müssen die dafür notwendigen automatischen Suchagenten erreichbar bleiben. Für die Modellentwicklung kann der Herausgeber trotzdem anders entscheiden. Der Zielkonflikt sollte offen beschrieben und bei geschützten oder lizenzierten Inhalten rechtlich geklärt werden.
03 / UMSETZEN
robots.txt, Edge-Sicherheit und Anwendung aufeinander abstimmen.
Agentengruppen exakt und ohne unbeabsichtigte Vorrangkonflikte veröffentlichen. Danach CDN-Botregeln, Managed Challenges, Ländersperren, Rate-Limits, Origin-Allow-Lists und Middleware prüfen. Ein Allow-Eintrag setzt keine Firewall außer Kraft, die 403, eine Prüfseite oder eine leere 200-Antwort liefert.
Begrenzungen sollten nachvollziehbar dosiert sein. Eine zu harte Pauschalregel kann Abrufe vollständig abbrechen lassen; fehlender Schutz öffnet den Ursprung dagegen für gefälschten Traffic. Wo ein Anbieter IP-Bereiche publiziert, werden sie mit dem User-Agent kombiniert und regelmäßig vom offiziellen Endpunkt erneuert.
04 / PRÜFEN
Regelauswertung, Netzwerkauslieferung und gerenderte Aussage getrennt testen.
Zuerst feststellen, ob die Ziel-URL für die betreffende robots-Gruppe zulässig ist. Danach von außerhalb des Ursprungs einen Request mit Agentenkennung senden und Status, End-URL, Header, Body-Hash sowie etwaige Challenge dokumentieren. Abschließend typische Seiten rendern und kontrollieren, ob Antwort, Belege und Links erhalten bleiben.
Ein synthetischer User-Agent-Test zeigt lediglich, wie der Stack auf diesen Text aus dem Testnetz reagiert. Er authentifiziert keinen Plattformbesuch. Für die Einordnung echter Logdaten braucht es die aktuelle IP-Veröffentlichung oder das vom Anbieter beschriebene DNS-Verfahren.
05 / BEOBACHTEN
Zugänglichkeit, Besuch, Indexierung und Zitierung getrennt führen.
Ein erfolgreicher Auslieferungstest belegt die technische Eignung zu einem bestimmten Zeitpunkt. Später können Serverlogs einen verifizierten Besuch, Webmaster-Werkzeuge einen Crawl oder Indexeintrag und Antwortbeobachtungen eine Zitierung zeigen. Keine dieser Stufen darf aus einer anderen abgeleitet werden.
Die Richtlinie ist neu zu prüfen, wenn sich offizielle Dokumentation, Agentenname, IP-Feed, Firewall-Produkt, Hosting-Aufbau oder Veröffentlichungsrechte ändern. Vorherige Fassungen bleiben erhalten; der neue Zustand wird erst nach einem erneuten Test als live gemeldet.
MINDESTUMFANG DES RICHTLINIENREGISTERS
Eine brauchbare Crawler-Richtlinie umfasst sechs Nachweise zusätzlich zur robots.txt.
Die öffentlich erreichbare Datei ist nur ein Ausdruck einer umfassenderen Betriebsentscheidung.Zweckverzeichnis
Jeden benannten Agenten Sucherschließung, Nutzerabruf, Modellentwicklung oder einer anderen dokumentierten Aufgabe zuordnen. Der Markenname allein belegt keinen Zweck.
Inhaltsgrenze
Öffentliche Routenfamilien der Richtlinie und durch Authentifizierung geschützte Systeme aufführen. Subdomains und alternative Hosts ausdrücklich einbeziehen.
Primärquellennachweis
Offizielle Dokumentations-URL, Prüfdatum, Agententoken, Verifizierungsendpunkt und wesentliche Einschränkungen speichern. Für veränderliche Angaben einen Wiedervorlagetermin setzen.
Edge-Umsetzung
CDN-, WAF-, Rate-Limit-, Länder- und Origin-Regeln erfassen, die eine scheinbare robots-Freigabe überstimmen können, einschließlich zuständiger Person.
Abnahmenachweis
Parsergebnis, HTTP-Antwort mit Agentenkennung, Signatur des finalen Bodys, ausgefallene Ressourcen und einen repräsentativen Render jeder wichtigen Routenklasse aufbewahren.
Ergebnisprotokoll
Bestätigte Besuche, Indexnachweise, Zitate und Verweise getrennt führen. Aus einem erfolgreichen Zugriffstest darf keine unbelegte Aussage über spätere Nutzung werden.
WARNZEICHEN IN CRAWLER-RICHTLINIEN
Acht Fehler, die entweder Auffindbarkeit oder Sicherheit beschädigen.
Probleme entstehen meist, wenn unterschiedliche Kontrollen zusammengelegt oder einmal gelesene Dokumentationen als dauerhaft behandelt werden.Alle KI-bezeichneten Agenten werden gemeinsam gesperrt
Damit können Sucherschließung und nutzerveranlasste Abrufe ausfallen, obwohl die eigentliche Entscheidung nur die Modellentwicklung betraf.
Jeder Agent erhält Zugriff auf jede Route
Öffentliche Auffindbarkeit rechtfertigt keine Freigabe von Konten, Verwaltung, privaten Dateien oder Formulardaten. Vertrauliches braucht Authentifizierung.
Der User-Agent gilt als Identitätsnachweis
Agentennamen lassen sich leicht fälschen. Sicherheitsausnahmen müssen auch das dokumentierte Netzverifizierungsverfahren des Anbieters einsetzen.
Nur die robots.txt wird getestet
CDN, Firewall, Rate-Limiter oder Ursprung können weiterhin eine Challenge, einen Fehler, einen anderen Body oder blockierte Ressourcen ausliefern.
Google-Extended wird als Suchsteuerung dargestellt
Google erklärt ausdrücklich, dass dieser Token weder Aufnahme noch Ranking in der Google-Suche beeinflusst.
ChatGPT-User soll ChatGPT Search steuern
OpenAI benennt OAI-SearchBot als Suchkontrolle und erklärt, dass ChatGPT-User nicht über die Aufnahme in Search entscheidet.
Ein Botzugriff wird als Training oder Zitat gemeldet
Ein Request belegt weder die spätere Verwendung noch eine Aufnahme in eine Antwort. Zweck und Ergebnis benötigen eigene Nachweise.
Eine kopierte IP-Liste wird nie aktualisiert
Netzbereiche und Agentenversionen können wechseln. Eine alte Liste sperrt echte Zugriffe oder vertraut Adressen, die dem Anbieter nicht mehr gehören.
VERKNÜPFTE NACHWEISE
Die Crawler-Richtlinie mit dem übrigen Discovery-System verbinden.
Die Richtlinie wirkt zusammen mit technischer Auslieferung, klar begrenztem Audit, Discovery-Modell und Ergebnismessung. Für sich allein ist sie keine Ranking-Maßnahme.FRAGEN / KLARE ANTWORTEN
Was Crawler-Kontrollen entscheiden können – und was nicht
01Kann ich ChatGPT Search zulassen und OpenAI-Modelltraining sperren?+
OpenAI dokumentiert OAI-SearchBot und GPTBot als getrennte Kontrollen. Ein Herausgeber kann OAI-SearchBot für Search freigeben und GPTBot sperren, um für Training eine andere Präferenz auszudrücken. Die tatsächliche Netzwerk- und Seitenauslieferung bleibt gesondert zu prüfen.
02Entfernt eine Sperre von Google-Extended meine Website aus der Google-Suche?+
Laut Google nein. Google-Extended ist ein eigener Kontrolltoken für bestimmte Gemini-Trainings- und Grounding-Nutzungen und beeinflusst weder Aufnahme noch Ranking in der Google-Suche. Für die Suche ist Googlebot maßgeblich.
03Garantiert eine Allow-Regel ein KI-Zitat?+
Nein. Sie kann lediglich eine Zugriffshürde beseitigen. Ein echter Besuch, Indexierung oder Abruf, Auswahl als Grounding-Quelle, Zitierung und Empfehlung sind nachgelagerte, voneinander getrennte Ereignisse.
04Reicht robots.txt zum Schutz privater Inhalte?+
Nein. Sie teilt Crawlern eine Präferenz mit, ist aber kein Berechtigungssystem. Private Seiten, Dateien und APIs benötigen Authentifizierung, Autorisierung und passende Anwendungs- oder Netzwerkkontrollen.
05Wie erkenne ich einen echten Crawler-Request?+
Nicht allein dem User-Agent vertrauen. Aktuelle IP-Bereiche, Verifizierungsendpunkte oder das vorgeschriebene Vorwärts- und Rückwärts-DNS-Verfahren des Anbieters verwenden und Datum sowie Ergebnis zusammen mit dem Requestnachweis speichern.
Praxis-Checkliste
- Zweck jeder Crawler-Regel dokumentieren
- Suchabruf und Trainingseinstellung trennen
- Live-Antworten mit den veröffentlichten User Agents prüfen
- Offizielle Dokumentation nach Plattformänderungen erneut prüfen
Offizielle Quellen
- Google Search CentralAI features and your website↗
- Google Search CentralGoogle's common crawlers↗
- Google Search CentralIntroduction to robots.txt↗
- OpenAIOverview of OpenAI crawlers↗
- Anthropic Help CenterAnthropic web crawlers↗
- Perplexity DocsPerplexity crawlers↗
- Microsoft Bing Webmaster ToolsWhich crawlers does Bing use?↗
- Microsoft Bing Webmaster BlogIntroducing AI Performance in Bing Webmaster Tools↗
- Yandex WebmasterYandex robot user agents↗