Google baut auf der Suche auf
Laut Google nutzen die KI-Funktionen die bestehende Suchinfrastruktur. Ein besonderes KI-Schema ist nicht erforderlich; Indexierbarkeit, Snippet-Regeln und normale Suchkontrollen bleiben maßgeblich.
OpenAI trennt Suche und Training
OAI-SearchBot dient der Auffindbarkeit in der Suche. GPTBot ist eine separate Einstellung im Zusammenhang mit möglichem Modelltraining. Beide Zwecke sollten unabhängig entschieden werden.
Anthropic und Perplexity dokumentieren eigene Zugriffe
Beide Anbieter veröffentlichen Crawler-Kennungen und Hinweise zum Abruf. Robots-Regeln sollten durch Live-Tests an CDN oder WAF ergänzt werden, da eine Richtlinie erfolgreichen Zugriff nicht beweist.
Praxis-Checkliste
- Zweck jeder Crawler-Regel dokumentieren
- Suchabruf und Trainingseinstellung trennen
- Live-Antworten mit den veröffentlichten User Agents prüfen
- Offizielle Dokumentation nach Plattformänderungen erneut prüfen