Google опирается на поисковую инфраструктуру
Google указывает, что ИИ-функции используют существующие системы Поиска. Специальная разметка для ИИ не требуется; по-прежнему важны индексируемость, правила для сниппетов и обычные настройки Поиска.
OpenAI разделяет поиск и обучение
OAI-SearchBot отвечает за обнаружение материалов в поиске. GPTBot — отдельная настройка, связанная с возможным обучением моделей. Решения по этим целям следует принимать независимо.
Anthropic и Perplexity публикуют собственные правила
Обе платформы документируют имена краулеров и поведение при извлечении. Правила robots нужно дополнять живыми проверками CDN или WAF: один файл политики не доказывает успешный доступ.
КРАТКИЙ ОТВЕТ / ПОЛИТИКА КРАУЛЕРОВ
ИИ-краулерами следует управлять по имени агента и его назначению, а не одним общим правилом.
Поисковое обнаружение, загрузка страницы по запросу человека и сбор материалов для разработки моделей — разные виды деятельности. Поэтому некоторые платформы публикуют отдельные имена агентов: владелец сайта может принять самостоятельное решение по каждому назначению. Разрешить поискового робота и запретить обучающего — последовательная политика. Считать одним посетителем всех агентов, чьи названия связаны с ИИ, — нет.
Решение начинается с robots.txt, но им не ограничивается. Исходный сервер, CDN, межсетевой экран, система управления ботами, ограничитель частоты и само приложение должны отдавать предусмотренный публичный ответ. Строку User-Agent легко подделать, поэтому исключение из правил безопасности нужно сверять с актуальными диапазонами IP или способом проверки, опубликованным платформой. Запись в robots.txt выражает волю издателя, но не доказывает ни настоящий визит, ни индексацию, ни цитирование страницы.
Если издателю важно быть найденным, разумная исходная политика такова: оставить открытыми публичные материалы для поисковых роботов и загрузок по инициативе пользователя, отдельно решить вопрос разработки моделей, защитить непубличные маршруты аутентификацией и проверить типовые URL извне инфраструктуры публикации. Политику необходимо датировать и регулярно пересматривать, поскольку имена агентов, их назначение и сетевые диапазоны меняются.
ТРИ НАЗНАЧЕНИЯ / ТРИ РЕШЕНИЯ
Сначала определите действие, затем пишите правило.
У одной платформы может быть несколько агентов. Рабочая политика фиксирует назначение, ожидаемый результат и приемлемую эксплуатационную нагрузку для каждого.- 01
Поисковое обнаружение
Автоматический краулер находит и обновляет документы для поискового индекса или системы ответов. Запрет способен ограничить или исключить участие сайта в соответствующем поиске, но разрешение само по себе не гарантирует индексацию или выбор материала.
Решение: хотим ли мы, чтобы этот публичный материал находился через поиск данной платформы? - 02
Загрузка по запросу пользователя
Агент обращается к странице, потому что человек попросил продукт открыть или использовать её. Некоторые платформы предупреждают, что обычные правила robots.txt могут не применяться к таким действиям пользователя. Настоящей границей для закрытой информации остаются аутентификация, авторизация и защита приложения.
Решение: можно ли пользователю попросить продукт загрузить ту же страницу, которую свободно откроет любой анонимный посетитель? - 03
Разработка моделей
Отдельный краулер или управляющий токен отражает решение о сборе публичного контента для обучения или совершенствования базовых моделей. Оно не обязано совпадать с решением о поиске и должно учитывать права, лицензии и коммерческую политику издателя.
Решение: разрешает ли издатель документированное использование для разработки в рамках своих прав и модели риска?
МАТРИЦА ПЛАТФОРМ И АГЕНТОВ
Используйте актуальное официальное имя, затем проверяйте весь путь доставки.
В таблице зафиксированы роли, документированные на дату проверки. Перед изменением политики вновь откройте связанную первичную документацию; не превращайте скопированный список разрешений в бессрочное правило безопасности без сетевой проверки и обновления.ПОЛИТИКА И ПОРЯДОК ПРОВЕРКИ
Пять этапов от издательского решения до подтверждённого результата.
01 / КЛАССИФИКАЦИЯ
Составьте перечень материалов и определите, что действительно публично.
Отделите открытые редакционные и коммерческие страницы от кабинетов, данных форм, частных файлов, предварительных хостов, внутреннего поиска и административных маршрутов. robots.txt не является контролем доступа: конфиденциальные сведения должны находиться за аутентификацией, даже если их запретили всем краулерам.
Зафиксируйте права на книги, наборы данных, изображения и материалы клиентов. Политика краулинга не даёт прав, которых нет у издателя; широкое разрешение для всего сайта не должно незаметно открывать материалы с неясным статусом публикации.
02 / ВЫБОР
Примите отдельное решение для каждого документированного назначения.
Достаточно небольшой таблицы: агент, провайдер, цель, нужное правило, ответственный, дата, URL источника и срок пересмотра. Поисковый доступ, пользовательская загрузка и разработка моделей не должны автоматически получать одну политику лишь потому, что принадлежат одной компании.
Если цель — обнаружение, сохраняйте доступ для необходимых автоматических поисковых агентов. При этом издатель вправе выбрать другой режим для разработки моделей. Чётко опишите компромисс, а для защищённого или лицензируемого материала получите надлежащее юридическое решение.
03 / РЕАЛИЗАЦИЯ
Согласуйте robots.txt, пограничную защиту и приложение.
Публикуйте точные группы агентов, исключив случайные конфликты приоритетов. Затем проверьте правила ботов CDN, управляемые проверки, геоблокировки, лимиты запросов, списки доступа к исходному серверу и middleware приложения. Строка Allow не отменит межсетевой экран, который отвечает 403, страницей проверки или пустым телом со статусом 200.
Ограничения должны быть соразмерными. Чрезмерно жёсткое общее правило может остановить загрузку платформой; полное отсутствие защиты открывает источник для поддельного трафика. Если провайдер публикует диапазоны IP, сочетайте их с User-Agent и обновляйте с официального эндпоинта.
04 / ТЕСТИРОВАНИЕ
Отдельно проверяйте разбор правил, сетевую доставку и смысл отрисованной страницы.
Сначала выясните, разрешён ли целевой URL для нужной группы robots.txt. Затем отправьте запрос с именем агента извне исходной среды и сохраните статус, конечный URL, заголовки, хеш тела и результат проверки. В конце отрисуйте типовые страницы и убедитесь, что ответ, доказательства и ссылки сохранились.
Тест с искусственным User-Agent показывает только реакцию стека на эту строку из тестовой сети. Он не подтверждает визит платформы. Для классификации реальных журналов необходимы актуальная IP-публикация провайдера или предписанная им DNS-проверка.
05 / НАБЛЮДЕНИЕ
Ведите раздельный учёт доступности, визита, индексации и цитирования.
Успешный тест доставки подтверждает техническую доступность в конкретный момент. Позднее серверные журналы могут показать проверенный визит, инструменты вебмастера — обход или индексацию, а наблюдения за ответами и отчёты платформ — цитирование. Нельзя подменять доказательство одного этапа другим.
Пересматривайте политику при изменении официальной документации, имён агентов, IP-лент, межсетевого экрана, архитектуры хостинга или прав на публикацию. Сохраняйте предыдущую версию и проводите повторный тест до того, как назвать новую конфигурацию действующей.
МИНИМАЛЬНЫЙ РЕЕСТР ПОЛИТИКИ
Рабочая политика краулеров включает шесть записей помимо robots.txt.
Публичный файл — лишь одно проявление более широкого эксплуатационного решения.Реестр назначений
Отнесите каждого именованного агента к поисковому обнаружению, пользовательской загрузке, разработке моделей или иной документированной функции. Не выводите назначение только из бренда.
Граница контента
Перечислите открытые семейства маршрутов, охваченные политикой, и закрытые системы под аутентификацией. Явно укажите поддомены и альтернативные хосты.
Карточка первичного источника
Храните URL официальной документации, дату просмотра, токен агента, эндпоинт проверки и существенные оговорки. Для изменчивых сведений задайте дату пересмотра.
Реализация на периметре
Зафиксируйте правила CDN, WAF, частоты, географии и исходного сервера, способные отменить кажущееся разрешение robots.txt, а также ответственного за них.
Приёмочные доказательства
Сохраняйте результат разбора правил, HTTP-ответ с заданным агентом, подпись конечного тела, ошибки ресурсов и типовую отрисованную копию для каждого важного класса маршрутов.
Журнал результатов
Учитывайте подтверждённые визиты, индексацию, цитаты и переходы отдельно. Успешный тест доступа нельзя превращать в неподтверждённое утверждение о последующем использовании.
ТРЕВОЖНЫЕ ПРИЗНАКИ
Восемь ошибок, которые вредят обнаружению или безопасности.
Чаще всего проблемы возникают из-за смешения разных механизмов или отношения к документации как к неизменной.Все агенты с упоминанием ИИ заблокированы одной группой
Так можно отключить поисковое обнаружение и запросы пользователей, хотя исходное решение касалось только разработки моделей.
Каждому агенту разрешён любой маршрут
Открытость публичных страниц не требует раскрывать кабинеты, администрирование, частные файлы или данные форм. Секреты защищает аутентификация.
User-Agent принят за удостоверение личности
Имя агента легко подделать. Исключение безопасности должно применять и документированный способ сетевой проверки провайдера.
Проверяется только robots.txt
CDN, WAF, ограничитель или исходный сервер всё ещё могут вернуть проверку, ошибку, другое тело или заблокированные ресурсы.
Google-Extended представлен как настройка Google Search
Google прямо указывает, что этот токен не влияет на включение сайта или его позиции в Search.
ChatGPT-User используется для управления ChatGPT Search
OpenAI называет OAI-SearchBot средством управления Search и сообщает, что ChatGPT-User не определяет включение.
Обращение бота объявлено обучением или цитатой
Один запрос не доказывает, как использовался материал и появился ли он в ответе. Для назначения и результата нужны разные свидетельства.
Скопированный список IP не обновляется
Сетевые диапазоны и версии агентов меняются. Устаревший список может блокировать настоящий трафик или доверять адресам, которые больше не принадлежат платформе.
СВЯЗАННЫЕ ДОКАЗАТЕЛЬСТВА
Свяжите политику краулеров с остальной системой обнаружения.
Политика должна работать вместе с технической доставкой, ограниченным аудитом, моделью обнаружения и измерением результата. Сама по себе она не является приёмом ранжирования.ВОПРОСЫ / ТОЧНЫЕ ОТВЕТЫ
Что решают настройки краулеров, а что остаётся за их пределами
01Можно разрешить ChatGPT Search, но запретить обучение моделей OpenAI?+
OpenAI документирует OAI-SearchBot и GPTBot как независимые средства управления. Издатель может разрешить первый для Search и запретить второй, выразив другую позицию по обучению. Фактическую сетевую доставку и ответ страницы всё равно нужно проверить.
02Запрет Google-Extended удалит сайт из Google Search?+
По данным Google, нет. Google-Extended — отдельный токен для определённых сценариев обучения и grounding Gemini; он не влияет на включение или позиции в Google Search. Поисковым краулером остаётся Googlebot.
03Гарантирует ли правило Allow цитирование системой ИИ?+
Нет. Оно может снять одно препятствие доступа. Настоящий визит, индексация или загрузка, выбор в качестве grounding-источника, цитирование и рекомендация — последующие независимые события.
04Достаточно ли robots.txt для защиты закрытого контента?+
Нет. Это файл предпочтений для роботов, а не система авторизации. Частные страницы, файлы и API требуют аутентификации, проверки прав и подходящих механизмов приложения или сети.
05Как определить, что запрос пришёл от настоящего краулера?+
Не полагайтесь только на User-Agent. Используйте актуальные диапазоны IP, проверочный эндпоинт или предписанную провайдером обратную и прямую DNS-проверку, затем сохраните дату и результат вместе с данными запроса.
Практический чек-лист
- Зафиксируйте назначение каждого правила
- Отделите поисковое извлечение от настроек обучения
- Проверьте живые ответы с опубликованными user agent
- После изменений платформ пересматривайте официальную документацию
Официальные источники
- Google Search CentralAI features and your website↗
- Google Search CentralGoogle's common crawlers↗
- Google Search CentralIntroduction to robots.txt↗
- OpenAIOverview of OpenAI crawlers↗
- Anthropic Help CenterAnthropic web crawlers↗
- Perplexity DocsPerplexity crawlers↗
- Microsoft Bing Webmaster ToolsWhich crawlers does Bing use?↗
- Microsoft Bing Webmaster BlogIntroducing AI Performance in Bing Webmaster Tools↗
- Yandex WebmasterYandex robot user agents↗