Что такое индексирование и почему сканирование страницы не означает, что она попадёт в индекс?

Прямой ответ

Индексирование — это анализ полученного содержимого и преобразование его в пригодную запись поисковой системы или системы извлечения. Страница может быть доступна для сканирования и всё же не попасть в индекс из-за инструкции noindex, дублирующего содержимого, трудностей обработки, решения о качестве, технической ошибки или границ системы.

Простыми словами

Библиотекарь может получить книгу, но не внести её в каталог. Увидеть книгу ещё не значит присвоить ей каталожный номер или сделать доступной в поиске.

Почему это важно

Если успешное сканирование принимают за успешное индексирование, причина проблемы определяется неверно. Владелец сайта может продолжать добавлять содержимое вместо выяснения, почему доступную страницу нельзя выбрать.

Не путать

Обнаружение, сканирование, отображение, индексирование и извлечение — отдельные состояния.
robots.txt управляет доступом; noindex является инструкцией индексирования.
Открытый поисковый индекс и частный RAG-индекс организации — не одно и то же.

Что делать

Проверьте сигналы индексируемости важных URL.
Рассматривайте noindex, canonical, перенаправления и статус HTTP вместе.
Ясно указывайте предпочтительный канонический URL дублирующих страниц.
Проверьте, может ли система обработать содержимое, созданное JavaScript или появляющееся после входа.
Если поставщик предоставляет диагностический инструмент, сохраните датированный результат.

Как проверить

Страница была просканирована или только обнаружена?
Есть ли noindex или противоречащий canonical?
Не является ли отданное содержимое пустым, неполным или доступным только после сеанса?
Для какой системы измерялся статус индексирования?
Не было ли наличие в индексе ошибочно принято за извлечение по конкретному запросу?