Doğrudan cevap
Indexing, erişilen içeriğin analiz edilip bir arama veya retrieval sisteminin kullanılabilir kaydına dönüştürülmesidir. Bir sayfa crawl edilebilir; fakat noindex talimatı, yinelenen içerik, düşük işlenebilirlik, kalite kararı, teknik hata veya sistem kapsamı nedeniyle indexe alınmayabilir.
Sade dille
Bir kütüphaneci kitabı teslim alabilir ama kataloğa eklemeyebilir. Kitabı görmek, kayıt numarası verildiği ve aramada bulunacağı anlamına gelmez.
Neden önemli?
Crawl başarısını index başarısı sanmak yanlış teşhis üretir. Site sahibi erişim açık olduğu hâlde sayfanın neden seçilemediğini araştırmadan içerik eklemeye devam edebilir.
Karıştırma
- Keşif, crawl, render, index ve retrieval ayrı durumlardır.
- robots.txt erişim kontrolü; noindex indeksleme talimatıdır.
- Kamu arama indexi ile kuruluş içi özel RAG indexi aynı değildir.
Ne yapmalısın?
- Önemli URL'lerin indexlenebilirlik sinyallerini kontrol edin.
- noindex, canonical, yönlendirme ve HTTP durumlarını birlikte inceleyin.
- Yinelenen sayfalarda tercih edilen kanonik URL'yi açıkça belirtin.
- JavaScript veya erişim sonrası oluşan içeriğin gerçekten işlenebildiğini test edin.
- Sağlayıcının kendi tanılama araçları varsa sonucu tarihleyerek kaydedin.
Nasıl denetlersin?
- Sayfa crawl edilmiş mi, yalnız keşfedilmiş mi?
- noindex veya çelişkili canonical var mı?
- Sunulan içerik boş, eksik veya oturum arkasında mı?
- Index durumu hangi sistem için ölçülüyor?
- Indexte olmak belirli sorguda retrieval edildi diye yorumlanmış mı?
Sınır
Bir sağlayıcının index durumu diğer sağlayıcının indexini göstermez. Indexe alınmak, belirli bir cevapta kullanılma garantisi değildir.
Tek cümlede hatırla
Crawl edilmek kapıdan girmektir; indexlenmek kataloğa yazılmaktır.