Doğrudan cevap
Crawling, bir botun veya otomatik aracın bir URL'yi keşfetmesi, istemesi ve sunulan içeriği almaya çalışmasıdır. Sistem doğru sayfaya erişemezse o sayfadaki güncel bilgiyi kullanamaz; fakat erişebilmesi de bilgiyi indexleyeceğini, kaynak göstereceğini veya sizi önereceğini garanti etmez.
Sade dille
Bir dükkânın kapısında doğru bilgiler yazılı olsun. Ziyaretçi sokağı bulamazsa, kapı kilitliyse veya güvenlik onu yanlışlıkla durdurursa bilgileri okuyamaz. Kapıya ulaşması ise alışveriş yapacağı anlamına gelmez.
Neden önemli?
Erişim engeli, en iyi içeriği bile görünmez bırakabilir. Tersine, güvenliği kaldırarak bütün botlara sınırsız erişim vermek de doğru çözüm değildir; crawler amaçları ve izinleri ayrı yönetilmelidir.
Karıştırma
- Crawling: URL'ye gidip içeriği isteme.
- Indexing: İçeriği aranabilir bir kayda işleme.
- Retrieval: Belirli soru için ilgili kaydı seçme.
- Training: Model geliştirme süreci; crawling ile aynı değildir.
Ne yapmalısın?
- Önemli URL'lerin anonim erişimini ve HTTP durumlarını test edin.
- robots.txt, güvenlik duvarı, rate limit ve bot doğrulama kurallarını ayrı inceleyin.
- Bot adlarını ve amaçlarını yalnız güncel resmî sağlayıcı belgelerinden alın.
- Arama erişimi ile eğitim erişimini aynı politika sanmayın.
- Güvenlik kuralını kaldırmak yerine doğrulanmış bot için dar kapsamlı izin tasarlayın.
Nasıl denetlersin?
- URL 200 durumuyla ve gerçek içerikle cevap veriyor mu?
- robots.txt ilgili kullanıcı aracına ne söylüyor?
- CDN veya güvenlik katmanı doğrulanmış botu engelliyor mu?
- HTML, PDF ve JSON yüzeyleri ayrı test edilmiş mi?
- Erişim sonucu tarih, IP/ajan bağlamı ve yanıt gövdesiyle kaydedilmiş mi?
Sınır
Crawler erişimi zorunlu bir ön koşul olabilir; index, retrieval, citation, training veya recommendation garantisi değildir. Bot adları ve sağlayıcı politikaları zamanla değişebilir.
Tek cümlede hatırla
Kapıya ulaşmak ilk adımdır; içeri alınmak ve seçilmek başka adımlardır.