Google, Arama altyapısını kullanır
Google, yapay zekâ özelliklerinin mevcut Arama sistemlerine dayandığını belirtir. Özel bir yapay zekâ şeması gerekmez; dizine uygunluk, snippet kontrolleri ve olağan Arama kuralları geçerlidir.
OpenAI aramayı eğitimden ayırır
OAI-SearchBot arama keşfini destekler. GPTBot ise olası model eğitimiyle ilişkili ayrı bir kontroldür. Yayıncılar her amaç için bağımsız karar vermelidir.
Anthropic ve Perplexity ayrı kontroller yayımlar
Her iki platform da tarayıcı kimliklerini ve erişim davranışlarını belgeler. Robots kuralları canlı CDN veya WAF testleriyle birlikte değerlendirilmelidir; politika dosyası tek başına başarılı erişimi kanıtlamaz.
DOĞRUDAN YANIT / TARAYICI POLİTİKASI
Yapay zekâ tarayıcıları tek bir toplu kuralla değil, adı ve amacı belli ajanlara göre yönetilmelidir.
Arama keşfi, bir insanın sorusu üzerine yapılan sayfa erişimi ve model geliştirme amacıyla içerik toplama aynı faaliyet değildir. Bazı platformlar, site sahibinin bu kararları ayrı verebilmesi için farklı ajan adları yayımlar. Otomatik arama tarayıcısına izin verip eğitim tarayıcısını reddetmek tutarlı bir politika olabilir; adında yapay zekâ çağrışımı olan bütün ajanları aynı ziyaretçi saymak değildir.
Karar robots.txt ile başlar ama orada bitmez. Kaynak sunucu, CDN, güvenlik duvarı, bot yönetimi, hız sınırı ve uygulama aynı kamu yanıtını teslim etmelidir. User-agent metni taklit edilebilir; bu nedenle güvenlik istisnası ajan adını platformun güncel IP yayını ya da doğrulama yöntemiyle birlikte sınamalıdır. robots.txt yayıncının tercihini ifade eder; gerçek tarayıcının geldiğini, sayfayı dizine eklediğini veya kaynak gösterdiğini kanıtlamaz.
Keşfedilmek isteyen bir yayıncı için pratik varsayılan; kamuya açık arama ve kullanıcı isteğine bağlı erişimi açık tutmak, model geliştirme kararını ayrı vermek, kamuya kapalı yolları kimlik doğrulamayla korumak ve örnek URL'leri yayın ortamının dışından test etmektir. Platform adları, amaçları ve ağ aralıkları değişebildiği için tarihli bir politika kaydı tutulmalıdır.
ÜÇ AMAÇ / ÜÇ AYRI KARAR
Kuralı yazmadan önce faaliyetin adını koyun.
Aynı platform birden fazla ajan yayımlayabilir. İşe yarayan politika; her biri için amacı, beklenen sonucu ve kabul edilebilir işletim yükünü kayda geçirir.- 01
Arama keşfi
Otomatik tarayıcı, arama veya yanıt dizini için belgeleri keşfeder ve yeniler. Engellemek o platformdaki arama uygunluğunu azaltabilir ya da kaldırabilir; izin vermek ise dizine giriş veya seçilme garantisi değildir.
Karar: Bu kamu içeriğinin ilgili platformun arama sonuçlarında keşfedilmesini istiyor muyuz? - 02
Kullanıcı isteğine bağlı erişim
Erişim ajanı, bir insan üründen belirli sayfayı açmasını ya da kullanmasını istediği için gelir. Bazı sağlayıcılar normal robots.txt kurallarının bu kullanıcı kaynaklı etkinliğe uygulanmayabileceğini söyler. Özel bilginin gerçek sınırı kimlik doğrulama, yetkilendirme ve uygulama güvenliğidir.
Karar: Bir kullanıcı bu üründen, anonim ziyaretçinin de açabildiği aynı sayfayı getirmesini isteyebilir mi? - 03
Model geliştirme
Ayrı bir tarayıcı ya da kontrol belirteci, kamu içeriğinin temel modelleri geliştirmek veya eğitmek üzere toplanmasına ilişkin tercihi bildirir. Bu karar arama keşfinden bağımsızdır; yayıncının hukuk, lisans ve ticari politikasıyla birlikte ele alınmalıdır.
Karar: Yayıncı, sahip olduğu haklar ve risk politikası kapsamında belgelenen bu geliştirme kullanımına izin veriyor mu?
PLATFORM / AJAN MATRİSİ
Güncel resmî adı kullanın; ardından teslim zincirini doğrulayın.
Tablo, inceleme tarihinde belgelenen rolleri gösterir. Politika değiştirmeden önce bağlı birincil kaynağı yeniden kontrol edin; durağan bir izin listesini ağ doğrulaması olmadan kalıcı güvenlik kuralına çevirmeyin.POLİTİKA / DOĞRULAMA AKIŞI
Yayın niyetinden kanıta beş geçişte ilerleyin.
01 / SINIFLANDIR
İçerik envanterini çıkarın ve gerçekten kamuya açık olanı belirleyin.
Kamuya açık editoryal ve ticari sayfaları; hesap alanlarından, form yüklerinden, özel dosyalardan, önizleme sunucularından, site içi arama sonuçlarından ve yönetim yollarından ayırın. robots.txt erişim kontrolü değildir: gizli bilgi taşıyan rota, bütün tarayıcılar engellense bile kimlik doğrulamanın arkasında olmalıdır.
Kitap, veri kümesi, görsel ve müşteri materyallerinin hak durumunu kaydedin. Tarayıcı politikası yayıncının sahip olmadığı hakkı veremez; site genelindeki açık bir kural, yayın statüsü belirsiz materyali sessizce kapsamamalıdır.
02 / KARAR VER
Belgelenmiş her amaç için bağımsız karar oluşturun.
Küçük bir karar tablosu tutun: ajan, sağlayıcı, amaç, istenen politika, sorumlu, tarih, kaynak URL'si ve yeniden inceleme tarihi. Arama erişimi, kullanıcı isteğiyle erişim ve model geliştirme aynı şirketten geliyor diye birbirinin kararını devralmamalıdır.
Hedef keşfedilmekse bu hedef için gereken otomatik arama ajanlarını açık tutun. Yayıncı model geliştirme konusunda farklı bir karar verebilir. Ödünleşimi açık yazın; içerik gerektiriyorsa hukuk veya hak sahibinin kararını alın.
03 / UYGULA
robots.txt, uç güvenlik ve uygulamayı aynı karara bağlayın.
Ajan gruplarını öncelik çakışması yaratmadan yazın. Sonra CDN bot kurallarını, yönetilen doğrulamaları, ülke engellerini, hız sınırlarını, kaynak sunucu izin listelerini ve uygulama ara katmanını inceleyin. Bir Allow satırı; 403, doğrulama sayfası veya boş 200 döndüren güvenlik duvarını geçersiz kılmaz.
Hız kontrolünü ölçülü kurun. Sert toplu engel platformun erişimi bırakmasına yol açabilir; hiç koruma olmaması ise kaynağı taklit edilmiş trafiğe açar. Sağlayıcı IP aralığı yayımlıyorsa bu aralığı user-agent ile birlikte kullanın ve resmî uç noktadan yenileyin.
04 / SINA
Kural yorumunu, ağ teslimini ve görüntülenen anlamı ayrı ayrı sınayın.
Önce hedef URL'nin ilgili robots grubu tarafından izinli olup olmadığını test edin. Ardından kaynak ortamın dışından ajan adıyla istek gönderip durum, son URL, başlıklar, gövde hash'i ve doğrulama sonucunu saklayın. Son olarak yanıtın, kanıtların ve bağlantıların korunduğunu görmek için örnek sayfaları görüntüleyin.
Taklit user-agent ile yapılan sentetik test yalnızca sistemin o metne test ağından nasıl yanıt verdiğini gösterir; platform ziyaretini doğrulamaz. Gerçek log sınıflandırması, sağlayıcının güncel IP yayınına veya önerdiği DNS doğrulamasına dayanmalıdır.
05 / GÖZLE
Erişim, ziyaret, indeks ve alıntıyı ayrı kayıtlar olarak tutun.
Yeşil teslim testi yalnızca belirli anda teknik uygunluk gösterir. Kaynak sunucu logları daha sonra doğrulanmış ziyareti, webmaster araçları tarama veya indekslemeyi, yanıt gözlemleri ya da platform raporları ise alıntıyı gösterebilir. Bir aşamanın sonucu başka bir aşamaya yazılmamalıdır.
Resmî belge, ajan adı, IP akışı, güvenlik ürünü, hosting yapısı veya yayın hakkı değiştiğinde politikayı gözden geçirin. Önceki sürümü saklayın ve yeni durumu canlı olarak raporlamadan önce yeniden test edin.
ASGARİ POLİTİKA KAYDI
Kullanılabilir tarayıcı politikası robots.txt dışında altı kayıt daha taşır.
Kamu dosyası, daha geniş bir işletim kararının yalnızca görünen ifadesidir.Amaç kaydı
Her ajanı arama keşfi, kullanıcı isteğine bağlı erişim, model geliştirme veya belgelenen başka bir kullanımla eşleştirin. Amacı yalnızca marka adından çıkarmayın.
İçerik sınırı
Politikanın kapsadığı kamu rota ailelerini ve kimlik doğrulamayla korunan özel sistemleri listeleyin. Alt alan adlarını ve alternatif sunucuları açıkça dahil edin.
Birincil kaynak kaydı
Resmî belge URL'sini, inceleme tarihini, ajan belirtecini, doğrulama uç noktasını ve önemli istisnaları saklayın. Değişken ayrıntılara yeniden inceleme tarihi verin.
Uç katman uygulaması
Görünen robots iznini geçersiz kılabilecek CDN, WAF, hız, coğrafya ve kaynak sunucu kurallarıyla bunların sorumlusunu kaydedin.
Kabul kanıtı
Her önemli rota sınıfı için kural çözümünü, ajan adlı HTTP yanıtını, son gövde imzasını, kaynak hatalarını ve örnek görüntüyü saklayın.
Sonuç defteri
Doğrulanmış ziyaret, dizin kaydı, alıntı ve yönlendirmeyi ayrı işleyin. Başarılı erişim testini aşağı akıştaki kullanıma ilişkin örtük iddiaya dönüştürmeyin.
POLİTİKA ALARMLARI
Keşfi ya da güvenliği bozan sekiz hata.
Hataların çoğu farklı kontrolleri birbirine karıştırmaktan veya bir belgeyi kalıcı sanmaktan doğar.Yapay zekâ çağrışımlı bütün ajanlar birlikte engelleniyor
Asıl karar yalnızca model geliştirmeyle ilgiliyken arama keşfini veya kullanıcının istediği sayfa erişimini de devre dışı bırakabilir.
Her ajan her rotaya kabul ediliyor
Kamu görünürlüğü; hesap, yönetim, özel dosya veya form uçlarını açmayı gerektirmez. Gizli alanın sınırı kimlik doğrulamadır.
User-agent metni kimlik sayılıyor
Ajan adları kolayca taklit edilir. Güvenlik istisnası sağlayıcının belgelediği ağ doğrulama yöntemini de kullanmalıdır.
Tek test robots.txt oluyor
CDN, güvenlik duvarı, hız sınırı veya kaynak sunucu yine de doğrulama, hata, farklı gövde ya da engellenmiş kaynak döndürebilir.
Google-Extended, Google Arama kontrolü gibi sunuluyor
Google bu belirtecin Arama'ya dahil olmayı veya sıralamayı etkilemediğini açıkça belirtir.
ChatGPT Search için ChatGPT-User yönetiliyor
OpenAI, Search kontrolünü OAI-SearchBot olarak tanımlar ve ChatGPT-User'ın Search'e dahil olmayı belirlemediğini söyler.
Bot isteği eğitim veya alıntı diye raporlanıyor
Bir log isteği içeriğin nasıl kullanıldığını ya da yanıtta yer alıp almadığını kanıtlamaz. Amaç ve sonuç ayrı kanıt ister.
Kopyalanan IP listesi hiç yenilenmiyor
Ağ aralıkları ve ajan sürümleri değişebilir. Eski liste gerçek trafiği engelleyebilir veya artık sağlayıcıya ait olmayan adreslere güvenebilir.
BAĞLI KANITLAR
Tarayıcı politikasını keşif sisteminin geri kalanına bağlayın.
Politikayı tek başına sıralama taktiği saymak yerine teknik teslim, sınırları belli denetim, keşif modeli ve sonuç ölçümüyle birlikte kullanın.SORULAR / NET YANITLAR
Tarayıcı kontrollerinin belirleyebildiği ve belirleyemediği şeyler
01ChatGPT Search'e izin verip OpenAI model eğitimini engelleyebilir miyim?+
OpenAI, OAI-SearchBot ile GPTBot'u bağımsız kontroller olarak belgeler. Yayıncı Search için OAI-SearchBot'a izin verirken GPTBot'u engelleyerek eğitim konusunda farklı tercih bildirebilir. Canlı ağ ve sayfa yanıtı yine ayrıca doğrulanmalıdır.
02Google-Extended'ı engellemek sitemi Google Arama'dan çıkarır mı?+
Google'a göre hayır. Google-Extended, belirli Gemini eğitim ve grounding kullanımları için ayrı bir kontrol belirtecidir; Google Arama'ya dahil olmayı veya sıralamayı etkilemez. Arama tarayıcısı Googlebot'tur.
03Allow kuralı yapay zekâ alıntısını garanti eder mi?+
Hayır. Yalnızca erişim engellerinden birini kaldırabilir. Gerçek ziyaret, indeks veya erişim, grounding için seçilme, alıntı ve öneri daha sonraki ayrı olaylardır.
04Özel içeriği korumak için robots.txt yeterli mi?+
Hayır. Bu dosya tarayıcı tercihini bildirir; yetkilendirme sistemi değildir. Özel sayfa, dosya ve API'ler kimlik doğrulama, yetkilendirme ve uygun uygulama ya da ağ kontrolleri ister.
05İsteğin gerçek bir tarayıcıdan geldiğini nasıl anlarım?+
Yalnızca user-agent metnine güvenmeyin. Sağlayıcının güncel IP aralıklarını, doğrulama uç noktasını veya önerdiği ters ve ileri DNS yöntemini kullanın; tarihi ve sonucu istek kanıtıyla birlikte saklayın.
Uygulama kontrol listesi
- Her tarayıcı kuralının amacını kaydedin
- Arama erişimini eğitim tercihinden ayırın
- Yayımlanan kullanıcı aracıyla canlı yanıtı test edin
- Platform değişikliklerinden sonra resmî belgeleri yeniden inceleyin
Resmî kaynaklar
- Google Search CentralAI features and your website↗
- Google Search CentralGoogle's common crawlers↗
- Google Search CentralIntroduction to robots.txt↗
- OpenAIOverview of OpenAI crawlers↗
- Anthropic Help CenterAnthropic web crawlers↗
- Perplexity DocsPerplexity crawlers↗
- Microsoft Bing Webmaster ToolsWhich crawlers does Bing use?↗
- Microsoft Bing Webmaster BlogIntroducing AI Performance in Bing Webmaster Tools↗
- Yandex WebmasterYandex robot user agents↗