Bölüm II — Kanıt

İddianın Sınırı

Kanıt iddiayı büyütmez; onu sınırlar. Bir cevap görmek, bir davranışı bilmek değildir. Bir ekran görüntüsü bir anı kaydeder, sistemin genel tutumunu değil. Bir marka bir cevapta geçebilir, bir metin kaynak gösterilebilir, bir işletme tavsiye edilebilir, bir müşteri kararında yapay zekâ etkisi bulunduğunu söyleyebilir. Bunların her biri gözlemdir. Hiçbiri tek başına genel hüküm değildir.

“Göründük”, “önerildik”, “rakiplerimizi geçtik”, “GEO satışlarımızı artırdı” cümleleri aynı ağırlığı taşımaz. Her cümle bir öncekine yeni bir sonuç ekler; her yeni sonuç daha geniş ve daha nitelikli bir kanıt alanı ister. Tek bir model cevabı yalnızca o cevabın oluştuğunu gösterebilir. Bir müşterinin beyanı kararında yapay zekânın rol oynadığını gösterebilir, satışın yalnızca o sistem tarafından üretildiğini değil. Trafikteki artış belirli bir dönemde daha fazla ziyaret bulunduğunu gösterebilir, artışın belirli bir müdahaleden kaynaklandığını değil.

Bir iddia, taşıdığı kanıt kadar ilerleyebilir.

1. Kanıt Bir Süs Değil, Taşıma İlişkisidir

Hiçbir kayıt kendi başına güçlü değildir. Gücü, taşımaya çağrıldığı cümleye göre belirlenir. Tarihi, istemi ve tam cevabı korunmuş tek bir ekran görüntüsü şu iddiayı taşıyabilir: “Bu sistem, bu tarihte ve bu isteme verdiği cevapta markanın adını kullandı.” Aynı kayıt “Üretken yapay zekâ sistemleri markamızı güçlü biçimde tavsiye ediyor” cümlesini taşıyamaz. Gözlem aynı kalmış, iddia büyümüştür.

Gerçek bir gözlemden geçersiz bir hüküm üretmek için veriyi değiştirmek gerekmez; sınırı silmek yeterlidir. Kanıt disiplini bu yüzden önce veriyi değil, cümleyi yargılar. “Adımız geçti” gözlem; “doğru tanımlandık” temsil; “seçilen rakiplerden daha sık önerildik” karşılaştırma; “değişim müdahalemizden kaynaklandı” nedensellik; “bu temsil bize kârlı müşteri getirdi” ticari etki iddiasıdır. Aynı kayıt bu cümlelerin hepsini taşıyamaz.

Kanıt yükü taşımıyorsa cümle küçültülür. Belirsizlik gizlenmez, eksik alan başarı diliyle kapatılmaz. Kanıta uymayan iddia makyajlanmaz; reddedilir.

Bu tutum kuruntulu bir ihtiyat değildir. Üretken arama sistemleri üzerine erken dönem çalışmalar, bir cevabın kaynak içermesinin o cevaptaki bütün iddiaların kaynak tarafından desteklendiğini garanti etmediğini göstermiştir.[2] Önde gelen bir ürün sağlayıcısının kendi belgesi de üretken cevapların yanlış bilgi, uydurma atıf veya aşırı kesinlik üretebileceğini açıkça kabul eder.[6] Araştırmanın belirli tarihteki belirli sistemlere ait sonuçları bugünün bütün ürünlerine genellenemez; fakat ortaya koyduğu ayrım kalıcıdır: atıfın varlığı ile desteğin yeterliliği aynı şey değildir.

2. Üç Kanıt Alanı

GEO’da üç ayrı gerçeklik hakkında konuşulur: dünya, üretken temsil ve ticari sonuç. Bu alanlar birbirine bağlanabilir, fakat birbirinin yerine geçemez.

2.1. Dünya kanıtı

Dünya kanıtı, kişi veya işletme hakkındaki temel gerçeği taşır. Şirket gerçekten o sertifikaya sahip mi? Otel gerçekten yetişkinlere yönelik mi? Ürün belirtilen özelliği sağlıyor mu? İşletme iddia ettiği coğrafyalarda hizmet verebiliyor mu? Bu soruların cevabı üretken sistemden alınmaz. Sistem bir iddiayı tekrar edebilir; tekrar doğrulama değildir.

Dünya kanıtının niteliği iddiaya göre değişir. Yetkili kurum kayıtları, geçerli sertifikalar, sözleşmeler, denetlenebilir performans verileri, resmî kurumsal kayıtlar ve güvenilir bağımsız yayınlar taşıyıcı olabilir. İşletmenin kendi sayfası da bir kayıttır; fakat kendi üstünlük beyanını bağımsız gerçek hâline getirmez. Kaynağın bağımsızlığı, güncelliği, kapsamı ve iddiayla doğrudan ilişkisi ayrıca değerlendirilir.

2.2. Temsil kanıtı

Temsil kanıtı sistemin belirli koşullarda ne ürettiğini gösterir: hangi sistem ve arayüz, hangi istem, hangi tarih, hangi dil, hangi oturum koşulu, hangi tam cevap ve hangi kaynaklar? Bu kanıt dünyanın nasıl olduğunu değil, sistemin dünyayı nasıl yeniden kurduğunu gösterir.

Bir şirketin sertifikaya sahip olması, sistemin onu doğru bildiğini kanıtlamaz. Resmî hizmet sayfasının bulunması, sistemin işletmeyi o hizmetle ilişkilendirdiğini göstermez. Doğru bilgi yayımlanmış, temsil hâlâ yanlış olabilir. Dünya kanıtı ile temsil kanıtı karşılaştırılmadan temsil bütünlüğü yargılanamaz.

2.3. Sonuç kanıtı

Sonuç kanıtı, temsilin kullanıcı ve işletme üzerindeki izini taşır. Kullanıcı cevabı gördü mü; kararında rol oynadı mı; işletmeyle temas kurdu mu; talep nitelikli miydi; satış oluştu mu; teslimat kârlı ve başarılı mıydı; ilişki tekrar etti mi? Her basamak ayrı kayıt ister.

Bir fatura işlemin gerçekleştiğini kanıtlar, satışın yapay zekâ tarafından yaratıldığını değil. “Sizi ChatGPT’de gördüm” beyanı bir etki sinyalidir; kullanıcının başka temaslarını ortadan kaldırmaz. Yönlendirme kaydı bir trafik hareketini gösterebilir, bütün karar yolculuğunu değil. Sonuç kanıtı çoğu zaman olaylar arasında kısmi bir ilişki kurar. Kısmi ilişki tam nedensellik değildir.

Tablo 2.1 — Üç kanıt alanının işlevi ve sınırı

Doğru belge yanlış kanıt alanında kullanıldığında geçersiz hüküm üretir.

3. Sinyalden İddiaya

“Elimizde veri var” cümlesi, verinin statüsünü söylemez. Framework beş basamağı ayırır: sinyal, gözlem, anekdot, kanıt ve iddia.

Sinyal, araştırılmaya değer izdir: markanın cevapta geçmesi, trafiğin yükselmesi, müşterinin bir yapay zekâ sisteminden söz etmesi veya rakibin belirli cevaplarda görünmemesi. Sinyal soru doğurur; hüküm kurmaz.

Gözlem, bağlamı kaydedilmiş sinyaldir. Sistem, istem, tarih, dil, tam çıktı ve gözlemci bellidir. Olayın ne olduğunu gösterir, genel davranışı değil.

Anekdot, tekil bir olayın sınırından geniş bir hikâyeye dönüştürülmesidir. Olay gerçek olabilir; taşıdığı genelleme yine de yetersizdir. Bir müşterinin yapay zekâdan söz etmesi “Yapay zekâ bize müşteri getiriyor”, bir cevaptaki tavsiye “Sistem bizi tavsiye ediyor” hükmünü kurmaz. Anekdot yalan olmak zorunda değildir; davranış kuralı olmak için yetersizdir.

Kanıt, belirli bir iddiayı taşıyacak biçimde düzenlenmiş kayıtlar bütünüdür. Ham malzemesi bulunur, bağlamı korunur, karşılaştırması yapılır, tersine sonuçları saklanır ve sınırı yazılır. Kanıt belirsizliği ortadan kaldırmaz; belirsizliğin başladığı yeri gösterir.

İddia, kanıtın taşımaya çağrıldığı kesin ve sınanabilir cümledir. “GEO çalışıyor” slogan olabilir, fakat sınanabilir bir iddia değildir. “Belirlenen otuz istemlik kümede, bu iki ölçüm dönemi arasında doğru nitelik temsili arttı” cümlesinin ise evreni, karşılaştırması ve sınırı görünürdür.

4. Bahsedilme, Kaynak Gösterilme ve Tavsiye

Bu üç gözlem sık sık tek bir başarı merdiveni gibi sunulur. Oysa aynı olay değildir ve aynı kanıt ağırlığını taşımaz.

Bahsedilme, varlığın adının cevapta yer almasıdır. Sistem varlığı doğru veya yanlış bağlamda anabilir, başka bir varlıkla karıştırabilir ya da eleştirel örnek olarak kullanabilir. Adın geçmesi dilsel varlığı gösterir, varlığın anlaşıldığını değil.

Kaynak gösterilme, sistemin belirli bir metni cevapla ilişkilendirmesidir. Bu ilişki iki ayrı kontrolden geçer. Atıf kontrolü, kaynağın hangi iddiaya bağlandığını; destek kontrolü, kaynağın o iddiayı gerçekten taşıyıp taşımadığını inceler. Kaynak doğru olabilir ama cümleyi desteklemeyebilir; başka varlığa ait, eski ya da kapsamı dar olabilir. Kaynak gösterilmek, kaynak tarafından desteklenmek değildir.

Tavsiye, sistemin varlığı belirli seçenekler arasında kullanıcı için uygun göstermesidir. Ticari sonuca yakındır, fakat ticari sonuç değildir. O istem, sistem, dil, zaman ve alternatif kümesi içinde oluşmuştur. Tavsiye karar etkisidir; satın alma kanıtı değildir.

Basamakların sınırı nettir: bahsedilme doğru temsili, doğru temsil tavsiyeyi, tavsiye teması, temas satışı, satış kârlılığı, kârlılık da sürdürülebilirliği kendiliğinden kanıtlamaz.

5. Kanıtın Beş Şartı

Bir gözlemin kamuya açık bir iddiayı taşıyabilmesi için beş koşul birlikte değerlendirilir.

5.1. Bağlam

Her gözlemde sistem ve erişim biçimi, tarih ve saat, tam istem, dil, tam çıktı, gösterilen kaynaklar ve gözlemci kaydedilir. Hesap türü, yeni ya da devam eden sohbet, bellek veya arama durumu gibi sonucu maddi biçimde etkileyebilecek koşullar biliniyorsa bunlar da eklenir. Sistem bilinmiyorsa kayıt karşılaştırılamaz; istem bilinmiyorsa yeniden sınanamaz; tarih bilinmiyorsa değişim izlenemez. Bağlamsız çıktı kanıt değil, hatıradır.

5.2. İzlenebilirlik

Kanıt bağımsız incelemeye elverişli olmalıdır. Tam istem ve çıktı korunur; kaynak bağlantıları, erişim tarihi ve gerektiğinde arşiv kopyası kaydedilir; ham veri ile insan yorumu ayrılır; sentetik örnek gerçek gözlem gibi sunulmaz. Kırpılmış ekran görüntüsü çoğu zaman yalnızca anlatıcının seçtiği alanı gösterir. İzlenemeyen kayıt denetlenemez; denetlenemeyen kayıt yüksek etkili kamu iddiası taşıyamaz.

5.3. Davranışsal yeniden üretilebilirlik

Üretken sistemlerde yeniden üretilebilirlik her seferinde aynı kelimeleri görmek değildir. Benzer koşullarda aynı temsil davranışının yeniden oluşmasıdır. Cümle değişebilir ama yanlış kategori korunabilir; sözcükler değişebilir ama aynı maddi sınır yine eksiltilebilir. Tek kayıt olaydır. Önceden belirlenmiş kontrollü tekrarlar, kapsamı yazılmış bir davranış deseni oluşturabilir. Aranan şey aynı cümle değil, aynı temsil davranışıdır.

5.4. Karşılaştırma ve tersine kanıt

Yalnızca olumlu sonucu arayan test doğrulama değil, seçim üretir. Marka aynı koşullarda ilgili alternatiflerle karşılaştırılmalı; marka adının verilmediği nötr istemler, rakibin ya da başka kategorinin daha uygun olabileceği karşıt istemler ve markanın görünmemesi gereken dışlama istemleri kullanılmalıdır. Tersine sonuç iddiayı küçültürse bu yöntemin zayıflığı değil, kanıt disiplininin çalıştığı anlamına gelir.

5.5. Sınır

Her kayıt “Bu gözlem neyi kanıtlamaz?” sorusuna açıkça cevap vermelidir. Bir sistemdeki davranış diğer sistemleri, bir dildeki sonuç diğer dilleri, bir haftalık gözlem kalıcılığı, tavsiye müşteri kazanımını, müşteri beyanı tam nedenselliği, satış sürdürülebilirliği kanıtlamaz. Neyi kanıtlamadığını söylemeyen kayıt, neyi kanıtladığını da yeterince bilmiyordur.

6. İddia Eşikleri

İddia büyüdükçe kanıt eşiği yükselir. Framework beş eşik kullanır:

1. Gözlem iddiası: “Bu sistem, bu istemde ve tarihte markanın adını kullandı.” Tam istem, tarih ve ham çıktı yeterli olabilir.
2. Davranış deseni iddiası: “Belirlenen istem kümesinde marka çoğunlukla doğru kategoriyle temsil edildi.” Kontrollü küme, tekrarlar, zaman aralığı, kodlama ölçütü ve sapma kayıtları gerekir.
3. Karşılaştırmalı iddia: “Aynı test kümesinde marka, belirlenen alternatiflerden daha sık doğru niteliklerle temsil edildi.” Taraflar aynı sistem, zaman, istem ve değerlendirme protokolünden geçmelidir.
4. Müdahale veya nedensellik iddiası: “Yapılan müdahale değişime katkıda bulundu.” Önce-sonra kaydı, müdahale günlüğü, yeterli gözlem penceresi ve alternatif açıklamalar gerekir. Sonra gerçekleşmek, ondan kaynaklanmak değildir.
5. Ticari etki iddiası: “Yapay zekâ aracılı keşif, belirlenen dönemde nitelikli taleplerle ve satışlarla ilişkilendirildi.” Müşteri beyanı veya yönlendirme, CRM eşleşmesi, talep niteliği, satış, kârlılık ve diğer temas kanalları birlikte incelenir.

Bu eşikler bir puan merdiveni değildir. Üst eşik daha “iyi” iş yapıldığı anlamına gelmez; daha geniş bir cümlenin daha ağır yük taşıdığı anlamına gelir. Kanıt yalnızca birinci eşiğe yetiyorsa doğru hüküm birinci eşikte durmaktır.

7. Tersine Kanıtın Dört Alanı

Sağlam bir test evreni dört alanı birlikte taşır. Destekleyici alan, varlığın doğru görünmesinin beklendiği istemleri; nötr alan, marka adı verilmeden ihtiyaç ve kategori üzerinden yapılan keşfi; karşıt alan, başka bir seçeneğin daha uygun olabileceği koşulları; dışlama alanı ise varlığın görünmemesi gereken bağlamları içerir.

Dışlama alanı özellikle önemlidir. Her yerde görünmek başarı değildir; ilgisiz bağlamlarda görünmek temsil taşmasıdır. Framework yalnızca varlığın ne zaman seçildiğini değil, ne zaman geri çekildiğini de ölçer. Tersine kanıt aramayan çalışma gerçeği sınamaz; kendisini doğrular.

8. Öğretici Vaka: Aurelis Packaging

Öğretici simülasyon — sentetik veri. Bu vaka gerçek bir işletmeyi, kaynak sayfasını veya sistem cevabını temsil etmez.

Aurelis Packaging, endüstriyel ambalaj üreten kurgusal bir şirkettir. Bir üretken cevap şirketi “yüzde yüz geri dönüştürülmüş malzeme kullanan, karbon nötr ve sektör lideri” diye tanımlar; kaynak olarak da şirketin sürdürülebilirlik sayfasını gösterir.

Tablo 2.2 — Aurelis Packaging sentetik destek kontrolü

Atıf gerçektir; hükmün büyük kısmı kaynak tarafından taşınmamaktadır. Sorun yalnızca sistemin genişletmesi değildir. İşletme bu olumlu anlatıyı kendi kampanyasında tekrar ederse üretken çıktıyı dünya kanıtı yerine kullanmış olur. Framework’ün kararı, kaynak bulunduğu için iddiayı onaylamak değil; her cümleyi kaynağın taşıdığı sınıra geri çekmektir.

Bu vakadan yayımlanabilecek en güçlü ifade şudur: “Aurelis Packaging, iki tesisteki belirli bir ürün hattında yüzde 40 geri dönüştürülmüş malzeme içeren bir pilot yürüttüğünü bildiriyor.” Karbon nötrlüğü ve liderlik için bağımsız, kapsamı uygun kanıt bulunmadığından bu iddialar reddedilir.

9. Kanıtın Kararı

Her maddi iddia, ayrıntıları Ek C’de verilen bir Kanıt Kaydı ile dört karardan birine bağlanır: reddedildi, daha fazla gözlem gerekli, yalnızca iç hipotez olarak kullanılabilir veya sınırlı ifadeyle yayımlanabilir. Kayıt iddiayı onaylamak için doldurulmaz; iddiaya izin verilip verilmeyeceğini belirlemek için doldurulur.

Dil bu kararın ayrılmaz parçasıdır. “Yapay zekâ bizi lider görüyor” yerine “Belirlenen üç istemde sistem markayı lider olarak tanımladı; bağımsız destek bulunamadı” denir. “GEO sayesinde satış arttı” yerine “Müdahale sonrasında satış artışı gözlendi; nedensellik kurulamadı” denir. Sınırlı dil daha az gösterişli görünebilir; fakat daha fazla ağırlık taşır.

Kanıt olmayan kaydı çöpe atmak gerekmez. Tekil çıktı, kırpılmış ekran görüntüsü, açıklanamayan skor, trafik artışı veya müşteri beyanı araştırmayı başlatan sinyal olabilir. Yapılmaması gereken, ona taşıyamayacağı yükü vermektir.

Bu bölümün hükmü şöyledir:

Kanıt yoksa iddia yoktur. Zayıf kanıt varsa yalnızca dar bir iddia vardır. Güçlü iddia, ancak güçlü, izlenebilir ve sınırları açıklanmış kanıtla kurulabilir.

Merkez neyin temsil edildiğini belirledi; Kanıt o temsil hakkında ne söylenebileceğini sınırladı. Şimdi bu yükü taşıyacak gözlemlerin hangi koşullarda, hangi birimle ve neyle karşılaştırılarak kaydedileceği belirlenmelidir.