Bölüm III — Ölçüm

Gözlemin Disiplini

Ölçüm gerçeği yaratmaz; gerçeğin görebildiğimiz parçasını sınırlar. Bir sayı görmek bir durumu bilmek değildir. Grafik değişimi gösterebilir, nedeni değil. Bahsedilme sıklığı sayılabilir, kaynak gösterilme izlenebilir, tavsiye oranı hesaplanabilir; trafik, talep ve satış karşılaştırılabilir. Bunların tamamı ölçülebilirdir. Hiçbiri tek başına başarı değildir.

GEO raporu çoğu zaman tersinden kurulur: önce sayı üretilir, sonra sayıya anlam verilir, anlam başarıya çevrilir ve başarı ticari sonuca bağlanır. Her geçiş yeni bir iddia eklerken ölçüm aynı kalır. Üretken bilgi erişimi literatürü de sıralama temelli yerleşik değerlendirmenin üretilmiş cevaplar için tek başına yeterli olmadığını tartışır.[5] Framework bu zinciri reddeder. Ölçüm, iddiayı süsleyen sayı değil, gözlemi karşılaştırılabilir hâle getiren protokoldür.

Ölçtüğünüz şey, iddia edebileceğiniz şeyin tavanıdır.

1. Ölçümün Nesnesi

Bir ölçüm sistemi beş soruya cevap vermelidir: Neyi ölçüyoruz? Ölçüm birimimiz nedir? Hangi koşullarda ölçüyoruz? Neyle karşılaştırıyoruz? Hangi zaman aralığını inceliyoruz? Bu soruların cevabı yoksa “Marka görünürlüğümüz yüzde 72” cümlesinin de anlamı yoktur. Yüzde 72 hangi sistem, istem, dil ve payda içinde; bahsedilme, doğru nitelik, kaynak desteği ya da tavsiye ölçütlerinden hangisine göre hesaplanmıştır? Eksik kayıtlar nasıl ele alınmıştır? Tanımsız sayı ölçüm değil, dekordur.

GEO’da tek bir şey değil, dört ayrı alan ölçülür:

1.1. Varlık temsili

Sistem doğru kişi, işletme, ürün veya kurumu ayırabiliyor mu? Benzer isimler çarpışıyor mu; kategori, coğrafya ve eski-yeni kimlik ilişkisi doğru mu; farklı diller aynı varlığı koruyor mu? Kayıtlar örneğin doğru, kısmi, çarpışmış, yanlış kategoride, belirsiz veya yok olarak kodlanabilir. “Varlık görünmedi” ile “yanlış varlık tanındı” aynı değildir: birincisi yokluk, ikincisi bozulmadır.

1.2. Nitelik temsili

Varlığa bağlanan her maddi özellik için doğruluk, dayanak, kapsam, güncellik, görünür sınırlar ve teslim edilebilirlik incelenir. Kodlar tam destekli, kısmen destekli, desteksiz, çarpıtılmış veya eksik olabilir. Doğru kelime tek başına doğru temsil değildir; kapsam da ölçülmelidir. Uluslararası müşterilerle çalışmış olmak, sınırsız küresel operasyon kapasitesi anlamına gelmez.

1.3. Yargı davranışı

Sistem yalnızca tanımlıyor mu, karşılaştırıyor mu, koşullu veya kesin tavsiye mi veriyor, doğru yerde dışarıda mı bırakıyor? Uygun tavsiye, koşullu tavsiye, uygunsuz tavsiye, desteksiz gerekçe, doğru dışlama, yanlış dışlama ve yargı yok gibi kodlar kullanılabilir. Tavsiye sayısı yeterli değildir; gerekçe, kullanıcı niyeti ve işletmenin sınırı aynı kayıtta değerlendirilir. Her istemde önerilen işletme güçlü temsil edilmiyor, temsil alanından taşıyor olabilir.

1.4. Ticari iz

Yapay zekâ etkisi beyanı, gözlenebilir yönlendirme, temas, nitelikli talep, teklif, satış, brüt kâr, iptal veya iade, memnuniyet ve tekrar satın alma ayrı ayrı izlenir. Trafik satış; satış kâr; kâr memnuniyet; memnuniyet süreklilik değildir. Analitik araçları zincirin bazı parçalarını gösterebilir, bütün karar yolculuğunu değil. Ticari iz, temsil ile sonuç arasında ilişki gösterebilir; tek başına nedensellik kurmaz.

Bu dört alan birbirine bağlanabilir, fakat tek bir sayıda eritilmez.

2. Ölçüm Birimi ve Payda

Framework’ün temel ölçüm birimi skor değil, gözlem kaydıdır. Bir kayıt şu birleşimden oluşur:

Bir varlık + bir sistem ve erişim biçimi + bir istem + bir dil + bir zaman + bir oturum koşulu + bir tam çıktı

Bu unsurlardan biri değiştiğinde yeni kayıt oluşur. Aynı istemin başka sistemde, başka dilde veya başka tarihte sınanması önceki kaydın devamı değil, ayrı bir gözlemdir. Sonuç benzer olabilir; kayıt ayrıdır.

Her kayıt en az protokol sürümünü, varlığı, sistem ve arayüzü, zamanı, tam istemi, dili, tam cevabı ve kaynakları, istem ailesini, kodlama sonucunu, değerlendiriciyi, karşılaştırma durumunu ve kanıt sınırını taşır. “On cevap incelendi” hacim bilgisidir. “On cevabın yedisinde varlık, önceden tanımlanmış ölçüte göre doğru kategoride tanındı” ölçüm olabilir.

Her oran bir pay ve payda taşır. “Marka on yedi kez tavsiye edildi” cümlesi; toplam istem sayısı, sistemler, tekrarlar, marka adının istemde bulunup bulunmadığı, başarısız çıktılar ve dışlama testleri açıklanmadıkça eksiktir. “Kırk istem, üç tekrar ve iki sistemle üretilen 240 geçerli çıktının on yedisinde marka tavsiye edildi” cümlesi ise okura yargı alanını gösterir.

Eksik kayıt sıfır değildir. Sistem cevap üretmediyse sonuç “marka görünmedi” diye değil, “çıktı alınamadı” diye kaydedilir. Her oranda toplam kayıt, dâhil etme ve dışlama ölçütü, tekrar yapısı, eksik veri ve kodlama yöntemi açıklanır. Payda saklandığında sayı büyür, bilgi küçülür.

3. Tek GEO Skoru Neden Yasaktır?

Bu framework kararlarını tek bir birleşik GEO skoruna bağlamaz. Çünkü temsil tek boyutlu değildir. Bir marka kimlik düzeyinde tutarlı, nitelik düzeyinde çarpıtılmış, yargı düzeyinde sık tavsiye edilen ve ticari sonuç bakımından değersiz olabilir. Tek sayı bu gerilimleri düzleştirir. Düzleştirilen şey kolay karşılaştırılır, fakat anlaşılmaz.

Bahsedilme, kaynak gösterilme, tavsiye, olumlu dil, trafik ve dönüşüm ağırlıklandırılıp 78 gibi bir sonuç üretilebilir. Bu tür endeksler iç operasyonlarda özet sinyal olarak işe yarayabilir; fakat hangi bozulmanın bulunduğunu, hangi hakkın etkilendiğini veya bir kamu iddiasına izin verilip verilmeyeceğini tek başına belirleyemez. Framework bu nedenle ölçüm profili kullanır:

Tablo 3.1 — GEO ölçüm profili

Alt ölçümler oran veya sayı taşıyabilir. Yasaklanan sayı değil, birbirinden farklı gerçekliklerin karar yetkisi taşıyan tek bir puanda saklanmasıdır.

4. Nokta, Küme ve Yayılım

Ölçümün üç kapsam seviyesi vardır. Nokta gözlem, tek istem, tek sistem ve tek andır; olayın oluştuğunu gösterir, davranış desenini değil. “Sistem A, 12 Ağustos 2026 tarihinde bu istemde markayı ikinci seçenek olarak tavsiye etti” denebilir. “Marka Sistem A’da ikinci sıradadır” denemez.

Küme gözlem, aynı kullanıcı niyetini farklı ifadelerle sınayan kontrollü tekrarlardan oluşur. “Kırk istemlik satın alma niyeti kümesinde marka, geçerli kayıtların yüzde 62’sinde doğru kategoriyle temsil edildi” denebilir. Sonuç yalnızca o kümeye aittir; başka dil, sistem veya niyetlere taşınamaz.

Yayılım gözlem, birden fazla sistem, dil, istem ailesi ve zaman penceresini ortak kodlama kurallarıyla inceler. Kapsamı büyütür, kesinliği garanti etmez. Yayılım arttıkça çevresel farklılıkları saklamamak daha önemli hâle gelir. Dağılmış protokol, daha çok veriyle daha çok gürültü üretebilir.

Bu seviyelerin içinden zaman geçer. Tek ölçüm anlık kayıttır. “Durum” diyebilmek için önceden belirlenmiş aralıklarla tekrar eden davranış gerekir. Davranış tekil, tekrarlayan, istikrarlı, dalgalı, zayıflayan, ortadan kalkan veya henüz sınıflandırılamayan olarak raporlanabilir.

5. Protokol Kilidi

Ölçüm protokolü sonuç görülmeden yazılır. İncelenen varlık, ölçüm alanları, sistemler, diller, istem aileleri, tekrar sayısı, zaman penceresi, karşılaştırma grubu, kodlama kuralları ve eksik veri yaklaşımı önceden kilitlenir. Protokol değişebilir; değişiklik gizlenemez.

Yeni sistem, dil, istem kümesi ya da değerlendirme ölçütü yeni bir protokol sürümü oluşturur. Eski ve yeni sonuçlar doğrudan karşılaştırılacaksa ortak ve değişmemiş alt küme ayrıca gösterilir. “Önce yüzde 42, şimdi yüzde 68” cümlesi ancak iki dönemin aynı şeyi, aynı yöntemle ölçmesi hâlinde anlamlıdır. Protokol değiştiğinde seri kırılır; kırılan seri gelişim hikâyesiyle birleştirilemez.

Tamamen sabit test zaman içindeki yeni sorunları göremez; sürekli değişen test ise karşılaştırmayı bozar. Bu nedenle iki istem kümesi tutulur. Çekirdek küme, zaman karşılaştırması için sabit kalır. Keşif kümesi, yeni kullanıcı niyetlerini ve hata türlerini aramak için değişebilir. Keşif sonucu çekirdek seriye karıştırılmaz; önce hipotez üretir, yeterli gerekçeyle sonraki protokol sürümüne alınabilir.

6. İstem Evreni

Marka adı bulunan istemlerin tek başına kullanıldığı test keşfi değil, yönlendirilmiş geri çağırmayı ölçer. Dengeli istem evreni beş aile taşır:

• Kimlik istemleri: Ad, kategori, yönetici, ürün ve kurumsal ilişkileri sınar.
• Nötr keşif istemleri: Marka adını vermeden ihtiyaç, kategori, coğrafya ve kullanım koşulu üzerinden keşfi inceler.
• Karşılaştırma istemleri: Seçenekleri aynı koşullar altında karşılaştırır; sıralamadan çok gerekçeyi kaydeder.
• Karşıt istemler: Rakibin veya başka kategorinin daha uygun olabileceği bağlamlarda iddianın kırıldığı yeri arar.
• Dışlama istemleri: Markanın görünmemesi gereken sorularla temsil taşmasını sınar.

İstem evreni istenen sonucu değil, varlığın taşıyabileceği sınırı sınamalıdır. Kullanılan istemlerin gerçek kullanıcı niyetlerini ne ölçüde temsil ettiği açıklanır; araştırmacının kurduğu kontrollü istem ile doğal kullanıcı ifadesi aynı havuzda ayrım gösterilmeden birleştirilmez.

7. İnsan Yargısı, Kodlama ve Uyuşmazlık

Üretken çıktı kendi kendisini doğrulayamaz. Sisteme “Bu cevap doğru mu?” diye sormak bağımsız denetim değil, yeni bir model çıktısı üretmektir. Ölçüm, kodların ve karar örneklerinin sonuçtan önce tanımlanmasını ister.

Yüksek etkili iddialarda en az iki insan değerlendirici aynı kayıtları bağımsız kodlar. Önce ham uyum oranı, sonra şansla oluşabilecek uyumu hesaba katan Cohen’in kappa katsayısı gibi uygun bir ölçü raporlanabilir.[15] Kappa yüksek olsa bile kodların dünyada doğru olduğunu kanıtlamaz; yalnızca değerlendiricilerin tanımları benzer biçimde uyguladığını gösterir. Düşük uyum da gizlenecek kusur değildir: tanımın, eğitim örneklerinin veya kanıt tabanının yetersiz olduğunu gösteren veridir.

Metin benzerliği veya anlamsal yakınlık ölçen model tabanlı araçlar büyük kayıt kümelerinde yardımcı sinyal üretebilir.[19] Fakat iki cevabın birbirine benzemesi, ikisinin de doğru olduğu anlamına gelmez. Otomatik benzerlik ölçümü sınıflandırmayı destekleyebilir; dünya doğruluğu, kullanıcı uygunluğu ve etik hüküm için son karar insanda kalır.

8. Karşılaştırılabilirlik, Belirsizlik ve Eksik Veri

İki sayı ancak aynı şeyi ölçüyorsa karşılaştırılabilir. Sistem veya model, arayüz, dil, istem kümesi, tekrar sayısı, rakip seti, kodlama kuralı, zaman penceresi ve eksik veri yaklaşımı değiştiğinde sonuçlar geçersiz olmayabilir; fakat aynı seriye ait olmayabilir. Karşılaştırma simetri ister. Yan yana duran her sayı karşılaştırma değildir.

Ölçüm belirsizliği yok etmez, görünür kılar. Üç durum özellikle ayrılır:

• Gözlenmedi: İlgili test yapılmadı.
• Bulunmadı: Test yapıldı, davranış görülmedi.
• Uygulanamaz: Ölçüt bu kayıt için geçerli değildi.

Bu durumların hiçbiri otomatik olarak sıfır değildir. Sistem kaynak göstermiyorsa “kaynak desteği yok” değil, “kaynak desteği gözlenemedi”; müşteri yapay zekâ etkisinden söz etmediyse “etki yok” değil, “etki beyan edilmedi”; marka bir istemde görünmediyse “sistem markayı bilmiyor” değil, “bu istemde varlık gözlenmedi” denir.

Her rapor üç sınırı görünür tutar: kapsam—ne ölçüldü; eksik alan—ne ölçülmedi; belirsizlik—sonucu başka ne açıklayabilir? Bilinmeyeni sıfır yazmak belirsizliği ortadan kaldırmaz, yalnızca saklar.

9. Öğretici Vaka: Sable & Pine

Öğretici simülasyon — sentetik veri. Bu vaka gerçek bir işletmeyi veya ölçüm dönemini temsil etmez.

Kurumsal iç mekân tasarımı yapan Sable & Pine için iki dönemlik rapor sunulur: ilk ölçüm yüzde 42, ikinci ölçüm yüzde 68. İlk bakışta belirgin bir gelişim vardır. Protokoller açıldığında ise ölçülen şeylerin değiştiği görülür.

Tablo 3.2 — Sable & Pine sentetik protokol karşılaştırması

Yüzde 42 doğru nitelik oranı ile yüzde 68 bahsedilme oranı aynı değişken değildir. Üstelik ikinci dönemde marka adı daha sık verilmiş, karşıt alan çıkarılmış ve tekrar sayısı azaltılmıştır. İki dönemde ortak protokolden geçen on iki istem ayrı incelendiğinde değişim yüzde 42’den yüzde 44’e çıkar.

Framework ikinci dönemin verisini çöpe atmaz. Onu başka bir protokolün başlangıç kaydı olarak saklar. Fakat yüzde 26 puanlık “gelişim” iddiasını reddeder. Protokol değişikliği performans değişikliği değildir.

10. Ölçümün Kararı

Ayrıntılı alanları Ek C’de verilen Ölçüm Kaydı, neyin gözlendiğini gösterir. Kanıt Kaydı ise bu gözlemin hangi cümleyi taşıyabileceğine karar verir. Ölçüm kayıt üretir; kanıt kaydın konuşmasına izin verir.

Framework içinde şu pratikler ölçüm sayılmaz: tanımı açıklanmayan tek GEO skoru; sonuçtan sonra değiştirilen istem kümesi; yalnızca olumlu çıktıların saklanması; marka istemlerinin nötr keşif gibi sunulması; farklı sistem ve dillerin ayrım göstermeden birleştirilmesi; protokol değişikliğinin performans artışı olarak anlatılması; eksik verinin sıfır kabul edilmesi; paydasız yüzde; trafik, satış ve sürdürülebilir değerin birbirinin yerine kullanılması.

Bu uygulamalar sayı üretebilir. Ölçüm üretmez.

Bu bölümün hükmü şöyledir:

Ölçümün görevi ne kadar iyi olduğumuzu göstermek değil; ne bildiğimizi, neyi yalnızca gözlediğimizi ve neyi bilmediğimizi ayırmaktır.

Bir çarpıklığı ölçmek onu düzeltmez. Değişimi görmek nedenini açıklamaz. Sorunu görünür kılmak, her sorunun müdahale gerektirdiğine hükmetmez. Bir sonraki bölüm bu nedenle ölçümden eyleme geçmeden önce soracaktır: Bir temsile ne zaman dokunmalı, ne zaman yalnızca gözlemlemeliyiz?