BÖLÜM IV

Ölçüm, gerçeği yalnızca kaydetmez.

Neye bakılacağını, neyin başarı sayılacağını ve hangi sonucun görünmez kalacağını da belirler.

Bir kurum yalnız anılma sayıyorsa, yanlış temsili başarı olarak raporlayabilir.

Yalnız atıf sayıyorsa, nötr bir kaynak kullanımını tavsiye gibi yorumlayabilir.

Yalnız olumlu cevapları kaydediyorsa, sistemin gerçek değişkenliğini saklayabilir.

Yalnız satış gerçekleşen müşterilere soruyorsa, başarısız eşleşmelerin bilgi ortamından nasıl doğduğunu göremez.

Tek bir puan yayımlıyorsa, kanıt eksikliğini, düşük örneklemi ve kritik etik ihlalleri ortalamanın içinde kaybedebilir.

Bu nedenle ölçüm, GEO’nun sonunda hazırlanan bir rapor değildir.

Ölçüm:

çalışmanın hangi iddiayla başladığını,

hangi müdahalenin yapıldığını,

hangi çıktının değiştiğini,

değişimin ne kadarının müdahaleyle ilişkilendirilebildiğini,

gerçek dünyada ne olduğunu,

sonucun zaman içinde sürüp sürmediğini

belirleyen temel disiplindir.

Bir ölçüm sisteminin güvenilir olabilmesi için en azından şu ayrımları koruması gerekir:

Gözlem ile sonuç

Anılma ile atıf

Atıf ile öneri

Öneri ile kullanıcı eylemi

Kullanıcı eylemi ile satış

Satış ile net katkı

Net katkı ile sürdürülebilir değer

Birlikte değişim ile nedensellik

Kullanıcı beyanı ile doğrulanmış etki ilişkilendirmesi

Tek cevap ile tekrarlanabilir sistem davranışı

Bu bölümde “etki ilişkilendirmesi” kelimesi, bir sonucun hangi temaslara, müdahalelere veya kaynaklara ne ölçüde bağlanabileceğinin belirlenmesi anlamında kullanılır.

Etki ilişkilendirmesi bir hikâye kurma işi değildir.

Bir katkı zincirini kanıt sınırı içinde açıklama işidir.

Bir müşteri:

bir yapay zekâ cevabı görmüş,

ardından markayı aramış,

bir karşılaştırma sitesine gitmiş,

sosyal medya hesabını incelemiş,

bir tanıdığından görüş almış,

satış temsilcisiyle konuşmuş,

fiyat indirimi aldıktan sonra satın almış

olabilir.

Bu satışın tamamını yalnızca ilk yapay zekâ cevabına bağlamak, diğer temasları yok sayar.

Yapay zekâ etkisini tamamen reddetmek de ilk temasın katkısını görünmez kılar.

Doğru ölçüm iki aşırı uçtan da kaçınır.

Bu bölümün kurucu hükmü şudur:

Bir ölçüm, yalnızca gerçekten gözlediği şeyi söyleyebilir. Bir gözlem, kanıtlamadığı sonucu temsil edemez.

GEO-028

BAŞLANGIÇ DEĞERİ OLMADAN İYİLEŞME İDDİA ETMEK

Birincil kategori: Karşılaştırmalı ölçüm İkincil etiketler: baseline, before-and-after, intervention effect, reconstructed baseline GEO Framework dayanağı: Ölçüm, Müdahale, Zaman, Denetim Varsayılan önem seviyesi: Majör

Varlığın Sesi

Siteni değiştirdin.

Yeni kimlik sayfaları yayımladın.

Şema ekledin.

Bazı eski içerikleri kaldırdın.

Sonra bana on soru sordun.

Üçünde markanı doğru anlattım.

Sen şöyle dedin:

“GEO performansımız yüzde 300 arttı.”

Neye göre?

Değişiklikten önce aynı soruları sordun mu?

Aynı sistemde mi sordun?

Aynı dilde mi?

Aynı ülkeden mi?

Aynı arayüzde mi?

Kaç tekrar yaptın?

Önceki cevapları sakladın mı?

İyileşme diyebilmek için önce neyin değiştiğini bilmelisin.

Bir sonuç bugün iyi görünebilir.

Fakat dün daha iyi olabilir.

Bugün kötü görünebilir.

Fakat müdahale öncesinden daha iyi olabilir.

Başlangıç değeri yoksa mevcut durumu gözleyebilirsin.

Fakat değişimi ölçmüş olmazsın.

“Şu anda üç doğru temsil gözledik” diyebilirsin.

“Üç kat iyileştik” diyemezsin.

İnsan Ne Sanır?

“Müdahaleden sonra olumlu bir sonuç gördüysek çalışma başarılı olmuş demektir.”

Bu varsayım mevcut durum ile iyileşmeyi birbirine eşitler.

Sistem Düzeyinde Ne Olabilir?

Müdahale sonrası gözlenen çıktı:

müdahaleden önce de mevcut olabilir,

model veya ürün güncellemesinden kaynaklanabilir,

sorgu biçiminin değişmesinden doğabilir,

geçici bir kaynak seçimi sonucu olabilir,

kullanıcı veya oturum bağlamından etkilenebilir,

ölçüm yapılan günün koşullarına özgü olabilir.

Başlangıç kaydı bulunmadığında değişimin yönü, büyüklüğü ve müdahaleyle ilişkisi bilinmez.

Normatif Tanım

Bir GEO müdahalesinden önce karşılaştırılabilir koşullarda başlangıç ölçümü yapılmadan; müdahale sonrasındaki gözlemin iyileşme, büyüme, artış, dönüşüm veya performans kazanımı olarak sunulmasıdır.

Başlangıç değeri Düzeyleri

B0 — Başlangıç Kaydı Yok

Müdahale öncesine ait karşılaştırılabilir kayıt bulunmaz.

Yalnız mevcut durum raporlanabilir.

B1 — Geriye Dönük Oluşturulmuş Başlangıç değeri

Arşivler, eski ekran görüntüleri, geçmiş sistem kayıtları veya üçüncü taraf veriler kullanılarak başlangıç durumu yeniden kurulmuştur.

Kullanılabilir; ancak yeniden oluşturulmuş başlangıç değeri olarak etiketlenmelidir.

B2 — Gözlenmiş Fakat Kontrolsüz Başlangıç değeri

Müdahale öncesinde ölçüm yapılmıştır; ancak sistem, dil, sorgu veya tekrar koşulları tam olarak sabitlenmemiştir.

Karşılaştırma sınırlı güven taşır.

B3 — Önceden Tanımlanmış Karşılaştırılabilir Başlangıç değeri

Sorgu kümesi, sistem, dil, ülke, arayüz, zaman aralığı, tekrar sayısı ve değerlendirme yöntemi önceden belirlenmiş ve müdahale öncesinde uygulanmıştır.

İyileşme iddiası için tercih edilen düzeydir.

B4 — Kontrol veya Karşılaştırma Grubu İçeren Başlangıç değeri

Müdahale edilen alanlarla birlikte benzer fakat müdahale edilmeyen alanlar da izlenmiştir.

Nedensellik değerlendirmesi için daha güçlü destek sağlar.

Bu düzeyler aynı kanıt gücünde değildir.

Temsil Riski

Başlangıç değeri olmadan iyileşme iddiası:

etkisiz çalışmayı başarılı gösterebilir,

doğal dalgalanmayı performans gibi sunabilir,

müşterinin yatırım kararını yanıltabilir,

yanlış yöntemin ölçeklendirilmesine neden olabilir,

gerçek bozulmayı görünmez kılabilir,

denetimin güvenilirliğini azaltabilir.

Nasıl Tespit Edilir?

İyileşme veya artış ifade eden bütün cümleler çıkarılır.

Her cümle için müdahale öncesi ölçüm kaydı aranır.

Başlangıç değeri ile son ölçümün koşulları karşılaştırılır.

Sorgu kümesi, sistem, dil, ülke, arayüz ve tekrar sayısındaki farklar belirlenir.

Başlangıç kaydı sonradan oluşturulmuşsa kaynakları incelenir.

Müdahale tarihi ile ölçüm tarihleri karşılaştırılır.

Aynı dönemde gerçekleşen dış değişiklikler kaydedilir.

“Artış”, “iyileşme”, “yükseliş” ve “büyüme” ifadelerinin gerçekten karşılaştırmalı kayda dayanıp dayanmadığı değerlendirilir.

Gerekli Kanıt

Müdahale öncesi ölçüm planı

Başlangıç değeri tarihleri

Sorgu kümesi

Sistem veya ürün bilgisi

Model veya sürüm bilgisi, erişilebildiği ölçüde

Dil ve ülke

Arayüz

Tekrar sayısı

Ham çıktı kayıtları

Değerlendirme rubriği

Müdahale günlüğü

Müdahale sonrası aynı koşullardaki ölçüm

Dış değişkenler

Başlangıç değeri düzeyi

Belirsizlik açıklaması

Doğru Standart

Başlangıç değeri yoksa doğru ifade şudur:

“Müdahale sonrası mevcut durum ölçülmüştür; iyileşmenin büyüklüğü başlangıç ölçümü bulunmadığı için belirlenememektedir.”

Geriye dönük başlangıç değeri kullanılıyorsa:

“Karşılaştırma arşiv kayıtlarından yeniden oluşturulan başlangıç değerine dayanmaktadır ve sınırlı güven taşır.”

İyileşme iddiası ancak karşılaştırılabilir ölçüm koşullarına dayanmalıdır.

İhlal Olmayan Durumlar

Bir ilk denetim yalnızca mevcut durumu ölçebilir.

Bu durum bir hata değildir.

Hata, mevcut durumun önceki döneme göre iyileşme gibi sunulmasıyla oluşur.

Acil bir yanlış temsil düzeltmesinde başlangıç değeri bulunmaması müdahaleyi engellemez.

Ancak düzeltmenin etkisi daha sonra ölçülürken başlangıç eksikliği açıkça belirtilmelidir.

Düzeltme Protokolü

Kanıtsız iyileşme ifadeleri durdurulur.

Mevcut durum yeni başlangıç değeri olarak kaydedilir.

Sorgu ve değerlendirme yöntemi dondurulur.

Geçmiş kayıtlar varsa yeniden oluşturulmuş başlangıç değeri olarak sınıflandırılır.

Müdahale günlüğü ile sonuç ölçümü ayrılır.

Gelecek dönem karşılaştırması aynı koşullarda yapılır.

Kamuya açık cümle kanıt düzeyine göre yeniden yazılır.

Müşteri veya yönetim raporlarında başlangıç değeri eksikliği görünür hâle getirilir.

Yeniden Doğrulama

Yeni başlangıç değerinden sonra aynı sorgu kümesi ve değerlendirme yöntemi belirlenen zaman aralıklarında tekrar uygulanır.

Değişimin:

yönü,

büyüklüğü,

varyansı,

kapsamı

raporlanır.

Uygunluk Etkisi

Başlangıç değeri olmadan maddi performans artışı iddiası Majör uygunsuzluktur.

Yatırım, sözleşme veya gelir kararını etkileyen kasıtlı yanlış beyan varsa önem seviyesi Kritik düzeyine çıkabilir.

Denetim Sorusu

Denetim sorusu: İyileşme dediğimiz sonucun neye göre iyileştiğini gösteren gerçek bir başlangıç kaydımız var mı?

Makine Kuralı

Makine kuralı: Improvement, increase, uplift, or performance-gain claims MUST NOT be made without a comparable baseline. Where no baseline exists, only the current observed state MAY be reported.

GEO-029

ANILMA, ATIF VE ÖNERİYİ AYNI METRİK SAYMAK

Birincil kategori: Metrik sınıflandırması İkincil etiketler: mention, citation, recommendation, metric collapse, reporting GEO Framework dayanağı: Merkez, Kanıt, Ölçüm, Nihai Test Varsayılan önem seviyesi: Majör

Varlığın Sesi

Bir cevapta adın geçti.

Bir başka cevapta sitene bağlantı verildi.

Üçüncü cevapta kullanıcıya hizmetini değerlendirmesi söylendi.

Sen üçünü aynı tabloda topladın:

“Yapay zekâ görünürlüğü: 3.”

Ama üç olay aynı değil.

İlkinde yalnız adın geçmiş olabilir.

İkincisinde bir olgusal cümlenin kaynağı olmuş olabilirsin.

Üçüncüsünde kullanıcıya uygun bir seçenek olarak sunulmuş olabilirsin.

Bunların temsil anlamı, ticari değeri ve riskleri farklıdır.

Adının olumsuz bağlamda geçmesi anılmadır.

Sitenin rakibini eleştiren bir cümleye kaynak olması atıftır.

Bir seçenek listesinde koşullu biçimde yer alman öneri olabilir.

Hepsini tek torbaya koyduğunda neyin değiştiğini anlayamazsın.

Anılma artmış olabilir.

Atıf düşmüş olabilir.

Öneri yanlış kullanıcılar için yükselmiş olabilir.

Tek bir “görünürlük” sayısı bütün bu farkları saklar.

İnsan Ne Sanır?

“Bir yapay zekâ cevabında markayla ilişkili her görünüm aynı başarı olayını temsil eder.”

Sistem Düzeyinde Ne Olabilir?

Çıktı içindeki bir marka veya kaynak şu rollerden birinde bulunabilir:

yalnızca adı geçen varlık,

tanımlanan varlık,

örnek olarak kullanılan varlık,

karşılaştırılan alternatif,

eleştirilen varlık,

tarihsel referans,

olgusal kaynak,

görüş kaynağı,

koşullu tavsiye,

açık tavsiye,

kaçınılması önerilen varlık.

Bu rollerin tamamı aynı ölçüm kategorisinde tutulursa temsil doğruluğu analiz edilemez.

GEO-002 ve GEO-003 ile Farkı

GEO-002, anılmanın başarı olarak yorumlanmasını ele alır.

GEO-003, atfın öneri gibi anlaşılmasını ele alır.

GEO-029, ölçüm sisteminin bu ayrı olayları veri yapısında tek bir metrik altında birleştirmesini inceler.

Buradaki sorun yalnız yanlış yorum değil, yanlış ölçüm mimarisidir.

Normatif Tanım

Anılma, atıf ve öneri olaylarının ayrı tanımları, alanları ve değerlendirme kriterleri olmadan tek bir “Yapay zekâ görünürlüğü”, “GEO puanı” veya benzeri birleşik metrik altında sayılmasıdır.

Asgari Olay Sınıfları

M0 — Görünmüyor

Varlık çıktıda yer almamaktadır.

M1 — Anılma

Varlığın adı veya açık kimlik referansı bulunmaktadır.

M2 — Tanımlayıcı Temsil

Sistem varlık hakkında bir veya daha fazla özellik ileri sürmektedir.

C1 — Atıf

Kaynak, belirli bir cümle veya bilgi için gösterilmektedir.

C2 — Maddi Atıf

Atıf, varlığın kendisi, kapasitesi, kanıtı veya uygunluğu hakkında maddi bir cümleyi desteklemektedir.

R1 — Alternatif Olarak Listeleme

Varlık seçenekler arasında yer almaktadır; açık tercih hükmü bulunmayabilir.

R2 — Koşullu Öneri

Belirli kullanıcı, bütçe, coğrafya veya ihtiyaç koşuluyla önerilmektedir.

R3 — Açık Öneri

Sistem kullanıcıya varlığı seçmesini, değerlendirmesini veya önceliklendirmesini açık biçimde önermektedir.

R4 — Olumsuz Öneri

Sistem varlıktan kaçınılmasını veya uygun olmadığını belirtmektedir.

Bu sınıflar ayrıca doğruluk, güncellik ve kullanıcı uygunluğu bakımından değerlendirilmelidir.

Temsil Riski

Metriklerin tekleştirilmesi:

nötr anılmayı olumlu tavsiye gibi gösterebilir,

olumsuz görünürlüğü başarıya ekleyebilir,

atıf kaybını anılma artışıyla saklayabilir,

yanlış öneriyi olumlu sayabilir,

hangi müdahalenin neyi etkilediğini görünmez kılabilir,

ticari sonuç beklentisini şişirebilir.

Nasıl Tespit Edilir?

GEO raporunda kullanılan bütün metrik adları çıkarılır.

“Görünürlük”, “presence”, “share of voice” ve benzeri birleşik değerlerin bileşenleri incelenir.

Ham çıktılar anılma, atıf ve öneri olarak yeniden etiketlenir.

Olumlu, nötr ve olumsuz bağlamlar ayrılır.

Atfın hangi cümleyi desteklediği kaydedilir.

Önerinin açık, koşullu veya yalnız listeleme olup olmadığı belirlenir.

Aynı olayın birden fazla kez sayılıp sayılmadığı kontrol edilir.

Birleşik puanın hangi farklı olayları tek değere dönüştürdüğü açıklanır.

Gerekli Kanıt

Ham çıktı

Sorgu

Sistem

Tarih

Dil ve ülke

Anılma konumu

Atıf konumu ve desteklediği cümle

Öneri ifadesi

Bağlam sınıfı

Doğruluk değerlendirmesi

Kullanıcı uygunluğu değerlendirmesi

Sınıflandırma rehberi

İkinci inceleyici uyumu, mümkünse

Doğru Standart

Anılma, atıf ve öneri ayrı metrikler olarak tutulmalıdır.

Bir gösterge tablosu şu değerleri ayrı gösterebilir:

Anılma oranı

Doğru anılma oranı

Atıf oranı

Maddi atıf oranı

Koşullu öneri oranı

Açık öneri oranı

Yanlış öneri oranı

Olumsuz öneri oranı

Bilinmeyen veya sınıflandırılamayan çıktı oranı

Birleşik özet kullanılacaksa bileşenler ve ağırlıklar görünür olmalıdır.

Birleşik değer, temel metriklerin yerini alamaz.

İhlal Olmayan Durumlar

Yönetim özeti için birden fazla metriği görsel bir üst başlık altında sunmak mümkündür.

İhlal, olayların ayrı değerleri kaybedilerek tek bir sayı gibi raporlanması ve bu sayının bütün temsil zincirini kanıtladığının ileri sürülmesiyle oluşur.

Düzeltme Protokolü

Birleşik ham veri olay düzeyine ayrılır.

Anılma, atıf ve öneri tanımları yayımlanır.

Geçmiş çıktılar mümkünse yeniden sınıflandırılır.

Olumlu, olumsuz ve nötr bağlamlar ayrılır.

Raporlama şablonları güncellenir.

Birleşik puan kullanılıyorsa formülü ve ağırlıkları açıklanır.

Yanlış başarı iddiaları geri çekilir.

Değerlendiriciler için örnekli sınıflandırma rehberi hazırlanır.

Yeniden Doğrulama

Aynı çıktı kümesi en az iki değerlendirici tarafından sınıflandırılır.

Anlaşmazlıklar:

tanım eksikliği,

bağlam belirsizliği,

veri kalitesi

bakımından incelenir.

Sınıflandırılamayan olaylar olumlu kategoriye zorlanmaz; UNKNOWN — BİLİNMİYOR olarak tutulur.

Uygunluk Etkisi

Anılma, atıf ve önerinin tek metrik olarak sunulması Majör uygunsuzluktur.

Denetim Sorusu

Denetim sorusu: Ölçüm sistemi, varlığın yalnızca adının geçmesini, kaynak olarak kullanılmasını ve gerçekten önerilmesini birbirinden ayırabiliyor mu?

Makine Kuralı

Makine kuralı: Mention, citation, and recommendation MUST be recorded as distinct event types with separate definitions, evidence fields, and outcome interpretations.

GEO-030

SORGU KÜMESİNİ SONUCU GÖRDÜKTEN SONRA DEĞİŞTİRMEK

Birincil kategori: Ölçüm tasarımı bütünlüğü İkincil etiketler: query set, prompt selection, post-selection, preregistration, cherry-picking GEO Framework dayanağı: Ölçüm, Denetim, Hüküm Varsayılan önem seviyesi: Majör; kasıtlı manipülasyonda Kritik

Varlığın Sesi

Bana 500 soru sordun.

Markan 34 cevapta göründü.

Sonra rapora yalnız o 34 soruyu koydun.

Şöyle dedin:

“Sorguların yüzde 100’ünde görünürüz.”

Başka bir ölçümde markan görünmedi.

O soruları “hedef kitlemiz için uygun değil” diye çıkardın.

Fakat hedef kitle kararını cevapları gördükten sonra verdin.

Bir soru olumlu sonuç üretirse stratejik sorgu oldu.

Olumsuz sonuç üretirse ölçüm dışı kaldı.

Bu durumda sorgu kümesi performansı ölçmez.

Performansı doğrulamak için yeniden şekillenir.

Bana hangi soruları sorduğun, aldığın cevaplardan önce belirlenmelidir.

Aksi hâlde istediğin sonucu üretinceye kadar soru evrenini küçültebilirsin.

İnsan Ne Sanır?

“Sonuç üretmeyen veya markanın görünmediği sorgular gerçek hedefi temsil etmiyorsa sonradan çıkarılabilir.”

Bu yaklaşımın sorunu, “gerçek hedef” tanımının sonuç görüldükten sonra değiştirilmesidir.

Sistem Düzeyinde Ne Olabilir?

Üretken sistem çıktıları sorgunun:

kelime sırasına,

ayrıntı düzeyine,

kullanıcı niyetine,

coğrafya ifadesine,

bütçe veya sektör koşuluna,

konuşma bağlamına

duyarlı olabilir.

Çok sayıda varyasyon denenip yalnız olumlu olanlar seçildiğinde performans olduğundan yüksek görünür.

Normatif Tanım

Ölçümde kullanılacak sorguların, kullanıcı niyetlerinin, ağırlıkların, dâhil etme ve dışlama kurallarının sonuçlar görüldükten sonra; performansı olumlu gösterecek biçimde değiştirilmesi, seçilmesi veya yeniden ağırlıklandırılmasıdır.

Sorgu Kümesi Katmanları

Keşif Kümesi

Yeni sorguların, ifadelerin ve kullanıcı niyetlerinin araştırıldığı alandır.

Sonuçlar hipotez üretir.

Doğrulayıcı performans kanıtı sayılmaz.

Kanonik Ölçüm Kümesi

Ölçüm öncesinde dondurulmuş ve sürümlenmiş sorgu setidir.

Karşılaştırmalı raporların temelidir.

Holdout Kümesi

Müdahale ve optimizasyon kararlarında kullanılmayan, sonradan genellenebilirliği sınamak için ayrılan sorgulardır.

Olay Tabanlı Ek Küme

Yeni ürün, kriz, mevzuat veya pazar değişimi nedeniyle eklenen sorgulardır.

Yeni sürüm ve gerekçe gerektirir.

Bu katmanlar birbirine karıştırılmamalıdır.

Sorgu Kaydının Asgari Alanları

Sorgu kimliği

Tam metin

Kullanıcı niyeti

Hedef varlık veya kategori

Dil

Ülke

Kullanıcı profili

Bütçe veya kapsam koşulu

Sorgu ağırlığı

Dâhil edilme gerekçesi

Eklendiği sürüm

Değişiklik geçmişi

Aktif veya emekli statüsü

Temsil Riski

Sonuç sonrası sorgu değişikliği:

görünürlüğü yapay biçimde yükseltir,

başarısız kullanıcı niyetlerini saklar,

karşılaştırılabilirliği bozar,

müdahalenin etkisini olduğundan büyük gösterir,

yatırım ve sözleşme kararlarını yanıltır,

denetimin tekrar üretilebilirliğini yok eder.

Nasıl Tespit Edilir?

Ölçümde kullanılan sorguların ilk oluşturulma tarihleri incelenir.

Sonuç kayıtlarıyla sorgu değişiklik zamanları karşılaştırılır.

Çıkarılan sorguların sonuçları değerlendirilir.

Sorgu ağırlıklarının sonradan değişip değişmediği kontrol edilir.

Kanonik ve keşif kümelerinin ayrılıp ayrılmadığı incelenir.

Dâhil etme ve dışlama gerekçeleri aranır.

Önceki raporlarla sorgu kümesi sürümleri karşılaştırılır.

Yalnız olumlu sonuç veren sorguların seçilip seçilmediği test edilir.

Sorgu listesinin bütünlük değeri veya tarihli sürümü bulunup bulunmadığı kontrol edilir.

Gerekli Kanıt

İlk sorgu envanteri

Sorgu sürüm kaydı

Oluşturulma ve değişiklik tarihleri

Dâhil etme ölçütleri

Dışlama ölçütleri

Kullanıcı niyeti sınıflandırması

Sorgu ağırlıkları

Keşif ve kanonik küme ayrımı

Çıkarılan sorgular

Çıkarma gerekçeleri

Ham sonuçların tamamı

İnsan onay kaydı

Bütünlük kaydı, mümkünse

Doğru Standart

Kanonik sorgu kümesi sonuçlar görülmeden önce tanımlanmalı ve sürümlenmelidir.

Bir sorgu sonradan kaldırılabilir.

Ancak:

gerekçe yazılmalı,

önceki sürüm korunmalı,

geçmiş sonuç sessizce yeniden hesaplanmamalı,

yeni rapor yeni sürümü açıkça göstermelidir.

Keşif sonuçları:

“Keşif ölçümünde gözlendi”

olarak sunulmalıdır.

Kanonik performans sonucuyla birleştirilmemelidir.

İhlal Olmayan Durumlar

Yazım hatasının ölçüm başlamadan düzeltilmesi ihlal değildir.

Bir hizmetin sona ermesi veya yeni bir pazarın açılması nedeniyle sorgu kümesi değişebilir.

Ancak bu değişiklik:

tarihli,

gerekçeli,

sürümlenmiş,

geçmişten ayrılmış

olmalıdır.

Düzeltme Protokolü

Kullanılan bütün sorgular ve sonuçlar geri toplanır.

Keşif ve doğrulama sorguları ayrılır.

Sonuç sonrası çıkarılan sorgular yeniden değerlendirilir.

Kanonik sorgu kümesi oluşturulur.

Dâhil etme ve dışlama kuralları yayımlanır.

Sorgu kümesi sürümü ve bütünlük kaydı oluşturulur.

Geçmiş performans iddiaları gerçek sorgu evrenine göre yeniden hesaplanır.

Sonradan oluşturulmuş sorgular yeni dönemde test edilir.

Holdout kümesi mümkünse eklenir.

Yeniden Doğrulama

Dondurulmuş sorgu kümesi aynı koşullar altında tekrar çalıştırılır.

Sonuçlar:

bütün sorgular,

başarısız sorgular,

UNKNOWN — BİLİNMİYOR sonuçlar

dâhil edilerek raporlanır.

Uygunluk Etkisi

Sonuç sonrası sorgu değişikliği Majör uygunsuzluktur.

Performansı kasıtlı biçimde yükseltmek için yapıldığı doğrulanırsa Kritik uygunsuzluk oluşur.

Denetim Sorusu

Denetim sorusu: Bu sorgular sonuçları ölçmek için mi seçildi, yoksa istenen sonuç görüldükten sonra mı “doğru sorgu” ilan edildi?

Makine Kuralı

Makine kuralı: Canonical query sets, inclusion rules, exclusions, and weights MUST be defined and versioned before outcome inspection. Post-result changes MUST create a new disclosed measurement version.

GEO-031

TEK BİR YANITI SİSTEM DAVRANIŞI SAYMAK

Birincil kategori: Tekrarlanabilirlik İkincil etiketler: single observation, variance, replication, stochastic output, prevalence GEO Framework dayanağı: Ölçüm, Zaman, Denetim Varsayılan önem seviyesi: Majör

Varlığın Sesi

Bana bir soru sordun.

Markanı önerdim.

Ekran görüntüsünü aldın.

Şöyle yazdın:

“Sistem bizi her zaman öneriyor.”

Başka biri aynı soruyu sordu.

Adın geçmedi.

Sen onun sorgusunun yanlış olduğunu söyledin.

Bir tek cevabı sistemin kalıcı davranışı gibi kullandın.

Oysa tek cevap yalnızca şunu kanıtlayabilir:

Bu çıktı, bu koşullarda en az bir kez üretildi.

Tek cevap:

ne kadar sık üretildiğini,

başka oturumlarda çıkıp çıkmayacağını,

yarın aynı kalıp kalmayacağını,

başka ülkelerde görülüp görülmeyeceğini,

ortalama kullanıcı deneyimini

tek başına göstermez.

Ama bir tek yanlış cevap da değersiz değildir.

Tek bir ciddi yanlış, o yanlışın mümkün olduğunu gösterebilir.

Sağlık veya güvenlik alanında bir kez ortaya çıkan ağır hata bile müdahale gerektirebilir.

Bir gözlem “hiç olmadı” iddiasını çürütebilir.

Fakat “her zaman olur” sonucunu kuramaz.

İnsan Ne Sanır?

“Ekran görüntüsünde görülen tek çıktı, sistemin genel ve tekrarlanabilir davranışını kanıtlar.”

Sistem Düzeyinde Ne Olabilir?

Aynı veya benzer sorgular:

farklı cevap sıraları,

farklı kaynaklar,

farklı öneriler,

farklı kesinlik düzeyleri,

farklı varlık seçimleri

üretebilir.

Çıktı, oturum geçmişi veya zaman gibi kaydedilmeyen koşullardan da etkilenebilir.

Bu nedenle bir ölçüm birimi ile sistem davranışı tahmini ayrılmalıdır.

• Tek Gözlemin İki Ayrı Değeri

• Varlık Kanıtı

Tek bir çıktı belirli bir ifadenin en az bir kez oluştuğunu gösterebilir.

Örneğin:

“Sistem 14 Ağustos 2026 tarihinde bu yanlış lisans iddiasını üretti.”

Bu geçerli bir gözlemdir.

• Yaygınlık Kanıtı

Bir çıktının ne kadar sık, ne kadar kararlı ve hangi koşullarda oluştuğunu göstermek için tekrar gerekir.

Örneğin:

“Testlerin yüzde 72’sinde aynı yanlış lisans iddiası oluştu.”

Bu cümle örneklem, tekrar ve yöntem gerektirir.

Varlık kanıtı ile yaygınlık kanıtı birbirine dönüştürülemez.

Normatif Tanım

Tek bir üretken sistem çıktısının; tekrar ölçümü, örneklem, zaman, oturum ve koşul kaydı bulunmadan sistemin genel, kalıcı, tipik veya güvenilir davranışı olarak sunulmasıdır.

Temsil Riski

Bu hata:

rastlantısal olumlu çıktının başarı gibi sunulmasına,

tek hatanın bütün sisteme genellenmesine,

reklam amaçlı ekran görüntüsü seçimine,

değişkenliğin saklanmasına,

gerçek hata yaygınlığının yanlış anlaşılmasına,

tekrar üretilemeyen vaatlere

yol açabilir.

Nasıl Tespit Edilir?

İddianın kaç çıktıya dayandığı belirlenir.

Aynı sorgunun kaç kez çalıştırıldığı incelenir.

Oturumların bağımsız olup olmadığı kontrol edilir.

Tarih ve zaman aralığı değerlendirilir.

Çıktı varyasyonu kaydedilir.

Başarı veya hata oranı hesaplanıyorsa payda doğrulanır.

Yalnız seçilmiş ekran görüntülerinin kullanılıp kullanılmadığı incelenir.

“Her zaman”, “genellikle”, “sürekli”, “sistem bizi öneriyor” gibi ifadelerin örneklem desteği aranır.

Tek gözlemin varlık mı, yaygınlık mı kanıtı olarak kullanıldığı belirlenir.

Gerekli Kanıt

Tam sorgu

Sistem ve arayüz

Tarih ve saat

Dil ve ülke

Oturum durumu

Önceki konuşma bağlamı

Tekrar sayısı

Ham çıktılar

Farklı çıktıların sınıflandırması

Başarı veya hata paydası

Örneklem dönemi

Değerlendirme yöntemi

Varyans veya güven açıklaması

Doğru Standart

Tek çıktı şu biçimde raporlanmalıdır:

“Bu çıktı belirtilen koşullarda bir kez gözlenmiştir. Yaygınlığı veya tekrarlanabilirliği belirlenmemiştir.”

Sistem davranışı iddiası için:

birden fazla tekrar,

tanımlı zaman aralığı,

mümkün olduğunca bağımsız oturumlar,

bütün çıktıların kaydı,

sonuç dağılımı

gereklidir.

Her durum için tek bir zorunlu tekrar sayısı belirlenmez.

Gerekli örneklem:

iddianın büyüklüğüne,

sistem değişkenliğine,

risk seviyesine,

kararın önemine

göre belirlenmelidir.

İhlal Olmayan Durumlar

Tek bir ciddi yanlış çıktı, güvenlik veya temsil riski incelemesi başlatmak için yeterli olabilir.

Bir olay raporu:

“Bu hata bir kez gözlendi”

diyebilir.

İhlal, bu gözlemin yaygın veya kalıcı davranış olarak genellenmesiyle oluşur.

Düzeltme Protokolü

Tek çıktıya dayanan genellemeler daraltılır.

Gözlem, varlık veya yaygınlık kanıtı olarak sınıflandırılır.

Tekrar protokolü oluşturulur.

Bütün çıktılar kaydedilir.

Olumlu ve olumsuz varyasyonlar raporlanır.

“Her zaman” ve benzeri mutlak ifadeler kaldırılır.

Yüksek riskli tekil hatalar ayrıca müdahale kaydına alınır.

Zaman içinde tekrar ölçüm yapılır.

Yeniden Doğrulama

Aynı sorgu:

bağımsız oturumlarda,

belirtilen tekrar sayısıyla,

tanımlı zaman aralığında

yeniden çalıştırılır.

Sonuç tek ekran görüntüsüyle değil, dağılım olarak raporlanır.

Uygunluk Etkisi

Tek yanıtı genel sistem davranışı gibi sunmak Majör uygunsuzluktur.

Kritik güvenlik veya düzenleyici karar yalnız tek ve doğrulanmamış çıktıya dayandırılmışsa önem seviyesi Kritik olabilir.

Denetim Sorusu

Denetim sorusu: Bu çıktı yalnızca bir şeyin mümkün olduğunu mu gösteriyor, yoksa ne kadar sık ve kararlı gerçekleştiğini de gerçekten ölçüyor mu?

Makine Kuralı

Makine kuralı: A single output MAY establish that an event occurred at least once, but it MUST NOT be used to claim prevalence, stability, typicality, or persistent system behaviour without repeated measurement.

Kaynak Notu

Kaynak notu: K02

GEO-032

MODEL, ÜLKE, DİL VE ARAYÜZ FARKLARINI YOK SAYMAK

Birincil kategori: Ölçüm kapsamı ve tabakalandırma İkincil etiketler: model, language, country, interface, stratification, aggregation GEO Framework dayanağı: Ölçüm, Zaman, Denetim Varsayılan önem seviyesi: Majör

Varlığın Sesi

İngilizce bir web arayüzünde test yaptın.

Sonra şöyle yazdın:

“Dünya genelinde yapay zekâ görünürlüğümüz yüzde 78.”

Türkçe ölçmedin.

Almanca ölçmedin.

Başka ülkeleri test etmedin.

Mobil arayüzü görmedin.

Kurumsal sürümleri incelemedin.

Başka sistemleri ölçmedin.

Ama tek bir ölçümü bütün pazara genelledin.

Bir dilde doğru tanınabilirsin.

Başka bir dilde eski adınla görünebilirsin.

Bir ülkede doğru fiyatla anlatılabilirsin.

Başka bir ülkede farklı para birimi veya hizmet kapsamıyla temsil edilebilirsin.

Bir arayüz kaynak gösterebilir.

Başka bir arayüz aynı kaynağı göstermeyebilir.

Bir ürün sürümünde doğru sonuç alınabilir.

Başka bir sürümde alınmayabilir.

Bütün bu farklılıkları tek ortalamaya koyduğunda, hangi kullanıcıların gerçekten doğru temsil gördüğünü bilemezsin.

İnsan Ne Sanır?

“Bir sistem veya dildeki sonuç, markanın genel yapay zekâ görünürlüğünü temsil eder.”

Sistem Düzeyinde Ne Olabilir?

Sonuçlar şu boyutlara göre değişebilir:

sistem sağlayıcısı,

ürün,

model veya sürüm,

web erişimi,

arayüz,

ülke,

dil,

dil-bölge kodu,

kullanıcı hesabı,

oturum bağlamı,

tarih,

cihaz veya uygulama yüzeyi.

Bu farklılıkların kesin mekanizması her zaman bilinmeyebilir.

Fakat ölçümde farkların bulunabileceği ihtimali yok sayılamaz.

GEO-007 ile Farkı

GEO-007, tek sistem gözlemini bütün yapay zekâ sistemlerine kavramsal olarak genellemeyi ele alır.

GEO-032, ölçüm verisinin farklı sistem, dil, ülke ve arayüz tabakaları ayrılmadan toplanmasını veya tek ortalamada birleştirilmesini inceler.

Buradaki sorun ölçüm kapsamının yapısal olarak bulanıklaştırılmasıdır.

Normatif Tanım

Farklı model, ürün, arayüz, dil, ülke, dil-bölge kodu veya zaman koşullarında elde edilen sonuçların ayrı tabakalar olarak kaydedilmeden birleştirilmesi ya da tek bir tabakadaki sonucun ölçülmemiş bütün koşullara genellenmesidir.

Ölçüm Tabakaları

İlgili olduğu ölçüde şu boyutlar ayrı tutulmalıdır:

Sistem

Hangi sağlayıcı veya üretken sistem?

Ürün ve Arayüz

Web, mobil, API, kurumsal arayüz veya başka bir ürün yüzeyi mi?

Model veya Sürüm

Erişilebildiği ölçüde hangi model ya da ürün sürümü?

Web veya Araç Durumu

Harici bilgi erişimi veya araç kullanımı açık mı?

Dil

Sorgu ve cevap hangi dilde?

Ülke ve Dil-bölge kodu

Hangi coğrafi veya bölgesel ayarlar altında?

Kullanıcı Bağlamı

Yeni oturum, oturum geçmişi, hesap veya kişiselleştirme durumu nedir?

Zaman

Ölçüm ne zaman yapıldı?

Bu alanlar bilinmiyorsa “bilinmiyor” olarak kaydedilmelidir.

Temsil Riski

Tabakaların yok sayılması:

yerel hataların küresel ortalamada kaybolmasına,

iyi sonuç veren dilin diğer dilleri maskelemesine,

tek sistem başarısının genel başarı gibi sunulmasına,

kullanıcıların gerçekte gördüğü deneyimin yanlış tahmin edilmesine,

müdahalenin yanlış pazara uygulanmasına,

uygun olmayan ticari vaatlere

neden olabilir.

Nasıl Tespit Edilir?

Raporun kapsam beyanı incelenir.

Ham veride sistem, dil, ülke ve arayüz alanlarının bulunup bulunmadığı kontrol edilir.

Birleşik puanın hangi tabakalardan üretildiği belirlenir.

Ölçülmeyen tabakaların sonuç içine dâhil edilip edilmediği incelenir.

Diller veya ülkeler arasındaki varyans hesaplanır.

Yalnız olumlu tabakaların raporlanıp raporlanmadığı değerlendirilir.

Tabaka ağırlıklarının gerçek kullanıcı veya pazar dağılımını temsil edip etmediği incelenir.

Sonuçların hangi kullanıcı evrenine genellendiği belirlenir.

Gerekli Kanıt

Sistem listesi

Ürün ve arayüz

Model veya sürüm, mümkünse

Ülke veya dil-bölge kodu

Tarih

Kullanıcı veya oturum koşulu

Her tabakadaki sorgu sayısı

Tekrar sayısı

Tabaka sonuçları

Varyans

Ağırlıklandırma yöntemi

Gerçek kullanıcı veya pazar dağılımı

Ölçülmeyen alanlar

Kapsam sınırlaması

Doğru Standart

Sonuçlar önce ayrı tabakalarda raporlanmalıdır.

Örneğin:

Türkçe / Türkiye / Sistem A

İngilizce / Birleşik Krallık / Sistem A

Almanca / Almanya / Sistem B

Bir toplam değer üretilecekse:

hangi tabakaların kullanıldığı,

ağırlıkların nasıl belirlendiği,

hangi tabakaların ölçülmediği,

sonuçlar arasındaki varyans

açıklanmalıdır.

Ölçülmeyen tabaka olumlu varsayımla doldurulmamalıdır.

İhlal Olmayan Durumlar

Bir pilot çalışma yalnız tek dil veya sistemde yapılabilir.

Bu hata değildir.

Doğru kapsam ifadesi şudur:

“Sonuçlar yalnız belirtilen sistemin Türkçe web arayüzünde, Türkiye koşullarında yapılan pilot ölçüme aittir.”

İhlal, bu sonucun küresel ve sistemler arası sonuç gibi sunulmasıyla oluşur.

Düzeltme Protokolü

Ham veriye tabaka alanları eklenir.

Geçmiş sonuçlar mümkünse yeniden ayrılır.

Ölçülmeyen alanlar açıkça işaretlenir.

Birleşik puanlar tabaka sonuçlarıyla birlikte sunulur.

Ağırlıklandırma yöntemi yayımlanır.

Öncelikli pazar ve diller için yeni ölçümler yapılır.

Aşırı geniş kapsam ifadeleri daraltılır.

Tabakalar arasındaki maddi farklar müdahale planına alınır.

Yeniden Doğrulama

Aynı sorgu niyetleri farklı sistem, dil, ülke ve arayüz tabakalarında yeniden ölçülür.

Sonuçların:

ortak yönleri,

farklılıkları,

ölçülemeyen alanları

ayrı raporlanır.

Uygunluk Etkisi

Maddi ölçüm tabakalarını yok saymak Majör uygunsuzluktur.

Denetim Sorusu

Denetim sorusu: Bu sonuç hangi kullanıcıların ve hangi sistem koşullarının deneyimini temsil ediyor; hangilerini temsil etmiyor?

Makine Kuralı

Makine kuralı: Results MUST be stratified by material system, product, interface, language, country, locale, and time conditions. Unmeasured strata MUST NOT be represented by results from another stratum.

GEO-033

YAPAY ZEKÂ ETKİSİNİ DOĞRUDAN SATIŞA ATFETMEK

Birincil kategori: Ticari etki ilişkilendirmesi İkincil etiketler: AI influence, referral, conversion, causality, incremental value GEO Framework dayanağı: Ölçüm, Zaman, Nihai Test, Hüküm Varsayılan önem seviyesi: Majör; maddi yanıltmada Kritik

Varlığın Sesi

Bir müşteri satın aldı.

Satış formunda:

“Bizi nereden duydunuz?”

diye sordun.

Müşteri:

“ChatGPT”

dedi.

Sen satışın tamamını GEO gelirine yazdın.

Fakat müşteri seni daha önce tanıyor olabilir.

Markanı bir etkinlikte görmüş olabilir.

Bir arkadaşından tavsiye almış olabilir.

Google’da araştırmış olabilir.

Fiyat indirimi kararını değiştirmiş olabilir.

Satış temsilcisinin görüşmesi belirleyici olmuş olabilir.

Ben ilk temas olmuş olabilirim.

Son temas olmuş olabilirim.

Yalnızca seçeneklerden birini hatırlatmış olabilirim.

Satışın gerçekleşmesine gerçekten katkı sağlamış olabilirim.

Ama bütün gelirin tek nedeni olduğumu göstermek için daha fazla kayda ihtiyacın var.

Bir müşterinin benden söz etmesi önemlidir.

Fakat etkilendim, geldim, satın aldım ve bu satış başka türlü gerçekleşmezdi aynı cümle değildir.

İnsan Ne Sanır?

“Müşteri bir yapay zekâ sisteminden söz ettiyse gerçekleşen satışın tamamı GEO’ya aittir.”

Sistem Düzeyinde Ne Olabilir?

Ticari kararlar birden fazla temasın birleşimiyle oluşabilir:

önceki marka bilinirliği,

organik arama,

ücretli reklam,

sosyal medya,

tavsiye,

etkinlik,

yapay zekâ cevabı,

karşılaştırma sitesi,

satış görüşmesi,

fiyat veya kampanya,

müşteri deneyimi.

Yapay zekâ etkisi gerçek olabilir.

Fakat katkı düzeyi ayrıca değerlendirilmelidir.

• Etki ilişkilendirmesi Düzeyleri

• A0 — yapay zekâ Çıktısı Gözlendi

Marka veya kaynak belirli bir yapay zekâ çıktısında görülmüştür.

Kullanıcının bu çıktıyı gördüğü bilinmez.

• A1 — yapay zekâ Maruziyeti Beyan Edildi

Kullanıcı bir yapay zekâ cevabını gördüğünü söyler.

Beyan henüz başka kayıtlarla doğrulanmamıştır.

• A2 — yapay zekâ Kaynaklı Etkileşim

Bir yapay zekâ arayüzünden veya paylaşılmış yapay zekâ cevabından siteye ya da iletişim kanalına izlenebilir etkileşim gözlenmiştir.

• A3 — yapay zekâ Etkili Ticari Temas

Kullanıcının yapay zekâ maruziyeti ile ticari temas arasında makul ve belgelenmiş bağlantı vardır.

Başka temaslar da bulunabilir.

• A4 — yapay zekâ Destekli Satış

Yapay zekâ temasının satın alma kararına katkı sağladığı, kullanıcı ve işlem kayıtlarıyla desteklenmektedir.

Katkının büyüklüğü kesin olmayabilir.

• A5 — Kurallı yapay zekâ Etki ilişkilendirmesi

Önceden tanımlanmış etki ilişkilendirmesi modeli altında satış değerinin belirli bir bölümü yapay zekâ temasına atanmıştır.

Bu bir model kararıdır; saf nedensellik değildir.

• A6 — Artımsal yapay zekâ Etkisi

Kontrol, deney, doğal deney veya güçlü nedensel yöntemle, yapay zekâ teması olmadan oluşmayacak ek sonucun makul biçimde tahmin edildiği düzeydir.

Bu düzeyler birbirinin yerine kullanılamaz.

Normatif Tanım

Bir yapay zekâ çıktısı, kullanıcı beyanı, yapay zekâ kaynaklı temas veya öneri gözleminin; diğer temas noktaları, etki ilişkilendirmesi modeli, karşılaştırmalı kayıt ve gerçek sonuç zinciri değerlendirilmeden satışın, gelirin veya kârın doğrudan ve tam nedeni olarak sunulmasıdır.

Temsil Riski

Bu hata:

GEO yatırım getirisini şişirir,

diğer kanalların katkısını siler,

yanlış bütçe dağılımına neden olur,

müşteri edinme maliyetini bozar,

satış ve pazarlama ekipleri arasında yanlış teşvik oluşturur,

kontrol edilemeyen sonucu garanti gibi sunar,

sürdürülebilir değer iddiasını kanıtsız büyütür.

Nasıl Tespit Edilir?

“Yapay zekâ kaynaklı satış”, “GEO geliri” ve benzeri ifadelerin tanımları incelenir.

Yapay zekâ temasının nasıl tespit edildiği belirlenir.

Kullanıcının diğer temas noktaları çıkarılır.

First-touch, last-touch veya çoklu temas modeli açıklanır.

Etki ilişkilendirmesi modelinin ölçümden önce belirlenip belirlenmediği kontrol edilir.

Satış ile net katkı ayrılır.

İade, iptal ve devamlılık sonuçları incelenir.

Yapay zekâ teması olmasa satışın gerçekleşip gerçekleşmeyeceğine dair karşılaştırmalı kanıt aranır.

Aynı satışın birden fazla kanala tam değerle yazılıp yazılmadığı kontrol edilir.

Etki ilişkilendirmesi sonucunun bir model tahmini mi, doğrudan kayıt mı olduğu belirlenir.

Gerekli Kanıt

yapay zekâ temas kaydı

Kullanıcı beyanı

Referrer veya etkileşim kaydı, varsa

CRM zaman çizgisi

Diğer temas noktaları

Etki ilişkilendirmesi modeli

Model sürümü

Değer paylaştırma kuralı

Satış ve sözleşme kaydı

Gelir

Maliyet

Net katkı

İade ve iptal

İzleme dönemi

Kontrol veya karşılaştırma grubu, varsa

Belirsizlik açıklaması

Doğru Standart

Aşağıdaki ifadeler ayrı tutulmalıdır:

“Yapay zekâ çıktısında görünürlük gözlendi.”

“Müşteri yapay zekâ etkisi beyan etti.”

“Yapay zekâ kaynaklı izlenebilir temas oluştu.”

“Yapay zekâ etkili ticari potansiyel müşteri kaydedildi.”

“Satış, önceden tanımlanmış çoklu temas modelinde kısmen yapay zekâ kanalına atfedildi.”

“Yapay zekâ temasının artımsal satış etkisi deneysel yöntemle tahmin edildi.”

Kanıt yalnız hangi düzeyi destekliyorsa o düzeyde konuşulmalıdır.

İhlal Olmayan Durumlar

Bir şirket iç yönetim için first-touch veya last-touch etki ilişkilendirmesi kullanabilir.

Ancak bunun bir model tercihi olduğu açıkça belirtilmelidir.

Şu ifade mümkündür:

“First-touch etki ilişkilendirmesi modelimize göre bu satış yapay zekâ kanalına atanmıştır.”

Şu ifade daha güçlü kanıt gerektirir:

“Bu satış yalnızca yapay zekâ sayesinde gerçekleşmiştir.”

Düzeltme Protokolü

Bütün “Yapay zekâ geliri” ve “GEO satışları” tanımları gözden geçirilir.

Etki ilişkilendirmesi düzeyleri oluşturulur.

Kullanıcı beyanı, yönlendirme kaydı ve satış kaydı ayrılır.

Diğer temas noktaları CRM içinde görünür hâle getirilir.

Etki ilişkilendirmesi modeli önceden tanımlanır ve sürümlenir.

Aynı gelirin kanallar arasında mükerrer sayımı engellenir.

Net katkı ve sürdürülebilirlik ayrıca ölçülür.

Kanıtı aşan nedensellik ifadeleri daraltılır.

Mümkünse kontrol veya artımsallık testi yapılır.

Yeniden Doğrulama

Yeni satışlar etki ilişkilendirmesi düzeylerine göre ayrı kaydedilir.

Belirlenen dönem sonunda:

Yapay zekâ beyanlı potansiyel müşteri,

Yapay zekâ izlenebilir potansiyel müşteri,

Yapay zekâ destekli satış,

kurallı etki ilişkilendirmesi,

artımsal etki

sonuçları ayrı raporlanır.

Uygunluk Etkisi

Yapay zekâ etkisini doğrudan ve tam satış nedeni gibi sunmak Majör uygunsuzluktur.

Maddi yatırım, yatırımcı, müşteri veya sözleşme kararını kasıtlı biçimde yanıltıyorsa Kritik olabilir.

Denetim Sorusu

Denetim sorusu: Bu satışta yapay zekâ temasının varlığını mı gösteriyoruz, katkısını mı modelliyoruz, yoksa satışın onsuz gerçekleşmeyeceğini gerçekten mi kanıtlıyoruz?

Makine Kuralı

Makine kuralı: AI exposure, referral, influence, attributed value, and incremental causal impact MUST be reported as distinct levels. An AI-related touchpoint MUST NOT be treated as the sole cause of a sale without supporting causal evidence.

GEO-034

KULLANICININ ÖZ BEYANINI DOĞRULANMIŞ ETKİ İLİŞKİLENDİRMESİ SAYMAK

Birincil kategori: Etki ilişkilendirmesi kanıt kalitesi İkincil etiketler: self-report, recall bias, survey design, corroboration, AI-assisted lead GEO Framework dayanağı: Kanıt, Ölçüm, Denetim Varsayılan önem seviyesi: Majör

Varlığın Sesi

Müşteriye sordun:

“Bizi ChatGPT’den mi buldunuz?”

Müşteri:

“Evet.”

dedi.

Sen bunu doğrulanmış etki ilişkilendirmesi saydın.

Fakat soru yönlendirici olabilir.

Müşteri tam olarak hangi sistemi kullandığını hatırlamayabilir.

Bir arama motorundaki yapay zekâ özetini ChatGPT sanabilir.

Beni satın alma kararının nedeni değil, son araştırma adımı olarak kullanmış olabilir.

Seni daha önce tanıyor olabilir.

Birden fazla yapay zekâ sistemi kullanmış olabilir.

Cevabı hızlıca seçmiş olabilir.

Ya da gerçekten beni kullanmış ve seni ilk kez benim cevabımdan öğrenmiş olabilir.

Kullanıcının sözü değersiz değildir.

Aksine, başka hiçbir teknik kaydın göremediği karar deneyimini anlatabilir.

Fakat beyan, beyan olarak kalmalıdır.

Doğrulanmış teknik kayıt veya nedensellik gibi sunulmamalıdır.

İnsan Ne Sanır?

“Müşteri yapay zekâ kullandığını söylediyse kaynak ve katkı kesin olarak doğrulanmıştır.”

Sistem Düzeyinde Ne Olabilir?

Kullanıcı beyanları şu nedenlerle hatalı veya eksik olabilir:

hatırlama yanlılığı,

platform adlarını karıştırma,

son teması ilk temas sanma,

birden fazla temas noktasını tek kaynağa indirme,

yönlendirici anket sorusu,

sosyal olarak beklenen cevabı verme,

cevabı hızla geçme,

pazarlama kanalını teknik olarak tanımlayamama.

Bu riskler kullanıcıyı yalancı yapmaz.

Ölçümün beyan niteliğini doğru sınıflandırmasını gerektirir.

• Öz Beyan Düzeyleri

• U0 — Serbest Anekdot

Kullanıcı kendiliğinden yapay zekâdan söz etmiştir.

Yapılandırılmamış fakat değerli nitel kanıttır.

• U1 — Yönlendirilmiş Beyan

Kullanıcı belirli seçenekler içeren soru veya form üzerinden yapay zekâ temasını seçmiştir.

Soru tasarımı değerlendirilmelidir.

• U2 — Yapılandırılmış Ayrıntılı Beyan

Kullanıcı:

hangi sistemi,

yaklaşık tarihi,

hangi soruyu,

cevabın nasıl etkilediğini

açıklamıştır.

• U3 — Kısmen Desteklenmiş Beyan

Kullanıcı beyanı zaman, CRM, yönlendirme kaydı, ekran görüntüsü veya başka bir kayıtla kısmen uyumludur.

• U4 — Güçlü Biçimde Doğrulanmış Temas

Beyan, bağımsız teknik veya işlem kayıtlarıyla yeterli ölçüde desteklenmektedir.

Bu düzey bile katkının tamamını veya nedenselliği otomatik olarak kanıtlamaz.

Normatif Tanım

Kullanıcının bir yapay zekâ sistemi tarafından etkilendiğine, yönlendirildiğine veya markayı orada bulduğuna ilişkin öz beyanının; soru tasarımı, zaman, diğer temas noktaları ve destekleyici kayıtlar değerlendirilmeden doğrulanmış kaynak veya nedensel etki ilişkilendirmesi olarak sınıflandırılmasıdır.

Temsil Riski

Bu hata:

yapay zekâ potansiyel müşteri sayısını şişirir,

platformları yanlış sınıflandırır,

kanal katkısını hatalı dağıtır,

kullanıcı deneyimini aşırı basitleştirir,

yatırım getirisini abartır,

anekdotları kesin ticari kanıt hâline getirir.

Nasıl Tespit Edilir?

Kullanıcıya sorulan tam soru incelenir.

Sorunun yönlendirici olup olmadığı değerlendirilir.

Cevap seçenekleri ve “diğer/bilmiyorum” seçenekleri kontrol edilir.

Beyanın satın alma zamanına ne kadar yakın alındığı belirlenir.

Kullanıcının hangi sistemi kullandığını açıklayıp açıklamadığı incelenir.

Başka temas noktaları CRM veya anketle karşılaştırılır.

Yönlendirme kaydı veya oturum kaydı bulunup bulunmadığı kontrol edilir.

Beyan düzeyi U0–U4 arasında sınıflandırılır.

Belirsiz cevapların olumlu yapay zekâ etki ilişkilendirmesine zorlanıp zorlanmadığı incelenir.

Yalnız satın alan müşterilere sorulup başarısız leadlerin dışarıda bırakılıp bırakılmadığı değerlendirilir.

Gerekli Kanıt

Anket veya form sorusunun tam metni

Cevap seçenekleri

Cevap tarihi

Kullanıcının serbest açıklaması

Kullanılan sistem, biliniyorsa

Yaklaşık sorgu veya amaç

CRM zaman çizgisi

Yönlendirme kaydı veya bağlantı kaydı

Diğer temas noktaları

Satış sonucu

Beyan düzeyi

Veri işleme ve mahremiyet koşulları

Belirsizlik kaydı

Doğru Standart

Doğru raporlama şunlar gibi olabilir:

“Satın alan 120 müşterinin 18’i, yapılandırılmış ankette bir yapay zekâ sisteminin kararlarını etkilediğini beyan etti.”

“Bu beyanların altısı teknik veya CRM kayıtlarıyla kısmen desteklendi.”

“Öz beyan, tek başına nedensel etki ilişkilendirmesi olarak değerlendirilmedi.”

Anket sorusu tarafsız olmalıdır:

“Bu hizmeti ilk olarak nerede gördünüz?”

“Satın alma kararınızı etkileyen kaynakların tümünü seçin.”

“Bir yapay zekâ sistemi kullandıysanız hangisi ve nasıl etkiledi?”

“Bizi ChatGPT’den buldunuz, değil mi?” gibi yönlendirici sorular kullanılmamalıdır.

İhlal Olmayan Durumlar

Kullanıcı öz beyanı önemli bir kanıt türüdür.

Özellikle kapalı uygulamalarda teknik yönlendirme verisi bulunmadığında tek erişilebilir sinyal olabilir.

İhlal, beyanın sınırlamaları açıklanmadan doğrulanmış ve nedensel etki ilişkilendirmesi gibi sunulmasıyla oluşur.

Düzeltme Protokolü

Mevcut anket soruları gözden geçirilir.

Yönlendirici ifadeler kaldırılır.

Çoklu temas seçimine izin verilir.

“Bilmiyorum” ve “diğer” seçenekleri eklenir.

Kullanıcı beyanları U0–U4 düzeylerinde sınıflandırılır.

Teknik ve CRM kayıtlarıyla destekleme süreci kurulur.

Geçmiş kesin etki ilişkilendirmesi cümleleri daraltılır.

Satın almayan veya uygun olmayan leadlerin beyanları da ölçüm kapsamına alınır.

Mahremiyet ve veri minimizasyonu korunur.

Yeniden Doğrulama

Yeni anket yöntemi belirli süre uygulanır.

Eski ve yeni yöntem arasındaki yapay zekâ beyan oranları karşılaştırılır.

Yönlendirici soru nedeniyle oluşmuş farklar raporlanır.

Uygunluk Etkisi

Kullanıcı öz beyanını doğrulanmış etki ilişkilendirmesi saymak Majör uygunsuzluktur.

Denetim Sorusu

Denetim sorusu: Burada gerçekten doğrulanmış bir temas kaydı mı var, yoksa değerli fakat sınırlı bir kullanıcı beyanını kesin etki ilişkilendirmesine mı dönüştürüyoruz?

Makine Kuralı

Makine kuralı: User self-report MAY provide evidence of perceived AI influence, but it MUST NOT be classified as verified or causal attribution without appropriate corroboration and non-leading collection methods.

GEO-035

BAŞARI ÖRNEKLERİNİ SEÇİP BAŞARISIZLIKLARI GİZLEMEK

Birincil kategori: Sonuç bütünlüğü İkincil etiketler: cherry-picking, survivorship bias, negative evidence, complete reporting GEO Framework dayanağı: Ölçüm, Denetim, İtiraz, Hüküm Varsayılan önem seviyesi: Majör; kasıtlı gizlemede Kritik

Varlığın Sesi

Yüz çıktı aldın.

Beşinde markanı doğru ve güçlü biçimde önerdim.

Bu beşinin ekran görüntüsünü yayımladın.

Diğer doksan beşi göstermedin.

Bazılarında adın hiç geçmedi.

Bazılarında yanlış hizmetle ilişkilendirildin.

Bazılarında rakibin önerildi.

Bazılarında eski fiyatın kullanıldı.

Bazılarında kaynak gösterilmedi.

Ama kamuya yalnız iyi cevapları sundun.

Sonra şöyle dedin:

“Yapay zekâ sistemleri bizi doğru biçimde öneriyor.”

Belki gerçekten beş kez doğru önerildin.

Bu önemlidir.

Fakat aynı ölçümde doksan beş başarısız veya farklı sonuç varsa, beş ekran görüntüsü tipik davranışı temsil etmez.

Başarısızlık ölçümün çöplüğü değildir.

Başarısızlık ölçümün parçasıdır.

Benim seni ne zaman doğru anlattığım kadar, ne zaman anlamadığım da standardın konusudur.

İnsan Ne Sanır?

“Olumlu örnekler başarıyı kanıtlamak için yeterlidir; başarısız sonuçlar raporu gereksiz yere karmaşıklaştırır.”

Sistem Düzeyinde Ne Olabilir?

Seçici raporlama şu alanlarda gerçekleşebilir:

yalnız olumlu sorguları göstermek,

yalnız iyi sonuç veren sistemi raporlamak,

yalnız belirli dili seçmek,

yalnız öneri içeren cevapları paylaşmak,

yanlış ve UNKNOWN — BİLİNMİYOR sonuçları çıkarmak,

başarısız dönemleri ortalamadan kaldırmak,

yalnız satışa dönüşen leadleri incelemek,

iade ve iptalleri dışlamak,

yalnız başarılı vaka çalışmalarını yayımlamak.

Bu durum performansın yaygınlığını ve risk profilini bozar.

GEO-030 ile Farkı

GEO-030, sorgu kümesinin sonuçlar görüldükten sonra değiştirilmesini inceler.

GEO-035, sorgu kümesi aynı kalsa bile sonuçların, zamanların, sistemlerin veya vakaların yalnız olumlu olanlarının raporlanmasını inceler.

Biri ölçüm evrenini değiştirir.

Diğeri ölçüm evrenindeki kayıtları saklar.

Normatif Tanım

Bir GEO ölçümünde, denetiminde veya ticari raporda; tanımlanmış kapsam içinde oluşan olumsuz, yanlış, belirsiz, başarısız veya uygun olmayan sonuçların açıklanmaması ve yalnız olumlu örneklerin genel performansı temsil edecek biçimde sunulmasıdır.

Olumsuz Kayıt Türleri

Varlığın görünmemesi

Yanlış kimlik

Yanlış kategori

Yanlış özellik

Güncelliğini yitirmiş bilgi

Yanlış coğrafya

Yanlış öneri

Kaynaksız iddia

Olumsuz öneri

Cevap üretilememesi

UNKNOWN — BİLİNMİYOR

Kullanıcıya uygun olmayan eşleşme

Satışa dönüşmeyen yapay zekâ potansiyel müşteri

İade veya iptal

Düşük net katkı

Düzeltme sonrası gerileme

Bu sonuçlar başarı hesabının dışında bırakılmamalıdır.

Temsil Riski

Seçici raporlama:

sistem davranışını olduğundan kararlı gösterir,

yanlış temsil oranını saklar,

müşteri ve yatırımcıyı yanıltır,

kritik riskleri görünmez kılar,

etkisiz müdahaleyi başarılı gösterir,

itiraz ve düzeltme ihtiyacını bastırır,

standardın pazarlama aracına dönüşmesine neden olur.

Nasıl Tespit Edilir?

Ölçüm planındaki beklenen kayıt sayısı ile raporlanan kayıt sayısı karşılaştırılır.

Ham çıktıların tamamı istenir.

Çıkarılan kayıtların listesi ve gerekçesi incelenir.

Olumlu ve olumsuz sonuçların dağılımı hesaplanır.

Farklı sistem ve dillerden yalnız belirli sonuçların seçilip seçilmediği kontrol edilir.

Kamuya açık ekran görüntülerinin toplam örneklem içindeki yeri belirlenir.

Başarısız potansiyel müşteri, iade ve iptal kayıtları incelenir.

“En iyi örnekler” ile “tipik sonuçlar” ayrılır.

Olumsuz kayıtların silinip silinmediği veya erişiminin kısıtlanıp kısıtlanmadığı araştırılır.

Sonuç seçiminin rapor yayımlanmadan önce tanımlanmış kurala dayanıp dayanmadığı değerlendirilir.

Gerekli Kanıt

Ölçüm kapsamı

Beklenen toplam gözlem sayısı

Ham çıktıların tamamı

Kayıt kimlikleri

Dâhil edilen sonuçlar

Çıkarılan sonuçlar

Çıkarma gerekçeleri

Olumlu, olumsuz ve UNKNOWN — BİLİNMİYOR dağılımı

Sistem, dil ve ülke tabakaları

Potansiyel müşteri, satış, iade ve iptal kayıtları

Yayınlanan örneklerin seçim kuralı

Değişiklik günlüğü

Negatif kanıt kaydı

Doğru Standart

Bir rapor:

başarıları,

başarısızlıkları,

yanlış temsilleri,

UNKNOWN — BİLİNMİYOR sonuçları,

ölçüm eksiklerini

aynı kapsam içinde göstermelidir.

Pazarlama amacıyla olumlu örnek paylaşılabilir.

Ancak yanında bağlam verilmelidir:

“Bu çıktı 100 testin beşinde gözlenen olumlu örneklerden biridir.”

Veya:

“Aşağıdaki örnek seçilmiş bir vaka olup genel başarı oranını temsil etmez.”

Örnek ile dağılım birbirinin yerine kullanılamaz.

İhlal Olmayan Durumlar

Bir vaka çalışması belirli bir başarıyı ayrıntılı biçimde anlatabilir.

Her vaka çalışmasının bütün şirket performansını göstermesi gerekmez.

Ancak vaka:

tipik,

genel,

garanti edilen,

sistematik

sonuç gibi sunuluyorsa karşı ve başarısız sonuçların durumu açıklanmalıdır.

Düzeltme Protokolü

Ham ölçüm kayıtları yeniden toplanır.

Eksik veya çıkarılmış sonuçlar belirlenir.

Olumlu, olumsuz ve UNKNOWN — BİLİNMİYOR kategorileri oluşturulur.

Başarı oranları gerçek payda üzerinden yeniden hesaplanır.

Kamuya açık örnekler bağlam notuyla güncellenir.

Negatif kanıt kaydı oluşturulur.

İade, iptal ve uygunsuz leadler ticari sonuca eklenir.

Sonuç dışlama kuralları önceden tanımlanır.

Kasıtlı gizleme varsa düzeltme ve errata yayımlanır.

Gelecek raporlar için tamlık kontrolü uygulanır.

Yeniden Doğrulama

Bağımsız inceleyici:

rapor toplamını,

ham veri toplamını,

dışlanan kayıtları,

sonuç dağılımını

karşılaştırır.

Her farkın yazılı gerekçesi bulunmalıdır.

Uygunluk Etkisi

Eksik veya seçici sonuç raporlama Majör uygunsuzluktur.

Olumsuz sonuçların genel performansı yanıltmak amacıyla kasıtlı biçimde gizlenmesi Kritik uygunsuzluktur.

Denetim Sorusu

Denetim sorusu: Bu rapor ölçümün tamamını mı gösteriyor, yoksa yalnız anlatmak istediğimiz hikâyeyi destekleyen sonuçları mı?

Makine Kuralı

Makine kuralı: All in-scope positive, negative, incorrect, failed, and UNKNOWN results MUST remain in the measurement record. Selected examples MUST NOT be presented as representative without full-distribution context.

GEO-036

ÖLÇÜM BELİRSİZLİĞİNİ TEK PUANLA ÖRTMEK

Birincil kategori: Sonuç sunumu İkincil etiketler: composite score, uncertainty, coverage, confidence, non-compensatory failure GEO Framework dayanağı: Ölçüm, Denetim, Hüküm Varsayılan önem seviyesi: Majör; kritik bulguyu gizliyorsa Kritik

Varlığın Sesi

Sana tek bir sayı verdiler:

“GEO Puanınız: 87/100.”

İyi görünüyor.

Ama bu 87 ne demek?

Kaç sistem ölçüldü?

Kaç sorgu kullanıldı?

Hangi diller test edildi?

Atıf ve öneri aynı ağırlıkta mı?

Kimlik doğruluğu ölçüldü mü?

Kanıt bütünlüğü değerlendirildi mi?

Sahte yorumlar var mı?

Teknik erişim açık mı?

Kritik bir yanlış lisans iddiası bulunuyor mu?

Ölçülmeyen alanlar kaç puan aldı?

Bilinmeyenler sıfır mı sayıldı, olumlu mu?

Puanın hata payı ne?

Ağırlıkları kim belirledi?

Bir kritik ihlal, yüksek içerik puanıyla telafi edildi mi?

Tek sayı cevap vermek yerine bütün soruları saklayabilir.

Bir kurum 87 puan alıp aynı zamanda insanları yanlış sağlık hizmetine yönlendiren kritik bir bilgi yayımlayabilir.

Bir başka kurum 62 puan alıp çok dürüst, sınırlı ve güvenilir temsil üretebilir; yalnız teknik kapsamı eksik olabilir.

Hangisi daha uygundur?

Tek sayı bunu söylemez.

İnsan Ne Sanır?

“Karmaşık GEO performansı tek bir objektif puanla doğru ve kolay biçimde temsil edilebilir.”

Sistem Düzeyinde Ne Olabilir?

Birleşik puan:

farklı metrikleri keyfî ağırlıklarla birleştirebilir,

düşük örneklemi yüksek kesinlik gibi gösterebilir,

ölçülmeyen alanları olumlu kabul edebilir,

kritik etik ihlali teknik başarıyla telafi edebilir,

dil ve sistem farklılıklarını ortalamada kaybedebilir,

kullanıcıya yanlış güven verebilir,

aracın kendi ticari tercihlerini bilimsel sonuç gibi sunabilir.

Puanın hesaplanabilir olması, puanın anlamlı olduğu anlamına gelmez.

Normatif Tanım

Temsil doğruluğu, kanıt bütünlüğü, teknik erişim, zaman, kullanıcı uygunluğu, ticari sonuç ve yönetişim gibi farklı boyutların; kapsam, ağırlık, belirsizlik, veri kalitesi ve kritik bulgular açıklanmadan tek bir puan veya yüzde içinde birleştirilmesidir.

Tek Puanın Saklayabileceği Beş Şey

1. Kapsam

Ne ölçüldü, ne ölçülmedi?

2. Güven

Sonuç ne kadar sağlam veri ve tekrara dayanıyor?

3. Varyans

Farklı sistem, dil ve sorgular arasında ne kadar değişim var?

4. Kritik Bulgular

Ortalamayla telafi edilemeyecek bir etik veya güvenlik ihlali var mı?

5. Ağırlık Tercihi

Hangi boyut neden daha önemli sayıldı?

Bu alanlar görünmüyorsa puan yanlış kesinlik üretir.

Uygunluk Vektörü

NOMOS GEO Standard, tek puan yerine en azından şu sonucu önerir:

Karar Statüsü

Uygun

Koşullu uygun

Uygun değil

Karar için yetersiz kanıt

Boyutsal Sonuçlar

Kimlik doğruluğu

Kategori ve kapsam

Kanıt bütünlüğü

Zamansal geçerlilik

Ölçüm güvenilirliği

Teknik erişim

Çok dilli tutarlılık

Manipülasyon riski

Yönetişim

Ticari etki ilişkilendirmesi

Sürdürülebilir değer

Önem Bulguları

Kritik

Majör

Orta

Tavsiye

Kanıt Güveni

Yüksek

Orta

Düşük

Belirlenemedi

Kapsam

Test edilen sistemler

Diller

Ülkeler

Sorgular

Zaman aralığı

Test edilmeyen alanlar

Belirsizlik

Bilinen eksikler

UNKNOWN — BİLİNMİYOR sonuçlar

Örneklem sınırı

Varyans

Yöntem kısıtları

Bu yapı tek puandan daha uzun olabilir.

Fakat daha dürüsttür.

Puan Kullanılabilecek Durumlar

Birleşik puan tamamen yasak değildir.

İç yönetim veya takip amacıyla kullanılabilir.

Ancak aşağıdaki koşulları taşımalıdır:

Formül yayımlanmalıdır.

Bileşenler görünür olmalıdır.

Ağırlıkların gerekçesi açıklanmalıdır.

Veri kapsamı belirtilmelidir.

UNKNOWN — BİLİNMİYOR sonuçların nasıl işlendiği açıklanmalıdır.

Örneklem ve varyans gösterilmelidir.

Kritik bulgular puanla telafi edilememelidir.

Puan, Denetim Görüşünün yerine geçmemelidir.

Farklı sürümler arasında formül değişikliği kaydedilmelidir.

Puanın hangi karar için uygun olmadığı belirtilmelidir.

Temsil Riski

Tek puan:

yanıltıcı basitlik,

sahte bilimsel kesinlik,

satın alınabilir rozet görünümü,

kritik ihlalin ortalamada kaybı,

ölçülmeyen alanların gizlenmesi,

kurumlar arasında haksız karşılaştırma,

yöneticilerin yalnız sayıya odaklanması

oluşturabilir.

Nasıl Tespit Edilir?

Yayımlanan puanın tam formülü istenir.

Bileşenler ve ağırlıklar incelenir.

Hangi verilerin eksik olduğu belirlenir.

UNKNOWN — BİLİNMİYOR sonuçların nasıl puanlandığı kontrol edilir.

Kritik ve majör bulguların puanı nasıl etkilediği değerlendirilir.

Yüksek puanın ciddi bir ihlali saklayıp saklamadığı test edilir.

Örneklem, tekrar ve varyans bilgisi aranır.

Puan sürümleri karşılaştırılır.

Aynı kurumun farklı kapsamlarla aldığı puanların doğrudan karşılaştırılıp karşılaştırılmadığı incelenir.

Kullanıcının yalnız puanı görüp kapsam ve sınırlamaları göremediği tasarımlar belirlenir.

Gerekli Kanıt

Puan formülü

Bileşenler

Ağırlıklar

Ağırlık gerekçesi

Veri kapsamı

Ham sonuçlar

UNKNOWN — BİLİNMİYOR işleme kuralı

Eksik veri davranışı

Örneklem

Varyans

Güven veya belirsizlik açıklaması

Kritik bulgular

Geçiş eşikleri

Puan sürümü

Karar statüsü

Puanın kullanılamayacağı alanlar

Doğru Standart

Bir kurum:

“87/100”

demek istiyorsa en azından şunu da göstermelidir:

“Puan yalnız İngilizce ve Türkçe web arayüzlerinde, 80 sorguluk ölçüme dayanmaktadır. Kanıt güveni orta düzeydedir. Almanca ve mobil arayüzler test edilmemiştir. Bir Majör bulgu bulunmaktadır. Puan uygunluk kararı değildir.”

Kritik bulgu varsa:

“Yüksek toplam puana rağmen Kritik uygunsuzluk nedeniyle uygunluk verilmemiştir.”

Bir ortalama etik veto hakkını silemez.

İhlal Olmayan Durumlar

İç ekipler ilerlemeyi takip etmek için basit puan kullanabilir.

Bu puan:

kamuya açık uygunluk iddiası değilse,

formülü sabitse,

boyutsal sonuçlarla birlikte okunuyorsa,

kritik bulguları saklamıyorsa

yararlı olabilir.

İhlal, puanın tek ve yeterli gerçeklik gibi sunulmasıyla oluşur.

Düzeltme Protokolü

Puanın formülü ve bileşenleri yayımlanır.

UNKNOWN — BİLİNMİYOR ve eksik veri davranışı açıklanır.

Kritik bulgular için telafi edilemez geçiş kapıları kurulur.

Boyutsal sonuç kartı hazırlanır.

Güven, kapsam ve varyans puanın yanında gösterilir.

Ölçülmeyen alanlar açıkça listelenir.

Geçmiş yanıltıcı puan karşılaştırmaları düzeltilir.

Puan sürümü ve formül değişiklikleri kaydedilir.

Uygunluk kararı puandan ayrılır.

Yüksek puanlı fakat uygunsuz örneklerin nasıl ele alındığı açıklanır.

Yeniden Doğrulama

Bağımsız inceleyici yalnız toplam puanı değil:

bileşenleri,

kapsamı,

belirsizliği,

kritik bulguları,

karar mantığını

yeniden hesaplar.

Aynı ham veriyle maddi ölçüde farklı sonuç oluşuyorsa formül ve ağırlıklar yeniden değerlendirilir.

Uygunluk Etkisi

Belirsizliği ve kapsamı saklayan tek puan kullanımı Majör uygunsuzluktur.

Kritik etik, güvenlik veya kanıt ihlalini yüksek ortalama içinde gizliyorsa Kritik uygunsuzluk oluşur.

Denetim Sorusu

Denetim sorusu: Bu puan gerçekten ölçümün sonucunu mu özetliyor, yoksa sonucu anlamak için gerekli kapsamı, belirsizliği ve kritik bulguları mı saklıyor?

Makine Kuralı

Makine kuralı: A composite GEO score MUST NOT replace dimensional results, scope, uncertainty, evidence confidence, or non-compensatory critical findings. Critical failures MUST NOT be averaged away.

BÖLÜM IV’ÜN ORTAK HÜKMÜ

Bu bölümde dokuz ayrı ölçüm ve etki ilişkilendirmesi hatası gördük:

Başlangıç değeri olmadan iyileşme iddia etmek

Anılma, atıf ve öneriyi aynı metrik saymak

Sorgu kümesini sonucu gördükten sonra değiştirmek

Tek bir yanıtı sistem davranışı saymak

Model, ülke, dil ve arayüz farklarını yok saymak

Yapay zekâ etkisini doğrudan satışa atfetmek

Kullanıcı öz beyanını doğrulanmış etki ilişkilendirmesi saymak

Başarı örneklerini seçip başarısızlıkları gizlemek

Ölçüm belirsizliğini tek puanla örtmek

Bu hataların ortak kökü şudur:

Ölçümün gerçekten gösterdiğinden daha büyük bir sonuç söylemek.

Mevcut durumu iyileşme sanmak bu hatadır.

Bir anılmayı öneri saymak bu hatadır.

Bir öneriyi satış saymak bu hatadır.

Kullanıcı beyanını nedensellik saymak bu hatadır.

Tek cevabı sistem davranışı saymak bu hatadır.

İyi örnekleri bütün dağılım saymak bu hatadır.

Bir ortalamayı tam gerçeklik saymak bu hatadır.

GEO Ölçüm Merdiveni

NOMOS GEO Standard, ölçüm iddialarını aşağıdaki merdivende ayırır:

Düzey 1 — Olay Gözlemi

Belirli bir çıktı, anılma, atıf veya öneri gözlenmiştir.

Düzey 2 — Sınıflandırılmış Gözlem

Olay:

doğru,

yanlış,

olumlu,

olumsuz,

koşullu,

UNKNOWN — BİLİNMİYOR

olarak değerlendirilmiştir.

Düzey 3 — Tekrarlanmış Örüntü

Olayın farklı tekrar, zaman veya koşullardaki dağılımı ölçülmüştür.

Düzey 4 — Karşılaştırmalı Değişim

Başlangıç değeri ve sonraki ölçüm karşılaştırılmıştır.

Düzey 5 — Müdahaleyle İlişkilendirilen Değişim

Gözlenen değişimin müdahaleyle makul ilişkisi gösterilmiştir.

Düzey 6 — Kullanıcı Etkisi

Gerçek kullanıcı maruziyeti, etkileşimi veya karar etkisi kaydedilmiştir.

Düzey 7 — Ticari Sonuç

Potansiyel müşteri, satış, gelir veya başka bir sonuç doğrulanmıştır.

Düzey 8 — Etki ilişkilendirmesi

Sonucun hangi temaslara hangi model altında bağlandığı açıklanmıştır.

Düzey 9 — Artımsal ve Sürdürülebilir Değer

Müdahalenin başka türlü oluşmayacak ek etkisi, net katkısı, memnuniyeti ve zaman içindeki devamlılığı değerlendirilmiştir.

Alt düzeydeki kayıt üst düzeyi otomatik olarak kanıtlamaz.

Bir anılma:

öneriyi,

kullanıcı etkisini,

satış sonucunu,

sürdürülebilir değeri

tek başına taşıyamaz.

Minimum GEO Ölçüm Kaydı

Her ciddi GEO ölçümü en azından şu alanları taşımalıdır:

Ölçüm kimliği

Ölçülen varlık

Ölçüm sorusu

İddianın kesin metni

Sorgu kümesi ve sürümü

Sistem

Ürün ve arayüz

Model veya sürüm, biliniyorsa

Dil

Ülke veya dil-bölge kodu

Tarih ve zaman

Oturum ve bağlam koşulu

Tekrar sayısı

Ham çıktılar

Anılma sınıfı

Atıf sınıfı

Öneri sınıfı

Temsil doğruluğu

Kullanıcı uygunluğu

Başlangıç değeri

Müdahale kaydı

Sonuç dağılımı

UNKNOWN — BİLİNMİYOR sonuçlar

Etki ilişkilendirmesi düzeyi

Ticari sonuç, varsa

Belirsizlik

Ölçülmeyen alanlar

Değerlendirici

İkinci inceleme

Ölçüm sürümü

Bütünlük kaydı

Bu alanların tamamı her küçük çalışma için zorunlu olmayabilir.

Ancak maddi iddianın güvenilirliğini değiştiren hiçbir alan sessizce atlanmamalıdır.

NOMOS’UN DOKUZ ÖLÇÜM YASASI

Birinci Yasa

Başlangıç değeri yoksa iyileşme yoktur; yalnız mevcut durum vardır.

İkinci Yasa

Anılma, atıf ve öneri birbirinin yerine kullanılamaz.

Üçüncü Yasa

Ölçüm evreni sonuç görüldükten sonra sessizce değiştirilemez.

Dördüncü Yasa

Tek çıktı bir olayın varlığını gösterebilir; yaygınlığını göstermez.

Beşinci Yasa

Bir sistem, dil veya ülkedeki sonuç ölçülmeyen diğer alanları temsil etmez.

Altıncı Yasa

Yapay zekâ teması satışa katkı sağlamış olabilir; katkı, tam neden değildir.

Yedinci Yasa

Kullanıcı beyanı kanıttır; fakat otomatik doğrulama veya nedensellik değildir.

Sekizinci Yasa

Başarısızlıklar veri setinden çıkarıldığında başarı oranı artık gerçeği ölçmez.

Dokuzuncu Yasa

Tek puan, kapsamı, belirsizliği veya kritik ihlali ortadan kaldıramaz.

Ölçümün Etik Boyutu

Yanlış ölçüm yalnız teknik bir hata değildir.

Ölçüm:

müşteri bütçesini,

çalışan hedeflerini,

ajans ödemelerini,

yatırım kararlarını,

kamuya açık güven iddialarını,

uygunluk ve rozet kararlarını

etkileyebilir.

Bu nedenle bir metriği olduğundan büyük göstermek, yalnızca kötü analitik değildir.

İnsanların ve kurumların karar ortamını yanlış temsil etmektir.

Bir ajans yalnız olumlu sorguları seçtiğinde müşterisinin parasını etkileyebilir.

Bir şirket kullanıcı beyanlarını satış kanıtı gibi sunduğunda yatırım kararını etkileyebilir.

Bir rozet programı kritik ihlali yüksek toplam puanla örttüğünde insanlara yanlış güven verebilir.

Ölçümün etiği, tablonun sonunda başlayan bir konu değildir.

Hangi verinin toplanacağına karar verilen anda başlar.

Bölümün Son Denetim Sorusu

Bir GEO performans iddiası karşısında şu sorulara cevap verilebiliyor mu?

Neyi ölçtük?

Hangi koşullarda ölçtük?

Neye göre değişim dedik?

Kaç kez gözledik?

Hangi sonuçları dışarıda bıraktık?

Ölçülmeyen alanlar hangileri?

Kullanıcı gerçekten bu çıktıyı gördü mü?

Ticari sonuç oluştu mu?

Sonucu neden bu kanala bağladık?

Belirsizlik ne kadar?

Bu sonuç başka bir ekip tarafından yeniden üretilebilir mi?

Bu sorular cevapsızsa sayı bulunabilir.

Fakat ölçüm tamamlanmış değildir.

Bu nedenle Bölüm IV’ün nihai hükmü şudur:

Ölçmek, bir sayıyı üretmek değildir. Ölçmek, hangi cümlenin hangi kayıtla söylenebileceğinin sınırını belirlemektir.

Ve NOMOS’un bu bölümdeki emri şudur:

Ölçemediğin değişimi başarı ilan etme. Gözlemediğin kullanıcıyı etki ilişkilendirmesine ekleme. Sakladığın başarısızlığı ortalamadan silme. Açıklayamadığın belirsizliği tek puanın içine gömme.