Temsil Bir Dağılımdır

Bölüm Sınırı

Bölüm 1 şu hükmü kurdu:

Tek bir yanıt GEO skoru değildir. Tek bir yanıt, kaydedilmiş koşullarda gerçekleşmiş tekil bir gözlemdir.

Bu bölüm bir sonraki soruyu cevaplar:

Tek bir yanıt GEO skoru değilse, ölçmek istediğimiz asıl nesne nedir?

Cevap şudur:

Bir varlığın üretken sistemlerdeki temsili; AI ürünleri, kullanıcılar, ülkeler, diller, oturum koşulları, promptlar ve zamanlar arasında oluşan çok boyutlu bir dağılımdır.

Bu bölüm:

• temsil dağılımını,
• dağılımın temel boyutlarını,
• ortalama ile dağılım arasındaki farkı,
• alt grup eşitsizliğini,
• kararlılığı,
• kapsam ve eksik gözlem problemini,
• düşük sıklıklı ağır hata riskini,
• kamuya açık sonuç kartının kavramsal yapısını

tanımlar. Bu bölüm henüz:

• her ülkeye kaç katılımcı düşeceğini,
• örneklem çerçevesinin nasıl kurulacağını,
• istem çevirilerinin nasıl doğrulanacağını,
• atomik iddiaların nasıl puanlanacağını,
• nihai NOMOS skorunun kesin formülünü,
• uygunluk eşiklerini

normatif olarak kesinleştirmez. Bu konular kitabın sonraki bölümlerinde ayrıca düzenlenecektir. Bölüm 2’nin görevi, skor formülünden önce skorun temsil etmeye çalıştığı gerçekliği tanımlamaktır.

NOMOS Challenge

İki yapay zekâ ürünü düşünün. Her biri aynı küresel ortalama skoru alıyor:

90 / 100

İlk ürünün dil sonuçları şöyle:

• İngilizce: 90
• Türkçe: 91
• Almanca: 89
• Japonca: 90
• Arapça: 90

İkinci ürünün dil sonuçları şöyle:

• İngilizce: 99
• Türkçe: 98
• Almanca: 97
• Japonca: 86
• Arapça: 70

İki ürünün de basit ortalaması 90’dır. Aynı GEO kalitesine mi sahiptirler? Hayır. İlk ürün farklı dillerde birbirine yakın bir temsil üretmektedir. İkinci ürün bazı dillerde olağanüstü, başka bir dilde ciddi biçimde zayıf temsil üretmektedir. Tek ortalama bu farkı saklar. Şimdi iki başka ürün düşünün. İkisinin de yanıtlarının yüzde 95’i geçiş kriterini karşılıyor. Birinci üründeki kalan yüzde 5:

• küçük kapsam eksikleri,
• sınırlı açıklama yetersizlikleri,
• birkaç UNKNOWN

sonucundan oluşuyor. İkinci üründeki kalan yüzde 5’in içinde:

• yanlış sağlık yetkisi,
• gerçekte bulunmayan lisans,
• yanlış hukuki kimlik,
• uygunsuz tavsiye

bulunuyor. İkisinin ham doğruluk oranı yine yüzde 95’tir. Aynı temsil riskine mi sahiptirler? Hayır. Şimdi üçüncü bir çift düşünün. İkisinin de üç ölçüm dalgasındaki ortalaması 90’dır. Birincisi:

• Dalga 1: 90
• Dalga 2: 91
• Dalga 3: 89

İkincisi:

• Dalga 1: 98
• Dalga 2: 90
• Dalga 3: 82

Aynı zaman kararlılığına mı sahiptirler? Hayır. O hâlde sorun yalnızca: “Ortalama kaç?” değildir. Şunları da bilmemiz gerekir: Sonuçlar nasıl dağılıyor? Kimler iyi, kimler kötü temsil görüyor? Hangi diller ve ülkeler geride kalıyor? Hatalar ne kadar ağır? Sonuç zaman içinde ne kadar değişiyor? Hangi alanlar hiç ölçülmedi? Ortalama hangi ağırlıklarla oluşturuldu? Aynı ortalamanın arkasında kaç farklı gerçeklik bulunuyor? Bu bölümün ilk hükmü şudur:

Aynı ortalama, aynı temsil değildir.

İkinci hükmü şudur:

Bir GEO skoru dağılımın özeti olabilir; dağılımın yerine geçemez.

1. BÖLÜMÜN AMACI

Bu bölüm, üretken sistemlerde varlık temsilinin tek bir sayıya indirgenmeden önce nasıl anlaşılması gerektiğini tanımlar. Ana amaçları şunlardır:

• Temsilin zamansız ve tekil bir “AI görüşü” olmadığını göstermek
• Temsil sonucunun hangi koşullara bağlı olduğunu tanımlamak
• Doğru–yanlış ikiliğinin tek başına yetersiz olduğunu açıklamak
• Ortalama doğruluk ile alt grup eşitsizliğini ayırmak
• Yüksek ortalama içinde saklanan ağır hata riskini görünür kılmak
• Kararlılık ile doğruluğun aynı kavram olmadığını göstermek
• Ölçülmeyen alanların dağılım içinde olumlu varsayımla doldurulmasını engellemek
• Gelecekteki NOMOS skorunun tek sayılı fakat tek sayıya mahkûm olmayan yapısını hazırlamak

Bu bölümün sonunda okuyucu şu soruya cevap verebilmelidir:

Bir varlığın GEO sonucu neden yalnız ortalama doğruluk oranından ibaret değildir?

2. MERKEZÎ NORMATİF HÜKÜM

Bir varlığın üretken sistemlerdeki temsili, tanımlı koşullar altında oluşabilecek farklı yanıtların ve temsil sonuçlarının koşullu dağılımıdır.

Bu dağılım:

• tek bir modelin soyut “düşüncesi” değildir,
• bütün yapay zekâ sistemlerinin ortak görüşü değildir,
• yalnız web sitesinin tekrar edilme oranı değildir,
• yalnız markanın adının geçme sıklığı değildir,
• yalnız ortalama doğruluk değildir,

yalnız tavsiye oranı değildir. Temsil dağılımı, belirli bir protokol içinde şunu gösterir:

Hangi kullanıcıların, hangi AI ürünü ve kullanıcı yüzeyinde, hangi dilde, hangi ülkede, hangi istemle, hangi oturum koşulunda ve hangi zamanda ne tür bir temsil gördüğünü.

Dolayısıyla bir dağılım sonucu her zaman şu sorulara bağlıdır: Hangi varlık? Hangi AI ürünü? Hangi kullanıcı yüzeyi? Hangi hedef nüfus? Hangi ülke? Hangi dil ve locale? Hangi istem? Hangi oturum koşulu? Hangi ölçüm dalgası? Hangi gerçeklik paketi? Hangi değerlendirme kuralı? Bu alanlardan biri değiştiğinde dağılım da değişebilir.

3. “DAĞILIM” KELİMESİ NE ANLAMA GELİR?

Bu kitapta dağılım kelimesi, bir yapay zekâ sisteminin içinde var olduğu varsayılan gizli veya metafizik bir görüşü ifade etmez. NOMOS: “Modelin zihninde şirketin gerçek dağılımı budur.” iddiasında bulunmaz. Buradaki dağılım operasyonel ve gözlemseldir.

Tanımlı protokol altında elde edilebilen farklı temsil sonuçlarının, hedef nüfus ve ölçüm koşulları içindeki örüntüsüdür.

İki dağılım ayrılmalıdır.

3.1. Hedef Temsil Dağılımı

Ölçümün tahmin etmeye çalıştığı, fakat tamamını doğrudan gözleyemediği dağılımdır. Gösterimi:

P_E(Y | A, C, L, S, P, T, U)

Burada:

• E: denetlenen varlık
• Y: temsil sonucu
• A: AI ürünü ve kullanıcı yüzeyi
• C: ülke veya coğrafi koşul
• L: dil ve locale
• S: oturum ve kişiselleştirme koşulu
• P: istem
• T: zaman veya ölçüm dalgası
• U: hedef kullanıcı evreni

Bu ifade şunu sorar: “Tanımlı hedef kullanıcı evreninde, belirtilen koşullarda hangi temsil sonuçları hangi olasılıklarla oluşmaktadır?” Hedef dağılımın bütün elemanları ölçülemez. Örneklem yoluyla tahmin edilir.

3.2. Gözlenen Ampirik Dağılım

Gerçek veya sentetik ölçümde elde edilen geçerli gözlemlerin dağılımıdır. Gösterimi:

P̂_E

olarak kullanılabilir. Ampirik dağılım, hedef dağılımın kendisi değildir. Onun örneklem, ağırlık ve ölçüm tasarımı üzerinden üretilmiş tahminidir. Aradaki farkın büyüklüğü şunlara bağlı olabilir:

• Örneklem tasarımı
• Katılımcı seçimi
• Ülke ve dil kapsamı
• Geçersiz gözlem oranı
• Yanıtlamama
• Hakem hatası
• Ölçüm dalgası
• İstem seçimi
• Ürün ve arayüz koşulları
• Ağırlıklandırma
• Kümelenme ve bağımlılık

Bu nedenle bir ampirik dağılım: “Yapay zekânın kesin ve değişmez gerçeği” olarak yayımlanamaz. Doğru ifade: “Belirtilen hedef nüfus ve ölçüm koşulları için elde edilen tahmin.” olmalıdır.

4. TEMSİL UZAYI

Bir varlığın temsili tek boyutta oluşmaz. Her gözlem çok boyutlu bir koşul uzayında yer alır. Temel gösterim:

X_i = (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i)

Burada:

• Ei: varlık
• Ai: AI ürünü ve kullanıcı yüzeyi
• Ui: kullanıcı veya örnekleme birimi
• Ci: ülke ve coğrafi tabaka
• Li: dil ve locale
• Si: oturum, plan ve kişiselleştirme koşulu
• Pi: istem veya istem ailesi
• Ti: zaman ve ölçüm dalgası

Üretilen yanıt:

R_i

olarak gösterilebilir. Yanıtın değerlendirilmesi sonucunda oluşan temsil durumu ise:

Y_i = g(R_i, V_E, J)

şeklinde düşünülebilir. Burada:

• VE: varlık için kullanılan doğrulanmış gerçeklik paketi
• J: değerlendirme ve hakemlik kuralları
• g: yanıtı temsil sonuçlarına dönüştüren değerlendirme süreci

Bu gösterimin anlamı şudur: Aynı yanıt, hangi varlığa, hangi gerçeklik paketine ve hangi değerlendirme kuralına göre incelendiği belirtilmeden tek başına puanlanamaz.

5. TEMSİL SONUCU TEK BİR DEĞER DEĞİLDİR

Bir yanıtın tamamına yalnız:

• doğru,
• yanlış

etiketi vermek çoğu zaman yetersizdir. Aynı yanıt içinde şu durumlar birlikte bulunabilir:

• Doğru kimlik
• Doğru ana kategori
• Eksik hizmet kapsamı
• Güncelliğini yitirmiş çalışan sayısı
• Desteklenmeyen liderlik iddiası
• Doğru atıf
• Uygunsuz tavsiye
• Critical olmayan bir sınır eksikliği

Bu nedenle temsil sonucu bir sonuç vektörü olarak düşünülebilir. Aday gösterim:

Y_i = (y_i^id, y_i^cat, y_i^fact, y_i^scope, y_i^time, y_i^evidence, y_i^recommendation, y_i^harm)

Burada:

• yiid: kimlik doğruluğu
• yicat: kategori ve rol doğruluğu
• yifact: maddi olguların doğruluğu
• yiscope: kapsam ve sınırların korunması
• yitime: zamansal geçerlilik
• yievidence: iddia–kanıt uyumu
• yirecommendation: tavsiye ve kullanıcı uygunluğu
• yiharm: hata veya yanlış yönlendirmenin zarar sınıfı

Bu alanların kesin puanlama kuralları sonraki bölümlerde tanımlanacaktır. Buradaki kurucu ilke şudur:

Bir temsil cevabı, yalnız doğru bilgi içerip içermediğiyle değil; kimi, ne olarak, hangi sınırlar içinde, hangi kanıtla ve kime uygun biçimde anlattığıyla değerlendirilmelidir.

6. TEMEL TEMSİL DURUMLARI

Her atomik iddianın ve nihai yanıtın statüsü aynı olmayabilir. Bu bölüm aşağıdaki temel durumları kavramsal olarak ayırır.

6.1. SUPPORTED — DESTEKLENEN

İddia, tanımlı kapsam ve zaman içinde yeterli kanıtla desteklenmektedir.

6.2. CONTRADICTED — ÇELİŞEN

İddia güvenilir ve ilgili kayıtlarla çelişmektedir.

6.3. UNSUPPORTED — DESTEKLENMEYEN

İddia için yeterli destek bulunmamaktadır. İddianın mutlaka yanlış olduğu kanıtlanmış değildir. Ancak doğru kabul edilmesi için yeterli kayıt yoktur.

6.4. OUTDATED — GÜNCELLİĞİNİ YİTİRMİŞ

İddia geçmişte doğru olmuş olabilir. Ölçüm tarihinde artık geçerli değildir veya güncelliği doğrulanamamaktadır.

6.5. PARTIALLY SUPPORTED — KISMEN DESTEKLENEN

İddianın yalnız belirli kapsamı, nüfusu, ülkesi, ürünü veya zamanı desteklenmektedir. Yanıt destek sınırını aşmış olabilir.

6.6. OUT OF KAPSAM — KAPSAM DIŞI

İddia denetlenen varlık veya gerçeklik paketiyle ilgili değildir. Başka varlık, ürün, ülke veya hizmetten gelmiş olabilir.

6.7. VARLIK CONFLATION — VARLIK BİRLEŞMESİ

Sistem:

• iki farklı şirketi,
• marka ile hukuki varlığı,
• kişi ile kurumu,
• eski ve yeni varlığı,
• aynı adlı farklı kuruluşları

birbirine karıştırmıştır. Bu hata yalnız bir olgu yanlışı değildir. Temsil nesnesinin bozulmasıdır.

6.8. MATERIAL OMISSION — MADDİ EKSİKLİK

Yanıtta bulunan cümleler doğru olabilir. Fakat kullanıcı kararını değiştirecek temel bilgi çıkarılmıştır. Örnek: Hizmet yalnız belirli ülkelerde sunulmaktadır. Lisans belirli yargı alanıyla sınırlıdır. Fiyat vergi hariçtir. Sonuç birinci taraf verisine dayanmaktadır. Ürün belirli kullanıcılar için uygun değildir. Eksiklik, doğrudan yanlış cümle bulunmasa bile yanlış çıkarım yaratabilir.

6.9. REFUSAL — RET

Sistem cevap vermeyi reddetmiştir. Ret:

• uygun,
• gereksiz,
• tutarsız,
• güvenlik temelli,
• teknik

olabilir. Ret otomatik olarak başarısız veya başarılı sayılmaz. Ayrı sınıflandırılır.

6.10. NO RESULT — SONUÇ YOK

Sistem teknik veya operasyonel nedenle kullanılabilir bir yanıt üretmemiştir. Ret ile aynı değildir.

6.11. UNKNOWN — BİLİNMİYOR

Mevcut kayıtlar güvenilir sınıflandırmaya yetmemektedir. UNKNOWN, olumlu sonuca dönüştürülemez.

7. DAĞILIMIN TEMEL ÖZELLİKLERİ

Bir temsil dağılımı yalnız ortalamayla açıklanamaz. En azından aşağıdaki özellikler değerlendirilmelidir.

7.1. Merkezî Eğilim

Yanıtların genel doğruluk veya geçiş düzeyini özetler. Örnek ölçüler:

• Ortalama
• Ağırlıklı ortalama
• Medyan
• Geçiş oranı

Merkezî eğilim önemlidir. Fakat dağılımın yalnız merkezini gösterir.

7.2. Yayılım ve Değişkenlik

Sonuçların merkez etrafında ne kadar dağıldığını gösterir. Aynı ortalamaya sahip iki sistemden biri kullanıcılar arasında tutarlı, diğeri son derece değişken olabilir. Değişkenlik:

• kullanıcılar,
• ülkeler,
• diller,
• oturumlar,
• ölçüm dalgaları

arasında ayrıca incelenebilir.

7.3. Dağılımın Biçimi

Sonuçlar tek bir merkez etrafında mı toplanmaktadır? Yoksa iki veya daha fazla kümeye mi ayrılmaktadır? Örneğin:

• Kullanıcıların yarısı çok doğru,
• yarısı çok yanlış

yanıt görüyorsa ortalama orta düzeyde olabilir. Fakat tipik kullanıcı deneyimi “orta doğruluk” değildir. Kutuplaşmış iki ayrı deneyimdir.

7.4. Alt Grup Farkları

Belirli dil, ülke veya kullanıcı grupları sistematik olarak farklı sonuçlar görüyor mu? Küresel ortalama bu farkı gizleyebilir.

7.5. Kuyruk Riski

Düşük sıklıklı fakat ağır yanlışlar bulunuyor mu? Nadir olaylar ortalamaya küçük etki yapabilir. İnsan zararına etkileri büyük olabilir.

7.6. Kapsam

Hedef kullanıcı evreninin ne kadarı gerçekten ölçülmüştür? Yüksek skor, düşük kapsamla birlikte bulunabilir.

7.7. Eksik ve Bilinmeyen Kütle

Yanıtların ne kadarı:

UNKNOWN,

NOT TESTED,

ret, teknik sonuçsuzluk, geçersiz kayıt durumundadır?

7.8. Zaman Kararlılığı

Dağılım farklı ölçüm dalgalarında ne ölçüde korunmaktadır?

8. ADAY NOMOS TEMSİL DAĞILIM İMZASI

CANDIDATE CONCEPT — ADAY KAVRAM

Bir GEO sonucunun tek bir sayı yerine önce aşağıdaki dağılım imzasıyla tanımlanması önerilir:

RDS(E)=(μ,κ,σ,Δ,τ,ρ,u)

Bu gösterim Representation Distribution Signature, yani:

Temsil Dağılım İmzası

olarak adlandırılabilir. Bileşenler:

μ — Genel Temsil Düzeyi

Tanımlı ağırlıklar ve kapsam altında genel doğruluk veya geçiş tahmini.

κ — Kapsam

Hedef kullanıcı, ülke, dil, AI ürünü ve zaman evreninin ne kadarının yeterli biçimde ölçüldüğü.

σ — Değişkenlik

Kullanıcılar ve deneysel hücreler arasındaki yayılım.

Δ — Alt Grup Eşitsizliği

Dil, ülke, ürün veya başka önemli gruplar arasındaki maddi fark.

τ — Kuyruk ve Critical Hata Riski

Düşük sıklıklı ağır yanlışların oranı ve niteliği.

ρ — Zaman Kararlılığı

Dalgalar arasında dağılımın dayanıklılığı.

u — Bilinmeyen ve Sonuçsuz Kütle

UNKNOWN, sonuçsuz veya yeterince değerlendirilemeyen alanların payı. Bu imza henüz nihai skor formülü değildir. Bileşenlerin:

• kesin tanımı,
• tahmini,
• ağırlığı,
• kamu gösterimi

pilotlar ve sonraki bölümlerle kesinleştirilecektir. Kurucu düşünce şudur:

GEO sonucu yalnız “ne kadar doğru?” sorusunu değil; “kimler için, ne kadar kararlı, ne kadar eşit, ne kadar kapsamlı ve ne kadar riskli?” sorularını da cevaplamalıdır.

9. ORTALAMA AKLAMA

Bir kurum yalnız yüksek küresel ortalamayı gösterip dağılımın maddi kusurlarını saklıyorsa buna:

Ortalama aklama

denir. Ortalama aklama şu yollarla oluşabilir:

• En zayıf dili gizlemek
• Küçük ülkeleri rapordan çıkarmak
• Critical hataları genel yanlış oranına karıştırmak
• UNKNOWN sonuçları paydadan çıkarmak
• Yalnız iyi çalışan AI ürünlerini dâhil etmek
• Zayıf ölçüm dalgasını dışarıda bırakmak
• Kapsam dışı nüfusu görünmez yapmak
• Ağırlıkları sonuç görüldükten sonra değiştirmek

Ortalama matematiksel olarak doğru hesaplanmış olabilir. Yine de kamuya sunduğu temsil yanıltıcı olabilir. Bu nedenle:

Bir ortalamanın hesap bakımından doğru olması, karar bakımından yeterli olduğu anlamına gelmez.

10. AYNI ORTALAMANIN FARKLI GERÇEKLİKLERİ

Aşağıdaki sentetik dağılımların tamamında ortalama 90 olabilir.

10.1. Homojen Dağılım

Bütün önemli alt gruplar 88–92 aralığındadır. Bu dağılım nispeten dengelidir.

10.2. Kutuplaşmış Dağılım

Kullanıcıların yarısı 100’e yakın, diğer yarısı 80’e yakın sonuç görmektedir. Ortalama 90’dır. Fakat kullanıcı deneyimi eşit değildir.

10.3. Dil Bakımından Parçalanmış Dağılım

Yüksek nüfuslu veya yüksek kaynaklı dillerde sonuç çok iyi, düşük kaynaklı dillerde ciddi biçimde zayıftır. Küresel ortalama iyi görünebilir. Dil adaleti zayıftır.

10.4. Ülke Bakımından Parçalanmış Dağılım

Aynı dilde bile farklı ülke, locale, ürün erişimi veya kullanıcı yüzeyi nedeniyle sonuç değişebilir.

10.5. Zaman Bakımından Oynak Dağılım

Tek bir dalgada çok yüksek, başka dalgada çok düşük sonuç oluşur. Ortalama yüksek olsa bile güvenilir kullanıcı beklentisi kurmak zordur.

10.6. Kuyruk Riski Taşıyan Dağılım

Yanıtların büyük çoğunluğu doğrudur. Fakat küçük bir bölümünde ağır sağlık, hukuk, lisans veya güvenlik yanlışı bulunur.

10.7. Yüksek Bilinmeyen Kütleli Dağılım

Değerlendirilebilen yanıtların çoğu doğrudur. Ancak hedef nüfusun veya yanıtların önemli bir bölümü:

• test edilmemiş,
• sonuçsuz,

UNKNOWN

durumdadır. Yalnız değerlendirilebilen cevaplar üzerinden yüksek oran yayımlamak kapsamı saklayabilir.

11. ALT GRUP EŞİTSİZLİĞİ

Bir küresel skor, alt gruplardaki deneyimi temsil etmeyebilir. Temel alt gruplar şunlar olabilir:

• AI ürünü ve kullanıcı yüzeyi
• Ülke
• Dil
• Locale
• Plan
• Web veya mobil
• Kontrollü veya doğal panel
• Zaman dalgası
• Kullanıcı niyeti
• İstem ailesi

Bu grupların tamamı her denetimde aynı öneme sahip olmayabilir. Maddi olan gruplar kapsam kilitlenirken belirlenmelidir.

11.1. Dil ile Ülke Aynı Şey Değildir

Türkçe konuşan:

• Türkiye’deki kullanıcı,
• Almanya’daki kullanıcı,
• başka bir ülkedeki kullanıcı

aynı dili kullanabilir. Fakat:

• ürün erişimi,
• fiyat,
• kaynaklar,
• yerel arayüz,
• hukuki bağlam,
• kişiselleştirme

farklı olabilir. Bu nedenle yalnız dil veya yalnız ülke üzerinden bütün farklar açıklanamaz.

11.2. Kesişimsel Hücreler

Bazı maddi farklar yalnız birden fazla alan birlikte incelendiğinde görünür. Örnek: Almanya × Türkçe × Mobil × Ücretsiz plan × Doğal kullanıcı paneli başlı başına bir deneysel hücre olabilir. Ancak hücreler çoğaldıkça örneklem küçülür. Bu nedenle her küçük hücre için kesin skor yayımlanamaz. Ölçüm tasarımı: anlamlı alt grubu korumalı, istatistiksel sahte kesinlik üretmemelidir.

11.3. Alt Grup Tabanı

CANDIDATE CONCEPT — ADAY KAVRAM

Küresel ortalamanın yanında en zayıf yeterli örneklemli alt grup sonucunun veya alt yüzde 10’luk grubun ayrıca raporlanması önerilir. Buna:

Temsil tabanı

veya:

Language/Country Floor

denebilir. Ancak “en düşük skor” küçük ve istikrarsız hücreden geliyorsa yanlış sonuç üretilebilir. Bu nedenle taban metriği:

• minimum örneklem,
• güven aralığı,
• hücre kalitesi

ile birlikte tanımlanmalıdır. Kesin kural sonraki bölümlerde belirlenecektir.

12. KAPSAM DAĞILIMIN PARÇASIDIR

Bir dağılım yalnız gözlenen cevaplardan oluşmaz. Kimin veya neyin hiç gözlenmediği de sonucun anlamını belirler. Örnek: İngilizce test edildi. Türkçe test edildi. Japonca test edilmedi. Arapça test edilmedi. Mobil arayüz test edilmedi. Ücretli plan test edilmedi. İngilizce ve Türkçe sonuçlarının yüksek olması: “Bütün dillerde ve bütün kullanıcı yüzeylerinde temsil yüksektir.” anlamına gelmez. Doğru sonuç: “Belirtilen İngilizce ve Türkçe web yüzeylerinde ölçüm yapılmıştır. Diğer diller ve mobil yüzeyler test edilmemiştir.” olmalıdır.

12.1. Kapsam Haritası

Her GEO dağılımı ilgili olduğu ölçüde şu haritayı taşımalıdır:

• Hedef evren
• Örnekleme çerçevesi
• Kapsanan ülkeler
• Kapsanmayan ülkeler
• Kapsanan diller
• Kapsanmayan diller
• Denetlenen AI ürünleri
• Denetlenmeyen ürünler
• Denetlenen kullanıcı yüzeyleri
• Denetlenmeyen yüzeyler
• Ölçüm dalgaları
• Kapsam dışı istem aileleri

12.2. Kapsam Oranı

CANDIDATE CONCEPT — ADAY KAVRAM

Hedef evrenin ne kadarının yeterli ölçümle temsil edildiğini gösteren bir kapsam metriği geliştirilebilir. Ancak kapsam:

• yalnız ülke sayısı,
• yalnız dil sayısı,
• yalnız nüfus oranı

ile ölçülemez. Örneğin 150 ülke kapsanmış olabilir. Fakat katılımcıların yüzde 95’i yalnız beş ülkeden gelmiş olabilir. Ya da nüfusun yüzde 90’ı kapsanmış fakat küçük diller tamamen dışarıda kalmış olabilir. Bu nedenle nüfus kapsamı ile ülke/dil gözcü kapsamı ayrı gösterilmelidir.

13. EKSİK GÖZLEM VE YANITLAMAMA

Eksik veri yalnız teknik sorun değildir. Dağılımı sistematik biçimde bozabilir. Gözlemin eksik olma nedenleri şunlar olabilir:

• Katılımcının görevi tamamlamaması
• Ürünün ülkede erişilememesi
• Hesap kısıtlaması
• Teknik hata
• Sistem reddi
• Ekran görüntüsünün geçersiz olması
• Katılımcının istemi değiştirmesi
• Belirli dilde ürünün çalışmaması
• Hakemlerin güvenilir karar verememesi

Bu nedenlerin her biri ayrı statü gerektirir.

13.1. Eksiklik Rastgele Olmayabilir

Örneğin düşük bağlantı kalitesine sahip ülkelerde daha fazla görev tamamlanamıyorsa yalnız başarılı kayıtların kullanılması küresel sonucu zengin ve güçlü bağlantılı kullanıcılar lehine kaydırabilir. Belirli dilde cevapların değerlendirilmesi zor olduğu için UNKNOWN oranı yükseliyorsa yalnız bilinen cevaplardan hesaplanan skor dil eşitsizliğini saklayabilir. Bu nedenle:

Eksik veri oranı ve eksiklik nedeni dağılım raporunun parçası olmalıdır.

13.2. Denominator — Payda Bütünlüğü

Bir rapor şu soruya açık cevap vermelidir: “Yüzde 90 tam olarak neyin yüzde 90’ıdır?” Muhtemel paydalar:

• Atanmış katılımcılar
• Görevi başlatanlar
• Görevi tamamlayanlar
• Protokole uygun kayıtlar
• Geçerli sistem sonuçları
• Hakem kararı verilen cevaplar
• Belirli dil veya ülke hücresi

Sonuç görüldükten sonra payda değiştirilmemelidir. Örneğin:

• 1.000 görev atanmış,
• 900 tamamlanmış,
• 800 geçerli,
• 720 geçmiş

ise:

720/800=90%

geçerli kayıtlar içindeki geçiş oranıdır. Fakat bütün atanmış örneklem içindeki kanıtlanmış geçiş oranı:

720/1000=72%

olarak farklı bir soruyu cevaplar. İki oran da kullanılabilir. Aynı anlamda sunulamaz.

14. DOĞRULUK VE KARARLILIK AYNI ŞEY DEĞİLDİR

Bir dağılım yüksek doğruluğa sahip olabilir. Fakat zaman veya kullanıcılar arasında kararsız olabilir. Başka bir dağılım düşük doğruluğa sahip olabilir. Fakat tutarlı biçimde yanlış olabilir. Bu nedenle dört durum ayrılmalıdır.

“Kararlı” olmak otomatik olarak olumlu değildir. Sistem aynı yanlışı her kullanıcıya veriyorsa oldukça kararlı olabilir.

14.1. Kullanıcılar Arası Kararlılık

Aynı hücrede farklı kullanıcılar benzer maddi temsil görüyor mu?

14.2. Oturumlar Arası Kararlılık

Aynı veya eşlenmiş kullanıcı, yeni oturumlarda benzer sonuç görüyor mu?

14.3. Dalgalar Arası Kararlılık

Aynı protokol farklı gün veya dönemlerde benzer dağılım üretiyor mu?

14.4. Ürün Güncellemesi Sonrası Kararlılık

AI ürününde maddi değişiklik olduğunda önceki dağılım devam ediyor mu?

15. AYNI CÜMLEYİ ÜRETMEK KARARLILIK DEĞİLDİR

Kararlılık: “Her kullanıcıya kelime kelime aynı cevap verilmesi” anlamına gelmez. Bir AI ürünü farklı anlatım, sıra ve örnekler kullanabilir. Bunlar maddi anlamı koruduğu sürece kabul edilebilir varyasyon olabilir. Önemli ayrım şudur:

Biçimsel Değişkenlik

Kelime seçimi Cümle sırası Uzunluk Ton Örnek Liste veya paragraf kullanımı Maddi gerçeklik korunuyorsa hata olmayabilir.

Anlamsal Değişkenlik

Şirket kimliğinin değişmesi Ana kategorinin farklılaşması Faaliyet alanının genişleyip daralması Lisans veya yetkinliğin değişmesi Fiyat ve coğrafyanın değişmesi Bir kullanıcıya önerilip benzer kullanıcıya açıklamasız biçimde önerilmemesi Maddi temsil değişiyorsa kararlılık sorunu oluşabilir. Bu nedenle tercih edilen kavram:

Koşullu anlamsal kararlılık

olmalıdır. Eşdeğer maddi koşullarda temel gerçekliğin korunması beklenir. Farklı kullanıcı ihtiyaçlarında tavsiyenin değişmesi ise uygun bağlamsal davranış olabilir.

16. BAĞLAMA DUYARLILIK İLE KEYFÎ DEĞİŞKENLİK

Bir sistemin bütün kullanıcılara aynı tavsiyeyi vermesi her zaman doğru değildir. Örneğin:

• Bütçesi düşük kullanıcı
• Yalnız belirli ülkede hizmet arayan kullanıcı
• Başka lisans gerektiren kullanıcı
• Kurumsal yerine bireysel hizmet arayan kullanıcı

aynı varlık için farklı uygunluk sonucu alabilir. Bu fark:

• kullanıcı koşuluna,
• hizmet kapsamına,
• gerçek sınıra

dayanıyorsa bağlama duyarlı ve doğru olabilir. Ancak eşdeğer kullanıcı koşullarında sonuç sebepsiz biçimde değişiyorsa keyfî değişkenlik olabilir. Bu nedenle NOMOS şunu istemez: “Bütün kullanıcılara aynı cevap.” Şunu ister:

Eşdeğer maddi koşullarda açıklanabilir biçimde tutarlı, farklı koşullarda ise gerçek sınırlara duyarlı cevap.

17. ZAMAN TEMSİL DAĞILIMININ İÇİNDEDİR

Temsil dağılımı zamansız değildir. Gösterim: PE,t olarak düşünülebilir. Aynı varlığın dağılımı:

• ürün güncellemesi,
• kaynak değişikliği,
• şirket değişikliği,
• haber olayı,
• yeni dil sürümü,
• teknik erişim değişikliği

sonrasında farklılaşabilir.

17.1. Ani Değişim

Bir ürün veya kaynak güncellemesinden sonra dağılım kısa sürede değişir.

17.2. Kademeli Değişim

Yeni kaynaklar ve kullanıcı davranışları nedeniyle sonuç zaman içinde yavaşça değişir.

17.3. Geçici Dalgalanma

Belirli olay veya haber döneminde dağılım geçici olarak farklılaşır.

17.4. Müdahale Sonrası Değişim

GEO müdahalesinden sonra dağılım değişebilir. Fakat değişimin müdahaleden kaynaklandığını söylemek ayrıca baseline ve nedensellik tasarımı gerektirir.

17.5. Zaman Ortalamasıyla Aklama

Bir ürünün:

• ilk dalgada 98,
• ikinci dalgada 90,
• üçüncü dalgada 82

alması hâlinde ortalama 90’dır. Yalnız 90’ı yayımlamak düşüş eğilimini saklar. Bu nedenle:

Zaman ortalaması, dalga sonuçlarının yerini alamaz.

18. KUYRUK RİSKİ VE AĞIR HATA DAĞILIMI

Bir dağılımın büyük bölümü doğru olabilir. Fakat düşük olasılıklı ağır hatalar ayrıca değerlendirilmelidir. Örnekler:

• Gerçekte bulunmayan sağlık lisansı
• Yanlış acil durum yönlendirmesi
• Yanlış hukuki yetki
• Sahte yatırım garantisi
• Yanlış şirket kimliği
• Çocuklar veya savunmasız gruplar için uygunsuz tavsiye
• İnsanlardan saklanan manipülatif talimatın tekrarı

Önceki mimaride:

• Critical,
• Major,
• Moderate,
• Advisory

olarak dört önem seviyesi ayrılmış ve Critical bulguların otomatik başarısızlık etkisi taşıması önerilmişti. Bu kitap bu sistemi nüfus dağılımına bağlar.

18.1. Frekans ile Şiddet Ayrımı

Bir hata:

• sık fakat düşük etkili,
• nadir fakat ağır etkili

olabilir. Yalnız frekans oranı iki durumu eşit değerlendiremez.

18.2. Aday Şiddet Ağırlıklı Risk Gösterimi

CANDIDATE CONCEPT — ADAY KAVRAM

Hata sınıfları için şiddet katsayıları kullanılarak bir risk göstergesi geliştirilebilir:

τ = Σ_{k=1}^K λ_k p_k

Burada:

• pk: hata türünün tahmin edilen oranı
• λk: hata türünün şiddet katsayısı

Ancak katsayılar keyfî biçimde belirlenemez. Şunlara dayanmalıdır:

• Öngörülebilir insan zararı
• Temsil bütünlüğü
• Kullanıcı kararına etki
• Geri döndürülebilirlik
• Kasıt ve manipülasyon
• Yüksek riskli alan

Kesin yöntem Bölüm 15’te tanımlanacaktır.

18.3. Critical Kapı

Yüksek genel ortalama, doğrulanmış Critical hata adayını otomatik olarak silemez. Doğru kamu kaydı iki sonucu birlikte göstermelidir: “Genel temsil tahmini yüksektir.” ve: “Belirtilen Critical olay veya olaylar ayrıca uygunluk kararını etkilemektedir.”

19. DAĞILIMDA REFUSAL VE SONUÇSUZLUK

Bir sistemin cevap vermemesi de kullanıcı deneyiminin parçasıdır. Ancak bütün retler aynı değildir.

19.1. Uygun Ret

Sistem kanıtın yetersiz olduğu veya güvenli yanıt veremediği durumda ihtiyat gösterebilir. Bu, bazı bağlamlarda doğru davranış olabilir.

19.2. Gereksiz Ret

Kamuya açık ve düşük riskli bilgiye cevap vermekten tutarsız biçimde kaçınabilir.

19.3. Teknik Sonuçsuzluk

Sistem teknik hata nedeniyle yanıt üretmeyebilir.

19.4. Kapsam Dışı Ret

İstem yanlış veya görev protokol dışı olabilir.

19.5. Retlerin Dağılımda Korunması

Retler:

• başarı,
• başarısızlık,

UNKNOWN

olarak tek bir kategoriye zorlanmamalıdır. İşlev ve gerekçeleri değerlendirilmelidir. Retlerin paydadan çıkarılması, yalnız başarılı cevaplar arasında yüksek doğruluk oranı üretip gerçek kullanıcı deneyimini saklayabilir.

20. DAĞILIMLAR NASIL KARŞILAŞTIRILABİLİR?

İki AI ürününün dağılımını karşılaştırmak için yalnız sonuç sayıları yeterli değildir. Karşılaştırmanın adil olması için şu alanlar mümkün olduğunca eşit veya açıkça modellenmiş olmalıdır:

• Denetlenen varlık
• Hedef nüfus
• İstem sürümü
• Diller
• Ülkeler
• Ölçüm dalgası
• Oturum koşulu
• Kullanıcı yüzeyi
• Plan dağılımı
• Hakemlik kuralı
• Gerçeklik paketi
• Geçerlilik kuralları
• Ağırlıklar

Maddi ölçüde farklı protokollerle elde edilen iki skor doğrudan sıralama için kullanılamaz.

20.1. Ortak Destek Karşılaştırması

Bütün karşılaştırılan AI ürünlerinin:

• resmî erişilebilir olduğu,
• aynı dil ve kullanıcı koşullarını desteklediği

ortak evrende karşılaştırma yapılabilir. Bu, sistemler arası daha temiz kıyas sağlar.

20.2. Doğal Erişim Dağılımı

Her AI ürünü kendi gerçek kullanıcı erişim evreninde ölçülebilir. Bu sonuç ürünün gerçek küresel etkisini gösterir. Ancak hedef nüfuslar farklı olabileceği için doğrudan performans sıralaması dikkat gerektirir.

20.3. Aynı Sağlayıcının Farklı Yüzeyleri

Web, mobil, kurumsal ürün veya farklı planlar aynı sağlayıcıya ait olsa da ayrı dağılımlar oluşturabilir. Tek sonuç altında birleştirilecekse birleşim ve ağırlık yöntemi açıklanmalıdır.

21. AĞIRLIKLANDIRMA DAĞILIMIN ANLAMINI DEĞİŞTİRİR

Bir küresel ortalama, gözlemlerin hangi ağırlıkla birleştirildiğine bağlıdır. Muhtemel ağırlıklar:

• Eşit ülke
• Nüfusa göre ülke
• Uygun AI kullanıcı nüfusu
• Dil kullanıcısı
• Gerçek ürün maruziyeti
• Eşit AI ürünü
• Pazar payı
• Müşteri hedef pazarı

Her yöntem farklı soruyu cevaplar.

21.1. Eşit Ülke Ağırlığı

San Marino ile Hindistan aynı ağırlığı alabilir. Bu yaklaşım: “Ortalama ülke deneyimi” sorusuna yaklaşabilir. Dünya nüfusundaki ortalama kullanıcı deneyimini temsil etmez.

21.2. Nüfus Ağırlığı

Büyük ülkeler daha fazla etki alır. Bu yaklaşım küresel nüfus deneyimine yaklaşabilir. Küçük ülkeleri ve dilleri görünmez bırakabilir.

21.3. Dil Adaleti Ağırlığı

Düşük kaynaklı dillerin ayrıca görünür kalmasını sağlayabilir. Küresel nüfus skoruyla aynı değildir.

21.4. Ürün Maruziyeti Ağırlığı

AI ürünlerinin gerçek kullanıcı maruziyetine göre ağırlıklandırılması düşünülebilir. Güvenilir ve bağımsız kullanım verisi gerektirir.

21.5. Normatif Ağırlık İlkesi

Ağırlıklar sonuç görülmeden önce tanımlanmalı, kamuya açıklanmalı ve hangi soruyu cevapladıkları belirtilmelidir.

Sonuç görüldükten sonra olumlu skoru yükseltecek ağırlık sistemini seçmek yasaktır. Tek küresel skorun yanında alternatif anlamlı ağırlık sonuçları ayrıca yayımlanabilir.

22. SKOR DAĞILIMIN KAYIPLI SIKIŞTIRMASIDIR

Bir dağılımdan tek sayı üretmek mümkündür. Fakat tek sayı, dağılımdaki bütün bilgiyi taşımaz. Bu nedenle skor:

Dağılımın kayıplı bir özeti

olarak kabul edilmelidir. Bir skor şu bilgileri kaybedebilir:

• En zayıf dil
• En zayıf ülke
• Critical hata türü
• Bilinmeyen kütle
• Zaman dalgalanması
• Kutuplaşma
• Ürün ve plan farkı
• Kapsam dışı nüfus
• Ret dağılımı
• Hakem belirsizliği

Skor yararlıdır. Çünkü:

• karşılaştırmayı kolaylaştırır,
• kamu iletişimini sadeleştirir,
• değişimi izlemeyi sağlar,

yönetim kararını destekler. Fakat skorun sadeliği dağılımın yok edilmesine dönüşemez.

23. MİNİMUM KAMU SONUÇ KARTI

CANDIDATE REQUIREMENT — ADAY ZORUNLULUK

Bir NOMOS küresel skoru kamuya sunulacaksa yanında en azından aşağıdaki sonuçların gösterilmesi önerilir:

Ana skor tek başına kullanılabilir bir reklam etiketi olmamalıdır. Kanonik kayıt bu sonuç kartına bağlanmalıdır.

24. SENTETİK APPLE.COM DAĞILIM GÖSTERİMİ

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki AI ürünleri, kullanıcılar, diller, sayılar ve sonuçlar tamamen kurgusaldır. Gerçek Apple Inc. performansını veya herhangi bir gerçek yapay zekâ ürününü temsil etmez. İki sentetik AI ürünü düşünelim:

• Ürün A
• Ürün B

Her ürün için:

• beş dil,
• dil başına 200 geçerli sentetik gözlem,
• toplam 1.000 gözlem

bulunduğunu varsayalım. Bu eşit dil dağılımı yalnız yöntemi göstermek içindir. Gerçek GEO-1000 nüfus ağırlıklandırmasını temsil etmez.

24.1. Dil Bazlı Geçiş Oranları

İki ürünün ortalaması aynıdır. Fakat dağılımları farklıdır.

Ürün A

Dil sonuçları birbirine yakındır. En yüksek ve en düşük dil arasındaki fark 2 puandır. Dil tabanı yüzde 89’dur.

Ürün B

Üç dilde çok yüksek sonuç üretir. Japonca ve özellikle Arapçada düşüş vardır. En yüksek ve en düşük dil arasındaki fark 29 puandır. Dil tabanı yüzde 70’tir. Yalnız: “Her ikisi de 90 aldı.” demek maddi farkı saklar.

24.2. Yanıt Statüsü Dağılımı

İki ürünün geçiş oranı yine yüzde 90’dır. Fakat: Ürün B’de Critical hata adayı 14 kat daha fazladır. Ürün B’de bilinmeyen ve sonuçsuz kütle daha yüksektir. Ürün A’daki başarısızlıkların daha büyük bölümü kısmi destek eksikliğidir. Ürün B’nin hata kuyruğu daha ağırdır. Aynı geçiş oranı aynı uygunluk sonucu doğurmak zorunda değildir.

24.3. Zaman Dalgaları

Ürün A nispeten kararlıdır. Ürün B belirgin düşüş göstermektedir. Yalnız üç dalganın ortalamasını yayımlamak, Ürün B’deki bozulmayı saklar.

24.4. Sentetik Sonuç

Ürün A ve Ürün B için aynı başlık skorunu yayımlamak mümkün olabilir:

90

Fakat NOMOS sonuç kartları aynı olamaz.

Ürün A — Sentetik Dağılım İmzası

Genel sonuç: yüksek Dil eşitsizliği: düşük Critical hata kuyruğu: düşük fakat sıfır değil Bilinmeyen kütle: düşük Zaman kararlılığı: yüksek

Ürün B — Sentetik Dağılım İmzası

Genel sonuç: yüksek Dil eşitsizliği: yüksek Critical hata kuyruğu: maddi Bilinmeyen kütle: daha yüksek Zaman kararlılığı: düşük ve düşüş eğilimli Bu nedenle Bölüm 2’nin sentetik hükmü şudur:

Ürün A ile Ürün B’nin aynı ortalama skora sahip olması, aynı temsil kalitesine sahip olduklarını göstermez.

25. ZORUNLU NORMATİF HÜKÜMLER

CH02-N01

Bir GEO sonucu yalnız tek ortalama veya tek geçiş oranıyla tanımlanamaz.

CH02-N02

Her dağılım sonucu:

• denetlenen varlığa,
• hedef nüfusa,
• AI ürünü ve kullanıcı yüzeyine,
• ülke ve dile,
• prompta,
• oturum koşuluna,
• zamana

bağlanmalıdır.

CH02-N03

Küresel ortalama, maddi alt grup eşitsizliğini tek başına telafi edemez.

CH02-N04

Critical ve diğer yüksek şiddetli hata sonuçları genel yanlış oranından ayrı raporlanmalıdır.

CH02-N05

UNKNOWN, sonuçsuz, ret, geçersiz ve NOT TESTED durumları birbirinden ayrılmalıdır.

CH02-N06

Ölçülmeyen ülke, dil, ürün, kullanıcı yüzeyi veya zaman dönemi olumlu dağılımın parçası gibi gösterilemez.

CH02-N07

Ağırlıklar ve toplulaştırma kuralları sonuçlar görülmeden önce tanımlanmalıdır.

CH02-N08

Sonuç sonrası ağırlık değişikliği yeni analiz sürümü oluşturmalı ve önceki sonuç korunmalıdır.

CH02-N09

Maddi ölçüde farklı hedef nüfus, istem, ürün, zaman veya değerlendirme kuralına dayanan dağılımlar açıklama olmadan doğrudan karşılaştırılamaz.

CH02-N10

Biçimsel dil değişkenliği otomatik olarak temsil hatası sayılamaz.

CH02-N11

Maddi kimlik, kapsam, zaman, yetkinlik veya tavsiye değişkenliği gerekçesiz biçimde stil farkı olarak sınıflandırılamaz.

CH02-N12

Yüksek kararlılık tek başına kalite kanıtı değildir; kararlı yanlış ayrıca kaydedilmelidir.

CH02-N13

Yüksek ortalama, düşük kapsamla birlikteyse kamu sonucu kapsam sınırlaması taşımalıdır.

CH02-N14

Alt grup skorları yetersiz örneklem ve geniş belirsizlik altında kesin ülke veya dil hükmü olarak yayımlanmamalıdır.

CH02-N15

Ret ve teknik sonuçsuzluk oranları gerçek kullanıcı deneyiminin parçası olarak korunmalıdır.

CH02-N16

Kamuya sunulan tek skor, kanonik dağılım ve kapsam kaydına bağlanmalıdır.

CH02-N17

Sentetik dağılımlar gerçek AI ürünü veya gerçek varlık performansıyla birleştirilemez.

CH02-N18

Dağılım raporunun hesap verebilir insan veya kurum sahibi bulunmalıdır.

26. BAŞARISIZLIK BİÇİMLERİ

CH02-F01 — ORTALAMA AKLAMA

Yüksek küresel ortalama gösterilir; dil, ülke veya Critical hata bozulması saklanır.

CH02-F02 — ALT GRUP SİLME

Düşük sonuç veren gruplar rapordan çıkarılır veya “önemsiz” ilan edilir.

CH02-F03 — KAPSAM AKLAMA

Dar kapsamlı iyi sonuç bütün dünya, bütün diller veya bütün ürünler için kullanılır.

CH02-F04 — ŞİDDET DÜZLEŞTİRME

Küçük eksiklik ile ağır sağlık veya lisans yanlışı aynı hata sayısı içinde birleştirilir.

CH02-F05 — ZAMAN ORTALAMASIYLA BOZULMAYI SAKLAMA

Düşüş veya dalgalanma yalnız dönem ortalamasıyla görünmez hâle getirilir.

CH02-F06 — KARARLILIK TAPINMASI

Tutarlı cevabın otomatik olarak doğru olduğu varsayılır.

CH02-F07 — KELİME KELİME AYNI CEVAP YANILGISI

Anlamsal doğruluk yerine birebir aynı metin kararlılık ölçüsü olarak kullanılır.

CH02-F08 — BAĞLAMSAL FARKI HATA SAYMA

Gerçek kullanıcı ihtiyacına dayanan uygun tavsiye farkı keyfî değişkenlik olarak işaretlenir.

CH02-F09 — KEYFÎ DEĞİŞKENLİĞİ KİŞİSELLEŞTİRME SAYMA

Eşdeğer kullanıcı koşullarındaki maddi çelişkiler açıklamasız biçimde “kişiselleştirme” olarak savunulur.

CH02-F10 — PAYDA DEĞİŞTİRME

Olumlu sonucu yükseltmek için tamamlanan, geçerli veya değerlendirilen gözlem paydaları arasında sonuç sonrası geçiş yapılır.

CH02-F11 — SONUÇ SONRASI AĞIRLIKLANDIRMA

En yüksek puanı üreten ülke, dil veya model katsayıları sonradan seçilir.

CH02-F12 — UYUMSUZ HÜCRELERİ BİRLEŞTİRME

Farklı istem, ürün, zaman veya panel koşulları tek dağılım gibi sunulur.

CH02-F13 — RETLERİ SİLME

Yanıt vermeyen sistem kayıtları yalnız cevap üretenler arasında yüksek doğruluk oluşturmak için çıkarılır.

CH02-F14 — KÜÇÜK HÜCREDEN KESİN HÜKÜM

Bir veya birkaç kullanıcıdan ülke ya da dil skoru üretilir.

CH02-F15 — CRITICAL KUYRUĞU GİZLEME

Nadir ağır yanlışlar genel geçiş oranının içinde kaybedilir.

CH02-F16 — TEK SKOR RAPORU

Kapsam, eşitsizlik, kararlılık, belirsizlik ve ağır hatalar gösterilmeden yalnız başlık puanı yayımlanır.

CH02-F17 — DAĞILIMI “AI’NIN İNANCI” SAYMA

Gözlenen kullanıcı yüzeyi sonuçları yapay zekânın değişmez ve içsel görüşü gibi sunulur.

CH02-F18 — ÖLÇÜLMEYENİ SIFIR VARYANS SAYMA

Test edilmeyen alanlar sorunsuz ve kararlı kabul edilir.

27. DENETİM PROSEDÜRÜ

Bir GEO raporunun temsil dağılımını dürüstçe gösterip göstermediği aşağıdaki adımlarla incelenmelidir.

Adım 1 — Kamu İddiasını Kaydet

Örnek: “Markanın küresel NOMOS skoru 92’dir.” Tam cümle ve bulunduğu yüzey kaydedilir.

Adım 2 — Hedef Dağılımı Tanımla

Skor hangi:

• kullanıcı evrenine,
• AI ürünlerine,
• ülkelere,
• dillere,
• zaman aralığına

uygulanmaktadır?

Adım 3 — Ölçüm Hücrelerini Çıkar

Her maddi kombinasyon belirlenir:

• Ürün
• Ülke
• Dil
• Panel
• İstem
• Dalga
• Kullanıcı yüzeyi

Adım 4 — Paydaları Yeniden Kur

Atanan görev Tamamlanan görev Geçerli kayıt Hakem kararı verilen kayıt Geçen yanıt sayıları ayrılır.

Adım 5 — Sonuç Statülerini Çıkar

Yalnız geçiş oranı değil:

• kısmi,
• desteklenmeyen,
• çelişkili,
• eski,
• Critical,

UNKNOWN,

ret, sonuçsuz dağılımı incelenir.

Adım 6 — Ağırlıkları Doğrula

Ağırlıklar:

• önceden tanımlanmış mı,
• hangi soruyu cevaplıyor,

sonuçtan sonra değişmiş mi?

Adım 7 — Alt Grup Farklarını İncele

En iyi grup En zayıf yeterli grup Dil farkı Ülke farkı Ürün farkı Panel farkı değerlendirilir.

Adım 8 — Kapsam ve Eksikliği İncele

Hangi alanlar ölçülmedi? Hangi hücreler yetersiz? Eksiklik nedenleri nedir? Eksik veri sistematik olabilir mi?

Adım 9 — Kararlılığı İncele

Dalgalar Oturumlar Kullanıcılar Arayüzler arasındaki değişim değerlendirilir.

Adım 10 — Kuyruk Riskini İncele

Critical ve diğer ağır hatalar:

• sayısı,
• oranı,
• türü,
• kullanıcı etkisi

bakımından ayrı değerlendirilir.

Adım 11 — Kamu Özetini Dağılımla Karşılaştır

Kamuya yayımlanan tek sayı veya cümle, tam dağılımın yönünü ve riskini doğru taşıyor mu?

Adım 12 — Sonucu Sınırlandır

Kamu iddiası yalnız dağılımın ve kapsamın taşıdığı seviyeye daraltılır.

28. GEREKLİ KANIT

Bir temsil dağılımı veya küresel GEO skoru için ilgili olduğu ölçüde şu kayıtlar aranmalıdır:

• Denetlenen varlık kaydı
• Hedef nüfus tanımı
• Örnekleme çerçevesi
• AI ürünü ve kullanıcı yüzeyleri
• Ülke ve dil hücreleri
• İstem ve sürümler
• Oturum ve panel koşulları
• Ölçüm dalgaları
• Atanan görev sayıları
• Tamamlanan görevler
• Geçerli ve geçersiz kayıtlar
• Ham yanıtlar
• Sonuç statüsü dağılımı
• Hakemlik kayıtları
• Critical hata kayıtları
• Ret ve sonuçsuzluk kayıtları
• UNKNOWN kayıtları
• Ağırlıklar
• Paydalar
• Alt grup sonuçları
• Kararlılık sonuçları
• Kapsam dışı alanlar
• Güven veya belirsizlik hesapları
• Kamu skor kartı
• Sorumlu insan veya kurum
• Protokol ve analiz sürümü
• Değişiklik geçmişi

29. DENETİM KONTROL LİSTESİ

Dağılımın hedef nüfusu açık mı? Denetlenen AI ürünleri ve kullanıcı yüzeyleri belli mi? Ülke, dil, istem ve zaman kapsamı görünür mü? Tek skorun hangi ağırlıklarla üretildiği açıklanmış mı? Payda tam olarak tanımlanmış mı? Geçersiz kayıtlar ayrıca gösterilmiş mi? Ret ve sonuçsuzluklar korunmuş mu? UNKNOWN ve NOT TESTED ayrılmış mı? Alt grup sonuçları görünür mü? Küçük hücreler aşırı kesinlikle yorumlanmış mı? En zayıf maddi grup saklanmış mı? Critical hatalar ayrı raporlanmış mı? Zaman dalgaları ayrı gösterilmiş mi? Ortalama düşüş veya oynaklığı saklıyor mu? Biçimsel fark ile maddi anlam farkı ayrılmış mı? Bağlama duyarlı tavsiye değişimi doğru sınıflandırılmış mı? Aynı sağlayıcının farklı yüzeyleri açıklamasız birleştirilmiş mi?

Kapsam dışı alanlar küresel sonuca dâhil edilmiş mi? Sentetik ve gerçek dağılımlar ayrılmış mı? Kamuya sunulan cümle tam dağılımın gerçek yönünü taşıyor mu? Maddi sorulardan biri cevapsızsa dağılım sonucu sınırlı güven taşır. Birden fazlası cevapsızsa tek küresel skor kamuya kesin hüküm olarak sunulmamalıdır.

30. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Kamu tek bir sayı ister.”

Doğrudur. Tek sayı iletişimi kolaylaştırabilir. NOMOS tek sayıyı tamamen reddetmez. Ancak tek sayı:

• kapsam,
• Critical hata,
• alt grup tabanı,
• zaman,
• belirsizlik

bilgilerine bağlanmalıdır. Bir sayı kısa olabilir. Gerçeği kısaltamaz.

İtiraz 2 — “Küçük diller küresel skoru gereksiz yere düşürür.”

Küresel nüfus ağırlığı küçük dili sınırlı ağırlıkla hesaba katabilir. Fakat küçük bir dildeki ağır temsil bozulması yalnız nüfus payı düşük olduğu için görünmez bırakılamaz. Bu nedenle:

• nüfus ağırlıklı ana skor,
• ayrı dil adaleti sonucu

birlikte yayımlanabilir. İki metrik farklı sorulara cevap verir.

İtiraz 3 — “Kişiselleştirme varsa farklı yanıtlar normaldir.”

Bazı farklılıklar normal ve doğru olabilir. Ancak kişiselleştirme:

• şirket kimliğini,
• lisansını,
• güncel fiyatını,
• gerçek hizmet alanını

keyfî biçimde değiştirmemelidir. Kişiselleştirme kullanıcıya uygun anlatımı ve tavsiyeyi etkileyebilir. Maddi gerçeği icat etme izni değildir.

İtiraz 4 — “Aynı cevap verilmemesi neden sorun olsun?”

Sorun kelime farklılığı değildir. Sorun maddi gerçekliğin değişmesidir. NOMOS birebir metin eşitliği değil, koşullu anlamsal kararlılık arar.

İtiraz 5 — “Bir Critical hata 1.000 cevapta yalnız bir kez oluştuysa neden önemli olsun?”

Bu hata nüfus yaygınlığı bakımından nadir olabilir. Ancak zarar bakımından ağır olabilir. Bir uçağın bin uçuşun birinde kontrolsüz biçimde kritik sistem kaybetmesi yalnız yüzde 0,1 olarak değerlendirilmez. GEO bağlamında da sıklık ile zarar ayrı incelenmelidir.

İtiraz 6 — “Her küçük ülke veya dil için yeterli örneklem bulamayız.”

Doğrudur. Bu nedenle:

• küresel nüfus paneli,
• ülke gözcü paneli,
• dil adaleti paneli

ayrı kurulabilir. Bir kişilik gözlem ülke skoruna dönüşmez. Yalnız gözlem bulunduğunu gösterir. Yetersiz örneklemde doğru statü:

INSUFFICIENT SAMPLE

veya:

NOT ESTIMATED

olmalıdır.

İtiraz 7 — “Bu kadar ayrıntı müşterinin anlayamayacağı kadar karmaşık.”

Müşteriye bütün formüllerin ana sayfada gösterilmesi gerekmez. Ancak karar için gerekli temel gerçekler saklanamaz. Kısa sonuç kartı şu soruları cevaplamalıdır: Genel sonuç nedir? En ciddi risk nedir? En zayıf alan hangisidir? Ne test edilmedi? Sonuç ne kadar kararlıdır? Hangi tarihe aittir? Karmaşıklığı yönetmek gerekir. Ortadan kaldırmak değil.

İtiraz 8 — “Aynı model bütün ülkelerde kullanılıyorsa ülke farkı neden oluşsun?”

Kullanıcının gördüğü çıktı yalnız çıplak modelden oluşmayabilir. Ülke farkı:

• ürün erişimi,
• web kaynakları,
• locale,
• dil,
• plan,
• arayüz,
• mevzuat,
• kişiselleştirme

üzerinden ortaya çıkabilir. Fark oluşmayabilir. Fakat ölçmeden yokluğu varsayılamaz.

İtiraz 9 — “AI yanıtları değişken olduğu için güvenilir skor zaten mümkün değildir.”

Değişkenlik ölçümü imkânsız kılmaz. Tam tersine, ölçülmesi gereken özelliklerden biridir. Skor:

• belirli tarih,
• kapsam,
• güven aralığı,
• kararlılık bilgisi

taşıdığı sürece anlamlı olabilir. Zamansız kesinlik iddiası ise savunulamaz.

İtiraz 10 — “İstem değişirse dağılım tamamen değişir.”

Doğrudur. Bu nedenle dağılım prompta koşulludur. GEO-1000 bütün olası soruların tek cevabını üretmez. Önceden tanımlanmış:

• Core Mirror İstem,
• Diagnostic İstem Registry

üzerinden belirli temsil alanlarını ölçer. İstem anayasası Bölüm 10’da tanımlanacaktır.

32. BÖLÜMÜN ORTAK HÜKMÜ

Bu bölüm tek bir skora karşı yazılmadı. Tek bir skorun yalnız başına gerçekliğin tamamı sanılmasına karşı yazıldı. İnsanlar sayı ister. Kurumlar sıralama ister. Yönetim kurulları tek satır görmek ister. Pazar: “NOMOS skorunuz kaç?” diye sorabilir. Bu soru meşrudur. Fakat cevap yalnız: “90” olamaz. Çünkü 90’ın arkasında şu gerçekliklerden herhangi biri bulunabilir:

• Bütün dillerde tutarlı doğruluk
• Bazı dillerde 99, bazılarında 45
• Yüksek ortalama fakat ağır Critical hata
• Yüksek doğruluk fakat düşük kapsam
• Yüksek anlık sonuç fakat hızlı düşüş
• Yalnız kolay promptlarda başarı
• Yalnız değerlendirilebilen cevaplar arasında yüksek oran
• Test edilmemiş ülkelerin olumlu varsayılması
• Seçilmiş AI ürünlerinin birleştirilmesi

Bir skorun değeri, arkasındaki dağılımın görünür olmasıyla oluşur. Dağılım görünmüyorsa skor güven üretmez. Yalnız kesinlik görünümü üretir. Bu nedenle NOMOS’un ikinci ölçüm yasası şudur:

Bir GEO skoru dağılımın özeti olabilir. / Dağılımın yerine geçemez.

Üçüncü yasası şudur:

Yüksek ortalama, kimin kötü temsil gördüğü sorusunu ortadan kaldırmaz.

Dördüncü yasası şudur:

Nadir ağır yanlış, yalnız nadir olduğu için önemsiz değildir.

Beşinci yasası şudur:

Test edilmemiş alan dağılımın olumlu tarafı değildir; bilinmeyen sınırıdır.

NOMOS’un Bölüm 2 Emri

Bana yalnız ortalamayı gösterme.

Ortalamanın altında kimlerin kaldığını göster.

En iyi dilini gösterirken en kötü dilini saklama.

Büyük ülkelerin ağırlığını kullanıp küçük ülkelerin varlığını silme.

Küçük ülkeye bir kişi gönderip o ülke adına kesin skor açıklama.

Yüzde 99 doğru cevabın içine saklanmış tek ağır yanlışı önemsizleştirme.

Cevabın kelimeleri değişti diye hata ilan etme. / Gerçeklik değiştiğinde ise bunu yalnız stil farkı sayma.

Retleri, bilinmeyenleri ve test etmediklerini dağılımın dışına atma.

Sonucu gördükten sonra ağırlığı, paydayı veya kapsamı değiştirme.

Bir sayı üret. / Fakat sayının arkasındaki ülkeleri, dilleri, kullanıcıları, zamanları ve hataları görünmez yapma.

Çünkü bir varlığın temsili ortalama bir cümle değildir. / Farklı insanların karşılaştığı farklı gerçekliklerin dağılımıdır.

Bölümün Son Cümlesi

GEO’nun ölçüm nesnesi, bir yapay zekânın tek cevabı veya tek ortalama puanı değil; tanımlı kullanıcı nüfusunda, tanımlı koşullar altında oluşan temsil sonuçlarının tamamıdır.

Normatif Öz

Bir varlığın üretken sistemlerdeki temsili; tanımlı AI ürünleri ve kullanıcı yüzeyleri, kullanıcılar veya örnekleme birimleri, ülkeler, diller ve locale’ler, oturum ve kişiselleştirme durumları, promptlar ve ölçüm zamanları arasında oluşan koşullu gözlenebilir sonuç dağılımı olarak değerlendirilmelidir. Tek bir toplulaştırılmış skor; kapsamı, sonuç dağılımını, alt grup farklarını, Critical hata oranını, bilinmeyen ve test edilmemiş kütleyi, zaman kararlılığını, ağırlıkları ve belirsizliği görünmez kılamaz. Aynı ortalama, maddi ölçüde farklı dağılımlar için eşdeğer temsil kalitesi anlamına gelmez.