Her AI Ürünü İçin Uygun Kullanıcı Nüfusu

Bölüm Sınırı

İlk dört bölüm ölçümün temel nesnelerini kurdu: Tek yanıt GEO skoru değildir. Temsil tek sayı değil, koşullu bir dağılımdır. Denetlenen varlık sonuçlar görülmeden önce çözülmelidir. AI yanıtı hem resmî temsile hem kanıtla doğrulanmış varlık gerçekliğine karşı değerlendirilmelidir. Şimdi ölçümün paydasını belirlememiz gerekir:

Bu dağılım hangi insan nüfusu hakkında hüküm kuracaktır?

Bir ülkede yaşayan herkes mi? Yalnız yetişkinler mi? İnternet erişimi bulunanlar mı? Belirli AI ürününü resmî olarak kullanabilenler mi? Ücretsiz hesap sahipleri mi? Ücretli plan kullanıcıları mı? Ürünü denetim dilinde kullanabilecek kişiler mi? Gerçekten aktif kullanıcılar mı? Bir gün kullanma ihtimali bulunan potansiyel kullanıcılar mı? Markanın hizmet verebildiği pazarlardaki kişiler mi? Bir ülkenin nüfusu çok büyük olsa da ilgili AI ürünü o ülkede resmî olarak erişilebilir değilse, o ülke ana ürün paneline nasıl dâhil edilecektir? Küçük bir ülkenin nüfus payı 1.000 kişilik örneklemde bir kişinin çok altında kalıyorsa, o ülke tamamen görünmez mi olacaktır?

Bir kişi üç dil biliyorsa üç ayrı insan gibi mi sayılacaktır? Bir ürünün mobil sürümüne erişebilen fakat web sürümüne erişemeyen kullanıcı hangi nüfusun parçasıdır? Bu sorular cevaplanmadan: “Her AI ürünü için 1.000 rastgele kullanıcı” ifadesi bilimsel bir hedef nüfus tanımlamaz. Yalnız kullanıcı sayısı belirtir. Bu bölüm, ülke nüfusunu terk etmez. Onu daha doğru yere yerleştirir:

Ülke nüfusu, örneklemenin başlangıç tabanıdır; nihai uygun kullanıcı nüfusu değildir.

Bu bölümde denetim sistemi, daha önce belirlenen ülke, dil, tarih, ürün ve ölçüm kaydı zorunluluğunu doğrudan nüfus tanımına uygular. Çünkü kanıt, sınır, bağlam ve zaman istemek; hangi insanlardan söz edildiğini de aynı açıklıkla tanımlamayı gerektirir. Bu bölüm henüz:

• 1.000 kişilik örneklemin ülkelere tam olarak nasıl dağıtılacağını,
• küsuratların hangi algoritmayla tam sayıya çevrileceğini,
• katılımcıların hangi panelden seçileceğini,
• örnekleme ağırlıklarının nasıl hesaplanacağını,
• güven aralıklarının hangi varyans yöntemiyle üretileceğini

kesinleştirmez. Bunlar sonraki bölümlerde düzenlenecektir. Bölüm 5’in görevi daha temeldir:

Her AI ürünü ve her ölçüm sorusu için, sonuçların hangi insan topluluğuna genellenebileceğini tanımlamak.

NOMOS Challenge

Bir dünya haritası açıyorsunuz. Ülkelerin nüfuslarını topluyorsunuz. Sonra 1.000 kişiyi nüfusa göre dağıtmak istiyorsunuz. Büyük ülkeler çok sayıda katılımcı alacak. Küçük ülkeler bir veya sıfıra yakın pay alacak. Bu düşüncenin çekirdeği doğrudur:

Dünya nüfusundaki bir insan, yalnız küçük bir ülkede yaşadığı için büyük ülkedeki bir insandan yüzlerce kat daha etkili olmamalıdır.

Fakat şimdi aynı yöntemi iki ayrı AI ürününe uygulayın. Birinci ürün:

• bazı ülkelerde resmî olarak kullanılabilir,
• bazı ülkelerde sınırlıdır,

bazı ülkelerde hiç sunulmamaktadır. İkinci ürünün ülke kapsamı farklıdır. Dünya nüfusunu iki ürüne de aynı biçimde bölerseniz ne olur? Birinci ürünün kullanılamadığı ülkelerde insanlardan ölçüm isteyebilirsiniz. Katılımcılar:

• konumlarını yanlış göstermeye,
• yasak veya desteklenmeyen erişim yolları kullanmaya,
• başka ülke hesabı açmaya,
• güvenlik ve kullanım koşullarını aşmaya

zorlanabilir. Bu, gerçek kullanıcı deneyimini ölçmez. Yapay bir erişim deneyimi üretir. Şimdi başka bir sorun düşünün. Bir ülkede nüfus çok büyüktür. Fakat:

• nüfusun önemli bir bölümü ürünün asgari yaş koşulunu karşılamaz,
• herkesin güvenilir internet erişimi yoktur,
• ürün yalnız belirli cihazlarda kullanılabilir,
• denetim dili nüfusun tamamı tarafından kullanılamaz,

belirli plan yalnız ödeme aracı bulunan kullanıcılara açıktır. Toplam nüfusu doğrudan payda yaparsanız, gerçekte denetlenemeyecek ve ürünü kullanamayacak insanları hedef nüfusa eklersiniz. Şimdi küçük bir ülke düşünün. Nüfus ağırlığı altında 1.000 kişilik örneklemde teorik payı: 0,03 kişi olsun.

Bir insanın yüzde üçte biri seçilemez. Ülkeye bir kişi verirseniz, ülkeyi nüfus ağırlıklı ana panelde aşırı temsil edebilirsiniz. Hiç kimse vermezseniz, o ülkedeki:

• erişim,
• dil,
• ürün davranışı,
• yerel temsil

tamamen görünmez kalabilir. Bu iki amaç farklıdır:

• Dünya nüfusundaki ortalama kullanıcı deneyimini ölçmek
• Küçük ülkelerin tamamen denetim dışı kalmasını önlemek

Aynı tek panel iki amacı kusursuz biçimde yerine getiremez. Bu nedenle NOMOS üç ayrı ilke kurar:

Nüfus ağırlığı, insanların küresel ortalamadaki payını belirler.

Gözcü kapsamı, küçük ülkelerin ve dillerin tamamen görünmez olmasını engeller.

Dil ve erişilebilirlik adaleti, nüfus ortalamasının bastırabileceği alt grupları ayrıca ölçer.

Bu bölümün ilk hükmü şudur:

Bir ülkenin toplam nüfusu, o ülkedeki AI-uygun kullanıcı nüfusu değildir.

İkinci hükmü şudur:

Bir AI ürününün hedef nüfusu, başka bir AI ürününe otomatik olarak aktarılamaz.

Üçüncü hükmü şudur:

Bir insanın ana skordaki ağırlığı ile ülkesinin denetimde görünür olma hakkı aynı şey değildir.

Dördüncü hükmü şudur:

Ürün erişiminin bulunmaması, yanlış temsil değildir; fakat küresel erişim sınırıdır ve ayrıca raporlanmalıdır.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, GEO-1000 ölçümünün hedef insan nüfusunu ürün, soru, ülke, dil, arayüz ve zaman bakımından tanımlamaktır. Bölüm şu ayrımları normatif hâle getirir:

• Toplam ülke nüfusu ile uygun AI kullanıcı nüfusu
• Potansiyel erişim ile gerçek kullanım
• Ürün erişilebilirliği ile temsil doğruluğu
• Hedef nüfus ile örnekleme çerçevesi
• Seçilen katılımcı ile geçerli analitik gözlem
• Kişi ile hesap
• Kişi ile oturum
• Ürün ile temel model
• Ücretsiz ve ücretli plan nüfusları
• Web ve mobil kullanıcı nüfusları
• Resmî erişim ile erişim kısıtını aşan kullanım
• Ülke nüfus ağırlığı ile ülke gözcü kapsamı
• Nüfus ağırlıklı dil payı ile dil adaleti paneli
• Potansiyel kullanıcı nüfusu ile aktif kullanıcı maruziyeti
• Küresel kimlik sorgusu ile pazar veya yargı alanı sorgusu
• Ana tüketici ürünü ile kurumsal, eğitim veya geliştirici ürünü
• Erişilebilirlik ihtiyacı bulunan kullanıcı ile veri toplama aracının erişilebilirliği
• Hedef nüfus dışı kullanıcı ile NOT TESTED kullanıcı
• Ürün kullanılamayan ülke ile üründe yanlış cevap alınan ülke

Bu bölümün sonunda her GEO-1000 denetimi şu soruya açık cevap verebilmelidir:

Bu sonuç, hangi insanlar arasından seçilmiş hangi kullanıcı evreni hakkında hüküm kurmaktadır?

2. MERKEZÎ NORMATİF HÜKÜM

Her GEO-1000 denetimi, sonuçlar görülmeden önce; denetlenen AI ürünü, ölçüm sorusu, ülke, dil, arayüz, plan ve zaman koşullarına özgü bir hedef kullanıcı nüfusu tanımlamak ve sürümlemek zorundadır. [K04–K07]

Hedef nüfus:

• “dünya nüfusu”,
• “internet kullanıcıları”,
• “AI kullanıcıları”,
• “müşteriler”

gibi belirsiz bir adla bırakılamaz. İlgili olduğu ölçüde şu sorular cevaplanmalıdır: Hangi AI ürünü? Hangi kullanıcı yüzeyi? Hangi ülkeler? Hangi tarihteki erişim durumu? Hangi yaş koşulu? Hangi dil veya diller? Hangi cihaz ve arayüz? Hangi plan veya hesap türü? Resmî kullanım koşulları nelerdir? Kullanıcıların ürüne erişmesi için ödeme gerekli midir? Ölçüm sorusu bütün kullanıcılar için mi, yalnız belirli pazar veya yargı alanı için mi anlamlıdır? Aktif kullanıcı mı, potansiyel kullanıcı mı ölçülmektedir? Hangi kullanıcı grupları kapsam dışıdır? Hangi gruplar hedef nüfusta bulunmasına rağmen örnekleme çerçevesinde eksiktir? Bu alanların değişmesi hedef nüfusu değiştirebilir. Hedef nüfus değiştiğinde eski ve yeni skorlar açıklamasız biçimde aynı seri içinde birleştirilemez.

3. NÜFUS TEK BİR SAYI DEĞİLDİR

Bir ülkenin resmî veya tahmini toplam nüfusu, GEO-1000 için yalnız başlangıç katmanıdır. Denetim nüfusu aşağıdaki daralan katmanlardan oluşabilir.

3.1. Yerleşik Nüfus

Belirtilen ülkede veya yargı alanında yaşayan toplam insan nüfusudur. Bu sayı:

• yaş,
• internet,
• ürün erişimi,
• dil,
• hesap,
• cihaz

bakımından herhangi bir uygunluk varsayımı taşımaz.

3.2. Yaş Bakımından Uygun Nüfus

İlgili AI ürününün ve araştırma protokolünün yaş koşulunu karşılayan nüfustur. Bir ürünün:

• minimum kullanım yaşı,
• ebeveyn onayı şartı,
• ülkeye özgü yaş kuralı

bulunabilir. Araştırma protokolü ürün koşulundan daha kısıtlayıcı olabilir. Örneğin kurucu GEO-1000 paneli, etik ve hukuki karmaşıklığı azaltmak için yalnız yetişkin katılımcılardan oluşturulabilir. Bu durumda skor: “Bütün nüfusun” değil:

“Tanımlı yetişkin ve ürün-uygun nüfusun”

sonucudur.

3.3. Bağlantılı Nüfus

İlgili ürünü kullanabilecek düzeyde:

• internet,
• cihaz,
• bağlantı kalitesi,
• teknik erişim

imkânı bulunan nüfustur. İnternet erişimi ikili bir özellik olmayabilir. Bir insan:

• mesajlaşma kullanabilir,
• fakat ağır web uygulamasını çalıştıramayabilir,
• mobil internet kullanabilir,
• fakat masaüstü deneyimine erişemeyebilir,

düşük bağlantı nedeniyle cevap veya ekran görüntüsü yükleyemeyebilir. Bağlantı sınırlaması kullanıcıyı hedef nüfustan otomatik olarak çıkarmamalıdır. Ölçülen ürünün gerçek kullanım koşullarıyla ilişkilendirilmelidir.

3.4. Ürün Bakımından Erişilebilir Nüfus

İlgili AI ürününün belirtilen tarihte:

• resmî olarak sunulduğu,
• hukuka ve ürün koşullarına uygun biçimde kullanılabildiği,
• gerekli arayüze erişilebildiği

nüfustur. Bir ürünün bir ülkede bulunmaması, o ülkedeki insanların yanlış temsil aldığı anlamına gelmez. Bu durumda: temsil yanıtı yoktur, erişim kapsamı yoktur. İki sonuç ayrı tutulmalıdır.

3.5. Hesap ve Plan Bakımından Uygun Nüfus

Bazı ürünler:

• hesap gerektirebilir,
• telefon doğrulaması isteyebilir,
• ödeme yöntemi gerektirebilir,
• yalnız kurumsal sözleşmeyle sunulabilir,

belirli özellikleri yalnız ücretli planda açabilir. Bu şartlar hedef nüfusun hangi kısmının ilgili kullanıcı yüzeyine gerçekten erişebildiğini etkiler. Ücretsiz plan skoru, ücretli plan kullanıcılarına otomatik olarak uygulanamaz.

3.6. Dil Bakımından Uygun Nüfus

İlgili istemi ve AI cevabını denetim dilinde yeterli düzeyde kullanabilecek nüfustur. Dil uygunluğu yalnız:

• ülkenin resmî dili,
• kişinin ana dili

ile belirlenemez. Şunlar ayrılmalıdır:

• Ana veya ev dili
• Günlük kullanım dili
• AI arayüz dili
• İstem dili
• Yanıt dili
• Profesyonel kullanım dili
• Okuma yeterliliği

Bir insan birden fazla dilde uygun olabilir. Bu kişi küresel nüfus hesabında birden fazla tam kişi gibi sayılamaz.

3.7. Arayüz Bakımından Uygun Nüfus

Ölçüm:

• web,
• mobil uygulama,
• masaüstü uygulama,
• kurumsal çalışma alanı,
• gömülü asistan

üzerinden yapılabilir. Her arayüzün erişilebilir kullanıcı evreni farklı olabilir. Web erişimi bulunan kullanıcı mobil ürüne sahip olmayabilir. Kurumsal kullanıcı yüzeyi genel halka açık olmayabilir.

3.8. Araştırma Bakımından Uygun Nüfus

Bir kişi ürünü kullanabiliyor olsa bile araştırmaya alınması için ayrıca:

• gönüllü onay,
• mahremiyet,
• veri işleme,
• ekran görüntüsü toplama,
• ülkeye özgü araştırma şartları,
• yaş,
• güvenlik

koşullarının karşılanması gerekebilir. Araştırmaya alınamayan fakat gerçek ürünü kullanan insanlar hedef nüfusun parçası olabilir. Bu durumda örnekleme çerçevesi hedef nüfusu eksik kapsar. Bu eksiklik saklanmamalıdır.

3.9. Analitik Olarak Uygun Nüfus

Toplanan verinin sonuç üretmek için kullanılabildiği nüfustur. Katılımcı:

• istemi değiştirmiş,
• yanlış ürünü kullanmış,
• cevabı seçmiş,
• kanıtı eksik göndermiş

olabilir. Kişi hedef nüfusa ait olsa bile gözlemi analitik veri setine giremeyebilir. Hedef nüfus ile geçerli gözlemler aynı şey değildir.

4. UYGUN KULLANICI NÜFUSUNUN KÜME TANIMI

Belirli bir AI ürünü a ve zaman t için uygun kullanıcı evreni şu biçimde düşünülebilir:

U_{a,t} = {u ∈ P_t : AgeEligible(u,a,t)=1 ∧ Connected(u,a,t)=1 ∧ ProductAvailable(u,a,t)=1 ∧ LawfulAccess(u,a,t)=1 ∧ InterfaceEligible(u,a,t)=1}

Burada:

• Pt: belirtilen tarihteki genel insan nüfusu
• u: tekil insan
• a: AI ürünü ve kullanıcı yüzeyi
• t: ölçüm zamanı

Dil ve istem bakımından hedef evren daha sonra şöyle daraltılabilir:

U_{a,c,l,s,p,t} = {u ∈ U_{a,t} : Country(u)=c ∧ LanguageEligible(u,l)=1 ∧ SurfaceEligible(u,s)=1 ∧ PromptRelevant(u,p)=1}

Burada:

• c: ülke veya yargı alanı
• l: dil ve locale
• s: kullanıcı yüzeyi
• p: istem veya soru ailesi

Bu gösterimin amacı bütün insanları tek tek kaydetmek değildir. Hedef nüfusun mantıksal sınırını görünür kılmaktır.

5. MARJİNAL ORANLARI KÖRÜ KÖRÜNE ÇARPMAK YASAKTIR

Uygun nüfus bazen şu tür bir formülle yaklaşık hesaplanmak istenebilir:

N × p_yaş × p_internet × p_ürün × p_dil

Bu hesap yalnız koşulların bağımsızlığı veya uygun ortak dağılım varsayımı altında savunulabilir. Gerçek hayatta özellikler bağımsız olmayabilir. Örneğin:

• internet kullanımı yaşa göre değişebilir,
• ücretli plan erişimi gelirle ilişkili olabilir,
• belirli dil kullanımı ülke içindeki bölge ve eğitimle ilişkili olabilir,

cihaz erişimi ile bağlantı kalitesi birlikte değişebilir. Marjinal oranların çarpılması hedef nüfusu:

• gereğinden büyük,
• gereğinden küçük

tahmin edebilir. Tercih sırası şu olmalıdır:

• Uygun ortak mikroveri veya çapraz tablo
• Güvenilir çok boyutlu nüfus tahmini
• Kalibre edilmiş model
• Gerekçesi ve duyarlılık analizi açıklanmış marjinal yaklaşım

Basit çarpım kullanılıyorsa:

• varsayım,
• veri kaynağı,
• belirsizlik,
• alternatif senaryo

açıklanmalıdır.

6. DENETİM SORUSU HEDEF NÜFUSU DEĞİŞTİRİR

Her istem bütün dünya nüfusu için aynı ölçüm evrenine sahip değildir.

6.1. Küresel Kimlik Soruları

Örnek: “Apple.com nasıl bir şirkettir?” Bu soru, ürünün uygun küresel kullanıcı nüfusu içinde geniş biçimde sorulabilir. Çünkü şirket kimliği belirli bir pazara ait kullanıcıyla sınırlı değildir.

6.2. Yerel Hizmet Soruları

Örnek: “Bu şirket Türkiye’de hizmet veriyor mu?” Ana hedef nüfus:

• Türkiye’deki uygun kullanıcılar,
• Türkiye hizmetini araştıran ilgili dış kullanıcılar

olabilir. Bütün dünya nüfusuna eşit ağırlık vermek gerekli değildir.

6.3. Fiyat ve Satın Alma Soruları

Fiyat:

• ülke,
• vergi,
• para birimi,
• plan,
• müşteri türü

ile değişebilir. Hedef nüfus, ilgili ticari pazar ve kullanıcı türüne göre tanımlanmalıdır.

6.4. Hukuk ve Lisans Soruları

Lisans ve hukuki yetki yargı alanına bağlıdır. Hedef nüfus:

• ilgili ülkede hizmet alabilecek,
• o hukuk düzeninin etkisinde bulunan

kullanıcılarla sınırlandırılabilir.

6.5. Tavsiye Soruları

“Bu şirket benim için uygun mu?” sorusunun hedef nüfusu, bütün insanlar değildir. Şunlara göre tanımlanabilir:

• Kullanıcı ihtiyacı
• Ülke
• Bütçe
• Müşteri türü
• Hizmet kapsamı
• Uygunluk ve dışlama koşulları

Tavsiye nüfusu, kimlik nüfusundan daha dar olabilir.

6.6. Yüksek Riskli Sorular

Sağlık, hukuk, finans veya güvenlik alanında:

• yargı,
• kullanıcı profili,
• risk durumu,
• profesyonel yetki

hedef nüfusu daha güçlü biçimde sınırlar.

7. NÜFUS ÇERÇEVESİ İSTEM AİLESİNE BAĞLANMALIDIR

Bir denetimde tek hedef nüfus yerine birden fazla nüfus çerçevesi bulunabilir.

7.1. Core Identity Population

Varlığın temel kimliğini ölçen küresel veya geniş uygun kullanıcı nüfusudur.

7.2. Service-Relevant Population

Varlığın gerçekten hizmet verebildiği veya kullanıcı tarafından hizmet için değerlendirilebileceği nüfustur.

7.3. Market Transaction Population

Belirli fiyat, satın alma, iade veya ticari koşulun uygulanabileceği nüfustur.

7.4. Jurisdictional Population

Belirli lisans, hukuk veya düzenleyici iddianın uygulanabileceği kullanıcı nüfusudur.

7.5. Tavsiye-Eligible Population

Varlığın gerçek kapsamı içinde uygun olabilecek kullanıcı nüfusudur.

7.6. High-Risk Affected Population

Yanlış temsilin ciddi zarar yaratabileceği nüfustur. Bu çerçeveler birbirine karıştırılmamalıdır. Bir küresel kimlik skoru: “Bütün dünya için tavsiye edilebilirlik” anlamına gelmez.

8. AI ÜRÜNÜNÜN TÜRÜ NÜFUSU BELİRLER

Bütün AI ürünleri genel halka açık sohbet ürünleri değildir.

8.1. Genel Tüketici AI Ürünü

Hedef nüfus:

• ürüne erişebilen,
• kullanım şartlarını karşılayan,
• ilgili dilde kullanabilen

insanlar olabilir. GEO-1000 gerçek kullanıcı paneli bu ürün türüne doğrudan uygulanabilir.

8.2. Kurumsal AI Ürünü

Ürün yalnız:

• işveren sözleşmesi,
• kurumsal lisans,
• kurum içi kullanıcı hesabı

ile kullanılabilir. Hedef nüfus genel yetişkin nüfus değil:

Ürüne kurumsal erişimi bulunan koltuk veya kullanıcı evrenidir.

Kurumsal sonuç genel tüketici ürünüyle aynı nüfus ağırlığında karşılaştırılamaz.

8.3. Eğitim Ürünü

Hedef nüfus:

• öğrenci,
• öğretmen,
• kurum,
• yaş grubu,
• eğitim lisansı

bakımından sınırlı olabilir. Çocuklar veya reşit olmayanlar dâhil edilecekse ayrı etik protokol gerekir.

8.4. Geliştirici veya API Ürünü

API sonucu doğrudan son kullanıcı arayüzü olmayabilir. Hedef birim:

• geliştirici,
• uygulama,
• API çağrısı,
• kontrol edilmiş test oturumu

olabilir. GEO-1000 insan nüfus paneli, API’ye doğrudan ve değişmeden uygulanamaz. API için ayrı:

Kontrollü Sistem Denetimi

gerekebilir.

8.5. Gömülü AI Asistanı

AI:

• işletim sistemi,
• arama arayüzü,
• alışveriş platformu,
• iş yazılımı,
• cihaz

içinde gömülü olabilir. Hedef nüfus gömülü ürünün gerçek kullanıcı nüfusudur. Temel model sağlayıcısının toplam kullanıcı nüfusu değildir.

8.6. Uzman veya Sektörel AI

Ürün yalnız:

• hukukçular,
• hekimler,
• finans profesyonelleri,
• mühendisler

için tasarlanmış olabilir. Hedef nüfus meslek ve erişim koşullarıyla sınırlandırılmalıdır.

9. ÜRÜN ERİŞİM STATÜLERİ

Her ülke, ürün, arayüz ve tarih için erişim statüsü kaydedilmelidir.

PA-0 — UNKNOWN

Erişim durumu güvenilir biçimde belirlenememiştir.

PA-1 — UNAVAILABLE

Ürün ilgili ülkede veya kullanıcı grubunda sunulmamaktadır.

PA-2 — RESTRICTED

Ürün belirli:

• hesap,
• davet,
• kurum,
• yaş,
• plan,
• cihaz

şartlarıyla sınırlıdır.

PA-3 — ACCESSIBLE BUT NOT OFFICIALLY SUPPORTED

Ürüne fiilen erişim gözlenebilir. Fakat resmî destek veya kullanım statüsü açık değildir ya da sınırlıdır. Bu kullanıcılar ana resmî nüfus paneline otomatik olarak eklenmemelidir. Ayrı deneysel panel oluşturulabilir.

PA-4 — OFFICIALLY AVAILABLE

Ürün resmî olarak erişilebilir ve ana kullanım koşulları tanımlıdır.

PA-5 — OFFICIALLY AVAILABLE WITH FULL AUDIT SURFACE

Ürün yalnız erişilebilir değil; denetlenen:

• dil,
• plan,
• arayüz,
• oturum koşulunda

protokolün gerektirdiği gözlemi üretmeye uygundur. Bir ülkede ürünün bulunması, bütün plan ve dillerin denetime uygun olduğu anlamına gelmez.

10. KISIT AŞMAK GERÇEK NÜFUS ÖLÇÜMÜ DEĞİLDİR

Katılımcılardan şu davranışlar istenemez:

• Yanlış ülke beyan etmek
• Sahte hesap oluşturmak
• Yaş bilgisini değiştirmek
• Resmî erişim kısıtını aşmak
• Başka kişiye ait hesabı kullanmak
• Ürünün güvenlik veya kimlik doğrulamasını atlatmak
• Kullanım koşullarını ihlal etmek

Bu davranışlar teknik deney olarak ayrıca incelenebilir. Fakat:

Doğal ve meşru kullanıcı nüfusunun deneyimi

gibi raporlanamaz. Bir ülkede erişim yoksa doğru statü: UNAVAILABLE / veya / OUTSIDE_NATIVE_REACH olmalıdır. Kısıt aşan tekil gözlem, ülke nüfus skoru üretmez.

11. POTANSİYEL KULLANICI İLE AKTİF KULLANICI AYRIMI

Ürünü kullanabilecek insan ile ürünü gerçekten kullanan insan aynı topluluk değildir.

11.1. Potansiyel Erişim Nüfusu

Ürünü teknik ve hukuki olarak kullanabilecek kişilerdir. Bu nüfus: “Uygun bir kişi ürünü kullansaydı ne görürdü?” sorusuna cevap verir. Nüfus adaleti ve ürün karşılaştırması için değerlidir.

11.2. Aktif Kullanıcı Nüfusu

Belirli dönemde ürünü gerçekten kullanan kişilerdir. Bu nüfus: “Gerçek kullanım hacmi içinde insanlar ne görüyor?” sorusuna yaklaşır. Güvenilir aktif kullanım verisi gerektirir.

11.3. Sorguya Maruz Kalan Kullanıcı Nüfusu

Ürünü kullanmakla birlikte denetlenen marka veya konu hakkında soru sorma ihtimali bulunan insanlardır. Bu nüfus çoğu zaman doğrudan bilinemez. Arama veya sorgu davranışı verisi gerekebilir.

11.4. Yanıtı Gerçekte Gören Nüfus

Belirli bir temsil çıktısına gerçekten maruz kalan kullanıcılardır. Bu, kullanıcı paneli dışında gerçek ürün sağlayıcı verisi olmadan tam ölçülemeyebilir.

12. UYGUNLUK AĞIRLIĞI İLE MARUZİYET AĞIRLIĞI AYNI DEĞİLDİR

İki ayrı küresel sonuç üretilebilir.

12.1. Uygun Nüfus Ağırlıklı Sonuç

Her insan, tanımlı uygun kullanıcı nüfusu içindeki payına göre ağırlık alır. Bu sonuç:

• coğrafi adalet,
• potansiyel erişim,
• nüfus temsili

bakımından güçlüdür.

12.2. Gerçek Maruziyet Ağırlıklı Sonuç

AI ürünleri veya kullanıcı grupları gerçek kullanım hacimlerine göre ağırlık alır. Bu sonuç:

• mevcut ticari etki,
• gerçek kullanıcı maruziyeti,
• operasyonel risk

bakımından değerlidir. Fakat güvenilir kullanım verisi bulunmayabilir. Tahminler sağlayıcı beyanına, pazar verisine veya eksik örnekleme dayanabilir. Bu nedenle ağırlık türü açıkça yazılmalıdır.

12.3. Birinin Diğerinin Yerine Kullanılması Yasaktır

Uygun nüfus skoru: “Gerçek kullanıcıların çoğu bu cevabı gördü.” anlamına gelmez. Maruziyet skoru: “Dünya nüfusuna adil temsil sağlanıyor.” anlamına gelmez.

13. ERİŞİM KAPSAMI İLE TEMSİL DOĞRULUĞU AYRILMALIDIR

Bir AI ürünü yalnız sınırlı ülkelerde bulunabilir. Bu ülkelerde çok doğru temsil üretebilir. Başka ürün daha geniş erişime sahip fakat daha düşük doğruluk üretebilir. Yalnız temsil doğruluğuna bakarsak dar erişimli ürün üstün görünebilir. Yalnız erişim kapsamına bakarsak yanlış temsil gözden kaçabilir. Bu nedenle iki ayrı sonuç gerekir.

13.1. Erişim Kapsamı

Belirtilen küresel referans nüfusun ne kadarının ilgili AI ürününü uygun biçimde kullanabildiğini gösterir. Aday gösterim:

AC_a = N(U_{a,t}) / N(G_t)

Burada:

• Ua,t: ürünün uygun kullanıcı nüfusu
• Gt: tanımlı küresel referans nüfus

13.2. Koşullu Temsil Doğruluğu

Ürüne erişebilen kullanıcılar arasında doğru temsil görme olasılığıdır. Aday gösterim:

RA_a = Pr(Y=1 | u ∈ U_{a,t})

13.3. Etkili Doğru Temsil Erişimi

CANDIDATE CONCEPT — ADAY KAVRAM

Erişim kapsamı ile koşullu doğruluğun birlikte gösterildiği operasyonel bir metrik geliştirilebilir:

ECR_a = AC_a × RA_a

Bu metrik kabaca şu soruya yaklaşır: “Tanımlı küresel referans nüfusun ne kadarı bu ürüne erişebilir ve doğru temsil görme koşulunu karşılayabilir?” Bu henüz nihai NOMOS formülü değildir. Çünkü:

• erişim ile gerçek kullanım farklıdır,
• ağırlık ve bağımlılık yapıları karmaşıktır,
• ürün kullanımı isteğe bağlıdır,

doğru temsil prompta bağlıdır. Ancak temel ayrımı korur:

Erişememek ile yanlış cevap almak aynı şey değildir.

14. NATIVE REACH VE COMMON SUPPORT

AI ürünlerini karşılaştırırken iki ayrı nüfus evreni gerekir.

14.1. Native Reach Population

Her AI ürününün kendi resmî ve gerçek erişim alanındaki uygun nüfustur. Bu sonuç şu soruyu cevaplar:

Ürün, gerçekten ulaşabildiği nüfusu ne kadar doğru temsil ediyor?

Ürünler arasında hedef nüfuslar farklı olabilir.

14.2. Common Support Population

Karşılaştırılan bütün AI ürünlerinin ortak biçimde:

• resmî olarak erişilebilir,
• aynı dil veya arayüz koşulunda kullanılabilir

olduğu nüfustur. Bu sonuç şu soruyu cevaplar:

Aynı kullanıcı evreninde hangi ürün daha doğru temsil üretiyor?

14.3. İki Sonuç Birlikte Yayımlanmalıdır

Native Reach:

• gerçek ürün erişimini,
• doğal coğrafi yayılımı

gösterir. Common Support: daha adil ürün karşılaştırması sağlar. Bir ürün Native Reach skorunda yüksek, Common Support skorunda daha düşük olabilir. İki sonuç farklı sorulara cevap verir.

15. PAZARLA İLGİLİ NÜFUS

Bir varlığın küresel kimlik skoru ile ticari hedef pazar skoru farklı olabilir. Örnek: Yerel bir hukuk firması yalnız Türkiye’de hizmet veriyorsa: küresel kimlik sorusu dünyanın uygun kullanıcı nüfusunda ölçülebilir, tavsiye ve hizmet uygunluğu yalnız Türkiye veya gerçek hizmet kapsamındaki kullanıcılar için ölçülmelidir. Kurum kendi lehine sonucu seçmek için:

• yalnız yüksek skorlu pazarı,
• yalnız kendi dilini,
• yalnız mevcut müşterilerini

hedef nüfus ilan edemez. Hedef pazar:

• denetim başlamadan,
• hizmet kayıtlarına,
• sözleşme ve operasyon kapsamına

göre kilitlenmelidir.

16. KİŞİ, HESAP VE OTURUM AYRIMI

Nüfus ağırlığı insanlara aittir. AI hesaplarına değil.

16.1. Bir Kişi, Birden Fazla Hesap

Aynı insan:

• ücretsiz,
• ücretli,
• kurumsal

birden fazla hesaba sahip olabilir. Bu hesaplar ürün yüzeyi karşılaştırmasında ayrı gözlemler üretebilir. Küresel insan nüfusunda ayrı kişiler olarak sayılamaz.

16.2. Bir Hesap, Birden Fazla Kişi

Aile, ekip veya kurum hesabı birden fazla kişi tarafından kullanılabilir. Hesap kullanıcı sayısına eşit değildir.

16.3. Bir Kişi, Birden Fazla Oturum

Bir insan farklı oturumlarda ayrı gözlemler üretebilir. Bu gözlemler zaman veya oturum kararlılığını ölçebilir. Bağımsız nüfus genişliğini artırmaz.

16.4. Bir Kişi, Birden Fazla AI Ürünü

Eşlenmiş ürün karşılaştırması için değerlidir. Fakat kullanıcı düzeyindeki ortak özellikler nedeniyle gözlemler bağımlıdır.

16.5. Ana Ağırlık Birimi

Nüfus temelli GEO skorunda ana ağırlık birimi:

insan

olmalıdır. Hesap, oturum ve ürün gözlemleri insan birimi altında ilişkilendirilmelidir.

17. DİL NÜFUSU

Dil adaleti için yalnız ülkenin resmî dilini kullanmak yeterli değildir.

17.1. İstem Dili

Katılımcının denetim sorusunu sorduğu dildir.

17.2. Arayüz Dili

AI ürününün menü ve kullanıcı arayüzünde kullandığı dildir. İstem diliyle aynı olmayabilir.

17.3. Yanıt Dili

AI’nın fiilen cevap verdiği dildir. Sistem istem dilinden başka dilde cevap verebilir. Bu da ölçüm sonucudur.

17.4. Kullanıcı Yeterlilik Dili

Katılımcının istemi ve cevabı anlamlı biçimde kullanabildiği dildir. Ana dil olmak zorunda değildir.

17.5. Locale

Dil ile birlikte bölgesel bağlamdır. Aynı dil farklı:

• ülke,
• fiyat,
• hukuk,
• terminoloji

koşulu taşıyabilir.

18. ÇOK DİLLİ KULLANICILARIN ÇİFTE SAYILMASI

Bir kişi:

• Türkçe,
• İngilizce,
• Almanca

kullanabiliyor olabilir. Bu kişi üç ayrı dil testine katılabilir. Fakat küresel nüfus ağırlığında üç insan gibi sayılması nüfus tahminini bozar. Üç yöntem kullanılabilir.

18.1. Tek Ana Dil Ataması

Kişi ana analizde bir dil hücresine atanır. Diğer diller ek veya eşlenmiş test olarak kullanılır.

18.2. Bölünmüş Kişi Ağırlığı

Kişinin nüfus ağırlığı uygun dilleri arasında önceden tanımlı biçimde bölünebilir. Toplam ağırlığı bir kişiyi aşmaz.

18.3. Ayrı Çok Dilli Eşlenmiş Panel

Çok dilli kullanıcılar, diller arası aynı kişi karşılaştırmasında kullanılır. Bu panel ana nüfus panelinden ayrı analiz edilir. Hangi yöntem kullanılırsa kullanılsın:

Aynı kişinin toplam nüfus ağırlığı açıklamasız biçimde çoğaltılamaz.

19. DİL UYGUNLUĞU NASIL DOĞRULANMALIDIR?

Bir katılımcının: “Bu dili biliyorum.” demesi başlangıç kaydı olabilir. Ancak yüksek güvenli denetimde şu yöntemlerden biri kullanılabilir:

• Ana dil veya günlük kullanım beyanı
• Kısa okuma ve anlama testi
• Panel sağlayıcının dil kaydı
• Yerel hakem doğrulaması
• Eğitim veya profesyonel kullanım kaydı
• Pilot görev başarısı

Aşırı zor dil testleri paneli eğitimli ve yüksek gelirli kullanıcılara kaydırabilir. Amaç akademik dil sınavı yapmak değildir. İstemi ve cevabı gerçek kullanıcı olarak anlayabilecek yeterliliği doğrulamaktır.

20. DİL DESTEKLENMİYORSA NE OLUR?

Bir AI ürünü belirli dili:

• resmî olarak desteklemiyor,
• kısmen destekliyor,
• desteklediğini beyan etmiyor fakat cevap üretebiliyor

olabilir. Dil statüleri ayrı kaydedilmelidir:

OFFICIALLY_SUPPORTED

LIMITED_SUPPORT

OBSERVED_BUT_UNSUPPORTED

NOT_SUPPORTED

UNKNOWN

Resmî olarak desteklenmeyen dilde alınan cevap:

• keşif,
• deneysel erişim,
• dil dayanıklılığı

ölçümü olabilir. Ana desteklenen kullanıcı nüfusu skoruna otomatik olarak eklenmemelidir. Dil erişim sınırı ayrıca raporlanmalıdır.

21. ÜLKE NÜFUS AĞIRLIĞI VE ÜLKE GÖZCÜ KAPSAMI

Nüfus ağırlıklı ana panel ve ülke görünürlüğü paneli ayrı amaç taşır.

21.1. Nüfus Paneli

Katılımcılar ürün-uygun hedef nüfustaki paylarına göre dağıtılır. Büyük uygun nüfuslar daha yüksek ağırlık alır. Ana küresel nüfus skorunu üretir.

21.2. Ülke Gözcü Paneli

Ana nüfus örnekleminde hiç veya çok az pay alan küçük ülkelerden en azından gözlem elde etmeyi amaçlar. Bir gözcü gözlemi:

• erişim bulunduğunu,
• belirli tekil sonucun oluştuğunu,
• yeni araştırma ihtiyacını

gösterebilir. Tek başına ülke skoru üretmez.

21.3. Ülke Skoru İçin Yeterlilik

Ülke bazlı oran yayımlanabilmesi için:

• minimum örneklem,
• geçerli gözlem oranı,
• belirsizlik,
• panel temsiliyeti

koşulları sağlanmalıdır. Bir veya birkaç katılımcıyla: “Ülkenin NOMOS skoru” ilan edilemez.

22. DİL ADALETİ PANELİ

Nüfus ağırlığı, düşük nüfuslu veya düşük kaynaklı dilleri ana skor içinde görünmez bırakabilir. Bu nedenle ayrı bir Dil Adaleti Paneli kurulabilir. Amaç:

• yeterince temsil edilmeyen dilleri test etmek,
• dil bazlı ağır bozulmayı bulmak,
• istem çeviri sorunlarını belirlemek,
• düşük kaynaklı dil davranışını görünür kılmak

olmalıdır. Dil Adaleti Paneli ana nüfus paneline ek örnekler sağlayabilir. Ancak fazla örneklenen dil gözlemleri küresel skorda gerçek nüfus ağırlıklarına geri döndürülmelidir. Aksi hâlde adalet paneli küresel nüfus tahminini değiştirir.

23. ERİŞİLEBİLİRLİK PANELİ

Görme, işitme, motor, bilişsel veya başka erişilebilirlik ihtiyaçları bulunan kullanıcılar hedef nüfusun gerçek parçasıdır. NOMOS Capture veya araştırma görevi bu kişilerin katılımına uygun değilse: kullanıcılar hedef nüfustan çıkarılamaz. Doğru sonuç:

Örnekleme çerçevesi erişilebilirlik bakımından eksiktir.

Ayrı erişilebilirlik paneli şunları değerlendirebilir:

• Ekran okuyucu uyumu
• Klavye ile kullanım
• Sesli giriş
• Düşük görme ayarları
• Bilişsel yük
• Mobil erişilebilirlik
• Capture aracının kullanılabilirliği

Erişilebilirlik paneli, kullanıcıları “özel istisna” olarak değil nüfus kapsamının parçası olarak görmelidir.

24. HEDEF NÜFUS VE ÖRNEKLEME ÇERÇEVESİ

Bu iki kavram birbirine karıştırılmamalıdır.

24.1. Hedef Nüfus

Sonucun hakkında hüküm kurmak istediği bütün insan topluluğudur.

24.2. Örnekleme Çerçevesi

Katılımcıların fiilen seçilebildiği:

• panel,
• liste,
• veri tabanı,
• ortak kuruluş,
• kullanıcı havuzu

kümesidir. Örnekleme çerçevesi hedef nüfusu tam olarak kapsamayabilir.

24.3. Temas Edilebilir Nüfus

Araştırma davetinin gerçekten ulaştırılabildiği kişilerdir.

24.4. Katılmayı Kabul Eden Nüfus

Gönüllü olarak araştırmaya katılanlardır.

24.5. Görevi Tamamlayan Nüfus

Denetim görevini tamamlayanlardır.

24.6. Geçerli Analitik Nüfus

Protokole uygun ve analizde kullanılabilir gözlem üretenlerdir. Bu katmanların sayıları ayrı raporlanmalıdır.

25. KAPSAMA HATASI

Örnekleme çerçevesi hedef nüfusun bazı bölümlerini dışarıda bırakabilir. Buna kapsama hatası denir. Örnekler:

• Yalnız profesyonel çevrim içi paneller
• Yalnız masaüstü kullanıcıları
• Yalnız kredi kartı bulunan kişiler
• Yalnız İngilizce arayüz kullananlar
• Yalnız büyük şehir sakinleri
• Yalnız teknolojiye yoğun ilgi duyan kullanıcılar
• Erişilebilirlik ihtiyacı bulunan kişilerin dışlanması

Kapsama hatası:

• açıklanmalı,
• mümkünse ölçülmeli,

ağırlık veya ek panelle azaltılmalıdır. Ağırlıklandırma, örnekleme çerçevesinde hiç bulunmayan grubu sihirli biçimde oluşturamaz.

26. FAZLA KAPSAMA

Örnekleme çerçevesinde hedef nüfusa ait olmayan kişiler bulunabilir. Örnekler:

• Ürünün erişilemediği ülkedeki katılımcı
• Gerekli yaş koşulunu karşılamayan kişi
• Yanlış plan veya kullanıcı yüzeyi
• Denetim dilini kullanamayan katılımcı
• Birden fazla kayıtla tekrar bulunan kişi
• Başka ülke adına görev yapan kullanıcı

Fazla kapsama kayıtları ana skora girmemelidir. Ancak dışlama nedeni ve oranı raporlanmalıdır.

27. YANITLAMAMA VE KENDİ KENDİNE SEÇİLİM

Araştırmaya katılmayı kabul eden kişiler hedef nüfustan sistematik olarak farklı olabilir. Gönüllüler:

• AI ürünlerini daha sık kullanabilir,
• teknolojiye daha ilgili olabilir,
• daha yüksek eğitim düzeyine sahip olabilir,
• markayı önceden tanıyabilir,

ödül veya ücret nedeniyle farklı davranabilir. Bu nedenle: “Dünyanın rastgele 1.000 insanı” ifadesi yalnız gerçekten olasılıklı ve belgelenmiş seçim tasarımında kullanılmalıdır. Gönüllü veya çevrim içi panel kullanılıyorsa doğru ifade:

Tabakalı ve ağırlıklandırılmış gönüllü kullanıcı paneli

olabilir. Panel türü saklanamaz.

28. UYGUN NÜFUS ZAMANLA DEĞİŞİR

Bir AI ürününün kullanıcı evreni sabit değildir. Şunlar değişebilir:

• Desteklenen ülkeler
• Asgari yaş
• Ücretsiz erişim
• Ücretli plan yapısı
• Mobil veya web kullanılabilirliği
• Dil desteği
• Hesap şartları
• Kurumsal ürün kapsamı
• Yasal ve düzenleyici durum

Bu nedenle her nüfus kaydı:

• gözlem tarihi,
• yürürlük dönemi,
• kaynak sürümü,
• son doğrulama tarihi

taşımalıdır.

28.1. Ölçüm Dalgası Sırasında Değişiklik

Ürün erişimi dalga sırasında maddi biçimde değişirse:

• dalga durdurulabilir,
• değişiklik öncesi ve sonrası iki ayrı dönem oluşturulabilir,

etkilenen ülkeler ayrı analiz edilebilir. Değişiklik öncesi ve sonrası kullanıcılar aynı nüfus evreni gibi birleştirilemez.

29. NÜFUS KAYNAK DOSYASI

Her denetim, kullandığı hedef nüfus verilerini sürümlenmiş bir dosyada saklamalıdır. İlgili olduğu ölçüde şu alanlar bulunmalıdır:

• Ülke
• Referans nüfus
• Nüfus tarihi
• Yaş uygunluğu
• İnternet ve cihaz erişimi
• Ürün erişim statüsü
• Arayüz erişimi
• Plan ve hesap şartı
• Dil grupları
• Araştırma uygunluğu
• Ortak dağılım yöntemi
• Belirsizlik
• Kaynaklar
• Son doğrulama tarihi
• Sorumlu kişi
• Nüfus sürümü

Bu dosya olmadan ülke kotaları sonuçtan sonra yeniden üretilemez.

30. SENTETİK ÜRÜN VE ÜLKE GÖSTERİMİ

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki ülkeler, AI ürünü, nüfus sayıları ve erişim oranları tamamen kurgusaldır. Hiçbir gerçek ülkeyi veya ürünü temsil etmez. Orion AI adlı sentetik genel tüketici ürünü düşünelim. Dört sentetik ülke vardır.

30.1. Toplam Nüfus Kullanılsaydı

A Ülkesi, çok büyük nüfusu nedeniyle ana örneklemde büyük pay alırdı. Fakat ürün o ülkede kullanılamamaktadır. Katılımcılar doğal kullanıcı deneyimi üretemezdi.

30.2. Native Reach Nüfusu Kullanıldığında

Ana ürün panelinin teorik nüfus payları yaklaşık olarak:

• B Ülkesi: yüzde 67,53
• C Ülkesi: yüzde 32,47
• D Ülkesi: yüzde 0,003
• A Ülkesi: Native Reach dışında

olur. D Ülkesi’nin 1.000 kişilik ana örneklemde teorik payı: bir kişinin çok altındadır. Bu nedenle D Ülkesi nüfus ağırlıklı ana skorda yüksek ağırlık almamalıdır. Fakat ülke tamamen görünmez bırakılmak istenmiyorsa:

Country Sentinel Panel

içinde en az bir keşif gözlemi alınabilir. Bu gözlem:

• D Ülkesi’nin skoru değildir,
• ana nüfus ağırlığını değiştirmez,

ülkede ürün davranışının gözlenebildiğini gösterir.

30.3. A Ülkesi Nasıl Raporlanır?

A Ülkesi için:

OUTSIDE_NATIVE_REACH

statüsü kullanılır. A Ülkesi’nin çıkarılması ürünün erişim sınırını gizlememelidir. Kamu sonuç kartı ayrıca şunu gösterir:

• Ürün erişim kapsamı
• Küresel referans nüfusta erişilemeyen pay
• Native Reach skoru
• Common Support karşılaştırma skoru

31. SENTETİK İSTEM NÜFUSU GÖSTERİMİ

SENTETİK ÖRNEK

Aynı Orion AI ürünü için üç istem düşünelim.

İstem A

“Asteron nasıl bir şirkettir?” Hedef nüfus: Orion AI’nın geniş uygun kullanıcı nüfusu olabilir.

İstem B

“Asteron Türkiye’de kurumsal seyahat hizmeti veriyor mu?” Hedef nüfus:

• Türkiye’deki uygun kullanıcılar,
• Türkiye hizmetini araştıran tanımlı dış kullanıcılar

olabilir.

İstem C

“Asteron bana hukuki göçmenlik danışmanlığı için uygun mu?” Asteron böyle bir hizmet vermiyorsa: tavsiye-eligible nüfus bulunmayabilir, doğru cevap bütün uygun kullanıcılarda dışlama olmalıdır. Bu istemi genel kimlik skoru içinde birleştirmek yanlış olabilir. Bu örnek şunu gösterir:

Aynı varlık ve aynı AI ürünü için bile hedef nüfus, ölçülen kullanıcı sorusuna göre değişebilir.

32. DÖRT PANEL MİMARİSİ

CANDIDATE ARCHITECTURE — ADAY MİMARİ

GEO-1000’in küresel ve adil uygulanması için dört tamamlayıcı panel önerilir.

32.1. Population Panel

Ürün-uygun kullanıcı nüfusuna göre ağırlıklandırılmış ana paneldir. Ana nüfus tahminini üretir.

32.2. Country Sentinel Panel

Nüfus panelinde yeterli örnek alamayan küçük ülkelerin tamamen görünmez kalmasını önler. Ülke skoru üretmek için tek başına yeterli değildir.

32.3. Language Fairness Panel

Düşük kaynaklı veya nüfus ortalamasında bastırılan dilleri ayrıca ölçer. Küresel ana skora gerçek nüfus ağırlıklarıyla geri bağlanır.

32.4. Accessibility Panel

Standart dijital panelin dışlayabileceği erişilebilirlik ihtiyaçlarını ve yardımcı teknoloji kullanıcılarını ölçer. Bu dört panelin gözlemleri:

• amaç,
• ağırlık,
• çıkarım evreni

bakımından ayrı etiketlenmelidir. Aynı gözlem açıklamasız biçimde birden fazla panelde tam ağırlıkla kullanılamaz.

33. YETİŞKİN BAŞLANGIÇ PANELİ

CANDIDATE BASE RULE — ADAY TEMEL KURAL

GEO-1000’in ilk genel sürümünde gerçek kullanıcı panellerinin:

ürün ve ülke koşullarını karşılayan yetişkin katılımcılardan

oluşturulması önerilir. Bu yaklaşım:

• rıza,
• veri koruma,
• ekran görüntüsü toplama,
• yüksek riskli araştırma,
• ebeveyn onayı

karmaşıklığını azaltabilir. Fakat şu sonuç çıkarılamaz: “Çocuk ve genç kullanıcıların deneyimi yetişkin paneliyle ölçülmüştür.” Çocukları veya gençleri etkileyen ürünlerde ayrı:

• etik onay,
• yaşa uygun protokol,
• ebeveyn veya vasi süreçleri,
• zarar koruması

gerekir.

34. HİÇBİR NÜFUS ÇERÇEVESİ “BÜTÜN İNSANLIK” DİYE ADLANDIRILAMAZ

Bir ürün:

• bazı ülkelerde yoksa,
• bazı dilleri desteklemiyorsa,
• yalnız belirli cihazlarda çalışıyorsa,
• belirli yaş veya plan koşulu taşıyorsa,

sonuç: “bütün dünya insanlarının GEO deneyimi” olarak sunulamaz. Doğru ifade:

Belirtilen ürün-uygun hedef nüfustaki temsil tahmini

olmalıdır. Küresel kelimesi:

• çok ülkeli,
• çok dilli,
• geniş nüfuslu

bir ölçümü tanımlayabilir. Sınırsız ve evrensel kapsam anlamına gelmez.

35. NÜFUSUN KURUCU ETİK SINIRI

Bir nüfusu ölçüm için tanımlamak, bazı insanları değersiz saymak değildir. Bir grup ana skorda düşük ağırlık alabilir. Fakat:

• yüksek risk,
• dil adaleti,
• erişilebilirlik,
• ülke görünürlüğü

nedeniyle ayrıca incelenebilir. Bir grup ürüne erişemediği için Native Reach skorunun dışında olabilir. Bu erişimsizlik ayrıca küresel kapsam açığı olarak raporlanabilir. NOMOS’un amacı:

• herkesi tek yapay ortalamaya sıkıştırmak,
• yalnız en büyük nüfusları görmek,
• küçük toplulukları sembolik olarak bir kişiyle temsil etmiş görünmek

değildir. Amaç şudur:

Her insanı doğru sorunun doğru paydasında, ağırlığı ve görünürlüğü birbirine karıştırmadan temsil etmek.

36. ZORUNLU NORMATİF HÜKÜMLER

CH05-N01

Her AI ürünü için hedef kullanıcı nüfusu ayrı tanımlanmalıdır.

CH05-N02

Bir ülkenin toplam nüfusu doğrudan AI-uygun kullanıcı nüfusu olarak kullanılamaz.

CH05-N03

Hedef nüfus; ürün, ülke, yaş, erişim, arayüz, plan, dil, istem ve zaman koşullarına bağlanmalıdır.

CH05-N04

Hedef nüfus ve dışlama kuralları sonuçlar görülmeden önce sürümlenmelidir.

CH05-N05

Bir AI ürününün hedef nüfusu başka AI ürününe açıklamasız biçimde aktarılamaz.

CH05-N06

Ürün erişiminin bulunmaması yanlış temsil sonucu olarak puanlanamaz; erişim kapsamı olarak ayrı raporlanmalıdır.

CH05-N07

Katılımcılardan ürün veya ülke erişim kısıtlarını aşmaları istenemez.

CH05-N08

Resmî desteklenmeyen erişim, ana Native Reach nüfusuna otomatik olarak eklenemez.

CH05-N09

Kişi, hesap ve oturum birimleri birbirinden ayrılmalıdır.

CH05-N10

Bir kişinin birden fazla hesabı veya dili, kişiyi nüfus ağırlığında çoğaltamaz.

CH05-N11

Dil uygunluğu yalnız ülkenin resmî diline dayanarak atanamaz.

CH05-N12

İstem dili, arayüz dili, yanıt dili ve kullanıcı yeterlilik dili ayrı kaydedilmelidir.

CH05-N13

Birden fazla dili kullanan kişinin toplam nüfus ağırlığı açıklamasız biçimde bir kişiyi aşamaz.

CH05-N14

Nüfus ağırlıklı panel ile ülke gözcü paneli ayrı tutulmalıdır.

CH05-N15

Bir veya birkaç gözcü gözlemi ülke skoru olarak yayımlanamaz.

CH05-N16

Dil Adaleti Paneli’nde fazla örneklenen gözlemler küresel skorda gerçek nüfus ağırlığına geri döndürülmelidir.

CH05-N17

Erişilebilirlik ihtiyacı bulunan kullanıcılar, veri toplama aracı uygun olmadığı için hedef nüfustan çıkarılamaz.

CH05-N18

Hedef nüfus, örnekleme çerçevesi, temas edilen nüfus, katılımcılar ve geçerli analitik gözlemler ayrı raporlanmalıdır.

CH05-N19

Olasılıksız veya gönüllü panel, rastgele dünya örneklemi olarak sunulamaz.

CH05-N20

Ağırlıklandırma, örnekleme çerçevesinde hiç bulunmayan grubu gözlenmiş hâle getiremez.

CH05-N21

Potansiyel uygun nüfus ile aktif kullanıcı maruziyeti aynı metrik gibi kullanılamaz.

CH05-N22

Native Reach ve Common Support sonuçları birbirinden ayrılmalıdır.

CH05-N23

Kimlik, hizmet, fiyat, hukuk ve tavsiye istemleri için aynı hedef nüfus otomatik olarak kullanılamaz.

CH05-N24

Nüfus verisi, ürün erişim statüsü ve dil dağılımı zaman damgası ve kaynak sürümü taşımalıdır.

CH05-N25

Marjinal uygunluk oranları, bağımsızlık varsayımı açıklanmadan kör biçimde çarpılamaz.

CH05-N26

Ürün türü genel tüketici paneline uygun değilse GEO-1000 insan nüfus yöntemi açıklamasız biçimde uygulanamaz.

CH05-N27

Çocuk veya reşit olmayan kullanıcılar ayrı etik ve hukuki protokol olmadan ana panele alınamaz.

CH05-N28

Ürün erişim kapsamı ile temsil doğruluğu ayrı sonuçlar olarak yayımlanmalıdır.

CH05-N29

Küresel ifadesi kapsam dışı ülke, dil, yaş, arayüz veya planları görünmez kılamaz.

CH05-N30

Hedef nüfus kaydının hesap verebilir insan veya kurum sahibi bulunmalıdır.

37. BAŞARISIZLIK BİÇİMLERİ

CH05-F01 — TOPLAM NÜFUSU UYGUN NÜFUS SAYMAK

Ürün, yaş, internet, dil ve arayüz koşulları değerlendirilmeden ülke nüfusu doğrudan paydaya alınır.

CH05-F02 — BÜTÜN ÜRÜNLERE AYNI DÜNYA HARİTASINI UYGULAMAK

Farklı erişim alanları bulunan AI ürünleri aynı hedef nüfusla ölçülür.

CH05-F03 — KISIT AŞAN KULLANICIYI DOĞAL KULLANICI SAYMAK

Resmî erişim koşullarını aşan gözlem ülke nüfus deneyimi gibi sunulur.

CH05-F04 — ÜRÜN YOKLUĞUNU YANLIŞ CEVAP SAYMAK

Erişilemeyen ülkeler temsil doğruluğunda sıfır kabul edilir.

CH05-F05 — ÜRÜN YOKLUĞUNU TAMAMEN GİZLEMEK

Erişilemeyen büyük nüfuslar Native Reach paydasından çıkarılır; erişim kapsamı ayrıca gösterilmez.

CH05-F06 — BİR KİŞİYİ BİRDEN FAZLA İNSAN SAYMAK

Aynı kişinin hesap, dil veya ürün gözlemleri nüfus ağırlığını çoğaltır.

CH05-F07 — HESABI KİŞİ SAYMAK

Çoklu hesap sahipliği veya ortak hesap kullanımı değerlendirilmez.

CH05-F08 — RESMÎ DİLİ KULLANICI DİLİ SAYMAK

Ülkenin resmî dili bütün katılımcıların denetim dili kabul edilir.

CH05-F09 — ÇOK DİLLİ KİŞİLERİ ÇİFTE SAYMAK

Aynı birey her dilde tam nüfus ağırlığı alır.

CH05-F10 — KÜÇÜK ÜLKEYE BİR KİŞİ VERİP ÜLKE SKORU AÇIKLAMAK

Gözcü gözlemi istatistiksel ülke tahminine dönüştürülür.

CH05-F11 — KÜÇÜK ÜLKELERİ TAMAMEN SİLMEK

Nüfus payı düşük olduğu için ülke veya dil hiçbir ek kapsam paneline alınmaz.

CH05-F12 — DİL ADALETİ ÖRNEKLERİNİ ANA SKORDA AŞIRI AĞIRLIKLANDIRMAK

Fazla örneklenen diller gerçek nüfus ağırlığına geri döndürülmez.

CH05-F13 — AKTİF KULLANICIYI POTANSİYEL NÜFUS SAYMAK

Gerçek kullanım verisi, ürüne erişebilecek bütün insanlar gibi sunulur.

CH05-F14 — POTANSİYEL NÜFUSU GERÇEK MARUZİYET SAYMAK

Ürünü kullanabilecek herkesin yanıtı fiilen gördüğü varsayılır.

CH05-F15 — GÖNÜLLÜ PANELİ RASTGELE DÜNYA ÖRNEKLEMİ SAYMAK

Kendi kendine seçilim ve panel yanlılığı saklanır.

CH05-F16 — AĞIRLIKLA KAPSAMA HATASINI YOK SAYMAK

Çerçevede hiç bulunmayan grupların yalnız ağırlıklandırmayla temsil edildiği iddia edilir.

CH05-F17 — VERİ TOPLAMA ARACININ DIŞLADIĞI KULLANICIYI NÜFUSTAN ÇIKARMAK

Erişilebilirlik veya cihaz problemi kullanıcı uygun değilmiş gibi yorumlanır.

CH05-F18 — BÜTÜN İSTEMLERE AYNI NÜFUSU UYGULAMAK

Küresel kimlik, yerel fiyat ve hukuki tavsiye soruları aynı paydada birleştirilir.

CH05-F19 — GENEL TÜKETİCİ NÜFUSUNU API ÜRÜNÜNE UYGULAMAK

İnsan kullanıcı paneli geliştirici veya uygulama ürününe doğrudan aktarılır.

CH05-F20 — ÜCRETSİZ VE ÜCRETLİ PLANLARI GİZLİCE BİRLEŞTİRMEK

Plan farkı kaydedilmeden tek ürün dağılımı yayımlanır.

CH05-F21 — WEB VE MOBİL NÜFUSLARI TEKLEŞTİRMEK

Arayüz erişimi ve davranış farkları görünmez kalır.

CH05-F22 — YAŞ SINIRINI YOK SAYMAK

Uygun olmayan yaş grupları hedef nüfusa veya panele açıklamasız eklenir.

CH05-F23 — MARJİNAL ORANLARI BAĞIMSIZMIŞ GİBİ ÇARPMAK

Yaş, internet, dil ve erişim arasındaki ilişki yok sayılır.

CH05-F24 — NÜFUSU SONUÇTAN SONRA DEĞİŞTİRMEK

Düşük skorlu ülke veya kullanıcı grubu hedef nüfustan çıkarılır.

CH05-F25 — ESKİ ÜRÜN ERİŞİM HARİTASINI KULLANMAK

Ölçüm tarihindeki gerçek ürün erişimi doğrulanmaz.

CH05-F26 — COMMON SUPPORT VE NATIVE REACH SONUÇLARINI KARIŞTIRMAK

Ortak nüfusta yapılan karşılaştırma ürünün küresel gerçek erişimi gibi sunulur.

CH05-F27 — PAZAR HEDEFİNİ TİCARİ ÇIKARA GÖRE DARALTMAK

Kurum yalnız başarılı olduğu ülkeleri hedef pazar ilan eder.

CH05-F28 — ERİŞİM KAPSAMINI GEO DOĞRULUĞU SAYMAK

Çok ülkede bulunmak doğru temsil kanıtı yapılır.

CH05-F29 — DAR ERİŞİMİ YÜKSEK GEO BAŞARISI OLARAK SATMAK

Az sayıda ülkede yüksek doğruluk, küresel üstünlük gibi sunulur.

CH05-F30 — “BÜTÜN DÜNYA” İFADESİNİ KAPSAM KAYDI OLMADAN KULLANMAK

Ürün, dil, ülke ve plan dışlamaları saklanır.

38. DENETİM PROSEDÜRÜ

Adım 1 — AI Ürününü ve Kullanıcı Yüzeyini Kilitle

Ürün Arayüz Plan Hesap türü Görünen model Ölçüm tarihi kaydedilir.

Adım 2 — Ölçüm Sorusunu Sınıflandır

İstem:

• küresel kimlik,
• yerel hizmet,
• fiyat,
• hukuk,
• tavsiye,
• yüksek risk

ailelerinden hangisine aittir?

Adım 3 — Küresel Referans Nüfusu Belirle

Sonucun ilişkilendirileceği başlangıç insan evreni tanımlanır.

Adım 4 — Yaş ve Araştırma Uygunluğunu Belirle

Ürün yaş koşulu Araştırma yaş koşulu Rıza ve veri işleme şartları kaydedilir.

Adım 5 — Ülke Bazlı Ürün Erişimini Doğrula

Her ülke için PA-0 ile PA-5 arasında erişim statüsü atanır.

Adım 6 — İnternet, Cihaz ve Arayüz Uygunluğunu Belirle

Ölçülen yüzeyi kullanabilecek nüfus tahmin edilir.

Adım 7 — Dil ve Locale Evrenini Kur

İstem dili Arayüz dili Yanıt dili Kullanıcı dil yeterliliği ayrılır.

Adım 8 — İstem İlgisini Uygula

Bütün kullanıcıların ilgili istem ailesinin hedef nüfusuna ait olup olmadığı değerlendirilir.

Adım 9 — Ürün Türüne Uygun Nüfus Modelini Seç

Tüketici, kurumsal, eğitim, API veya gömülü ürün ayrılır.

Adım 10 — Hedef Nüfus ile Örnekleme Çerçevesini Karşılaştır

Eksik ve fazla kapsama kaydedilir.

Adım 11 — Ana ve Tamamlayıcı Panelleri Tanımla

Population Panel Country Sentinel Panel Language Fairness Panel Accessibility Panel kapsamları sürümlenir.

Adım 12 — Native Reach ve Common Support Evrenlerini Ayır

Ürün içi sonuç ve ürünler arası karşılaştırma nüfusları ayrı kaydedilir.

Adım 13 — Erişim Kapsamı ve Doğruluk Sonuçlarını Ayır

Bir ürünün ulaşabildiği nüfus ile erişen kullanıcılar arasındaki doğruluk ayrı raporlanır.

Adım 14 — Nüfus Dosyasını Dondur

Veri kaynakları, varsayımlar, tarih ve nüfus sürümü kilitlenir.

Adım 15 — Maddi Değişiklikleri İzle

Ölçüm sırasında ürün erişimi veya şartlar değişirse yeni sürüm oluşturulur.

39. GEREKLİ KANIT

AI ürün kimliği Kullanıcı yüzeyi Plan ve hesap koşulları Ölçüm tarihi Ürün erişim ülkeleri Ülke bazlı erişim statüleri Yaş koşulları Hukuki ve etik katılım koşulları Ülke nüfus kayıtları Yaş dağılımları İnternet ve cihaz erişim kayıtları Dil ve locale dağılımları Ürün dil destek durumu Arayüz erişilebilirliği Hedef istem ailesi Hedef nüfus tanımı Örnekleme çerçevesi Kapsama eksiklikleri Fazla kapsama kayıtları Panel türü Katılımcı seçim yöntemi Gönüllü veya olasılıklı panel statüsü Çok dilli kullanıcı ağırlıkları Country Sentinel kapsamı Language Fairness kapsamı Accessibility Panel kapsamı Native Reach nüfusu Common Support nüfusu Aktif kullanıcı verisi, kullanılıyorsa Erişim kapsamı hesabı Varsayım ve duyarlılık analizleri Nüfus sürümü Son doğrulama tarihi

Sorumlu insan veya kurum

40. DENETİM KONTROL LİSTESİ

Hangi AI ürünü ve kullanıcı yüzeyi ölçülüyor? Hedef nüfus hangi tarih için tanımlandı? Ülke toplam nüfusu ile uygun kullanıcı nüfusu ayrıldı mı? Yaş koşulu uygulandı mı? İnternet ve cihaz erişimi değerlendirildi mi? Ürün ülke bazında resmî olarak erişilebilir mi? Katılımcılardan erişim kısıtı aşmaları istendi mi? Ücretsiz ve ücretli planlar ayrıldı mı? Web ve mobil yüzeyler ayrıldı mı? İstem ailesi hedef nüfusu değiştirdi mi? Dil ve locale uygunluğu nasıl belirlendi? Çok dilli kullanıcılar çifte sayıldı mı? Hedef nüfus ile örnekleme çerçevesi arasındaki fark açık mı? Panel olasılıklı mı, gönüllü mü? Kapsama hatası ölçüldü mü? Erişilebilirlik ihtiyacı bulunan kullanıcılar sessizce dışlandı mı?

Country Sentinel gözlemleri ülke skoruna dönüştürüldü mü? Language Fairness örnekleri ana skorda aşırı ağırlık aldı mı? Native Reach ve Common Support sonuçları ayrıldı mı? Erişim kapsamı ile temsil doğruluğu ayrı mı? Aktif kullanıcı ve potansiyel kullanıcı sonuçları ayrıldı mı? Ürün türü insan nüfus paneline uygun mu? Nüfus katsayılarında marjinal oranlar kör biçimde çarpıldı mı? Nüfus tanımı sonuç görüldükten sonra değişti mi? Kullanılan nüfus ve erişim verileri sürümlü mü? Test edilmeyen gruplar görünür mü? “Küresel” ifadesi gerçek kapsamla uyumlu mu? Nüfus kaydının hesap verebilir sahibi belli mi?

41. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Dünya nüfusuna göre doğrudan dağıtmak daha adil değil mi?”

Dünya nüfusu güçlü başlangıç tabanıdır. Fakat ürünü kullanamayacak insanları ana ürün örneklemine almak gerçek kullanıcı deneyimi üretmez. Doğru yöntem:

• ürün-uygun nüfus içinde nüfus ağırlığı,
• ayrıca küresel erişim kapsamı

raporlamaktır.

İtiraz 2 — “Büyük ülkelerin çoğu kullanıcıyı alması gerekmez mi?”

Ürün, dil ve erişim koşullarını karşılayan büyük ülkeler doğal olarak yüksek pay almalıdır. Ancak yalnız toplam nüfus büyük olduğu için ürünün erişilemediği bir ülkeden sahte kullanıcı deneyimi üretilemez.

İtiraz 3 — “San Marino gibi küçük bir ülkeye bir kişi vermek neden yanlış olsun?”

Bir kişi keşif ve gözcü gözlemi için değerlidir. Yanlış olan, o kişinin sonucunu: “ülke skoru” olarak sunmaktır. Küçük ülkenin görünürlüğü Country Sentinel Panel ile korunabilir. Ana nüfus ağırlığı ise gerçek nüfus payına göre kalır.

İtiraz 4 — “Her ülkeye en az bir kişi verirsek daha küresel görünmez miyiz?”

Daha geniş coğrafi kapsam sağlanır. Fakat nüfus tahmini bozulabilir. Bu nedenle:

• coğrafi kapsam,
• nüfus ağırlığı

ayrı sonuçlardır. Her ülkeye bir kişi vermek kapsam paneli olabilir. Nüfus paneli değildir.

İtiraz 5 — “Ürün erişilemeyen ülkeye sıfır verirsek ürün haksız yere cezalandırılmaz mı?”

Erişilemeyen ülke temsil doğruluğunda sıfır sayılmaz. Erişim kapsamı metriğinde görünür olur. Bu ayrım ürünü hem haksız cezadan hem sahte küresellikten korur.

İtiraz 6 — “Gerçek kullanım verisi varsa nüfus verisine neden ihtiyacımız var?”

Gerçek kullanım verisi operasyonel etkiyi gösterir. Fakat ürünün:

• hangi nüfuslara ulaşmadığını,
• kullanım tabanındaki coğrafi eşitsizliği,
• potansiyel kullanıcı adaletini

tek başına göstermez. İki veri türü farklı sorulara cevap verir.

İtiraz 7 — “Bütün kullanıcılar aynı istemi soracağına göre istem ilgisi neden önemli?”

Kimlik sorusu geniş nüfusta anlamlı olabilir. Fiyat, hukuk veya tavsiye sorusu yalnız belirli kullanıcı ve pazarlarda anlamlıdır. İlgisiz nüfus, cevap dağılımını kullanıcı gerçekliğinden uzaklaştırabilir.

İtiraz 8 — “Bir kişi birden fazla dil biliyorsa neden bütün dillerde tam sayılmasın?”

Diller arası karşılaştırmada bütün dilleri test edebilir. Fakat nüfus ağırlığında aynı insanı çoğaltmak dünya nüfusunu yapay biçimde büyütür. Kişi ağırlığı bölünmeli veya ayrı eşlenmiş panel kullanılmalıdır.

İtiraz 9 — “Yalnız yetişkinleri test etmek küresel sonucu eksik bırakmaz mı?”

Bırakır. Bu sınır açıkça yazılmalıdır. Yetişkin başlangıç paneli etik ve operasyonel bir tercih olabilir. Çocuk kullanıcılar hakkında hüküm oluşturmaz.

İtiraz 10 — “Çevrim içi araştırma paneli yeterli değil mi?”

Pilot ve ağırlıklandırılmış araştırma için çok değerli olabilir. Fakat panel:

• hedef nüfusu ne kadar kapsıyor,
• kimleri dışarıda bırakıyor,
• gönüllü katılım nasıl yanlılık oluşturuyor

açıklanmalıdır. Panel kullanmak hata değildir. Paneli rastgele dünya nüfusu gibi sunmak hatadır.

İtiraz 11 — “Erişilebilirlik paneli ana GEO skoruyla neden ilgili?”

Çünkü gerçek AI kullanıcılarının bir bölümü yardımcı teknoloji veya farklı etkileşim biçimleri kullanır. Veri toplama aracı bu insanları dışlıyorsa ana skor hedef nüfusun tamamını temsil etmeyebilir.

İtiraz 12 — “Bu kadar farklı nüfus tanımı tek NOMOS skorunu imkânsızlaştırmaz mı?”

Hayır. Tek skor üretilebilir. Fakat hangi nüfus sorusuna cevap verdiği açık olmalıdır. Örneğin:

• Native Reach Population Puan
• Common Support Puan
• Market-Relevant Puan
• Language Fairness Result

ayrı kayıtlar taşıyabilir. Bir sayının anlamı, paydasının açıklığıyla oluşur.

44. BÖLÜMÜN ORTAK HÜKMÜ

GEO-1000’in adında 1.000 vardır. Fakat 1.000 kişinin değeri yalnız sayılarından doğmaz. Şu soruların cevabından doğar: Bu insanlar kimdir? Hangi nüfustan gelmiştir? İlgili ürünü gerçekten kullanabilirler mi? Hangi ülkelerde yaşarlar? Hangi dili kullanırlar? Aynı kişi kaç kez sayılmıştır? Küçük ülkeler görünür müdür? Büyük ülkeler gerçek nüfus ağırlığını taşır mı? Ürünün hiç erişemediği insanlar skorun neresindedir? Hangi insanlar panel aracımız tarafından dışlanmıştır? Hangi sonuç potansiyel erişimi, hangisi gerçek maruziyeti göstermektedir? Bir ülke çok büyükse, ürün-uygun nüfusu da büyük olabilir. Bu durumda ana panelde yüksek ağırlık almalıdır. Fakat ürün orada erişilebilir değilse sahte kullanıcı oluşturulmamalıdır. Erişim açığı ayrıca gösterilmelidir.

Bir ülke çok küçükse ana nüfus ağırlığı düşük kalmalıdır. Fakat tamamen görünmez bırakılmak zorunda değildir. Gözcü paneliyle gözlenebilir. Bir dil küçük nüfusluysa küresel ortalamayı belirlemeyebilir. Fakat o dilde ağır temsil bozulması varsa ayrıca görünür olmalıdır. Bir kişi üç dil biliyorsa üç farklı deneyim üretebilir. Fakat üç farklı insan değildir. Bir AI ürünü yalnız ücretli planda belirli davranış sunuyorsa ücretsiz kullanıcıların skoru bu planı temsil etmez. Bir tüketici sohbet ürünü için insan nüfus paneli uygundur. Bir API veya kurumsal ürün için aynı nüfus modeli uygun olmayabilir. Bu nedenle NOMOS’un beşinci ölçüm yasası şudur:

Payda yanlışsa en hassas skor bile yanlış soruya doğru cevap verir.

Altıncı yasası şudur:

Nüfus ağırlığı, ülke ve dil görünürlüğünün yerine geçmez.

Yedinci yasası şudur:

Erişemeyen insan yanlış temsil görmüş değildir; fakat küresel erişim sınırının parçasıdır.

Sekizinci yasası şudur:

Bir insanın birden fazla hesabı, dili veya oturumu insan nüfusunu büyütmez.

Dokuzuncu yasası şudur:

Küresel ölçüm, herkesin ölçüldüğü iddiası değil; kimin ölçülüp kimin ölçülmediğinin dürüst kaydıdır.

NOMOS’un Bölüm 5 Emri

Bana yalnız ülke nüfuslarını verme. / Hangi insanların ürünü gerçekten kullanabildiğini göster.

Büyük ülkeyi ürün orada yokken sahte kullanıcılarla doldurma.

Küçük ülkeye bir kişi verip o kişinin cevabını ülkenin sesi ilan etme.

Bir kişiyi hesapları, dilleri ve oturumları kadar çoğaltma.

Resmî dili insanların gerçek kullanım dili sanma.

Ücretsiz kullanıcıyı ücretli planın, mobil kullanıcıyı web yüzeyinin temsilcisi yapma.

Gönüllü paneline rastgele dünya nüfusu deme.

Erişilebilirlik ihtiyacı bulunan kullanıcıyı aracın çalışmadığı için nüfustan silme.

Ürünün ulaşmadığı nüfusu doğruluk skorundan çıkarıp küresel erişim açığını saklama.

Kimlik sorusuyla fiyat sorusuna, küresel markayla yerel lisansa aynı paydayı uygulama.

Önce ürünü tanımla. / Sonra soruyu tanımla. / Sonra insan evrenini tanımla. / Sonra erişimi, dili, yaşı ve arayüzü sınırla. / Sonra kimi seçemediğini açıkla. / Ve ancak bundan sonra 1.000 kişiyi dağıt.

Bölümün Son Cümlesi

GEO-1000’de adalet, her ülkeye aynı sayıda insan vermek değil; her insanı doğru hedef nüfusta, doğru ağırlıkla ve ölçülmediği yerleri saklamadan temsil etmektir.

Normatif Öz

Her GEO nüfus denetimi, sonuçlar görülmeden önce her AI ürünü ve kullanıcı yüzeyi, ülke veya yargı alanı, yaş ve meşru erişim koşulu, hesap veya plan, dil ve locale, arayüz, istem ailesi ve ölçüm amacı için zamana bağlı ürün-özel hedef kullanıcı nüfusu tanımlamalıdır. Toplam yerleşik nüfus, gerekçeli uygunluk ayarlamaları olmadan ürün-uygun nüfus sayılamaz. Ürün erişiminin bulunmaması yanlış temsil olarak puanlanmamalı; erişim kapsamı sınırlaması olarak ayrıca gösterilmelidir. Kişi, hesap, oturum, dil ve ürün gözlemi birbirinin yerine kullanılamaz. Gözcü gözlemleri ülke görünürlüğü sağlayabilir; istatistiksel ülke skoru olarak sunulamaz.