Katılımcı Seçimi, Ağırlıklandırma ve Örneklem Yanlılığı

Bölüm Sınırı

Bölüm 5 hedef kullanıcı nüfusunu tanımladı. Bölüm 6 bu nüfusu ülke, dil ve kullanıcı yüzeylerine dağıtılan bir örneklem tasarımına dönüştürdü. Bölüm 7 ise ana nüfus panelinin görünmez bırakabileceği küçük ülkeler ve düşük kaynaklı diller için tamamlayıcı gözlem sistemlerini kurdu. Şimdi örneklem planındaki sayıların gerçek insanlara dönüşmesi gerekir:

Bu katılımcılar nereden bulunacak, nasıl seçilecek, hangi koşullarda panele alınacak ve hangi yanlılıklarla birlikte GEO skoruna girecektir?

Bir araştırma kuruluşunun çevrim içi panelinden mi? Açık sosyal medya çağrısından mı? Üniversitelerden mi? Müşterinin kendi kullanıcı listesinden mi? Yerel araştırma ortaklarından mı? Yalnız AI ürünlerini sık kullanan kişilerden mi? Ürüne ilk kez erişenlerden mi? Markanın müşterilerinden mi? Rakip çalışanlarından mı? Ücretli plan sahiplerinden mi? Bir kişinin gerçekten o ülkede yaşadığı nasıl doğrulanacaktır? Birden fazla hesap kullanan aynı insan kaç kez sayılacaktır? Katılımcıya ne kadar ödeme yapılacaktır? Ödeme, görevi hızlı tamamlamayı veya belirli bir sonuç göndermeyi teşvik edecek midir? Katılımcı yanlış bir AI yanıtı yüklediğinde gözlem korunacak mıdır? Yoksa: “Görev yanlış yapılmış.” denilerek yeni kullanıcıyla mı değiştirilecektir? Bin geçerli ekran görüntüsü toplanmış olabilir. Fakat katılımcıların:

• yüzde 60’ı yoğun AI kullanıcısı,
• yüzde 20’si teknoloji öğrencisi,
• yüzde 10’u denetlenen markanın müşterisi,
• yüzde 5’i şirket çalışanı,
• geri kalanı genel kullanıcı

ise sonuç hangi nüfusu temsil edecektir? Demografik ağırlıklandırma bu farklılığı tamamen düzeltebilir mi? Yalnız yaş, cinsiyet, ülke ve dil toplamlarına uyum sağlamak; ölçülmemiş teknoloji ilgisi, marka bilgisi, ücretli plan erişimi ve AI kullanım alışkanlığını da düzeltir mi? Hayır. Ağırlıklandırma değerlidir. Fakat örneklem seçiminin bütün kusurlarını sihirli biçimde yok edemez. Bu bölüm, daha önce tanımlanan denetim maddelerinin model, tarih, ülke, dil, sorgu kümesi, tekrar sayısı ve ölçüm kaydıyla test edilebilir olması gerektiği yaklaşımı gerçek katılımcı seçimine uygular. Aynı zamanda NOMOS’un temel talebini korur: Kanıt, sınır, bağlam ve zaman. Bu bölüm:

• katılımcı seçim kaynaklarını,
• olasılıklı ve olasılıksız panel ayrımını,
• uygunluk ve kimlik doğrulamasını,
• ülke, dil ve ürün erişim kontrolünü,
• katılımcı benzersizliğini,
• ödüllendirme ve yönlendirme riskini,
• panel koşullanmasını,
• görev atamasını,
• yanıtlamama ve panel kaybını,
• sahte veya otomatik katılımı,
• seçilim ve kapsama yanlılığını,
• ağırlıklandırmanın gücünü ve sınırını,
• örneklem kalite statülerini

tanımlar. Bu bölüm henüz:

• AI ürün sicilinin bütün teknik alanlarını,
• istemlerin tam çeviri ve sürüm sistemini,
• NOMOS Capture altyapısının ayrıntılı mimarisini,
• atomik iddia hakemliğini,
• nihai skor formülünü

tam olarak tanımlamaz. Bölüm 8’in temel sorusu şudur:

Bin geçerli kayıt topladığımızda, bu kayıtların gerçekten hangi insanlara ait olduğunu ve hangi insan nüfusunu temsil edebildiğini nasıl kanıtlarız?

NOMOS Challenge

Bir çevrim içi araştırma panelinden 1.000 kişi satın alıyorsunuz. Panel sağlayıcısı size şunu söylüyor: “Ülke ve yaş kotalarınıza uygun 1.000 katılımcı hazır.” Katılımcılar görevi tamamlıyor. Ekran görüntülerini yüklüyor. Ham sonuç:

Yüzde 90 doğru temsil.

Raporunuzda şöyle yazıyorsunuz: “Dünya genelindeki kullanıcıların yüzde 90’ı doğru temsil görüyor.” Fakat katılımcıların gerçek dağılımı şöyledir:

Yoğun AI kullanıcıları:

• daha iyi istem alışkanlığına,
• daha fazla ücretli hesaba,
• daha yeni ürün yüzeylerine,
• kişiselleştirme bilgisine,
• teknolojiye daha yüksek aşinalığa

sahip olabilir. Aynı kilitlenmiş istem kullanılsa bile:

• hesap planı,
• arayüz,
• önceki kullanım,
• ürün erişimi

farklı olabilir. Sentetik olarak grup geçiş oranları şöyle olsun:

Panelin ham sonucu:

0,10(72)+0,30(84)+0,60(96)=90

yani:

Yüzde 90

olur. Hedef nüfus ağırlıklarıyla sonuç:

0,50(72)+0,30(84)+0,20(96)=80,4

olur. Aynı 1.000 cevap. İki farklı sonuç:

• Ham panel sonucu: yüzde 90
• Hedef nüfus sonucu: yüzde 80,4

Şimdi ağırlıklandırdığınızı düşünün. Düşük kullanım grubundaki 100 kişinin her biri yüksek ağırlık alıyor. Yoğun kullanım grubundaki 600 kişinin her biri düşük ağırlık alıyor. Ham örneklem sayısı hâlâ 1.000. Fakat etkin örneklem büyüklüğü yaklaşık 349’a düşüyor. Yani 1.000 dosya toplamış olabilirsiniz. İstatistiksel olarak 1.000 eşit ve bağımsız insanın bilgi hacmine sahip olmayabilirsiniz. Şimdi daha zor bir soru: Düşük kullanım grubunda panele hiç alınmamış:

• düşük bağlantılı,
• yardımcı teknoloji kullanan,
• küçük şehirde yaşayan,
• belirli cihazı bulunmayan

insanlar varsa ağırlıklandırma onları geri getirebilir mi? Hayır. Örneklem çerçevesinde hiç bulunmayan insanın gözlemi ağırlıkla üretilemez. Şimdi denetlenen şirket kendi müşterilerine bağlantı gönderiyor: “Lütfen araştırmaya katılın.” Şirketin sadık müşterileri yüksek oranda katılıyor. Rakipleri tanıyan fakat şirketi kullanmayan kişiler daha az katılıyor. Yaş ve ülke ağırlıkları doğru olabilir. Marka bağlılığı yanlılığı devam edebilir. Şimdi başka bir sorun: Katılımcıya: “Doğru ve kaliteli bir AI cevabı yüklediğinizde bonus kazanacaksınız.” deniyor. Katılımcı cevabı yeniliyor. En iyi sonucu seçiyor. Ekran görüntüsünü kırpıyor. Bu artık AI ürününün doğal cevabı değildir. Ödül sisteminin oluşturduğu seçilmiş cevaptır. Bu bölümün ilk hükmü şudur:

Katılımcı sayısı, katılımcı temsil gücü değildir.

İkinci hükmü şudur:

Rastgele atama, rastgele nüfus seçimi değildir.

Üçüncü hükmü şudur:

Ağırlıklandırma gözlenmiş dengesizliği azaltabilir; hiç gözlenmeyen insanı yaratamaz.

Dördüncü hükmü şudur:

Katılımcının panele alınması, görevde tutulması veya değiştirilmesi AI yanıtının içeriğine bağlı olamaz.

Beşinci hükmü şudur:

Ödül, olumlu veya istenen cevabı seçmeye değil; protokolü dürüstçe tamamlamaya verilmelidir.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, hedef nüfustan gerçek kullanıcı gözlemine uzanan bütün seçim zincirini görünür, tarafsız ve yeniden denetlenebilir hâle getirmektir. Bölüm şu ayrımları normatif hâle getirir:

• Hedef nüfus ile örnekleme çerçevesi
• Örnekleme çerçevesi ile katılımcı kaynağı
• Seçilen kişi ile davet edilen kişi
• Davet edilen kişi ile katılmayı kabul eden kişi
• Katılımcı ile görevi tamamlayan kişi
• Görevi tamamlayan kişi ile geçerli gözlem
• İnsan ile hesap
• İnsan ile cihaz
• İnsan ile oturum
• Olasılıklı panel ile gönüllü panel
• Panel içi rastgele seçim ile nüfustan rastgele seçim
• Kota uyumu ile gerçek temsil
• Demografik denge ile davranışsal denge
• Kişisel aşinalık ile hedef nüfus uygunluğu
• Müşteri, çalışan ve genel kullanıcı
• Katılımcı ödülü ile sonuç teşviki
• Görev hızı ile görev bütünlüğü
• Yanıtlamama ile geçersiz gözlem
• Panel kaybı ile nüfus değişimi
• Sahte katılımcı ile gerçek düşük kaliteli gözlem
• Veri sahteciliği ile yanlış AI yanıtı
• Ağırlıklandırma ile yanlılık giderme
• Kalibrasyon ile kanıt üretme
• Ham örneklem büyüklüğü ile etkin örneklem büyüklüğü
• Katılımcı gizliliği ile denetim kanıtı
• Genel nüfus paneli ile uzman veya müşteri paneli

Bu bölümün sonunda her GEO-1000 denetimi şu sorulara cevap verebilmelidir:

Katılımcılar hangi kaynaktan ve hangi kuralla seçildi?

Kimlerin panele girme ihtimali yoktu?

Kimlerin katılma ihtimali daha yüksekti ve neden?

Ağırlıklar hangi bilinen farklılıkları düzeltiyor, hangilerini düzeltemiyor?

Geçersiz veya sahte katılım kararı AI cevabının içeriğini görmeden verildi mi?

Katılımcıların ödülü, davranışlarını ve cevap seçimlerini etkiledi mi?

2. MERKEZÎ NORMATİF HÜKÜM

Her GEO-1000 gözlemi, hedef nüfustan geçerli analitik kayda kadar izlenebilir bir katılımcı seçim zinciri taşımak zorundadır; seçilme, davet, kabul, görev ataması, tamamlama, doğrulama, dışlama ve ağırlıklandırma kararları AI yanıtının olumlu veya olumsuz içeriğinden bağımsız olmalıdır. [K04–K06] Bir katılımcı paneli yalnız:

• ülke,
• yaş,
• dil

kotalarını karşıladığı için nüfus temsiline uygun sayılamaz. Panel ayrıca ilgili olduğu ölçüde şu bilgileri taşımalıdır:

• Katılımcı kaynağı
• Seçim mekanizması
• Panele katılma biçimi
• Uygunluk ölçütleri
• Benzersiz insan kontrolü
• Ülke ve dil doğrulaması
• AI ürün erişim doğrulaması
• Hesap ve plan bilgisi
• Cihaz ve arayüz
• AI kullanım sıklığı
• Marka aşinalığı
• Denetlenen varlıkla ilişki
• Teşvik yapısı
• Görev atama yöntemi
• Yanıtlamama
• Geçersizlik
• Tekrar ve panel koşullanması
• Ağırlıklandırma
• Kapsama eksikliği
• Gizlilik ve rıza

Bu bilgilerden bazılarının ölçülmesi katılımcıyı etkileyebilir. Bu nedenle veri toplama sırası da protokolün parçasıdır.

3. KATILIMCI SEÇİM ZİNCİRİ

Hedef nüfustan nihai gözleme uzanan zincir aşağıdaki aşamalardan oluşur:

U→F→S→I→E→A→C→V

Burada:

• U: hedef kullanıcı nüfusu
• F: örnekleme çerçevesinde bulunan kişiler
• S: seçilen kişiler
• I: davet edilen kişiler
• E: uygunluğu doğrulanıp araştırmaya alınan kişiler
• A: göreve atanmış kişiler
• C: görevi tamamlayan kişiler
• V: geçerli analitik gözlem üreten kişiler

Her geçişte insanlar kaybolabilir veya yeni yanlılık oluşabilir. Örneğin:

• Hedef nüfusta olup panelde bulunmayanlar
• Panelde olup davet edilmeyenler
• Davet edilip kabul etmeyenler
• Kabul edip görevi tamamlamayanlar
• Tamamlayıp geçersiz kayıt üretenler

aynı insanlar değildir. Bu nedenle yalnız son 1.000 geçerli gözlem raporlanamaz. Bütün seçim hunisi görünür olmalıdır.

4. KATILIMCI KAYNAKLARI

GEO-1000 tek bir katılımcı kaynağına bağlı olmak zorunda değildir. Her kaynak ayrı yanlılık ve kapsam taşır.

4.1. Olasılıklı Nüfus Paneli

Katılımcıların tanımlı nüfustan bilinen ve sıfırdan büyük seçilme olasılığı vardır. Kaynaklar:

• hane,
• adres,
• nüfus veya uygun kayıt,
• olasılıklı telefon veya çok aşamalı seçim

olabilir. Avantajları:

• tasarım ağırlığı kurulabilir,
• nüfus çıkarımı daha güçlüdür,

seçim süreci daha açık olabilir. Sınırlamaları:

• küresel ölçekte pahalı olabilir,
• bazı ülkelerde uygun çerçeve bulunmayabilir,
• AI ürün erişimine sahip alt nüfusu ayrıca bulmak gerekebilir,

yanıtlamama yine oluşur. Olasılıklı seçim, otomatik olarak kusursuz temsil değildir.

4.2. Profesyonel Gönüllü Araştırma Paneli

Katılımcılar araştırma paneline önceden gönüllü olarak kaydolmuştur. Avantajları:

• hızlıdır,
• çok ülkeye erişebilir,
• profil ve dil bilgisi sağlayabilir,

tekrar ölçüm yapılabilir. Sınırlamaları:

• katılımcılar araştırmaya yatkındır,
• teknoloji kullanım düzeyi yüksek olabilir,
• ağır panel kullanıcıları bulunabilir,
• nüfusa giriş olasılıkları bilinmeyebilir,

aynı kişinin birden fazla panelde kaydı olabilir. Bu panel:

olasılıklı dünya nüfusu örneklemi

olarak sunulamaz.

4.3. Açık Çevrim İçi Çağrı

Sosyal medya, web sitesi veya açık kayıt formu üzerinden katılım alınır. Avantajları:

• geniş görünürlük,
• düşük maliyet,
• küçük ülke ve dil topluluklarına erişim

sağlayabilir. Sınırlamaları:

• güçlü kendi kendine seçilim,
• marka hayranı veya eleştirmen yoğunluğu,
• sahte ve tekrar katılım,
• teknoloji meraklılarının aşırı temsili

oluşturabilir. Açık çağrı, ana Population Panel’den çok:

• keşif,
• Country Sentinel,
• Language Fairness,
• replication challenge

için daha uygun olabilir.

4.4. Üniversite veya Kurum Ortaklı Paneli

Katılımcılar:

• üniversite,
• kamu kurumu,
• araştırma merkezi,
• meslek kuruluşu

üzerinden seçilir. Avantajları:

• yerel erişim,
• dil uzmanlığı,
• etik gözetim,
• düşük kaynaklı topluluklara ulaşma

sağlayabilir. Sınırlamaları:

• öğrenci veya profesyonel yoğunluğu,
• kurum etkisi,
• yaş ve eğitim yanlılığı,
• kurumsal katılım baskısı

oluşturabilir.

4.5. Müşteri veya Kullanıcı Listesi

Denetlenen kurumun gerçek müşterileri veya kullanıcıları seçilir. Bu kaynak:

• müşteri deneyimi,
• hizmete uygunluk,
• marka aşinalığı

ölçümü için değerlidir. Genel nüfus paneli değildir. Müşteriler:

• markayı daha iyi tanıyabilir,
• daha olumlu veya daha olumsuz deneyime sahip olabilir,

ilgili sorguyu sorma ihtimali yüksek olabilir. Müşteri paneli ayrı tanımlanmalıdır.

4.6. Denetlenen Kurum Tarafından Önerilen Katılımcılar

Şirket:

• çalışan,
• müşteri,
• partner,
• takipçi

önerebilir. Bu kullanıcılar ana bağımsız Population Panel’e açıklamasız biçimde alınamaz. Ayrı:

VARLIK-NOMINATED PANEL

olarak etiketlenmelidir. Kurum katılımcıları seçiyorsa sonuç bağımsız nüfus ölçümü değildir.

4.7. Çok Kaynaklı Hibrit Panel

Birden fazla kaynağın birleştirilmesidir. Örnek:

• olasılıklı ulusal panel,
• profesyonel çevrim içi panel,
• küçük ülke yerel ortağı,
• Dil Adaleti topluluğu

birlikte kullanılabilir. Hibrit panel kapsama gücünü artırabilir. Fakat kaynaklar arasındaki:

• tekrar kişiler,
• seçim olasılıkları,
• teşvikler,
• görev deneyimi,
• kullanıcı profili

ayrıca modellenmelidir.

5. KATILIMCI SEÇİM BÜTÜNLÜĞÜ STATÜLERİ

Bir panelin katılımcı seçim niteliği aşağıdaki statülerle sınıflandırılabilir.

PSI-0 — UNKNOWN SELECTION

Katılımcıların nereden ve nasıl seçildiği yeterince bilinmemektedir. Nüfus genellemesi yapılamaz.

PSI-1 — CONVENIENCE OR OPEN OPT-IN

Kolaylık veya açık gönüllülük örneklemidir. Keşif ve olay tespiti için kullanılabilir.

PSI-2 — QUOTA-CONTROLLED OPT-IN

Ülke, dil veya demografi kotaları vardır. Nüfusa giriş olasılığı bilinmez.

PSI-3 — CALIBRATED MULTI-SOURCE PANEL

Birden fazla kaynak, önceden tanımlı kota ve nüfus kalibrasyonu bulunmaktadır. Ölçülmeyen seçilim yanlılığı devam edebilir.

PSI-4 — PROBABILITY OR STRONG HYBRID DESIGN

Bilinen seçilme olasılığı veya güçlü olasılıklı–olasılıksız hibrit tasarım vardır.

PSI-5 — REPLICATED AND EXTERNALLY AUDITED SELECTION

Seçim tasarımı:

• farklı sağlayıcılarla,
• farklı dalgalarda,
• bağımsız denetimde

tekrar edilmiş ve yanlılık davranışı incelenmiştir. Bu statüler skorun doğruluğunu garanti etmez. Katılımcı seçiminden kaynaklanan güven düzeyini gösterir.

6. PANEL İÇİNDE RASTGELE SEÇİM İLE NÜFUSTAN RASTGELE SEÇİM

Bir gönüllü panelde 100.000 kayıtlı kullanıcı olabilir. Bu panel içinden 1.000 kişi rastgele seçilebilir. Seçim:

panel içinde rastgeledir.

Fakat panelin kendisi dünya nüfusundan rastgele oluşmamıştır. Bu nedenle: “Dünya nüfusundan rastgele 1.000 kişi” denemez. Doğru ifade:

“Önceden kayıtlı gönüllü panel içinde rastgele seçilmiş ve hedef nüfusa kalibre edilmiş 1.000 katılımcı.”

Rastgelelik hangi aşamada uygulanıyorsa o aşamayla sınırlandırılmalıdır.

7. KATILIMCI UYGUNLUK KAYDI

Her katılımcının ana panele alınmadan önce ilgili olduğu ölçüde şu koşulları karşılaması gerekir:

• Yaş uygunluğu
• Gönüllü onay
• Ülke ve locale uygunluğu
• Dil yeterliliği
• AI ürün erişimi
• Doğru plan veya kullanıcı yüzeyi
• Gerekli cihaz ve teknik erişim
• Benzersiz insan statüsü
• Görev bağımsızlığı
• Çıkar veya ilişki beyanı
• Araştırma güvenliği
• Veri ve kanıt toplama onayı

Uygunluk kararı AI cevabı üretildikten sonra geriye dönük değiştirilemez.

8. ÜLKE DOĞRULAMASI

“Katılımcı hangi ülkeye aittir?” sorusu tek bir cevap taşımaz. Aşağıdaki alanlar ayrılmalıdır:

• Olağan ikamet ülkesi
• Ölçüm anındaki fiziksel ülke
• AI hesabının ülke veya pazar bölgesi
• Ödeme veya plan ülkesi
• Vatandaşlık
• İstemin hedeflediği ülke
• Locale

Vatandaşlık çoğu GEO ölçümü için birincil değişken olmayabilir. Önemli olan çoğu zaman:

Kullanıcının ürünü hangi gerçek coğrafi ve ürün koşulunda deneyimlediğidir.

8.1. Seyahat Eden Kullanıcı

Katılımcı olağan ikamet ülkesinden başka ülkede bulunabilir. Bu kişi:

• ikamet nüfusu,
• ölçüm konumu,
• seyahat kullanıcısı

olarak ayrı statü taşımalıdır.

8.2. VPN veya Konum Değiştirici

VPN kullanımı:

• gizlilik,
• kurum ağı,
• normal kullanıcı alışkanlığı

nedeniyle olabilir. Otomatik sahtecilik sayılmamalıdır. Ancak ülke tabakasını doğrulamayı zorlaştırır. Ana kontrollü ülke panelinde VPN kapatma veya kayıt altına alma kuralı bulunabilir. Kısıt aşmak amacıyla kullanılan konum değişikliği ana Native Reach paneline uygun değildir.

8.3. Ülke Doğrulama Düzeyleri

GV-0 — Unverified

Yalnız serbest beyan vardır.

GV-1 — Panel-Verified

Panel sağlayıcının mevcut ülke kaydı vardır.

GV-2 — Session-Consistent

Beyan, locale ve oturum sinyalleri uyumludur.

GV-3 — Multi-Signal Verified

Mahremiyet koruyucu birden fazla sinyal uyumludur.

GV-4 — Independently Audited

Ülke doğrulama yöntemi dış kalite kontrolünden geçmiştir. Kesin sokak adresi veya hassas koordinat toplamak varsayılan gereklilik değildir. Ülke doğrulaması veri minimizasyonuyla yapılmalıdır.

9. DİL YETERLİLİĞİ VE DOĞAL KULLANIM

Bir katılımcının dili bilmesi yalnız: “Evet, biliyorum.” beyanına dayanabilir. Bu, düşük riskli başlangıç kaydı olabilir. Yüksek güvenli dil panelinde ayrıca:

• doğal kullanım beyanı,
• kısa anlama kontrolü,
• panel geçmişi,
• yerel hakem değerlendirmesi,
• görev öncesi nötr deneme

kullanılabilir. Dil testi, yalnız yüksek eğitimli insanları seçen ağır akademik sınava dönüşmemelidir. Amaç:

Katılımcının istemi ve cevabı gerçek kullanıcı olarak anlayabilmesi.

10. AI ÜRÜN ERİŞİMİNİN DOĞRULANMASI

Katılımcı:

• doğru AI ürününe,
• doğru kullanıcı yüzeyine,
• doğru plan veya hesap koşuluna

erişebilmelidir. Şu durumlar ayrı kaydedilmelidir:

• Ücretsiz plan
• Ücretli bireysel plan
• Kurumsal plan
• Eğitim planı
• Web
• Mobil
• Masaüstü
• Gömülü ürün
• Görünen model
• Web/retrieval özelliği

Katılımcı başkasının hesabını kullanamaz. Şifre paylaşımı istenemez. Ürüne erişim kanıtı, hesap kimliğini kamuya açıklamadan doğrulanmalıdır.

11. KATILIMCI İLE DENETLENEN VARLIK ARASINDAKİ İLİŞKİ

Katılımcının denetlenen kurumla ilişkisi yanıt yakalama davranışını veya marka aşinalığını etkileyebilir. İlişki statüleri:

GENERAL_PUBLIC

CURRENT_CUSTOMER

FORMER_CUSTOMER

PROSPECT

EMPLOYEE

FORMER_EMPLOYEE

CONTRACTOR

PARTNER

INVESTOR

COMPETITOR_AFFILIATE

AI_PROVIDER_AFFILIATE

RESEARCHER

UNKNOWN

Ana genel nüfus panelinde doğrudan çalışan ve karar verici ilişkiler:

• dışlanabilir,
• ayrı tabakaya alınabilir,

düşük gerçek nüfus ağırlığıyla korunabilir. İlişkili kişilerin tamamını otomatik dışlamak da yanlış olabilir. Gerçek müşteri veya çalışan nüfusun parçasıysa ayrı ve açık biçimde ölçülebilir.

12. MARKA AŞİNALILIĞI

Katılımcı denetlenen varlığı:

• hiç duymamış,
• adını biliyor,
• ürününü biliyor,
• müşterisi,
• güçlü olumlu veya olumsuz görüş sahibi

olabilir. Bu bilgi:

• katılımcı davranışını,
• doğal kullanıcı panelini,
• istem yorumunu

etkileyebilir. Aşinalık ölçümü istemden önce yapılırsa kullanıcıyı markaya hazırlayabilir. Bu nedenle tercih sırası:

• Önceden mevcut panel bilgisi
• Görev sonrası ayrı soru
• Gerekli ise nötr ve markayı yönlendirmeyen ön ölçüm

olabilir. Aşinalık ana örneklemde görünür olmalı; sonuç görüldükten sonra ağırlık değişkeni olarak seçilmemelidir.

13. AI KULLANIM AŞİNALILIĞI

Katılımcılar:

• ilk kez kullanan,
• seyrek kullanan,
• düzenli kullanan,
• yoğun veya profesyonel kullanan

kişiler olabilir. AI kullanım sıklığı:

• ürün erişimini,
• plan türünü,
• arayüz bilgisini,
• kişiselleştirmeyi,
• görevi doğru tamamlama ihtimalini

etkileyebilir. Yalnız deneyimli AI kullanıcılarını seçmek protokol hatalarını azaltabilir. Fakat doğal nüfus tahminini bozabilir. Doğru çözüm:

• kullanım düzeyini ölçmek,
• hedef nüfusla karşılaştırmak,
• gerektiğinde tabakalamak veya ağırlıklandırmak,

deneyimsiz kullanıcının geçerli gerçek deneyimini korumaktır.

14. BENZERSİZ İNSAN KURALI

GEO-1000’in nüfus birimi insandır. Aynı kişi:

• birden fazla panelde,
• birden fazla e-posta hesabıyla,
• birden fazla AI hesabıyla,
• farklı cihazlardan

katılabilir. Benzersizlik kontrolü mahremiyet koruyucu biçimde yapılmalıdır. Kullanılabilecek sinyaller:

• Panelin anonim kişi kimliği
• Kriptografik veya hash tabanlı tekrar kontrolü
• Cihaz ve oturum uyumu
• Ödeme veya teşvik kaydı
• Zaman ve görev örüntüsü
• Aynı ekran görüntüsü veya yanıt dosyası
• Çoklu panel sağlayıcılar arası güvenli tekrar kontrolü

Hiçbir tek sinyal otomatik dışlama için yeterli olmak zorunda değildir. Özellikle:

• ortak cihaz kullanan aileler,
• kurum ağı,
• erişilebilirlik araçları,
• düşük gelirli ortak cihaz kullanıcıları

yanlışlıkla sahte sayılabilir. Şüpheli kayıtlar insan incelemesi ve itiraz yolu taşımalıdır.

15. KATILIMCI ÖDÜLÜ

Katılımcıya verilen ödeme veya ödül, veri davranışını etkileyebilir.

15.1. Sonuçtan Bağımsız Ödeme

Tercih edilen yöntem:

Protokole uygun görevin tamamlanması için sabit ve önceden açıklanmış ödeme.

Ödeme:

• cevabın olumlu,
• doğru,
• uzun,
• markaya yararlı,
• atıf içeren

olmasına bağlı olamaz.

15.2. Kalite Bonusu

Kalite bonusu kullanılacaksa yalnız:

• eksiksiz kanıt,
• doğru istem,
• doğru ürün,
• zamanında teslim,
• kişisel veri temizliği

gibi protokol şartlarına bağlanabilir. AI yanıtının içeriğine bağlanamaz.

15.3. Hız Teşviki

Yalnız hız için bonus:

• acele,
• eksik capture,
• yanlış ürün,
• cevabı kesme

riskini artırabilir. Saha penceresi içinde makul süre tanınmalıdır.

15.4. Ülkeye Göre Ödeme

Yerel ücret ve yaşam koşullarına göre ödeme farklılaşabilir. Bu durum:

• katılım ihtimalini,
• panel kompozisyonunu

etkileyebilir. Ödeme yaklaşımı ve ülke farkları kaydedilmelidir.

15.5. Zorlama ve Aşırı Teşvik

Ödül, kişinin makul biçimde reddedemeyeceği kadar baskı oluşturmamalıdır. Özellikle:

• düşük gelirli,
• öğrenci,
• bağımlı çalışan,
• savunmasız gruplar

için gönüllülük korunmalıdır.

16. DAVET METNİ VE ÖN YÖNLENDİRME

Katılımcı davet edilirken araştırmanın amacı onu belirli bir sonuca hazırlayabilir. Yanlış davet: “AI sistemlerinin Apple’ı ne kadar yanlış anlattığını test ediyoruz.” Bu ifade katılımcıyı hata aramaya yöneltebilir. Başka yanlış davet: “Markamızın AI başarısını kanıtlamamıza yardımcı olun.” Bu ifade olumlu sonuç beklentisi yaratır. Tercih edilen nötr davet: “Belirli AI ürünlerinde standartlaştırılmış kullanıcı deneyimi ve temsil gözlemi çalışması.” Denetlenen varlık görevin doğası gereği daha sonra görünür olabilir. Ancak istenen sonuç açıklanmamalıdır.

17. GÖREV ATAMASI

Katılımcılar:

• AI ürünü,
• istem,
• dil,
• dalga,
• oturum koşulu,
• görev sırası

bakımından önceden tanımlanmış yöntemle atanmalıdır. Katılımcının:

• en sevdiği AI ürününü,
• en iyi bildiği planı,
• olumlu cevap alma ihtimali yüksek dili

kendisi seçmesine izin verilirse atama yanlılığı oluşabilir.

17.1. Tabaka İçinde Rastgele Atama

Ülke, dil ve ürün erişimi doğrulandıktan sonra görevler tabaka içinde rastgele atanabilir.

17.2. Bloklu Atama

Ücretsiz/ücretli plan, mobil/web veya AI kullanım sıklığı bakımından denge sağlamak için bloklar kullanılabilir.

17.3. Ürün Sırası

Bir kişi birden fazla ürünü test ediyorsa sıra rastgeleleştirilmelidir. İlk ürünün cevabı sonraki cevabı değerlendirmesini veya görev davranışını etkileyebilir.

17.4. İstem Sırası

Bir katılımcı birden fazla istem alıyorsa:

• öğrenme,
• marka hakkında yeni bilgi edinme,
• önceki cevabı sonraki soruya taşıma

riski oluşur. İstem sırası kaydedilmeli ve gerekirse dengelenmelidir.

18. PANEL KOŞULLANMASI

Araştırma panellerine sık katılan kullanıcılar görevin beklentisini öğrenebilir. Aynı sınama’a tekrar tekrar katılan kişi:

• doğru cevabı hatırlayabilir,
• ekran görüntüsünü daha dikkatli seçebilir,
• denetlenen varlığın sitesini önceden inceleyebilir,

hangi hataların arandığını öğrenebilir. Bu duruma:

Panel koşullanması

denir. Panel koşullanması gerçek doğal kullanıcı deneyimini değiştirebilir.

18.1. Koşullanma Kaynakları

Önceki GEO dalgaları Aynı varlığın tekrar ölçümü Aynı istem bankası Hakemlik eğitimi Katılımcı topluluklarında görev paylaşımı Önceki ödemeler ve kalite geri bildirimi

18.2. Koşullanma Kontrolleri

Yeni ve tekrar katılımcı statüsü İlk katılım tarihi Aynı varlığa önceki maruziyet Aynı istem ailesine önceki maruziyet Dönen panel Görev sırası rastgeleliği Belirli süre dinlendirme Yeni kullanıcı alt örneklemi Koşullanmış ve yeni kullanıcı sonuçlarının karşılaştırılması Aynı katılımcıyı tekrar kullanmak yasak değildir. Boylamsal ölçüm için değerlidir. Doğal kesitsel panel gibi sunulamaz.

19. GÖREV BULAŞMASI VE KATILIMCI İLETİŞİMİ

Katılımcılar:

• istemleri,
• cevapları,
• ekran görüntülerini,
• beklenen sonuçları

birbirleriyle paylaşabilir. Bu durum bağımsız gözlemleri bozabilir. Kontroller:

• Dalga süresini sınırlamak
• Görevleri rastgele zamanlamak
• Katılımcılara sonuç paylaşmama yükümlülüğü
• Aynı cevap ve görsel tekrarını aramak
• Olağandışı metin ve zaman benzerliklerini incelemek
• Topluluk veya panel sağlayıcı uyarılarını izlemek

Katılımcıların iletişim kurmuş olması otomatik sahtecilik değildir. Maddi etkisi incelenmelidir.

20. YANITLAMAMA TÜRLERİ

Yanıtlamama tek olay değildir.

20.1. Davete Yanıt Vermeme

Katılımcı araştırma davetine hiç cevap vermez.

20.2. Katılımı Reddetme

Kişi daveti görür ve katılmamayı seçer.

20.3. Uygunluk Sonrası Göreve Başlamama

Kişi uygun bulunur fakat görevi başlatmaz.

20.4. Görev Kesintisi

Katılımcı görevi yarıda bırakır.

20.5. Kanıt Yüklememe

AI yanıtı alınmış olabilir fakat gerekli kayıt yüklenmemiştir.

20.6. Geçersiz Tamamlama

Görev tamamlanmıştır fakat:

• yanlış istem,
• yanlış ürün,
• seçilmiş cevap,
• eksik ekran görüntüsü

nedeniyle geçersizdir. Bu aşamaların oranları ayrı raporlanmalıdır.

21. YANITLAMA HUNİSİ

Tabaka h için:

• nhsel: seçilen kişi
• nhinv: davet edilen kişi
• nhcon: katılmayı kabul eden kişi
• nhsta: göreve başlayan kişi
• nhcom: tamamlayan kişi
• nhval: geçerli gözlem

olsun. Temel oranlar:

RR_h^invite = n_h^con/n_h^inv; RR_h^complete = n_h^com/n_h^sta; RR_h^valid = n_h^val/n_h^com

olarak gösterilebilir. Bu oranların her biri farklı sorunu gösterir. Yalnız nihai geçerli sayıyı vermek saha yanlılığını saklar.

22. YANITLAMAMA YANLILIĞI

Yanıt vermeyen insanlar, yanıt verenlerden farklı olabilir. Örnek: Düşük internetli kullanıcı görevi tamamlayamaz. Ücretsiz plan kullanıcısı ürüne erişemez. Deneyimsiz kullanıcı yönergeleri zor bulur. Yoğun AI kullanıcısı daha hızlı tamamlar. Belirli ülkelerde ödeme düşük kalır. Olumsuz marka deneyimi olan kullanıcı çalışmaya daha istekli olabilir. Yanıtlamama oranı yüksek olsa bile yanlılık düşük olabilir. Yanıtlamama oranı düşük olsa bile kaybolan küçük grup maddi olabilir. Bu nedenle yalnız oran değil:

Yanıt veren ve vermeyenlerin hangi özelliklerde farklılaştığı

incelenmelidir.

23. YANITLAMAMA AĞIRLIKLARI

Yanıtlamama ayarı kullanılacaksa sınıflar sonuç görülmeden önce belirlenmelidir. Muhtemel değişkenler:

• Ülke
• Dil
• Yaş
• AI kullanım sıklığı
• Plan
• Arayüz
• Panel kaynağı
• Erişilebilirlik
• Marka aşinalığı

Yanıtlamama katsayısı:

a_r^{NR} = (Σ_{j∈S_r} d_j) / (Σ_{i∈R_r} d_i)

olarak hesaplanabilir. Fakat bu düzeltme yalnız aynı sınıf içinde: yanıt verenlerin, vermeyenleri yeterince temsil ettiği varsayımına dayanır. Ölçülmemiş farkları çözmez.

24. EKSİK VERİ MEKANİZMALARI

Eksiklik kavramsal olarak üç sınıfta düşünülebilir.

24.1. Rastlantısal Eksiklik

Eksiklik sonuç ve kullanıcı özellikleriyle maddi olarak ilişkili değildir. Gerçekte nadir olabilir.

24.2. Gözlenen Özelliklerle Açıklanabilen Eksiklik

Eksiklik:

• ülke,
• yaş,
• plan,
• dil

gibi bilinen alanlarla ilişkilidir. Ağırlıklandırma kısmen yardımcı olabilir.

24.3. Gözlenmeyen Özelliklerle İlişkili Eksiklik

Örneğin:

• AI ürününe güvensizlik,
• düşük dijital beceri,
• marka karşıtlığı,
• gizlilik kaygısı

ölçülmemişse ağırlıklandırma eksikliği tamamen düzeltemez. Bu durumda duyarlılık analizi gerekir.

25. PANEL KAYBI VE DALGALAR ARASI AYRILMA

Aynı kullanıcıların tekrar ölçüldüğü boylamsal veya dönen panelde bazı kişiler sonraki dalgaya katılmaz. Bu panel kaybıdır. Panelde kalanlar:

• daha disiplinli,
• daha yüksek ödül motivasyonlu,
• daha deneyimli,
• araştırmaya daha alışkın

olabilir. Zaman içindeki skor değişimi kısmen panel kompozisyonundan kaynaklanabilir.

25.1. Panel Kaybı Kaydı

Her dalgada:

• yeniden davet edilen,
• katılan,
• ayrılan,
• yeni eklenen

kullanıcı sayıları gösterilmelidir.

25.2. Panel Kaybı Ağırlığı

Kalan katılımcılar, kayıp olasılığına göre ağırlıklandırılabilir. Bu yöntem gözlenmeyen panel kaybı yanlılığını tamamen çözmez.

25.3. Yenileme Paneli

Kayıp kullanıcıların yerine yeni kullanıcı eklenebilir. Yeni ve tekrar kullanıcı sonuçları ayrıca raporlanmalıdır.

26. KATILIMCI SAHTECİLİĞİ VE OTOMASYON

GEO-1000 teşvikli ve küresel bir panel olduğunda sahtecilik riski bulunur. Olası davranışlar:

• Bir kişinin birden fazla hesapla katılması
• Otomatik bot kullanımı
• Başkasının ekran görüntüsünü yüklemek
• Görsel düzenlemek
• Aynı cevabı farklı kullanıcılar adına yüklemek
• Yanlış ülke veya dil beyan etmek
• Hesap paylaşmak
• Görevi başka kişiye yaptırmak
• Panel sağlayıcılar arasında tekrar katılmak
• Toplu görev çiftlikleri oluşturmak

Bu risk, bütün düşük gelirli veya hızlı katılımcıların şüpheli sayılmasına izin vermez. Sahtecilik tespiti:

• kanıta,
• çoklu sinyale,
• orantılı insan incelemesine

dayanmalıdır.

27. SAHTECİLİK VE BÜTÜNLÜK STATÜLERİ

FI-0 — NOT ASSESSED

Kayıt bütünlük bakımından değerlendirilmemiştir.

FI-1 — NO MATERIAL ANOMALY

Belirgin sahtecilik sinyali bulunmamıştır. Bu, mutlak doğruluk garantisi değildir.

FI-2 — REVIEW REQUIRED

Bir veya daha fazla şüpheli sinyal vardır.

FI-3 — DUPLICATE OR COLLUSION SUSPECTED

Tekrar kişi, görsel, cevap veya koordinasyon şüphesi vardır.

FI-4 — PROTOCOL MANIPULATION CONFIRMED

Katılımcı protokolü bilinçli biçimde değiştirmiştir.

FI-5 — FABRICATED OBSERVATION CONFIRMED

Gözlem gerçek AI kullanıcı deneyimi değildir. FI-2 otomatik dışlama değildir. İnceleme gerektirir.

28. SAHTECİLİK SİNYALLERİ

Aynı ekran görüntüsü hash’i Aynı nadir dosya izi İmkânsız tamamlanma süresi Aynı cihaz veya oturumun çok sayıda kimlikte tekrarı Ülke, locale ve ürün erişiminde maddi çelişki Yanıt metni ile görüntü uyuşmazlığı Görsel düzenleme izi Ana ve yedek listede aynı kişi Birden fazla panel sağlayıcıda aynı anonim kişi Görevlerin seri ve mekanik tamamlanması Aynı sıra dışı hata örüntüsü Tek bir sinyal kesin sahtecilik kanıtı olmayabilir.

29. SAHTECİLİK TESPİTİNDE ADALET

Aşağıdaki kullanıcılar yanlışlıkla sahte olarak işaretlenebilir:

• Ortak cihaz kullanan aileler
• Kurum ağı kullanan çalışanlar
• Üniversite laboratuvarı katılımcıları
• VPN kullanan gizlilik duyarlı kişiler
• Ekran okuyucu veya otomasyon yardımcısı kullanan engelli kullanıcılar
• Düşük bant genişliği nedeniyle benzer sıkıştırılmış görseller yükleyenler

Bu nedenle:

• otomatik işaretleme,
• insan incelemesi,
• gerekirse katılımcı açıklaması,
• itiraz

birlikte çalışmalıdır.

30. KATILIMCI GEÇERLİLİĞİ İLE AI YANIT DOĞRULUĞU AYRILMALIDIR

Bir katılımcının kaydı protokole uygun olabilir. AI yanıtı yanlış olabilir. Bu geçerli gözlemdir. Başka bir katılımcının AI yanıtı doğru olabilir. Fakat kullanıcı:

• cevabı üç kez yenilemiş,
• yalnız en iyi cevabı yüklemiş,
• istemi değiştirmiş

olabilir. Bu geçersiz gözlemdir. Dolayısıyla:

Doğru AI cevabı geçerli veri anlamına gelmez. / Yanlış AI cevabı geçersiz veri anlamına gelmez.

Geçerlilik incelemesi maddi puanlamadan önce ve mümkün olduğunca kör yapılmalıdır.

31. ÇIKAR ÇATIŞMASI VE KATILIMCI KAYNAĞI

Katılımcı veya panel sağlayıcısı şu sonuçlardan fayda görebilir:

• Denetlenen şirketin yüksek skor alması
• AI ürününün üstün görünmesi
• Rakibin düşük skor alması
• Daha fazla denetim çalışması satılması
• Ödül veya iş ilişkisi

Bu nedenle:

• katılımcı ilişkileri,
• panel sağlayıcı sözleşmesi,
• sonuçtan bağımsız ücret,
• müşteri müdahalesi

açıklanmalıdır. Denetlenen kurum:

• hangi kullanıcıların davet edileceğine,
• kimin geçersiz sayılacağına,
• kimin yedekle değiştirileceğine

karar veremez.

32. PANEL SAĞLAYICI ETKİSİ

Aynı ülkedeki iki panel sağlayıcının kullanıcıları farklı olabilir. Bir sağlayıcı:

• teknoloji meraklıları,
• öğrenciler,
• yoğun araştırma katılımcıları

bakımından daha yüksek oran taşıyabilir. Panel sağlayıcısı analizde bir küme veya kaynak değişkeni olarak tutulmalıdır. Mümkünse:

• sağlayıcı bazlı sonuçlar,
• kaynak etkisi,
• aynı ülke içinde sağlayıcı karşılaştırması

incelenmelidir. Tek sağlayıcılı küresel panel: dünya nüfusunun kendisi olarak sunulamaz.

33. ÇOK KAYNAKLI PANELDE TEKRAR KİŞİ

Aynı kişi:

• iki profesyonel panelde,
• açık çağrıda,
• üniversite listesinde

bulunabilir. Çok kaynaklı panel benzersizliği artırmadan yalnız kayıt sayısını artırabilir. Kaynaklar arası tekrar kontrolü:

• mahremiyet koruyucu,
• merkezi kimlik ifşası gerektirmeyen,
• yanlış eşleşmeye itiraz imkânı veren

biçimde kurulmalıdır.

34. ÖRNEKLEM YANLILIĞI HARİTASI

GEO-1000 aşağıdaki yanlılık türlerini ayrı izlemelidir.

SB-1 — Kapsama Yanlılığı

Hedef nüfusun bazı bölümleri örnekleme çerçevesinde yoktur.

SB-2 — Seçim Yanlılığı

Çerçevedeki kişilerin panele seçilme ihtimalleri hedeflenen tasarıma uygun değildir.

SB-3 — Kendi Kendine Seçilim Yanlılığı

Araştırmaya gönüllü katılanlar nüfustan sistematik olarak farklıdır.

SB-4 — Davet ve Yönlendirme Yanlılığı

Davet metni veya kaynak belirli görüşteki insanları çeker.

SB-5 — Yanıtlamama Yanlılığı

Katılmayan veya tamamlamayan kişiler sonuç bakımından farklıdır.

SB-6 — Panel Kaybı Yanlılığı

Dalgalar arasında kalan kullanıcılar ayrılanlardan farklıdır.

SB-7 — Teşvik Yanlılığı

Ödeme veya ödül katılımcının hızını, seçim davranışını veya cevabı değiştirmesini etkiler.

SB-8 — Panel Koşullanması

Katılımcı önceki araştırmalardan beklenen davranışı öğrenir.

SB-9 — Görev Atama Yanlılığı

Katılımcılar ürün, dil veya istemleri kendileri seçer ya da dengesiz atanır.

SB-10 — Ülke ve Dil Sınıflandırma Yanlılığı

Katılımcı yanlış ülke veya dil hücresine atanır.

SB-11 — Ürün, Plan ve Arayüz Yanlılığı

Yalnız belirli plan veya cihaz kullanıcıları paneli belirler.

SB-12 — Marka Aşinalığı Yanlılığı

Müşteri, hayran, eleştirmen veya çalışanlar aşırı temsil edilir.

SB-13 — Sahtecilik ve Tekrar Yanlılığı

Aynı kişi veya otomatik katılım sonuç üzerinde fazla etki kazanır.

SB-14 — Geçerlilik Dışlama Yanlılığı

Olumsuz AI cevapları daha sık geçersiz sayılır.

SB-15 — Ağırlıklandırma Yanlılığı

Sonuç sonrası seçilmiş değişkenler veya aşırı ağırlık modeli skoru istenen yönde değiştirir.

SB-16 — Sağ Kalan Örneklem Yanlılığı

Yalnız görevi başarıyla tamamlayabilen kullanıcılar gerçek ürün nüfusu gibi sunulur.

35. AĞIRLIKLANDIRMANIN AMACI

Ağırlıklandırma şu amaçlara hizmet edebilir:

• Eşit olmayan seçilme olasılıklarını düzeltmek
• Fazla örneklemeyi gerçek nüfus payına geri döndürmek
• Yanıtlamama farklarını azaltmak
• Örneklemi bilinen hedef toplamlarına kalibre etmek
• Birden fazla panel kaynağını birleştirmek

Ağırlıklandırma şu amaçlara hizmet edemez:

• Örnekleme çerçevesinde hiç bulunmayan insanı yaratmak
• Ölçülmeyen değişkenleri kesin biçimde düzeltmek
• Sahte veya hatalı gözlemi gerçek yapmak
• Sonuç sonrası istenen skoru üretmek
• Tekil küçük hücreyi güvenilir ülke skoruna dönüştürmek
• Olasılıksız paneli otomatik olasılıklı örneklem yapmak

36. AĞIRLIK MİMARİSİ

Nihai ağırlık aday olarak şöyle gösterilebilir:

w_i = d_i × a_i^{NR} × g_i^{CAL} × p_i^{SRC}

Burada:

• di: temel tasarım veya başlangıç ağırlığı
• aiNR: yanıtlamama ayarı
• giCAL: nüfus kalibrasyonu
• piSRC: panel kaynağı veya olasılıksız örneklem düzeltmesi

Olasılıklı panelde:

d_i = 1/π_i

olabilir. Olasılıksız panelde gerçek πi bilinmez. Bu durumda kullanılan ağırlık: tasarım ağırlığı değil, model tabanlı veya kalibrasyon ağırlığıdır. Bu ayrım raporda korunmalıdır.

37. AĞIRLIKLAR SONUCA BAĞLI OLAMAZ

Aşağıdaki değişkenler ağırlık oluşturmak için kullanılamaz:

• AI cevabının doğru olup olmaması
• Markanın anılıp anılmaması
• Atıf bulunması
• Tavsiye oluşması
• Critical hata çıkması
• Denetlenen kurumun sonucu beğenmesi

Ağırlık değişkenleri:

• sonuç görülmeden önce,
• hedef nüfus ve seçim mekanizmasıyla ilişkili olduğu için

seçilmelidir. Yanıt sonucu ağırlığı belirlerse skor kendi kendisini şekillendirir.

38. KALİBRASYON DEĞİŞKENLERİ

Muhtemel kalibrasyon alanları:

• Ülke
• Bölge
• Dil
• Yaş
• Cinsiyet, gerekli ve etik ise
• Eğitim
• Kentsel/kırsal yerleşim
• İnternet erişim türü
• Cihaz
• AI kullanım sıklığı
• Ücretsiz/ücretli plan
• Arayüz
• Erişilebilirlik statüsü

Her değişken için güvenilir hedef toplam bulunmayabilir. Fazla sayıda kalibrasyon değişkeni:

• aşırı ağırlık değişkenliği,
• düşük etkin örneklem,
• model aşırı uyumu

oluşturabilir. Kalibrasyon seti sonuçlar görülmeden önce dondurulmalıdır.

39. AĞIRLIKLANDIRMA DENGESİ

Ağırlıklandırma öncesi ve sonrası örneklem, hedef nüfusla karşılaştırılmalıdır. Her alan için:

• hedef pay
• ham örneklem payı
• ağırlıklı pay
• kalan fark

gösterilmelidir. Ağırlıklandırma yalnız sonuç sayısına uygulanıp denge tablosu saklanamaz.

40. AĞIRLIK TANILARI

Ana raporda ilgili olduğu ölçüde şu alanlar bulunmalıdır:

• Minimum ağırlık
• Maksimum ağırlık
• Medyan ağırlık
• Ağırlık değişim katsayısı
• Ağırlık oranı
• Kırpılan ağırlık sayısı
• Ham örneklem büyüklüğü
• Etkin örneklem büyüklüğü
• Tasarım etkisi
• Ağırlıksız sonuç
• Ana ağırlıklı sonuç
• Alternatif makul ağırlık sonuçları

Ağırlıklı tek sayı, ağırlık tanıları olmadan tam denetim kaydı değildir.

41. SENTETİK AĞIRLIKLANDIRMA GÖSTERİMİ

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki katılımcılar, oranlar ve skorlar kurgusaldır. Hedef nüfus ve panel dağılımı:

Sentetik geçiş oranları:

Ham sonuç:

900/1000=90%

41.1. Kalibrasyon Katsayıları

Düşük kullanım:

0,50/0,10=5

Orta kullanım:

0,30/0,30=1

Yoğun kullanım:

0,20/0,60 = 1/3

Ağırlıklı geçen yanıt:

72(5) + 252(1) + 576(1/3) = 804

Ağırlık toplamı:

100(5) + 300(1) + 600(1/3) = 1.000

Ağırlıklı sonuç:

804/1000=80,4%

41.2. Etkin Örneklem Büyüklüğü

n_eff = [100(5)+300(1)+600(1/3)]² / [100(5²)+300(1²)+600(1/3)²] ≈ 349

Sonuç kartı:

• Ham geçerli gözlem: 1.000
• Ham skor: yüzde 90
• Ağırlıklı skor: yüzde 80,4
• Etkin örneklem: yaklaşık 349
• Ana neden: yoğun AI kullanıcılarının aşırı temsili

Doğru yorum:

Panel 1.000 geçerli gözlem taşımaktadır; fakat hedef nüfus kalibrasyonu sonucunda tahmin yüzde 80,4’e düşmüş ve ağırlık değişkenliği nedeniyle etkin örneklem yaklaşık 349 olmuştur.

Yanlış yorum: “1.000 kişiyle yüzde 90 küresel doğruluk kanıtlanmıştır.”

42. AĞIRLIKLANDIRMA NEYİ DÜZELTEMEZ?

Sentetik panelde şu gruplar hiç bulunmasın:

• Ekran okuyucu kullananlar
• Düşük bant genişlikli kırsal kullanıcılar
• AI ürününü ilk kez kullananlar
• Küçük dil topluluğu

Ağırlıklandırma yalnız panelde bulunan kullanıcıların ağırlığını değiştirir. Hiç gözlenmeyen grubun:

• AI cevabını,
• erişim sorununu,
• hata dağılımını

üretemez. Bu nedenle:

Sıfır kapsama, sıfır bilgi demektir.

Ağırlıklandırılmış sonuç: hedef nüfusa daha yakın tahmin olabilir, tam hedef nüfus gözlemi değildir.

43. DUYARLILIK ANALİZİ

Ağırlıklı sonucun tek ağırlık modeline bağımlılığı incelenmelidir. Aday sonuçlar:

• Ham ağırlıksız sonuç
• Tasarım ağırlıklı sonuç
• Demografik kalibre edilmiş sonuç
• AI kullanımı eklenmiş kalibrasyon
• Ağırlık kırpılmış sonuç
• Panel sağlayıcı etkisi ayarlanmış sonuç

Sonuçlar maddi biçimde değişiyorsa:

Weight Sensitivity Warning

verilmelidir. Tek “doğru” ağırlık sonucu kesin gerçek gibi sunulamaz.

44. OLASILIKSIZ PANELDE PROPENSITY AYARI

Olasılıksız panel üyelerinin hedef nüfusa göre panele girme eğilimi modellenebilir. Bir kişinin panelde olma olasılığı:

p̂_i = Pr(i ∈ panel | X_i)

olarak tahmin edilebilir. Aday ters propensity ağırlığı:

w_i^P = 1/p̂_i

olabilir. Bu yöntem:

• yalnız ölçülen Xi değişkenlerini kullanır,
• yanlış modelden etkilenir,
• gözlenmeyen seçilimi çözmez,

güçlü hedef referans veri gerektirir. Bu nedenle sonuç:

Model-kalibre edilmiş olasılıksız panel tahmini

olarak etiketlenmelidir.

45. KÜÇÜK ALAN VE MODEL TABANLI TAHMİNLER

Bazı ülke veya dil hücrelerinde doğrudan örneklem yetersiz olabilir. Model tabanlı yöntemler komşu veya benzer gruplardan bilgi ödünç alabilir. Bu sonuç:

• doğrudan gözlenen ülke skoru,
• ham kullanıcı oranı

değildir. Doğru statü:

MODEL-ASSISTED ESTIMATE

SMALL-AREA ESTIMATE

NOT DIRECTLY OBSERVED

olmalıdır. Model tabanlı tahmin Sentinel gözlemi bulunmayan ülkeyi gözlenmiş ülkeye dönüştürmez.

46. KATILIMCI GİZLİLİĞİ VE KANITLANABİLİRLİK

GEO-1000 her gözlem için kanıt ister. Bu, katılımcı kimliğinin kamuya açıklanması anlamına gelmez. Ekran görüntüsü şu bilgileri içerebilir:

• Ad
• E-posta
• Profil fotoğrafı
• Önceki sohbet
• Hesap planı
• Kurum adı
• Hassas kişisel bilgi

NOMOS Capture veya eşdeğer sistem:

• gereksiz kişisel alanları yakalamamalı,
• otomatik veya kontrollü redaksiyon yapmalı,
• ham kanıtı korumalı güvenli depoda tutmalı,

kamuya yalnız anonim ve doğrulanabilir kayıt sunmalıdır.

46.1. Kamu Kanıt Manifesti

Kamuya açık kayıt:

• gözlem kimliği,
• ülke/dil hücresi,
• AI ürünü,
• zaman,
• kanıt hash’i,
• doğrulama statüsü

taşıyabilir. Tam ekran görüntüsü:

• redakte edilmiş,
• kısıtlı erişimli,
• bağımsız denetçiye açık

olabilir. Bin kanıtın varlığı, bin kişinin kimliğinin kamuya açılmasını gerektirmez.

46.2. Hassas Küçük Ülke Riski

Küçük ülkede tek katılımcı varsa:

• cihaz,
• zaman,
• dil,
• plan

bir araya geldiğinde kişinin yeniden tanımlanması kolaylaşabilir. Kamu raporunda ayrıntı seviyesi düşürülmelidir. Kanıt bütünlüğü erişim kontrollü sistemde korunabilir.

47. KATILIMCI RIZASI

Katılımcı en azından şunları bilmelidir:

• Hangi görevi yapacağı
• Hangi veri ve ekran görüntüsünün toplanacağı
• Hangi kişisel bilgilerin toplanmayacağı
• Verinin ne kadar saklanacağı
• Kimlerin erişebileceği
• Sonucun nasıl yayımlanacağı
• Ödülün nasıl verileceği
• Katılımın gönüllü olduğu
• Çekilme veya itiraz imkânı
• Hesap şifresinin istenmeyeceği
• AI ürün koşullarını ihlal etmesinin beklenmediği

Rıza, uzun ve anlaşılmaz bir metin içine saklanmamalıdır. [K06; K22]

48. KATILIMCI GÜVENLİĞİ

Katılımcıdan:

• kişisel sağlık, hukuk veya finans bilgisini AI’ya vermesi,
• gerçek müşteri verisi kullanması,
• işveren gizli bilgisini paylaşması,
• hesap güvenliğini zayıflatması,
• kullanım kısıtını aşması,
• yasa veya ürün koşulunu ihlal etmesi

istenemez. Sınama istemleri mümkün olduğunca kamuya açık ve kişisel olmayan bağlam taşımalıdır.

49. KATILIMCI KALİTE DEĞİL, İNSAN ÇEŞİTLİLİĞİ TAŞIR

Deneyimsiz kullanıcı:

• görevi daha yavaş,
• daha zor,
• daha fazla destekle

tamamlayabilir. Bu kişi otomatik olarak düşük kaliteli katılımcı değildir. Hedef nüfusun gerçek parçasıdır. Araştırma tasarımı yalnız yüksek dijital becerili kişilerin tamamlayabileceği kadar karmaşıksa: sorun katılımcıda değil, ölçüm aracında olabilir. Protokol:

• anlaşılır,
• erişilebilir,
• dil bakımından doğal,
• teknik yükü sınırlı

olmalıdır.

50. KATILIMCI SEÇİMİNİN KAMU SONUÇ KARTI

Aday kamu raporu şu alanları taşımalıdır:

Panel Kaynakları

Olasılıklı panel payı Profesyonel gönüllü panel payı Açık çağrı payı Üniversite/kurum payı Müşteri veya ilişkili panel payı

Katılım Hunisi

Çerçevedeki kişi Seçilen Davet edilen Kabul eden Başlayan Tamamlayan Geçerli gözlem üreten

Uygunluk ve Bütünlük

Ülke doğrulama düzeyleri Dil doğrulama düzeyleri Tekrar kişi oranı Şüpheli kayıt oranı Doğrulanmış sahtecilik oranı Geçersiz gözlem oranı

Panel Kompozisyonu

AI kullanım sıklığı Plan ve arayüz Marka aşinalığı Müşteri/çalışan ilişkisi Yeni ve tekrar panel kullanıcıları Erişilebilirlik kapsamı

Ağırlık Tanıları

Ham ve ağırlıklı skor Minimum ve maksimum ağırlık Ağırlık değişim katsayısı Etkin örneklem Ağırlık hassasiyeti Kapsama uyarıları Bu alanlar katılımcıların kimliğini ifşa etmeden yayımlanabilir.

51. ZORUNLU NORMATİF HÜKÜMLER

CH08-N01

Her geçerli GEO-1000 gözlemi hedef nüfustan analitik kayda kadar izlenebilir bir katılımcı seçim zinciri taşımalıdır.

CH08-N02

Panel içindeki rastgele seçim, hedef dünya nüfusundan rastgele seçim olarak sunulamaz.

CH08-N03

Katılımcı kaynağı, seçim yöntemi ve panel statüsü kamu yöntem kaydında açıklanmalıdır.

CH08-N04

Olasılıksız veya gönüllü panel olasılıklı nüfus örneklemi gibi tanımlanamaz.

CH08-N05

Denetlenen kurum tarafından önerilen katılımcılar ana bağımsız nüfus paneline açıklamasız biçimde alınamaz.

CH08-N06

Müşteri, çalışan, partner, rakip ve AI sağlayıcısı ilişkileri ayrı kaydedilmelidir.

CH08-N07

Katılımcı uygunluk koşulları AI cevabı görülmeden önce doğrulanmalıdır.

CH08-N08

Ülke, dil, ürün, plan ve arayüz uygunluğu ilgili görev atamasından önce belirlenmelidir.

CH08-N09

Aynı kişi birden fazla hesap, cihaz, dil, panel veya AI ürünü nedeniyle nüfus birimi olarak çoğaltılamaz.

CH08-N10

Benzersiz kişi kontrolü veri minimizasyonu ve mahremiyet ilkeleriyle yürütülmelidir.

CH08-N11

Tek bir teknik sinyal katılımcının sahte olduğuna ilişkin otomatik kesin karar için yeterli sayılamaz.

CH08-N12

Katılımcı ödülü AI yanıtının olumlu, doğru, uzun, atıf içeren veya markaya yararlı olmasına bağlanamaz.

CH08-N13

Kalite bonusu yalnız önceden belirlenmiş protokol bütünlüğüne bağlanabilir.

CH08-N14

Davet ve bilgilendirme metni katılımcıyı olumlu veya olumsuz sonuç aramaya yöneltemez.

CH08-N15

AI ürünü, istem ve görev sırası sonucu görmeden önce atanmalı veya rastgeleleştirilmelidir.

CH08-N16

Katılımcı tercihine dayalı ürün ve istem seçimi ana nüfus panelinde açıklamasız biçimde kullanılamaz.

CH08-N17

Panel koşullanması, önceki sınama maruziyeti ve tekrar katılım kaydedilmelidir.

CH08-N18

Yeni ve koşullanmış katılımcı sonuçları gerektiğinde ayrı analiz edilmelidir.

CH08-N19

Katılımcının panele alınması, tutulması, dışlanması veya yedekle değiştirilmesi AI cevabının içeriğine dayanamaz.

CH08-N20

Yanlış, olumsuz, ret veya Critical AI çıktısı geçerli protokol altında korunmalıdır.

CH08-N21

Katılımcı geçerliliği yanıtın maddi doğruluğundan önce ve mümkün olduğunca kör değerlendirilmelidir.

CH08-N22

Davet, kabul, başlangıç, tamamlama ve geçerli gözlem oranları ayrı raporlanmalıdır.

CH08-N23

Yanıtlamama ayarı yalnız önceden tanımlanmış ve ilgili değişkenlere dayanmalıdır.

CH08-N24

Ağırlıklandırma örnekleme çerçevesinde hiç bulunmayan kullanıcıları temsil edilmiş hâle getiremez.

CH08-N25

Ağırlık değişkenleri AI yanıt sonucuna, skora veya denetlenen kurumun ticari çıkarına bağlı olamaz.

CH08-N26

Olasılıksız panel ağırlıkları tasarım ağırlığı gibi sunulamaz.

CH08-N27

Kalibrasyon değişkenleri ve hedef toplamlar sonuçlar görülmeden önce sürümlenmelidir.

CH08-N28

Ağırlıksız ve ana ağırlıklı sonuç birlikte saklanmalıdır.

CH08-N29

Ağırlık tanıları ve etkin örneklem büyüklüğü ana raporda görünür olmalıdır.

CH08-N30

Ağırlık kırpma kullanılıyorsa kırpılmamış sonuç ve duyarlılık analizi korunmalıdır.

CH08-N31

Panel sağlayıcısı ve katılımcı kaynağı etkileri ayrı değişkenler olarak tutulmalıdır.

CH08-N32

Çok kaynaklı panelde kaynaklar arası tekrar kişi kontrolü yapılmalıdır.

CH08-N33

Sahtecilik tespiti çoklu sinyal, orantılı insan incelemesi ve itiraz yolu taşımalıdır.

CH08-N34

VPN, ortak cihaz, kurum ağı veya yardımcı teknoloji kullanımı otomatik sahtecilik sayılmamalıdır.

CH08-N35

Model tabanlı küçük alan tahmini doğrudan gözlenen ülke veya dil skoru gibi sunulamaz.

CH08-N36

Katılımcı ekran görüntüleri ve kanıtları kişisel veri minimizasyonu, redaksiyon ve erişim kontrolü taşımalıdır.

CH08-N37

Katılımcıdan hesap şifresi, özel sohbet geçmişi veya gereksiz hassas bilgi istenemez.

CH08-N38

Katılımcılardan ürün, yaş, kimlik, ülke veya hesap kısıtlarını aşmaları istenemez.

CH08-N39

Çocuk veya özel koruma gerektiren kullanıcılar ayrı etik ve güvenlik protokolü olmadan panele alınamaz.

CH08-N40

Katılımcı seçim ve ağırlıklandırma kaydının hesap verebilir insan veya kurum sahibi bulunmalıdır.

52. BAŞARISIZLIK BİÇİMLERİ

CH08-F01 — PANEL İÇİ RASTGELEYİ DÜNYA RASTGELESİ SAYMAK

Gönüllü panel içindeki rastgele seçim dünya nüfusundan rastgele seçim gibi sunulur.

CH08-F02 — KOTA UYUMUNU TEMSİL SAYMAK

Yaş ve ülke kotaları tuttuğu için bütün davranışsal ve teknolojik yanlılıkların çözüldüğü iddia edilir.

CH08-F03 — MÜŞTERİLERİ GENEL NÜFUS SAYMAK

Denetlenen kurumun kullanıcı listesi dünya kullanıcı paneli gibi kullanılır.

CH08-F04 — ÇALIŞAN VE PARTNERLERİ GİZLEMEK

Kurumla ilişkili kullanıcılar bağımsız genel katılımcı gibi gösterilir.

CH08-F05 — TEK PANEL SAĞLAYICISINI DÜNYA SAYMAK

Sağlayıcı etkisi ve kayıtlı panel davranışı incelenmez.

CH08-F06 — AÇIK ÇAĞRIYI OLASILIKLI ÖRNEKLEM SAYMAK

Kendi kendine seçilim saklanır.

CH08-F07 — ÜLKEYİ YALNIZ IP İLE BELİRLEMEK

Seyahat, VPN, kurum ağı ve hesap bölgesi farkları yok sayılır.

CH08-F08 — VATANDAŞLIĞI KULLANIM ÜLKESİ SAYMAK

Ürün deneyiminin gerçek coğrafi koşulu yanlış sınıflandırılır.

CH08-F09 — DİL BEYANINI SINAMADAN KESİN SAYMAK

Katılımcı istem ve cevabı anlayamadığı hâlde dil hücresinde tutulur.

CH08-F10 — DİL TESTİNİ ELİT ELEMEYE DÖNÜŞTÜRMEK

Yalnız yüksek eğitimli kişiler panele kalır.

CH08-F11 — HESAP SAYISINI İNSAN SAYISI SAYMAK

Bir kişi birden fazla hesapla nüfus ağırlığını artırır.

CH08-F12 — ORTAK HESABI BİR KİŞİ SAYMAK

Birden fazla insanın kullandığı hesap tekil kullanıcı gibi yorumlanır.

CH08-F13 — SONUCA BAĞLI ÖDEME

Olumlu, doğru veya atıf içeren cevap için bonus verilir.

CH08-F14 — HIZ BONSUYLA PROTOKOLÜ BOZMAK

Katılımcı cevap tamamlanmadan ekran görüntüsü alır veya görevi aceleyle yapar.

CH08-F15 — DAVETTE SONUCU AÇIKLAMAK

Katılımcıdan hata veya başarı bulması istenir.

CH08-F16 — KATILIMCIYA ÜRÜNÜ SEÇTİRMEK

Yalnız erişebildiği veya sevdiği AI ürününü seçen kullanıcılar paneli belirler.

CH08-F17 — İSTEM SIRASI ETKİSİNİ GİZLEMEK

Önceki cevaplar sonraki görevleri etkiler.

CH08-F18 — PANEL KOŞULLANMASINI DOĞAL KULLANIM SAYMAK

Aynı sınamayı defalarca gören kullanıcı yeni kullanıcı gibi sunulur.

CH08-F19 — SONUÇ PAYLAŞIMINI YOK SAYMAK

Katılımcılar görev ve cevapları birbirine aktarmıştır.

CH08-F20 — YANITLAMAMAYI YALNIZ SAYI SORUNU SAYMAK

Katılmayanların sistematik farklılığı incelenmez.

CH08-F21 — PANEL KAYBINI ÜRÜN İYİLEŞMESİ SAYMAK

Zayıf veya deneyimsiz kullanıcılar sonraki dalgadan ayrıldığı için skor yükselir.

CH08-F22 — OLUMSUZ YANITI GEÇERSİZ SAYMAK

AI yanlış cevap verdiği için katılımcı değiştirilir.

CH08-F23 — DOĞRU CEVABI GEÇERLİ SAYMAK

Katılımcı cevabı yenilemiş olsa da sonuç doğru olduğu için kayıt korunur.

CH08-F24 — BOT VE TEKRAR KATILIMI GÖZDEN KAÇIRMAK

Aynı kişi veya otomasyon çok sayıda gözlem üretir.

CH08-F25 — TEK SİNYALLE TOPLU DIŞLAMA

VPN, cihaz veya hız nedeniyle gerçek kullanıcılar sahte sayılır.

CH08-F26 — SAHTECİLİK İNCELEMESİNİ SONUCA GÖRE YAPMAK

Düşük skorlu kayıtlar daha sık incelenir.

CH08-F27 — AĞIRLIKLA GÖRÜNMEYEN GRUP YARATMAK

Örneklemde hiç bulunmayan kullanıcıların temsil edildiği iddia edilir.

CH08-F28 — SONUÇ SONRASI KALİBRASYON SEÇMEK

En uygun skoru üreten ağırlık değişkenleri sonradan seçilir.

CH08-F29 — HAM PANEL PAYINI NÜFUS PAYI SAYMAK

Yoğun AI kullanıcıları ham sayılarıyla küresel sonucu belirler.

CH08-F30 — OLAŞILIKSIZ AĞIRLIĞI TASARIM AĞIRLIĞI SAYMAK

Gerçek seçilme ihtimali bilinmediği hâlde kesin nüfus çıkarımı yapılır.

CH08-F31 — AĞIRLIKSIZ SONUCU SAKLAMAK

Ağırlık modelinin etkisi görülemez.

CH08-F32 — ETKİN ÖRNEKLEMİ GİZLEMEK

1.000 ham kayıt, 300–400 bilgi birimi taşısa da tam hassasiyet iddia edilir.

CH08-F33 — AĞIRLIK KIRPMA İLE ZAYIF GRUBU SİLMEK

Yüksek ağırlıklı küçük gruplar sonucu düşürdüğü için kırpılır.

CH08-F34 — MODEL TABANLI TAHMİNİ GÖZLENMİŞ SKOR SAYMAK

Örneksiz ülkeye kesin puan verilir.

CH08-F35 — KANIT İÇİN KİMLİĞİ İFŞA ETMEK

Ekran görüntüleri kişisel bilgiyle kamuya yayımlanır.

CH08-F36 — KÜÇÜK ÜLKE KATILIMCISINI YENİDEN TANIMLANABİLİR KILMAK

Ülke, saat, cihaz ve plan bilgileri tek kişiyi açığa çıkarır.

CH08-F37 — KATILIMCIYA ŞİFRE VEYA ÖZEL SOHBET İSTEMEK

Kanıt toplama hesap güvenliğini ihlal eder.

CH08-F38 — DÜŞÜK DİJİTAL BECERİYİ UYGUNSUZLUK SAYMAK

Gerçek hedef kullanıcılar panelden çıkarılır.

CH08-F39 — ÖDÜLLE GÖNÜLLÜLÜĞÜ BOZMAK

Katılımcı makul biçimde reddedemeyeceği baskı altında kalır.

CH08-F40 — KATILIMCI SEÇİMİNİ MÜŞTERİYE BIRAKMAK

Denetlenen kurum, panelin sonucunu belirleyebilecek insanları seçer.

53. DENETİM PROSEDÜRÜ

Adım 1 — Katılımcı Kaynaklarını Haritala

Her panel, ortak, açık çağrı ve müşteri kaynağı ayrı kaydedilir.

Adım 2 — Seçim Statüsünü Ata

Her kaynak için PSI-0 ile PSI-5 arasında uygun statü belirlenir.

Adım 3 — Hedef Nüfusla Kapsam Karşılaştırması Yap

Hangi hedef kullanıcıların panelde bulunmadığı belirlenir.

Adım 4 — Katılımcı Seçim Olasılığını veya Modelini Kaydet

Bilinen olasılık, kota veya gönüllü seçilim açıklanır.

Adım 5 — Uygunluk Kurallarını Dondur

Yaş Ülke Dil Ürün Plan Arayüz Benzersizlik Çıkar ilişkisi koşulları sürümlenir.

Adım 6 — Davet Metnini İncele

Olumlu veya olumsuz yönlendirme bulunup bulunmadığı değerlendirilir.

Adım 7 — Ödül Yapısını İncele

Ödülün sonuçtan tamamen bağımsiz olduğu doğrulanır.

Adım 8 — Katılımcı Ülke, Dil ve Ürün Erişimini Doğrula

Mahremiyet koruyucu doğrulama düzeyleri atanır.

Adım 9 — Benzersiz İnsan Kontrolü Yap

Kaynak içi ve kaynaklar arası tekrarlar incelenir.

Adım 10 — İlişki ve Aşinalık Alanlarını Kaydet

Müşteri, çalışan, rakip, AI sağlayıcısı ve marka aşinalığı belirlenir.

Adım 11 — Görevleri Atama Planına Göre Dağıt

Ürün, istem, sıra ve dalga atamaları doğrulanır.

Adım 12 — Panel Koşullanmasını Kaydet

Yeni, tekrar ve daha önce aynı sınama’a katılmış kullanıcılar ayrılır.

Adım 13 — Katılım Hunisini Kur

Davet, kabul, başlangıç, tamamlama ve geçerlilik sayıları hesaplanır.

Adım 14 — Geçerlilik İncelemesini Körleştir

Mümkün olduğunca AI yanıt skoru görülmeden protokol geçerliliği belirlenir.

Adım 15 — Sahtecilik Sinyallerini İncele

Çoklu sinyal ve insan değerlendirmesi kullanılır.

Adım 16 — Yanıtlamama ve Panel Kaybını Analiz Et

Katılan ve katılmayanların bilinen özellikleri karşılaştırılır.

Adım 17 — Tasarım ve Kalibrasyon Ağırlıklarını Üret

Olasılıklı ve olasılıksız kaynaklar ayrı yöntemle ele alınır.

Adım 18 — Ağırlık Tanılarını Hesapla

Ağırlık dağılımı Tasarım etkisi Etkin örneklem Kırpma etkisi hesaplanır.

Adım 19 — Duyarlılık Analizi Yap

Ham, ana ağırlıklı ve alternatif makul sonuçlar karşılaştırılır.

Adım 20 — Gizlilik ve Kanıt Manifestini Oluştur

Tam kanıt güvenli depoda; anonim kanıt kimlikleri kamu kaydında tutulur.

Adım 21 — Kamu Seçim Kartını Yayımla

Panel kaynakları, katılım hunisi, yanlılıklar ve ağırlık etkisi görünür hâle getirilir.

54. GEREKLİ KANIT

Hedef nüfus kaydı Örnekleme çerçevesi Panel sağlayıcıları Katılımcı kaynakları Seçim statüsü Olasılıklı veya olasılıksız panel sınıfı Panel kayıt yöntemi Davet metni Uygunluk kuralları Katılımcı ülke doğrulaması Dil yeterlilik kaydı AI ürün erişim kaydı Plan ve kullanıcı yüzeyi Benzersiz insan kontrolü Kaynaklar arası tekrar kontrolü Marka aşinalığı AI kullanım sıklığı Denetlenen varlıkla ilişki AI sağlayıcısıyla ilişki Katılımcı ödülü Bonus koşulları Görev atama yöntemi Rastgelelik ve bloklama kaydı Ürün ve istem sırası Panel koşullanması Önceki sınama katılımı Davet edilen kişi sayısı Katılmayı kabul eden kişi sayısı Göreve başlayan kişi sayısı Tamamlayan kişi sayısı Geçerli gözlem sayısı Yanıtlamama nedenleri Panel kaybı Geçersizlik nedenleri Sahtecilik sinyalleri

İnceleme ve itiraz kayıtları Tasarım ağırlıkları Yanıtlamama ayarları Kalibrasyon değişkenleri Propensity modeli, varsa Ağırlık kırpma kaydı Etkin örneklem büyüklüğü Duyarlılık sonuçları Panel sağlayıcı etkisi Ağırlıksız ve ağırlıklı skorlar Rıza kaydı Veri saklama ve erişim politikası Redaksiyon kuralları Kamu kanıt manifesti Sorumlu insan veya kurum

55. DENETİM KONTROL LİSTESİ

Katılımcılar hangi kaynaklardan geldi? Her kaynak olasılıklı mı, gönüllü mü, açık çağrı mı? Panel içi rastgelelik dünya nüfusu rastgeleliği gibi sunuldu mu? Denetlenen kurum katılımcı seçimine müdahale etti mi? Müşteri ve çalışan katılımcılar ayrı mı? AI sağlayıcısı veya rakip ilişkileri kaydedildi mi? Ülke uygunluğu nasıl doğrulandı? Dil yeterliliği gerçek kullanım düzeyinde mi? Doğru AI ürünü, plan ve arayüz kullanıldı mı? Aynı kişi kaç hesap veya panelde bulundu? Kaynaklar arası tekrar kontrolü yapıldı mı? Davet metni sonucu yönlendirdi mi? Ödül AI cevabının içeriğine bağlı mı? Hız teşviki protokol kalitesini düşürdü mü? Görev ataması rastgele veya önceden kurallı mı? Katılımcı ürün veya istemi kendisi seçti mi?

Ürün ve istem sırası dengelendi mi? Panel koşullanması kaydedildi mi? Katılımcılar görev sonuçlarını paylaştı mı? Davet–kabul–başlangıç–tamamlama–geçerlilik hunisi görünür mü? Yanıt vermeyenler bilinen özelliklerde farklı mı? Panel kaybı zaman trendini etkiliyor mu? Geçerlilik kararı AI cevabı puanlanmadan önce mi verildi? Olumsuz veya Critical cevaplar daha sık geçersiz sayıldı mı? Sahtecilik tespiti çoklu sinyal taşıyor mu? VPN veya ortak cihaz otomatik dışlama yarattı mı? Katılımcıya itiraz yolu verildi mi? Ağırlık değişkenleri sonuçtan önce tanımlandı mı? Olasılıksız panel ağırlıkları doğru etiketlendi mi? Hedef toplamlar güvenilir mi? Ağırlıksız ve ağırlıklı sonuç birlikte veriliyor mu? Etkin örneklem büyüklüğü açık mı? Ağırlık kırpmanın etkisi gösterildi mi?

Hiç gözlenmeyen gruplar ağırlıkla temsil edilmiş gibi gösterildi mi? Model tabanlı tahmin doğrudan gözlem gibi sunuldu mu? Katılımcı ekran görüntülerinde kişisel bilgi var mı? Küçük ülke kullanıcıları yeniden tanımlanabilir mi? Hesap şifresi veya özel sohbet talep edildi mi? Katılımcı rızası açık ve anlaşılır mı? Katılımcı seçim ve ağırlıklandırma kaydının hesap verebilir sahibi belli mi?

56. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Profesyonel araştırma paneli kullanıyorsak neden hâlâ yanlılıktan söz ediyoruz?”

Profesyonel panel veri kalitesini ve saha yönetimini güçlendirebilir. Panel üyeleri yine:

• gönüllü,
• araştırmaya alışkın,
• teknoloji kullanımında farklı

olabilir. Profesyonellik yanlılığı yok etmez. Ölçüp yönetmeyi kolaylaştırır.

İtiraz 2 — “Yaş ve ülke kotaları tuttuysa panel neden temsili sayılmasın?”

Katılımcılar:

• AI kullanım sıklığı,
• cihaz,
• plan,
• marka aşinalığı,
• dijital beceri

bakımından farklı olabilir. Kotalar yalnız kapsadıkları alanları dengeler.

İtiraz 3 — “Ağırlıklandırma bu farkları düzeltemez mi?”

Ölçülen ve güvenilir hedef toplamı bulunan farkları kısmen düzeltebilir. Hiç gözlenmeyen veya ölçülmeyen farkları kesin biçimde düzeltemez.

İtiraz 4 — “Kurumun müşterileri gerçek kullanıcılardır; neden ana panele alınmasınlar?”

Alınabilirler. Fakat genel nüfusta taşıdıkları gerçek payla ve ilişki statüsüyle alınmalıdırlar. Müşteri listesinin tamamı genel nüfus paneli değildir.

İtiraz 5 — “Katılımcının markayı bilmesi neden sorun olsun?”

Sorun olmak zorunda değildir. Doğal kullanıcı nüfusunun bir parçasıdır. Aşinalık dengesizse sonuç farklılaşabilir. Bu nedenle kaydedilir ve gerekirse analiz edilir.

İtiraz 6 — “Yoğun AI kullanıcıları görevi daha doğru yapıyor; onları seçmek daha iyi değil mi?”

Protokol testi için daha kolay olabilir. Fakat gerçek nüfus deneyimini ölçmek istiyorsak deneyimsiz kullanıcılar da önemlidir. Görev aşırı karmaşıksa ölçüm aracı düzeltilmelidir. Nüfus basitleştirilmemelidir.

İtiraz 7 — “Katılımcı cevabı yanlış anladıysa gözlemi neden koruyalım?”

Katılımcının görevi cevabı değerlendirmek değil, doğru biçimde yakalamaktır. Capture protokolünü doğru uyguladıysa AI yanıtı korunur. Maddi değerlendirme hakemlerin görevidir.

İtiraz 8 — “Sahte katılımı önlemek için katı otomatik filtre kullanmak gerekmez mi?”

Otomatik filtre yararlıdır. Tek başına nihai karar olursa gerçek kullanıcıları haksız dışlayabilir. Çoklu sinyal ve orantılı insan incelemesi gerekir.

İtiraz 9 — “Bin ekran görüntüsünü kamuya açmazsak yöntem kanıtlanmış sayılır mı?”

Tam ekran görüntüleri:

• kişisel bilgi,
• hesap güvenliği,
• yeniden tanımlama

riski taşıyabilir. Kamuya:

• redakte edilmiş örnekler,
• gözlem manifesti,
• bütünlük hash’leri,
• bağımsız denetim erişimi

sunulabilir. Kanıtlanabilirlik kimlik ifşası değildir.

İtiraz 10 — “Ağırlıklı skor ham skordan çok farklıysa hangisi doğrudur?”

İki sonuç farklı sorulara cevap verir. Ham skor paneldeki insanların sonucudur. Ağırlıklı skor hedef nüfus tahminidir. Büyük fark panel kompozisyonunun önemli olduğunu gösterir. Her ikisi de yayımlanmalıdır.

İtiraz 11 — “Etkin örneklem 349’a düştüyse 1.000 gözlem toplamak boşa mı gitti?”

Hayır. Fazla örneklenen gruplar alt grup analizini güçlendirmiş olabilir. Ancak küresel tahminin hassasiyeti ham 1.000 sayısından daha düşük olabilir. Bu gerçeği saklamamak gerekir.

İtiraz 12 — “Olasılıksız panel hiç kullanılamaz mı?”

Kullanılabilir. Özellikle:

• pilot,
• düşük kaynaklı dil,
• küçük ülke,
• hızlı keşif

için değerlidir. Doğru statü ve sınırlamalarla yayımlanmalıdır.

İtiraz 13 — “Katılımcıların tamamını yeni insanlardan seçmek daha güvenilir değil mi?”

Kesitsel nüfus tahmini için güçlü olabilir. Boylamsal değişimi ölçmek için tekrar kullanıcılar değerlidir. Yeni ve tekrar panel rolleri ayrı tutulmalıdır.

İtiraz 14 — “Bu kadar katılımcı verisi toplamak mahremiyet riskini artırmaz mı?”

Artırabilir. Bu nedenle:

• veri minimizasyonu,
• anonim kimlik,
• redaksiyon,
• erişim kontrolü,
• saklama süresi

protokolün zorunlu parçasıdır. Gereksiz bilgi toplanmamalıdır.

59. BÖLÜMÜN ORTAK HÜKMÜ

Bir GEO araştırmasında en kolay sayı:

1.000

olabilir. En zor soru ise şudur:

Hangi 1.000?

Aynı ülke ve yaş kotalarına sahip iki panel tamamen farklı sonuç üretebilir. Birinde:

• yoğun AI kullanıcıları,
• ücretli plan sahipleri,
• teknoloji çalışanları

çoğunluktadır. Diğerinde:

• seyrek kullanıcılar,
• mobil kullanıcılar,
• düşük dijital becerili kişiler

daha görünürdür. Her ikisi de 1.000 kişidir. Aynı nüfus değildir. Katılımcıların nereden geldiğini saklayıp yalnız ağırlıklı sonucu yayımlarsanız, ağırlıklandırmayı denetim yöntemi değil güven perdesi hâline getirirsiniz. Bir örneklemde hiç bulunmayan insanı ağırlıklandıramazsınız. Bir kullanıcının deneyimi yanlış olduğu için onu değiştiremezsiniz. Yanlış cevap, araştırmanın başarısızlığı değildir. Araştırmanın ölçmeye çalıştığı olaydır. Katılımcı cevabı doğru olduğu hâlde protokolü bozmuşsa kaydı koruyamazsınız. Doğru cevap, sahte gözlemi gerçek yapmaz. Bir kişiye daha çok ödeme yapabilirsiniz. Fakat istediğiniz cevabı üretmesi için değil. Bir ülkenin yaşam koşuluna uygun ödeme verebilirsiniz. Fakat katılımcının gönüllülüğünü satın alamazsınız. Bin ekran görüntüsü kanıt olabilir. Bin insanın kimliğini kamuya açmak zorunda değildir.

Kanıt bütünlüğü ile insan mahremiyeti birlikte korunabilir. Bu nedenle NOMOS’un sekizinci ölçüm yasası şudur:

Örneklemin gücü, kaç kişiden oluştuğu kadar bu kişilerin neden ve nasıl seçildiğiyle belirlenir.

Dokuzuncu yasası şudur:

Ağırlıklandırma, gözlenmiş nüfusu yeniden dengeler; gözlenmemiş insanı yaratmaz.

Onuncu yasası şudur:

Yanlış AI cevabı geçerli veri olabilir; doğru AI cevabı geçersiz veri olabilir.

On birinci yasası şudur:

Katılımcının ödülü, istenen sonucu bulmaya değil, gördüğü sonucu değiştirmeden kanıtlamaya verilmelidir.

On ikinci yasası şudur:

Kanıtlanabilirlik, katılımcının mahremiyetinden vazgeçmesini gerektirmez.

NOMOS’un Bölüm 8 Emri

Bana yalnız bin insan getirme. / Bu bin insanın hangi dünyadan geldiğini göster.

Gönüllü panelini rastgele nüfus; müşteri listesini genel kamu; çalışanı bağımsız kullanıcı yapma.

Ülke ve yaş kotaları tuttu diye ölçmediğin bütün farkların düzeldiğini sanma.

Bir kişiyi hesapları, cihazları, dilleri ve panel üyelikleri kadar çoğaltma.

Markayı sevenleri, markadan nefret edenleri ve markayı hiç bilmeyenleri aynı görünmez kutuya koyma.

Katılımcıya doğru cevabı bulması için değil, gördüğü ilk uygun cevabı değiştirmeden kaydetmesi için ödeme yap.

AI yanlış cevap verdiğinde kullanıcıyı değiştirme. / Kullanıcı protokolü bozduğunda cevabın doğru olmasına bakma.

Panelde hiç olmayan insanı ağırlıkla varmış gibi gösterme.

Ham sonucu saklama. / Ağırlıklı sonucu tek gerçek ilan etme. / Etkin örneklemini göster. / Hassasiyetini göster.

VPN kullananı sahte, ortak cihaz kullananı bot, yardımcı teknoloji kullananı otomasyon ilan etme.

Sahteciliği araştır. / Ama araştırmanın kendisini yeni bir dışlama yanlılığına dönüştürme.

Ekran görüntüsünü koru. / İnsanın adını, hesabını ve özel hayatını koru.

Önce nüfusu tanımla. / Sonra çerçeveyi göster. / Sonra kimi seçtiğini, kimin gelmediğini, kimin tamamlayamadığını ve kimi neden dışladığını açıkla. / Ve ancak bundan sonra skorun insanlık adına ne kadar konuşabileceğine karar ver.

Bölümün Son Cümlesi

GEO-1000’de bir katılımcı yalnız cevap taşıyan kişi değildir; hedef nüfustaki başka insanlar adına hangi ölçüde konuşabileceği, seçim yolu, ağırlığı, bağımsızlığı ve mahremiyetiyle birlikte kanıtlanması gereken insan birimidir.

Normatif Öz

Her GEO-1000 gözlemi hedef nüfus ve örnekleme çerçevesinden seçim, davet, rıza, görev ataması, tamamlama, protokol doğrulaması, dışlama ve nihai ağırlığa kadar denetlenebilir katılımcı seçim yolu taşımalıdır. Panel içindeki rastgele seçim, tam nüfus katılım mekanizması bunu desteklemedikçe küresel hedef nüfustan rastgele seçim olarak sunulamaz. Katılımcının seçilmesi, ödüllendirilmesi, doğrulanması, değiştirilmesi, dışlanması ve ağırlıklandırılması AI cevabının olumlu, olumsuz, doğru, yanlış, ret, Critical veya ticari bakımdan elverişli olmasına bağlı olamaz. Ağırlıklandırma gözlenen dengesizliği azaltabilir; örnekleme çerçevesinde hiç bulunmayan insanları gözlenmiş hâle getiremez.