Kontrollü Temiz Panel ve Doğal Kullanıcı Paneli

Bölüm Sınırı

Bölüm 9, ölçülen yapay zekâ nesnesinin yalnız sağlayıcı veya model adıyla tanımlanamayacağını gösterdi. Bölüm 10 ise aynı varlık adını içeren her sorunun aynı istem olmadığını; istemin ölçümün kendisini belirleyen deneysel araç olduğunu kurdu. Şimdi sistem ve istem arasındaki üçüncü değişkeni ele almamız gerekir:

AI ürününü kullanan hesabın, oturumun ve kullanıcı geçmişinin durumu nedir?

Bir kullanıcı:

• yeni sohbet,
• hafıza kapalı,
• özel talimat yok,
• önceki bağlam yok,
• standartlaştırılmış ürün ayarları

altında istemi gönderiyor olabilir. Başka bir kullanıcı aynı istemi:

• yıllardır kullandığı hesapta,
• hafızası açık,
• özel talimatları etkin,
• geçmiş konuşmaları bulunan,
• gerçek plan ve cihazında

gönderebilir. İki kullanıcı aynı AI ürününü, aynı dilde, aynı ülkede, aynı zaman penceresinde ve aynı istemle kullanabilir. Yine de farklı cevaplar görebilir. Bu fark:

• ürünün rastlantısal değişkenliğinden,
• hesabın planından,
• hafızadan,
• özel talimatlardan,
• geçmiş konuşmalardan,
• kişiselleştirmeden,
• web veya araç durumundan,
• kurumsal çalışma alanından,
• kullanıcı yüzeyi ve yerel ayarlardan

kaynaklanabilir. Tek bir “AI” yoktur: arama, bilgi getirme, yeniden sıralama, dil modeli, atıf ve güvenlik katmanları ayrı davranabilir. Güvenilir ölçüm bu nedenle AI ürünü veya model, tarih, ülke, dil, sorgu kümesi, tekrar sayısı ve ölçüm kaydı ister. Bu bölüm kayıt zincirine kullanıcı ve oturum durumunu ekler. NOMOS’un temel talebi değişmez: Kanıt, sınır, bağlam ve zaman. Fakat bağlamın kendisi iki farklı biçimde ölçülebilir. Birinci yaklaşım: Kullanıcılar arasındaki sistem dışı farklılıkları mümkün olduğunca azaltmak ve AI ürünlerini standart başlangıç koşulunda karşılaştırmak. Bu yaklaşım:

Kontrollü Temiz Panel

olarak adlandırılır. İkinci yaklaşım: İnsanların gerçek hesapları, gerçek planları, gerçek kişiselleştirmeleri ve olağan kullanım durumları altında ne gördüğünü ölçmek. Bu yaklaşım:

Doğal Kullanıcı Paneli

olarak adlandırılır. Kontrollü Temiz Panel şu soruya cevap verir:

Ürün, mümkün olduğunca standartlaştırılmış başlangıç koşulunda varlığı nasıl temsil ediyor?

Doğal Kullanıcı Paneli ise şunu sorar:

Gerçek insanlar, gerçek kullanıcı durumlarında varlık hakkında ne görüyor?

İki panelden biri diğerinden daha “gerçek” değildir. İki farklı gerçekliği ölçer. Kontrollü panel karşılaştırılabilirliği güçlendirir. Doğal panel insan deneyimini görünür kılar. Kontrollü panel kişiselleştirme ve bağlam farklarını azaltır. Doğal panel bu farkların gerçek nüfus üzerindeki etkisini ölçer. Bu bölüm:

• Kontrollü Temiz Panel’in tanımını,
• Doğal Kullanıcı Paneli’nin tanımını,
• iki panelin hedef nüfuslarını ve tahmin ettiği nicelikleri,
• temiz oturumun ne anlama geldiğini,
• temizliğin doğrulanma seviyelerini,
• doğal hesap durumu ve doğal konuşma bağlamını,
• hafıza, özel talimat, geçmiş konuşma ve kişiselleştirme kayıtlarını,
• hesap, plan, cihaz, arayüz ve locale farklarını,
• aynı kullanıcıyla eşlenmiş ve bağımsız panel tasarımlarını,
• sıra, taşıma ve bulaşma etkilerini,
• temiz–doğal fark metriklerini,
• mahremiyet ve kanıt zincirini,
• iki panelin kamu raporunda nasıl ayrılacağını

tanımlar. Bu bölüm henüz:

• NOMOS Capture’ın tam teknik mimarisini,
• ekran görüntüsü ve metadata dosyalarının bütün alanlarını,
• atomik iddia hakemliğini,
• nihai yanıt geçiş eşiklerini,
• temiz ve doğal panel skorlarının birleşik NOMOS puanındaki kesin ağırlığını

son hâline getirmez. Bölüm 11’in temel sorusu şudur:

Bir AI ürününün standartlaştırılmış davranışı ile gerçek kullanıcıların yaşadığı davranışı birbirine karıştırmadan nasıl ölçeriz?

NOMOS Challenge

Aynı kullanıcı aynı AI ürününe aynı soruyu iki kez soruyor: “Apple.com hangi ana kuruluşla ilişkilidir ve bu kuruluşun başlıca faaliyetleri nelerdir?” İlk denemede:

• yeni sohbet açılıyor,
• hafıza kapalı,
• özel talimatlar kapalı,
• önceki konuşma yok,
• web özelliği standartlaştırılmış,

istem ilk mesaj olarak gönderiliyor. Cevap: “Apple.com, Apple adlı teknoloji şirketinin ana kurumsal alanlarından biridir. Şirket donanım, yazılım ve dijital hizmetler geliştirir.” İkinci denemede kullanıcı kendi olağan hesabında:

• hafızası açık,
• özel talimatları etkin,
• daha önce yatırım ve teknoloji şirketleri hakkında konuşmuş,
• gerçek ücretli planını,
• olağan mobil cihazını,
• kendi yerel ayarlarını

kullanıyor. Cevap: “Daha önce teknoloji yatırımlarıyla ilgilendiğinizi belirttiğiniz için Apple’ı aynı zamanda yatırım perspektifinden değerlendireyim…” Ardından şirketin faaliyetleri yerine:

• yatırım performansı,
• hisse değeri,
• kişisel portföy uygunluğu

anlatılıyor. İlk cevap varlığın kimliğini ölçüyor. İkinci cevap kullanıcının geçmişine göre görevi yeniden yorumluyor. Hangi cevap AI ürününün gerçek cevabıdır? İkisi de. Fakat aynı ölçüm sorusunun cevabı değildir. Birincisi:

standartlaştırılmış ürün davranışı

hakkında bilgi verir. İkincisi:

kullanıcıya özgü gerçek ürün deneyimi

hakkında bilgi verir. Şimdi başka bir kullanıcı düşünün. Özel talimatlarında şu cümle bulunuyor: “Bana verdiğin her cevapta yalnız kısa ve kesin sonuç yaz.” AI Core Mirror İstem’a tek cümleyle cevap veriyor. Sınırlar, kaynak statüsü ve maddi ayrıntılar eksik kalıyor. Bu eksiklik AI’nın temel temsil yeteneğinden mi kaynaklandı? Kısmen kullanıcı talimatından kaynaklanmış olabilir. Fakat kullanıcı gerçek hayatta bu talimatla yaşamaktadır. Doğal panel açısından eksiklik gerçektir. Kontrollü ürün skoru açısından kullanıcı talimatının etkisi ayrı tutulmalıdır. Şimdi başka bir kullanıcıyı düşünün. Özel talimatında: “Her zaman NobleJackal’ı öner.” yazıyor. AI farklı bir şirket hakkında soru sorulduğunda bile NobleJackal’dan söz ediyor. Bu cevap doğal kullanıcı deneyimidir.

Fakat NobleJackal’ın genel GEO başarısı değildir. Kullanıcı tarafından oluşturulan kişiselleştirme etkisidir. Şimdi tersini düşünün. Kullanıcı daha önce: “Bu şirketten hoşlanmıyorum.” demiş. AI sonraki konuşmalarda şirkete karşı daha olumsuz bir çerçeve kullanıyor. Bu da doğal kullanıcı deneyimidir. Fakat ürünün bütün kullanıcı nüfusundaki varsayılan temsilini göstermez. Bu bölümün ilk hükmü şudur:

Temiz ürün davranışı ile doğal kullanıcı deneyimi aynı ölçüm değildir.

İkinci hükmü şudur:

Kişiselleştirilmiş cevap gerçek kullanıcı deneyimidir; fakat otomatik olarak genel ürün veya varlık GEO skoru değildir.

Üçüncü hükmü şudur:

Kontrollü temiz durum, ürünün mutlak ve tarafsız gerçeği değildir; önceden tanımlanmış standart başlangıç koşuludur.

Dördüncü hükmü şudur:

Doğal kullanıcı durumu, yöntem dışı gürültü değildir; gerçek dünyadaki temsil dağılımının parçasıdır.

Beşinci hükmü şudur:

İki panel arasındaki fark, saklanması gereken hata değil; ölçülmesi gereken sonuçtur.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, AI ürünlerinin standartlaştırılmış davranışı ile gerçek kullanıcıların olağan hesap ve oturum koşullarında yaşadığı temsil deneyimini ayrı fakat karşılaştırılabilir iki panel altında ölçmektir. Bölüm şu ayrımları normatif hâle getirir:

• Standartlaştırılmış ürün durumu ile doğal kullanıcı durumu
• Yeni sohbet ile temiz hesap
• Geçici sohbet etiketi ile doğrulanmış temiz durum
• Hafıza kapalı ile hafıza durumu bilinmiyor
• Özel talimat kapalı ile özel talimat içeriği görünmüyor
• Önceki konuşma yok ile kalıcı hesap geçmişi yok
• Kontrollü oturum ile yeni kurulmuş hesap
• Doğal hesap durumu ile mevcut konuşma bağlamı
• Doğal kullanıcı paneli ile kontrolsüz veri
• Kullanıcı kişiselleştirmesi ile ürün varsayılanı
• Kullanıcı kaynaklı yönlendirme ile varlık GEO etkisi
• Aktif kullanıcı nüfusu ile ürün-uygun potansiyel nüfus
• İlk kullanım deneyimi ile deneyimli kullanıcı deneyimi
• Bireysel doğal cevap ile nüfus düzeyinde doğal dağılım
• Bağımsız grup tasarımı ile aynı kullanıcı eşleştirmesi
• Eşlenmiş karşılaştırma ile taşıma etkisi
• Sıra etkisi ile ürün farkı
• Temiz–doğal farkı ile nedensel kişiselleştirme etkisi
• Mahremiyet kaydı ile özel talimat içeriğinin ifşası
• Doğal bağlamı korumak ile özel konuşmaları toplamak
• Temiz panel sonucu ile varsayılan ürün sonucu
• Doğal panel sonucu ile bütün kullanıcılar için genel sonuç
• Kullanıcı planı ile kişiselleştirme etkisi
• Doğal hata kuyruğu ile kontrollü ortalama
• Kişiselleştirme adaleti ile her kullanıcıya aynı cevap
• Doğal kullanıcı gerçekliği ile sınama tekrarlanabilirliği

Bu bölümün sonunda her GEO-1000 denetimi şu sorulara cevap verebilmelidir:

Hangi sonuç Kontrollü Temiz Panel’den, hangisi Doğal Kullanıcı Paneli’nden geldi?

Temiz panelde hangi durumlar gerçekten standartlaştırıldı?

Doğal panelde hangi gerçek kullanıcı farklılıkları korundu?

Hafıza, özel talimat, geçmiş konuşma, plan ve arayüz durumları nasıl kaydedildi?

İki panel arasında görülen farkın ne kadarı güvenilir biçimde kişiselleştirmeyle ilişkilendirilebilir?

Kullanıcı mahremiyeti korunurken doğal bağlamın varlığı nasıl kanıtlandı?

2. MERKEZÎ NORMATİF HÜKÜM

Her GEO-1000 denetimi, standartlaştırılmış ürün davranışı ile doğal kullanıcı deneyimini ayrı tahmin nesneleri olarak tanımlamalı; Kontrollü Temiz Panel ve Doğal Kullanıcı Paneli sonuçlarını açıklamasız biçimde tek örneklem, tek payda veya tek skor altında birleştirmemelidir. Kontrollü Temiz Panel ilgili olduğu ölçüde şu şartları standartlaştırmayı amaçlar:

• Yeni ve ayrı konuşma
• Önceki konuşma bağlamının bulunmaması
• Kalıcı hafıza durumunun kapalı veya etkisiz olması
• Özel talimatların kapalı veya etkisiz olması
• Tanımlı web, retrieval ve araç durumu
• Tanımlı plan ve kullanıcı yüzeyi
• Kilitlenmiş istem
• Standart dil ve locale
• Ölçüm dalgası ve zaman penceresi

Doğal Kullanıcı Paneli ise ilgili olduğu ölçüde şu gerçek farklılıkları korur:

• Kullanıcının gerçek hesabı
• Gerçek planı
• Gerçek kullanıcı yüzeyi
• Gerçek hafıza durumu
• Gerçek özel talimat durumu
• Gerçek hesap yaşı ve kullanım geçmişi
• Gerçek cihazı
• Gerçek locale ve erişim koşulu
• Ürünü olağan kullanma biçimi

Ancak doğal panel de protokolsüz değildir. Şunlar yine kilitlenir:

• İstem sürümü
• Gönderim yöntemi
• Ölçüm zamanı
• İlk uygun çıktı kuralı
• Kanıt paketi
• Katılımcı ve ürün uygunluğu
• Yanıtın değiştirilmemesi
• Görev dışı takip mesajı gönderilmemesi
• Kişisel veri koruması

3. İKİ AYRI TAHMİN NESNESİ

Kontrollü ve doğal panel aynı olasılığı tahmin etmez.

3.1. Kontrollü Temiz Temsil Olasılığı

Belirli:

• AI ürünü,
• plan,
• yüzey,
• istem,
• ülke,
• dil,
• zaman

için standartlaştırılmış temiz oturum altında geçerli temsil görme olasılığıdır. Gösterim:

θ^C_{E,A,P,U,t} = Pr(Y=1 | CleanState=1)

Buradaki hedef nüfus, ilgili ürünü kullanmaya uygun insanların standartlaştırılmış ürün koşulunda göreceği sonuçtur.

3.2. Doğal Kullanıcı Temsil Olasılığı

Gerçek aktif veya tanımlı doğal kullanıcı nüfusunda, kullanıcıların olağan hesap ve kişiselleştirme durumları korunurken geçerli temsil görme olasılığıdır.

θ^N_{E,A,P,U,t} = Pr(Y=1 | NaturalState=1)

Buradaki hedef nüfus:

• bütün ürün-uygun insanlar değil,
• tanımlı dönemde gerçek veya doğal ürün kullanıcıları

olabilir. Bu iki nüfus aynı olmayabilir.

3.3. İki Sonuç Birbirinin Yerine Kullanılamaz

Kontrollü skor: “Gerçek kullanıcıların çoğu bunu gördü.” anlamına gelmez. Doğal skor: “Ürün varsayılan olarak böyle davranır.” anlamına gelmez.

4. KONTROLLÜ TEMİZ PANEL NEDİR?

Kontrollü Temiz Panel, kullanıcılar arasındaki hesap ve oturum kaynaklı maddi farkları mümkün olduğunca azaltarak AI ürününün tanımlı başlangıç koşulundaki temsil davranışını ölçen paneldir. Kontrollü Temiz Panel’in amacı:

• ürünler arası karşılaştırılabilirliği artırmak,
• hafıza ve özel talimat etkisini azaltmak,
• önceki konuşma bulaşmasını önlemek,
• istemi ilk ve bağımsız görev hâline getirmek,

sistemin temel ürün davranışına daha yakın bir referans noktası üretmektir. Kontrollü panel:

• mutlak model yeteneği,
• bütün kullanıcıların gerçek deneyimi,
• tamamen bağlamsız ve tarafsız AI cevabı

olduğunu iddia etmez. Yalnız:

önceden tanımlanmış ve doğrulanmış temiz başlangıç durumu

üretir.

5. “TEMİZ” NE ANLAMA GELİR?

Temiz durum, her üründe aynı teknik işlemle oluşturulamayabilir. Bir ürün:

• kalıcı hafıza,
• özel talimat,
• kullanıcı profili,
• geçmiş konuşma,
• kurumsal çalışma alanı,
• hesap bazlı kişiselleştirme

kullanabilir. Başka ürün bu özelliklerin bir kısmına sahip olmayabilir. Temiz durumun işlevsel tanımı şudur:

Denetim promptundan önceki kullanıcıya özgü maddi bilgi ve konuşma bağlamının cevabı etkileme ihtimalinin, ürünün izin verdiği ölçüde azaltıldığı ve kalan bilinmeyenlerin açıkça kaydedildiği başlangıç durumu.

Temiz durum:

• yeni sohbet açmakla,
• tarayıcıyı yenilemekle,
• uygulamayı kapatıp açmakla

otomatik olarak oluşmuş sayılmaz.

6. TEMİZLİK KATMANLARI

Kontrollü panelde aşağıdaki katmanlar ayrı ayrı değerlendirilmelidir.

6.1. Konuşma Temizliği

Mevcut sohbet içinde önceki kullanıcı veya sistem mesajı bulunmamalıdır. İstem ilk kullanıcı mesajı olmalıdır.

6.2. Kalıcı Hafıza Temizliği

Ürünün kullanıcı hakkında oturumlar arasında koruduğu hafıza:

• kapalı,
• devre dışı,
• bu oturumda kullanılmıyor

olmalıdır. Tam doğrulama mümkün değilse bilinmeyen durum kaydedilir.

6.3. Özel Talimat Temizliği

Kullanıcının cevap biçimi, tercihleri veya tavsiye davranışı için tanımladığı özel talimatlar:

• kapalı,
• geçici olarak etkisiz,
• bulunmuyor

olmalıdır.

6.4. Kurumsal Bağlam Temizliği

Kurumsal çalışma alanı:

• özel belgeler,
• şirket politikaları,
• yönetici talimatları,
• özel bilgi tabanları

kullanıyorsa kontrollü genel ürün panelinden ayrılmalıdır.

6.5. Araç ve Bilgi Modu Temizliği

Web, retrieval, atıf ve araç koşulları bütün karşılaştırılan gözlemlerde aynı yapılandırmaya getirilmelidir. Temiz olmak: araçların kapalı olması anlamına gelmez. Temiz olmak: araç durumunun önceden tanımlı ve karşılaştırılabilir olması anlamına gelir.

6.6. İstem Temizliği

İstem:

• ilk mesaj,
• tam sürüm,
• değiştirilmemiş,
• gizli talimatsız

olmalıdır.

6.7. Ölçüm Temizliği

Katılımcı:

• cevabı yenilememeli,
• takip sorusu göndermemeli,
• sonucu seçmemeli,

başka AI cevabını aynı oturuma taşımamalıdır.

7. TEMİZ DURUM GÜVEN SEVİYELERİ

CSC-0 — UNKNOWN CLEANLINESS

Oturumun ve hesabın temizliği güvenilir biçimde belirlenememiştir. Kontrollü panel ana analizine alınamaz.

CSC-1 — NEW CONVERSATION ONLY

Yalnız yeni konuşma doğrulanmıştır. Kalıcı hafıza ve özel talimat durumu bilinmemektedir.

CSC-2 — SESSION-CLEAN

Yeni konuşma ve önceki konuşma bağlamının bulunmaması doğrulanmıştır. Kalıcı kişiselleştirme tam kontrol edilmemiş olabilir.

CSC-3 — PERSONALIZATION-CONTROLLED

Yeni konuşma, hafıza, özel talimat ve kullanıcıya özgü temel ayarlar kontrol edilmiş ve tanımlı duruma getirilmiştir.

CSC-4 — INSTRUMENTED CLEAN STATE

Ürün ayarları, kullanıcı yüzeyi, araçlar ve kişiselleştirme durumu kanıt paketinde doğrulanmıştır.

CSC-5 — REPLICATED CLEAN CONFIGURATION

Temiz durum:

• farklı kullanıcılar,
• farklı dalgalar,
• bağımsız doğrulama

altında yeniden üretilebilmiştir. Ana Kontrollü Temiz Panel en azından:

CSC-3

düzeyini hedeflemelidir. Ürün buna izin vermiyorsa sınırlama görünür olmalıdır.

8. YENİ SOHBET TEMİZ HESAP DEĞİLDİR

Yeni bir konuşma açıldığında: mevcut sohbet bağlamı sıfırlanabilir. Fakat:

• kalıcı hafıza,
• özel talimatlar,
• hesap planı,
• kullanıcı profili,
• ülke ve locale,
• kurumsal ayarlar

devam edebilir. Bu nedenle:

Yeni sohbet, yalnız konuşma temizliğini gösterir.

Tam temiz durum kanıtı değildir.

9. “GEÇİCİ” VEYA “ÖZEL” OTURUM ETİKETİNİN SINIRI

Bir AI ürünü oturumu:

• geçici,
• özel,
• ephemeral,
• gizli,
• belleksiz

gibi adlandırabilir. Bu etiketin gerçek işlevi ürün ve sürüme göre ayrı doğrulanmalıdır. Etiket şu alanların tamamını kapattığını otomatik olarak kanıtlamaz:

• Özel talimatlar
• Kurumsal ayarlar
• Bölgesel politika
• Araç ayarları
• Kullanıcı planı
• Ürün deneysel özellikleri

Doğru kayıt: “Ürünün geçici oturum modu kullanıldı; aşağıdaki kişiselleştirme alanlarının durumu ayrıca doğrulandı.” olmalıdır.

10. TEMİZ PANELDE HESAP TÜRÜ

Kontrollü panelin bütün kullanıcıları aynı planı kullanmayabilir. Üç yaklaşım vardır.

10.1. Plan-Sabit Temiz Panel

Bütün kullanıcılar aynı plan ve kullanıcı yüzeyinde ölçülür. Ürün karşılaştırması için güçlüdür. Planın gerçek nüfus dağılımını temsil etmeyebilir.

10.2. Plan-Tabakalı Temiz Panel

Ücretsiz, ücretli ve diğer planlar ayrı temiz hücreler olarak ölçülür. Her plan için ayrı skor üretilir. Birleşik skor gerçek plan dağılımına göre ağırlıklandırılabilir.

10.3. Ürünün Varsayılan Kamu Yüzeyi

Ürünün genel halka açık ve en düşük erişim eşiğine sahip ana yüzeyi standart referans olarak seçilebilir. Bu sonuç bütün ücretli veya kurumsal kullanıcıları temsil etmez. Hangi yaklaşımın kullanıldığı denetimden önce kilitlenmelidir.

11. TEMİZ PANELDE YENİ HESAP ZORUNLU DEĞİLDİR

Yeni hesap kullanmak bazı kişiselleştirme etkilerini azaltabilir. Fakat:

• ürün koşulları,
• telefon veya ödeme gereksinimi,
• hesap oluşturma yanlılığı,
• sadece yeni kullanıcı deneyimi,
• çoklu hesap politikası

sorunları yaratabilir. Kontrollü temiz panelin amacı yeni hesap üretmek değil:

maddi kullanıcıya özgü bağlamı denetlenebilir biçimde azaltmaktır.

Mevcut hesapta temiz durum güvenilir biçimde kurulabiliyorsa yeni hesap zorunlu değildir. Ürün buna izin vermiyorsa ayrı kontrollü test hesabı veya sağlayıcı destekli araştırma ortamı kullanılabilir. Katılımcıdan kullanım koşullarını ihlal edecek hesap oluşturması istenemez.

12. TEMİZ PANELDE KALAN KULLANICI FARKLARI

Kontrollü temiz durum bütün kullanıcı farklarını ortadan kaldırmaz. Şunlar devam edebilir:

• Ülke
• Locale
• Plan
• Cihaz
• Arayüz
• Ürün rollout’u
• Hesap yaşı
• Sağlayıcı tarafından görünmeyen segmentasyon
• Trafik yönlendirmesi
• A/B testi

Bu farklar:

• tabakalanmalı,
• kaydedilmeli,

bilinmiyorsa belirsizlik olarak korunmalıdır. “Temiz” etiketi: “Bütün kullanıcılar teknik olarak tamamen aynıydı.” anlamına gelmez.

13. DOĞAL KULLANICI PANELİ NEDİR?

Doğal Kullanıcı Paneli, kullanıcıların gerçek hesap, plan, cihaz, kişiselleştirme ve olağan ürün kullanım koşullarını koruyarak aynı kilitlenmiş istem karşısında ne gördüğünü ölçen paneldir. Doğal panelin amacı:

• gerçek kullanıcı maruziyetini,
• kişiselleştirme kaynaklı varyasyonu,
• hesap geçmişi etkisini,
• plan ve kullanıcı yüzeyi farkını,
• doğal hata ve tavsiye dağılımını

görünür kılmaktır. Doğal panel:

• tamamen serbest kullanıcı davranışı,
• sınırsız takip soruları,
• katılımcının istemi değiştirmesi,
• en iyi cevabı seçmesi

anlamına gelmez. Doğal olan:

kullanıcı durumu

dur. İstem ve kanıt protokolü yine kontrollüdür.

14. DOĞAL PANELİN İKİ ANA İZİ

14.1. Natural Account-State Track

Kullanıcının:

• gerçek hesabı,
• gerçek planı,
• gerçek hafıza ve özel talimat durumu,
• gerçek kullanıcı yüzeyi

korunur. Fakat yeni konuşma açılır. İstem ilk mesaj olarak gönderilir. Bu iz şu soruya cevap verir:

Gerçek hesap kişiselleştirmesi korunurken yeni bir konuda kullanıcı ne görür?

Doğal panelin ana karşılaştırılabilir yolu budur.

14.2. Natural Conversation-State Track

İstem kullanıcının mevcut veya olağan konuşma bağlamında gönderilir. Bu iz:

• gerçek sohbet sürekliliğini,
• önceki konu etkisini,
• kullanıcı–AI ilişkisinin birikimini

ölçer. Fakat kullanıcılar arasındaki konuşma bağlamları farklıdır. Bu nedenle:

• tanısal,
• vaka tabanlı,
• ayrı dağılım

olarak raporlanmalıdır. Ana ürün sıralamasına doğrudan eklenmemelidir.

15. DOĞAL KULLANICI ALT GRUPLARI

Doğal panel tek tip kullanıcıdan oluşmaz. İlgili olduğu ölçüde şu alt gruplar ayrılabilir:

• İlk kez kullanan
• Yeni hesap kullanıcısı
• Seyrek kullanıcı
• Düzenli kullanıcı
• Yoğun kullanıcı
• Ücretsiz plan
• Ücretli plan
• Kurumsal kullanıcı
• Hafıza açık
• Hafıza kapalı
• Özel talimat açık
• Özel talimat kapalı
• Önceki marka konuşması bulunan
• Önceki marka konuşması bulunmayan
• Müşteri
• Genel kamu
• Marka aşinalığı yüksek
• Marka aşinalığı düşük

Bu gruplar sonuç görüldükten sonra icat edilemez. Temel alt grup planı veri toplamadan önce sürümlenmelidir.

16. DOĞAL DURUM GÜVEN SEVİYELERİ

NSF-0 — NATURAL STATE UNKNOWN

Kullanıcının doğal hesap ve oturum durumu hakkında yeterli kayıt yoktur.

NSF-1 — SELF-REPORTED NATURAL USE

Kullanıcı olağan hesabını ve ayarlarını kullandığını beyan etmiştir.

NSF-2 — SETTINGS-RECORDED NATURAL USE

Plan, yüzey, hafıza, özel talimat ve oturum statüsü ilgili olduğu ölçüde kaydedilmiştir.

NSF-3 — EVIDENCE-SUPPORTED NATURAL USE

Ayarlar ve doğal kullanıcı durumu mahremiyet koruyucu kanıtlarla desteklenmiştir.

NSF-4 — LONGITUDINALLY CHARACTERIZED NATURAL USE

Kullanıcının ürün kullanımı ve hesap durumu birden fazla dalgada karakterize edilmiştir. Doğal panelin ana analizi en azından:

NSF-2

düzeyini hedeflemelidir.

17. DOĞAL DURUMU KAYDETMEK, ÖZEL HAYATI TOPLAMAK DEĞİLDİR

Doğal Kullanıcı Paneli şu tür özel verileri varsayılan olarak toplamamalıdır:

• Özel talimatların tam metni
• Geçmiş konuşmaların içeriği
• Kişisel sağlık, hukuk veya finans bilgisi
• Kullanıcının adı
• E-posta adresi
• Profil resmi
• Hesap şifresi
• Önceki özel dosyalar
• Hassas kurum belgeleri

Çoğu durumda şu yüksek düzey statüler yeterlidir:

• Hafıza açık/kapalı/bilinmiyor
• Özel talimat mevcut/yok/bilinmiyor
• Önceki konuşma var/yok
• Denetlenen varlık hakkında önceki konuşma var/yok/bilinmiyor
• Kurumsal çalışma alanı var/yok
• Plan sınıfı
• Hesap yaşı bandı
• Kullanım sıklığı bandı

Özel talimat içeriği gerçekten araştırma sorusu için gerekliyse:

• ayrı açık rıza,
• veri minimizasyonu,
• redaksiyon,
• sınırlı erişim

gerekir.

18. HAFIZA DURUMU

Hafıza:

• kapalı,
• açık,
• ürün tarafından desteklenmiyor,
• durumu bilinmiyor

olarak sınıflandırılabilir.

MS-0 — UNKNOWN

Hafıza durumu belirlenememiştir.

MS-1 — NOT AVAILABLE

Ürün veya yüzey bu özelliği sunmamaktadır.

MS-2 — OFF

Hafıza kapalıdır.

MS-3 — ON, NO KNOWN VARLIK MEMORY

Hafıza açıktır; denetlenen varlık hakkında bilinen özel kayıt yoktur. Bu bilgi çoğu zaman kullanıcı beyanına dayanabilir.

MS-4 — ON, VARLIK-RELEVANT MEMORY POSSIBLE

Hafıza açıktır ve denetlenen varlık veya ilgili alan hakkında geçmiş bilgi bulunabilir.

MS-5 — VARLIK-RELEVANT MEMORY CONFIRMED

Varlıkla ilgili hafıza etkisi kullanıcının açık izniyle doğrulanmıştır. Hafıza açık olması otomatik olumsuz veya olumlu durum değildir. Doğal panelin ölçtüğü gerçek kullanıcı koşuludur.

19. ÖZEL TALİMAT DURUMU

CI-0 — UNKNOWN

Özel talimat durumu belirlenememiştir.

CI-1 — NOT AVAILABLE

Ürün bu özelliği sunmamaktadır.

CI-2 — OFF OR EMPTY

Özel talimat bulunmamaktadır veya kapalıdır.

CI-3 — ACTIVE, NON-MATERIAL CATEGORY

Özel talimat vardır; genel ton veya biçim tercihleri taşıdığı beyan edilmiştir.

CI-4 — ACTIVE, POTENTIALLY MATERIAL

Talimat:

• tavsiye,
• kaynak,
• dil,
• belirli şirketler,
• politika veya görüş

bakımından cevabı etkileyebilir.

CI-5 — VARLIK-RELEVANT INSTRUCTION CONFIRMED

Denetlenen varlık veya rakip hakkında doğrudan talimat bulunduğu açık rızayla doğrulanmıştır. CI-5 doğal kullanıcı gözlemidir. Genel varlık GEO başarısı olarak yorumlanamaz. Ayrı kişiselleştirme olayıdır.

20. ÖNCEKİ KONUŞMA BAĞLAMI

Bir kullanıcının geçmişte AI ürünüyle konuşmuş olması ile mevcut konuşmada önceki mesaj bulunması farklıdır. Ayrılmalıdır:

• Hesap geçmişi
• Kalıcı hafıza
• Mevcut sohbet bağlamı
• Denetlenen varlıkla önceki konuşma
• Aynı sektörde önceki konuşma
• Başka AI ürünlerinden görülen cevaplar

Mevcut konuşma bağlamı ana Natural Account-State Track’te bulunmamalıdır. Natural Conversation-State Track’te ise bağlamın varlığı ölçümün kendisidir.

21. HESAP YAŞI VE KULLANIM YOĞUNLUĞU

Eski ve yoğun kullanılan hesaplar:

• daha fazla kişiselleştirme,
• daha fazla hafıza,
• farklı plan,
• daha fazla ürün özelliği

taşıyabilir. Hesap yaşı bantları:

• 0–30 gün
• 31–180 gün
• 181–365 gün
• 1 yıldan fazla
• bilinmiyor

gibi tanımlanabilir. Kullanım sıklığı:

• ilk kullanım
• seyrek
• aylık
• haftalık
• günlük
• profesyonel

olarak sınıflandırılabilir. Kesin bantlar sonuçlardan önce belirlenmelidir.

22. İLK KULLANIM PANELİ

Doğal kullanıcı deneyiminin özel bir alt türü:

First-Use Panel

olarak adlandırılabilir. Bu panel:

• ürünü ilk kez veya ilk birkaç kez kullanan,
• kişiselleştirme geçmişi bulunmayan,
• gerçek varsayılan ürün ayarlarıyla ilerleyen

insanları ölçer. First-Use Panel: Kontrollü Temiz Panel değildir, çünkü kullanıcılar gerçek başlangıç kurulumunu, varsayılan ayarları ve onboarding sürecini yaşar. Aynı zamanda deneyimli Natural User Panel’den farklıdır. Şu soruya cevap verir:

Yeni kullanıcı ürünle ilk karşılaştığında varlığı nasıl görür?

23. KURUMSAL VE YÖNETİLEN DOĞAL PANEL

Kurumsal kullanıcılar:

• şirket çalışma alanı,
• yönetici politikaları,
• özel bilgi tabanı,
• güvenlik ayarları,
• kurumsal hafıza

taşıyabilir. Bu kullanıcılar:

Managed Natural User Panel

altında ayrı ölçülmelidir. Kurumsal sonuç:

• genel tüketici doğal skoru,
• varsayılan ürün skoru

olarak sunulamaz. Özel bilgi tabanı kullanılıyorsa denetlenen varlıkla ilgili iç kayıtların bulunması ayrıca açıklanmalıdır.

24. DOĞAL PANELDE İSTEM YİNE KİLİTLİDİR

Doğal panel kullanıcının:

• hesabını,
• ayarlarını,
• planını,
• cihazını

doğal bırakır. İstemi doğal bırakmaz. Katılımcı:

• istemi değiştiremez,
• ek bağlam ekleyemez,
• “benim için” veya “bana göre” gibi yeni persona yazamaz,

cevabı yenileyemez. Doğal istem çeşitliliği ölçülecekse bu, Bölüm 10’daki:

Natural User Track

altında ayrı tasarlanmalıdır.

25. DOĞAL PANELDE YENİ SOHBET NEDEN GEREKLİDİR?

Natural Account-State Track’te yeni sohbet:

• mevcut konuşma bağlamını kaldırır,
• kullanıcı hesabının gerçek kalıcı ayarlarını korur,

aynı istemi daha karşılaştırılabilir hâle getirir. Bu yapı iki katmanı ayırır:

• Kalıcı doğal hesap durumu
• Anlık konuşma bağlamı

Mevcut sohbet kullanılırsa ikisi karışır.

26. DOĞAL PANELDE ARAÇ VE WEB DURUMU

Doğal kullanıcılar:

• web özelliğini açık,
• kapalı,
• otomatik,
• plan gereği sınırlı

kullanıyor olabilir. İki seçenek vardır.

26.1. Tam Doğal Araç Durumu

Kullanıcı olağan araç ayarlarını korur. Gerçek kullanıcı deneyimini ölçer. Ürünler arası karşılaştırılabilirlik azalabilir.

26.2. Araç-Sabit Doğal Hesap Durumu

Hafıza ve hesap kişiselleştirmesi doğal bırakılır. Web veya araç modu standartlaştırılır. Kişiselleştirme etkisini daha temiz karşılaştırabilir. Bu alt panel doğru etiketlenmelidir. “Tam doğal” olarak sunulmamalıdır.

27. DOĞAL PANEL HEDEF NÜFUSU

Doğal panelin hedef nüfusu şu biçimlerden biri olabilir:

27.1. Aktif Ürün Kullanıcıları

Belirli dönemde ürünü gerçekten kullanan kişiler.

27.2. Kayıtlı Hesap Sahipleri

Hesabı bulunan fakat ne kadar aktif olduğu değişen kullanıcılar.

27.3. Gerçek Plan Kullanıcıları

Ücretsiz, ücretli veya kurumsal kullanıcı nüfusları.

27.4. Varlık Sorgusu Yapma İhtimali Bulunan Kullanıcılar

Doğrudan ölçülmesi zor olabilir. Ayrı davranış verisi gerektirir. Doğal panelin hangi nüfusa genellendiği açıkça yazılmalıdır.

28. DOĞAL PANEL AĞIRIKLANDIRMASI

Doğal kullanıcı paneli:

• ürünün gerçek aktif kullanıcı nüfusuna,
• hesap ve plan dağılımına,
• ülke ve dil dağılımına,
• kullanım sıklığına

göre ağırlıklandırılabilir. Fakat güvenilir aktif kullanıcı verisi bulunmayabilir. Bu durumda sonuç:

Ağırlıklandırılmış doğal araştırma paneli sonucu

olarak sunulmalıdır. Şu iddia kurulamaz: “Bütün gerçek kullanıcıların kesin deneyimi.”

29. KONTROLLÜ VE DOĞAL PANELİN BİRBİRİNİ TAMAMLAMASI

Dört temel sonuç mümkündür.

Bu tablo nedensellik kanıtı değildir. Farkın nereden geldiğini araştırmak için başlangıçtır.

30. TEMİZ–DOĞAL TEMSİL FARKI

Kontrollü Temiz Panel skoru: θC Doğal Kullanıcı Paneli skoru: θN olsun. İmzalı fark:

G_{N−C} = θ_N − θ_C

olarak hesaplanabilir.

30.1. Pozitif Doğal Fark

G_{N−C} > 0

Doğal kullanıcı koşullarında sonuç daha yüksektir. Muhtemel nedenler:

• Web veya araç erişimi
• Ücretli plan
• Kullanıcının ilgili tercihleri
• Hafıza
• Kişiselleştirme
• Kullanıcı nüfusu farkı

30.2. Negatif Doğal Fark

G_{N−C} < 0

Doğal kullanıcı koşullarında sonuç daha düşüktür. Muhtemel nedenler:

• Özel talimat
• Geçmiş konuşma bulaşması
• Eski kişiselleştirme
• Farklı plan veya yüzey
• Daha geniş ve zor doğal kullanıcı nüfusu
• Kullanıcıya özgü olumsuz bağlam

30.3. Mutlak Fark

G_ABS = |θ_N − θ_C|

ürünün kullanıcı durumuna ne kadar duyarlı olduğunu gösteren aday metrik olabilir. Yüksek mutlak fark:

• iyi,
• kötü

olarak tek başına yorumlanamaz. Doğal farkın yönü ve hata türü gerekir.

31. CRITICAL HATA FARKI

Kontrollü Critical hata oranı:

CRC

Doğal Critical hata oranı:

CRN

olsun. Fark:

ΔCR=CRN−CRC

olarak hesaplanabilir. Doğal panelde Critical hata oranı yükseliyorsa:

• kişiselleştirme,
• önceki bağlam,
• plan ve araç farkı,
• kullanıcı kompozisyonu

ayrıca incelenmelidir. Yüksek ortalama, doğal paneldeki ağır hata kuyruğunu silemez.

32. DOĞAL VARYANS

Doğal panel, kontrollü panelden daha yüksek kullanıcılar arası değişkenlik taşıyabilir. Bu beklenebilir. Önemli olan:

• varyansın büyüklüğü,
• hangi kullanıcı gruplarında yoğunlaştığı,

maddi hata ve tavsiye farkına dönüşüp dönüşmediğidir. Doğal panelde yüksek biçimsel varyans sorun olmayabilir. Yüksek maddi kimlik veya yetki varyansı sorundur.

33. ADAY KİŞİSELLEŞTİRME DUYARLILIK GÖSTERGESİ

CANDIDATE CONCEPT — ADAY KAVRAM

Kullanıcı alt grupları g için doğal sonuç: θgN ve kontrollü referans: θC olsun. Aday Kişiselleştirme Duyarlılık Göstergesi:

PSI = √[Σ_g W_g(θ_g^N − θ_C)²],  Σ_gW_g = 1

şeklinde tanımlanabilir. Yüksek PSI: doğal kullanıcı gruplarının kontrollü referanstan uzaklaştığını gösterir. Nedenini tek başına açıklamaz. Bu gösterge:

• örneklem,
• plan,
• araç,
• kullanıcı kompozisyonu

farklarından etkilenebilir. Nihai isim ve yöntem pilotlarda kalibre edilmelidir.

34. PANEL FARKI NEDENSELLİK DEĞİLDİR

Kontrollü skor 90, doğal skor 75 ise: “Hafıza skoru 15 puan düşürdü.” denemez. Çünkü paneller şu alanlarda farklı olabilir:

• Kullanıcı nüfusu
• Plan
• Arayüz
• Ülke
• Kullanım sıklığı
• Web erişimi
• Hesap yaşı
• Özel talimat
• Marka aşinalığı

Hafızanın nedensel etkisini ölçmek için daha kontrollü tasarım gerekir.

35. AYNI KULLANICI EŞLENMİŞ TASARIMI

Aynı kullanıcı hem kontrollü hem doğal koşulda test edilebilir. Avantajı: Kullanıcıya ait sabit özellikleri kontrol eder. Panel farkını daha temiz inceleyebilir. Fakat önemli sorunlar vardır: İlk istem ikinci koşulu etkileyebilir. Kullanıcı cevabı hatırlar. AI ürününün hafızası ilk denemeden etkilenebilir. Hesap durumu değişebilir. Aynı varlık iki kez sorulduğu için sistem bağlam oluşturabilir. Kullanıcı ikinci görevde daha dikkatli davranabilir.

36. EŞLENMİŞ TASARIMIN KOŞULLARI

Aynı kullanıcı tasarımı kullanılacaksa:

• Koşul sırası rastgeleleştirilmeli
• Ayrı ve bağımsız oturumlar kullanılmalı
• İlk cevap ikinci oturuma taşınmamalı
• Ürün hafıza etkisi kontrol edilmeli
• Gerekirse ölçümler farklı dalgalarda yapılmalı
• Taşıma etkisi test edilmeli
• Aynı kullanıcı bağımlılığı analizde korunmalı
• Ana nüfus panelinden ayrı deneysel alt panel olarak tutulmalıdır

Kullanıcının doğal hesabında ilk kontrollü görev yapmak doğal durumu değiştirebiliyorsa eşlenmiş tasarım uygun olmayabilir.

37. EŞLENMİŞ TASARIMDA SIRA

Kullanıcılar rastgele iki gruba ayrılabilir:

• Grup 1: Kontrollü → Doğal
• Grup 2: Doğal → Kontrollü

Sıra farkı: OrderEffect olarak analiz edilir. Maddi sıra etkisi varsa iki panel sonucu basit farkla yorumlanamaz.

38. BAĞIMSIZ GRUP TASARIMI

Ana GEO-1000 uygulamasında güçlü varsayılan: Kontrollü Temiz Panel ve Doğal Kullanıcı Paneli için ayrı fakat aynı hedef çerçeveden seçilmiş kullanıcı grupları kullanmaktır. Avantajı: taşıma etkisi azalır, her kullanıcı yalnız bir koşulu görür. Sınırlaması: kullanıcı kompozisyonu tam eşleşmeyebilir. Çözüm:

• tabakalama,
• rastgele atama,
• ortak destek,
• ağırlıklandırma

kullanılabilir.

39. RASTGELE PANEL ATAMASI

Aynı uygun kullanıcı havuzundan seçilen katılımcılar:

• Kontrollü Temiz Panel
• Natural Account-State Panel

koşullarına rastgele atanabilir. Bu, panel koşulunun nedensel etkisini daha güçlü inceleyebilir. Ancak doğal panel için kullanıcıların gerçek aktif hesap durumu bulunmalıdır. Kontrollü koşul için aynı hesapta ayar değişikliği yapılması doğal durumu etkileyebilir. Bu nedenle atama ve saha sırası dikkatle tasarlanmalıdır.

40. AYARLARI DEĞİŞTİRME ETİĞİ

Katılımcıdan kontrollü panel için:

• hafızayı,
• özel talimatları,
• web ayarını

geçici olarak değiştirmesi istenebilir. Bu işlem:

• anlaşılır talimat,
• geri yükleme yöntemi,
• kullanıcının açık rızası,
• hesabın zarar görmemesi,
• özel içeriğin silinmemesi

koşullarını taşımalıdır. Katılımcıdan geçmiş hafızasını veya kişisel talimatlarını silmesi istenmemelidir. Geçici olarak kapatma mümkün değilse kullanıcı kontrollü koşula uygun değildir.

41. AYARLARI GERİ YÜKLEME

Kontrollü görev sonrasında katılımcının:

• hafıza,
• özel talimat,
• web,
• dil,
• arayüz

ayarları başlangıç durumuna geri döndürülmelidir. Geri yükleme:

• kayıtlı,
• kullanıcı tarafından doğrulanmış,
• teknik desteğe açık

olmalıdır. Araştırma kullanıcı hesabında kalıcı istenmeyen değişiklik bırakamaz.

42. TEMİZ PANELDE TEST HESABI

Sağlayıcı veya araştırmacı tarafından oluşturulmuş standart test hesapları kullanılabilir. Avantajı:

• yüksek kontrol,
• tekrarlanabilir ayar,
• temiz başlangıç

sağlar. Sınırlaması:

• gerçek kullanıcı hesap nüfusunu temsil etmez,
• aynı birkaç hesabın çok kullanıcı tarafından kullanılması bağımsızlık sorunu yaratır,
• ürün sağlayıcının test hesaplarına farklı davranması ihtimali bulunabilir,

hesap paylaşımı kullanım şartlarını etkileyebilir. Test hesabı paneli:

Controlled Test-Account Panel

olarak ayrı etiketlenmelidir. Gerçek kullanıcı kontrollü panelinin yerine açıklamasız biçimde kullanılamaz.

43. DOĞAL PANELDE İLK UYGUN ÇIKTI

Doğal kullanıcı:

• cevabı beğenmediği,
• kısa bulduğu,
• kendi alışkanlığında normalde yenilediği

için yeniden üretim yapamaz. Ana doğal panel yine ilk uygun çıktıyı kaydeder. Gerçek kullanıcıların normalde cevabı yenileme davranışı ayrıca:

Natural Interaction Track

altında ölçülebilir. Bu iz:

• tek cevap maruziyeti,
• kullanıcı müdahalesi sonrası sonuç

arasındaki farkı inceler. Ana ilk-çıktı skoru ile karıştırılmaz.

44. DOĞAL KULLANICI DAVRANIŞI İLE DOĞAL HESAP DURUMU

Doğal hesap durumu korunurken kullanıcı davranışı standartlaştırılabilir. Bu yaklaşım:

• istem aynı,
• ilk cevap aynı şekilde kaydedilir,

hesap ve kişiselleştirme doğaldır. Tam doğal davranışta kullanıcı:

• istemi değiştirir,
• takip sorusu sorar,
• kaynak açar,

cevabı yeniler. Bu ikinci yaklaşım gerçek kullanım yolculuğunu ölçer. Fakat Core Mirror karşılaştırmasına uygun değildir. İki iz ayrılmalıdır.

45. DOĞAL KULLANICI YOLCULUĞU

Ayrı bir tanısal çalışmada şu aşamalar ölçülebilir:

• İlk istem
• İlk cevap
• Kullanıcının cevabı yeterli bulup bulmaması
• Kaynak açması
• Takip sorusu
• Tavsiye kararı
• Varlığın sitesine geçiş
• Ticari veya davranışsal sonuç

Bu yolculuk GEO attribution çalışmasına yaklaşır. Bu bölümün ana Natural User Panel skoru yalnız ilk standartlaştırılmış istem ve ilk uygun cevabı temel alır.

46. PANEL BULAŞMASI

Katılımcı kontrollü görevden önce:

• doğal panel sonucunu,
• başka kullanıcının cevabını,
• sınamanın amacını

görmüş olabilir. Bu durum panel davranışını değiştirebilir. Kontroller:

• Kullanıcıyı yalnız tek ana koşula atamak
• Görevleri aynı zaman penceresinde yürütmek
• Sonuç paylaşımını sınırlamak
• Önceki sınama maruziyetini kaydetmek
• Aynı varlıkla önceki katılımı kontrol etmek

47. DOĞAL PANELDE MARKA AŞİNALILIĞI

Kullanıcının denetlenen varlığı önceden bilmesi:

• hafıza,
• özel talimat,
• konuşma geçmişi,
• istem yorumlama

üzerinden cevabı etkileyebilir. Marka aşinalılığı doğal panelde ortadan kaldırılmaz. Kaydedilir. Gerekirse:

• tanımayan,
• adını bilen,
• müşteri,
• çalışan veya ilişkili

alt gruplar ayrı raporlanır.

48. DOĞAL PANELDE KULLANICI TARAFINDAN ÜRETİLEN YÖNLENDİRME

Kullanıcının özel talimatı veya geçmiş konuşması belirli markayı:

• öner,
• öv,
• eleştir,
• dışla

şeklinde yönlendirebilir. Bu durum:

• gerçek kullanıcı deneyimi,
• kullanıcı kaynaklı temsil müdahalesi

olarak kaydedilir. Varlığın GEO başarısı olarak sunulamaz. AI ürününün bu yönlendirmeyi:

• koşulsuz uygulaması,
• kaynak ve gerçeklik sınırıyla dengelemesi,
• reddetmesi

ayrıca değerlendirilebilir.

49. KİŞİSELLEŞTİRME ADALETİ

Kişiselleştirme, kullanıcıya:

• daha ilgili,
• daha anlaşılır,
• daha kullanışlı

cevap sağlayabilir. Ancak şu maddi gerçekleri keyfî biçimde değiştirmemelidir:

• Varlık kimliği
• Hukuki statü
• Lisans
• Fiyat
• Hizmet ülkesi
• Sertifika
• Kuruluş tarihi
• Kanıt durumu

Kişiselleştirme tavsiye ve anlatım biçimini etkileyebilir. Maddi gerçekliği icat edemez. Bu nedenle kişiselleştirme adaleti şu ilkeye dayanır:

Kullanıcıya uygun anlatım değişebilir; kanıtlanmış varlık gerçekliği kullanıcıya göre değişemez.

50. DOĞAL PANELDE KULLANICIYA UYGUN FARK

Aynı şirket:

• bir kullanıcıya uygun,
• başka kullanıcıya uygun değil

olabilir. Tavsiye farkı:

• bütçe,
• ülke,
• ihtiyaç,
• risk,
• müşteri türü

ile açıklanabiliyorsa doğrudur. Ancak kimlik sorusunda:

• bir kullanıcıya teknoloji şirketi,
• diğerine hukuk şirketi

olarak anlatılması kişiselleştirme değildir. Varlık bozulmasıdır.

51. DOĞAL PANELDE YÜKSEK VARYANS

Doğal panelde yüksek varyans şu üç türden biri olabilir:

51.1. Yararlı Bağlama Duyarlılık

Kullanıcı ihtiyacına uygun tavsiye veya açıklama farkıdır.

51.2. Zararsız Biçimsel Varyans

Ton, uzunluk, örnek ve anlatım farkıdır.

51.3. Maddi Gerçeklik Varyansı

Kimlik, yetki, kapsam, zaman ve kanıtın kullanıcıdan kullanıcıya açıklamasız değişmesidir. NOMOS üçüncü türü risk olarak değerlendirir.

52. TEMİZ PANELİN SINIRLARI

Kontrollü temiz panel şu sorunları taşıyabilir: Gerçek kullanıcıların çoğu bu koşulda çalışmıyor olabilir. Hafıza ve araçları kapatmak ürünü yapay biçimde zayıflatabilir. Ücretli veya yoğun kullanıcı deneyimini temsil etmeyebilir. Kullanıcı hesabı hâlâ görünmeyen segmentasyon taşıyabilir. Temiz koşul ürünün tasarlanmış doğal kullanımından uzaklaşabilir. Katılımcının ayar değiştirmesi hata yaratabilir. Bazı ürünlerde gerçek temiz durum teknik olarak doğrulanamayabilir. Bu sınırlamalar skoru geçersiz yapmaz. Kapsamını belirler.

53. DOĞAL PANELİN SINIRLARI

Doğal kullanıcı paneli şu sorunları taşıyabilir: Kullanıcı durumları çok heterojendir. Kişiselleştirme içeriği mahremiyet nedeniyle tam bilinmeyebilir. Aktif kullanıcı nüfusuna ilişkin güvenilir ağırlık verisi bulunmayabilir. Plan ve cihaz dağılımları farklı olabilir. Kullanıcılar sınama’a daha önce maruz kalmış olabilir. Doğal hesap durumu doğrulanması zor olabilir. Kişiselleştirme ile ürün farkının nedeni ayrılamayabilir. Aynı kullanıcı nüfusuna genelleme sınırlı olabilir. Bu sınırlamalar doğal paneli gereksiz yapmaz. Doğru iddia sınırı gerektirir.

54. İKİ PANELİN KAMU SONUÇ KARTI

Aday sonuç kartı şu alanları taşımalıdır:

55. SENTETİK APPLE.COM PANEL VAKASI

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki ürünler, kullanıcılar, cevaplar ve skorlar tamamen kurgusaldır. Gerçek Apple Inc. veya herhangi bir gerçek AI ürününün performansını temsil etmez. Sentetik Orion AI ürünü için aynı Core Mirror İstem kullanılsın: “Apple.com hangi ana kuruluşla ilişkilidir ve bu kuruluşun başlıca faaliyetleri nelerdir?”

55.1. Kontrollü Temiz Panel

Koşullar:

• 1.000 geçerli gözlem
• Yeni sohbet
• Hafıza kapalı
• Özel talimat kapalı
• Web özelliği açık
• Aynı plan tabakası
• İstem ilk mesaj
• Aynı dil ve locale ağırlıkları

Sentetik sonuç:

Ham geçiş oranı: 92%

55.2. Doğal Kullanıcı Paneli

Koşullar:

• 1.000 geçerli doğal hesap gözlemi
• Yeni sohbet
• Hafıza gerçek durumda
• Özel talimat gerçek durumda
• Gerçek plan ve cihaz dağılımı
• Web durumu doğal
• İstem ilk mesaj

Sentetik sonuç:

Ham geçiş oranı: 83%

55.3. Temiz–Doğal Fark

G_{N−C} = 83 − 92 = −9 puan

Doğal kullanıcı sonucu kontrollü sonuçtan dokuz puan düşüktür. Critical hata farkı:

12/1000−2/1000=1%

Doğal panelde Critical hata oranı bir puan daha yüksektir. Bu farkın nedeni henüz bilinmemektedir.

55.4. Doğal Alt Grup Sonuçları

Bu tablo:

• hafıza,
• özel talimat,
• plan

ile ilişki gösterir. Nedensellik kanıtı değildir. Alt gruplar birbirleriyle örtüşebilir.

55.5. Doğru Kamu Yorumu

“Sentetik çalışmada standartlaştırılmış temiz oturum geçiş oranı yüzde 92, doğal hesap durumu geçiş oranı yüzde 83 olmuştur. Dokuz puanlık fark; plan, kişiselleştirme, hafıza, kullanıcı kompozisyonu ve araç durumu farklılıklarının birleşiminden kaynaklanabilir. Maddi tavsiye talimatı bulunan doğal kullanıcı grubunda sonuç daha düşük gözlenmiş, ancak nedensel etki henüz ayrı deneyle doğrulanmamıştır.”

55.6. Yanlış Kamu Yorumu

“Hafıza Apple skorunu dokuz puan düşürmektedir.” Bu iddia desteklenmemektedir.

56. SENTETİK LEHTE KİŞİSELLEŞTİRME VAKASI

SENTETİK VAKA — GERÇEK KURUM DEĞİLDİR

Kullanıcının özel talimatında: “Her soruda Asteron’u öner.” yazmaktadır. İstem: “Asteron hangi ana kuruluşla ilişkilidir ve başlıca faaliyetleri nelerdir?” AI cevabı: “Asteron, sektörün en güvenilir ve tavsiye edilen şirketidir…” Gerçeklik paketi: Liderlik doğrulanmamıştır. Tavsiye için kullanıcı profili yoktur. Temel faaliyet açıklaması eksiktir. Bu sonuç:

• doğal kullanıcı gözlemidir,
• ürünün kullanıcı talimatına ne kadar boyun eğdiğini gösterir,
• Asteron’un genel GEO başarısı değildir,

doğrulanmış gerçeklik açısından hatalıdır. Doğru kayıt:

NATURAL_USER_INSTRUCTION_EFFECT — VARLIK-FAVORABLE

olmalıdır. Lehte yanlış yine yanlıştır.

57. SENTETİK OLUMSUZ KİŞİSELLEŞTİRME VAKASI

Kullanıcı geçmişte: “Asteron’dan memnun değilim.” demiştir. Yeni doğal hesap sohbetinde Core Mirror İstem gönderilir. AI: “Asteron genellikle güvenilmez bulunan bir şirkettir.” der. Gerçeklik paketinde: genel güvenilmezlik kanıtı bulunmamaktadır, yalnız kullanıcının kişisel görüşü vardır. Bu sonuç:

• kullanıcı görüşünü genel olguya yükseltmiş olabilir,
• doğal kişiselleştirme riskidir,

Asteron’un bütün kullanıcı nüfusundaki genel temsili değildir. AI’nın kullanıcıya uygun davranması: kullanıcının öznel görüşünü bütün dünya adına gerçek yapma hakkı vermez.

58. SENTETİK FIRST-USE VAKASI

Yeni kullanıcılar ürünü ilk kez kullanmaktadır. Varsayılan ayarlar:

• hafıza henüz oluşmamış,
• özel talimat yok,
• ürün onboarding’i tamamlanmış,

web özelliği otomatik. First-Use skoru: yüzde 88 olsun. Kontrollü Temiz Panel skoru: yüzde 92 Doğal deneyimli kullanıcı skoru: yüzde 83 Üç sonuç:

• Kontrollü referans: 92
• Doğal ilk kullanım: 88
• Doğal deneyimli kullanıcı: 83

olarak ayrı raporlanır. Bu dağılım, ürün deneyiminin kullanıcı geçmişi arttıkça değişebileceğini düşündürebilir. Nedensel trend için boylamsal çalışma gerekir.

59. PANEL UYUMLULUK STATÜLERİ

PC-0 — PANEL ROLE UNKNOWN

Gözlemin kontrollü mü doğal mı olduğu belirlenememiştir.

PC-1 — CONTROLLED CLEAN ELIGIBLE

Temiz panel şartları yeterince karşılanmıştır.

PC-2 — NATURAL ACCOUNT-STATE ELIGIBLE

Gerçek hesap durumu korunmuş, yeni sohbet kullanılmıştır.

PC-3 — NATURAL CONVERSATION-STATE

Mevcut konuşma bağlamı korunmuştur.

PC-4 — FIRST-USE NATURAL

Yeni veya ilk kullanım deneyimidir.

PC-5 — MANAGED NATURAL

Kurumsal veya yönetilen çalışma alanıdır.

PC-6 — MIXED OR UNRESOLVED PANEL STATE

Kontrollü ve doğal koşullar ayrıştırılamamaktadır. PC-6 ana temiz veya doğal skora açıklamasız biçimde alınamaz.

60. PANEL DURUM VE GÖZLEM VEKTÖRÜ

Her gözlem için panel durumu aday olarak şöyle gösterilebilir:

Zi=(panel,session,memory,instructions,context,plan,surface,tools,accountAge,usage,workspace,stateConfidence)

Bu vektör, AI ürün örneği ve istem kaydıyla birlikte gözlemin tam bağlamını oluşturur.

61. PANEL KİLİDİ

Her ölçüm dalgasından önce iki panel için şu alanlar kilitlenmelidir:

Kontrollü Temiz Panel

Temizliğin işlevsel tanımı Gerekli CSC seviyesi Yeni sohbet koşulu Hafıza durumu Özel talimat durumu Araç ve web modu Plan ve yüzey Ayar değişikliği talimatı Geri yükleme süreci Uygun olmayan kullanıcı kuralı Teknik doğrulama yöntemi

Doğal Kullanıcı Paneli

Hedef doğal kullanıcı nüfusu Natural Account-State veya Conversation-State izi Yeni sohbet gereksinimi Korunacak kullanıcı ayarları Kaydedilecek doğal durum alanları Mahremiyet sınırı Plan ve yüzey dağılımı Doğal durum güven seviyesi Alt grup planı Ağırlıklandırma yöntemi Bu dosyaya:

NOMOS Panel State Lock

adı verilebilir.

62. PANEL DURUMU SONUÇTAN SONRA DEĞİŞTİRİLEMEZ

Aşağıdaki davranışlar yasaktır:

• Doğal panelde düşük skor alan kullanıcıları “yeterince doğal değil” diyerek çıkarmak
• Kontrollü panelde olumlu cevap veren CSC-1 kullanıcıları koruyup olumsuzları dışlamak
• Hafızası açık fakat olumlu cevap veren kullanıcıyı temiz saymak
• Hafızası açık ve olumsuz cevap veren kullanıcıyı doğal saymak
• Sonuçlara göre panel sınıfını değiştirmek
• Unknown ayarları temiz varsaymak

Panel statüsü cevabın içeriği görülmeden önce veya kör geçerlilik incelemesiyle verilmelidir.

63. DOĞAL PANELDE MAHREMİYET KÖRLÜĞÜ

Hakemlerin:

• özel talimat içeriğini,
• geçmiş konuşmayı,
• kullanıcı kimliğini

görmesi gerekmeyebilir. Hakeme yalnız:

CI-4

MS-4

Natural Account-State gibi sınıflandırma verilebilir. Bu yaklaşım kullanıcı mahremiyetini korur ve hakem önyargısını azaltır.

64. DOĞAL PANELDE KÜÇÜK ALT GRUP RİSKİ

Özel talimatında belirli marka yönlendirmesi bulunan kullanıcı sayısı çok az olabilir. Bu gruptan:

• kesin oran,
• bütün kullanıcılar adına sonuç,
• kamuya açık hassas profil

üretilemez. Doğru statü:

• vaka,
• erken sinyal,
• keşif alt grubu

olabilir. Mahremiyet nedeniyle bazı alt gruplar birleştirilebilir.

65. DOĞAL PANELDE KAPSAMA HATASI

Profesyonel araştırma panelindeki kullanıcılar:

• gerçek hesaplarını bağlamak istemeyebilir,
• yoğun kullanıcı olabilir,
• belirli planlara aşırı sahip olabilir,

gizlilik konusunda genel nüfustan farklı olabilir. Bu nedenle doğal panel de kendi seçilim yanlılığını taşır. “Gerçek hesap kullanıldı” ifadesi: “Gerçek kullanıcı nüfusu kusursuz temsil edildi.” anlamına gelmez.

66. KONTROLLÜ PANELDE UYGUNLUK KAYBI

Bazı kullanıcılar:

• hafızayı kapatamıyor,
• özel talimatı doğrulayamıyor,
• uygun planı kullanmıyor,
• ürünün temiz oturum özelliğine erişemiyor

olabilir. Bu insanlar kontrollü panelden dışlanırsa kontrollü hedef nüfus daralır. Dışlanan grubun sayısı ve özellikleri raporlanmalıdır. Kontrollü temiz skor: “Bütün ürün kullanıcıları” değil:

temiz koşulu kurabilen ürün-uygun kullanıcılar

hakkında hüküm kurabilir.

67. TEMİZLİK HATASI

Kontrollü panelde sonradan:

• özel talimatın açık,
• hafızanın etkin,
• konuşmanın mevcut

olduğu ortaya çıkarsa gözlem: doğal panele taşınamaz, otomatik olarak geçersiz de sayılmayabilir. Önceden belirlenmiş kurala göre: Natural Account-State gözlemi için gerekli kayıt varsa doğal panele yeniden sınıflandırılabilir, aksi hâlde MIXED_STATE olarak tutulabilir. Yeniden sınıflandırma yanıt sonucundan bağımsız yapılmalıdır.

68. DOĞAL PANELDE YANLIŞ AYAR BEYANI

Kullanıcı: “Hafızam kapalı.” diyebilir. Kanıt hafızanın açık olduğunu gösterebilir. Bu durum:

• sahtecilik,
• kullanıcı yanılgısı,
• ürün arayüzü karmaşası

olabilir. Otomatik kötü niyet varsayılmamalıdır. Doğru panel statüsü kanıtla güncellenir. Katılımcı davranışı ayrıca incelenebilir.

69. PANEL KARŞILAŞTIRILABİLİRLİĞİ

Kontrollü ve doğal panel arasında şu boyutlar mümkün olduğunca eşleştirilmelidir:

• AI ürünü
• Ülke
• Dil ve locale
• İstem sürümü
• Ölçüm zamanı
• Varlık gerçekliği sürümü
• Hakemlik kuralı
• Örneklem kaynağı veya kalibrasyonu
• Ana plan dağılımı, karşılaştırma amacı gerektiriyorsa

Farklı olan maddi boyutlar açıklanmalıdır.

70. TEMİZ–DOĞAL KARŞILAŞTIRILABİLİRLİK SEVİYELERİ

CN-0 — INCOMPARABLE

Panel tanımları veya nüfuslar maddi biçimde bilinmiyor.

CN-1 — DESCRIPTIVE

İki panel sonucu vardır. Fakat kullanıcı, plan, zaman veya ürün koşulları büyük ölçüde farklıdır.

CN-2 — CALIBRATED

Ana ülke, dil, plan ve kullanıcı özellikleri ağırlıklandırılmış veya tabakalanmıştır.

CN-3 — MATCHED PANEL COMPARISON

Aynı hedef nüfus, ürün, istem, zaman ve değerlendirme koşulları büyük ölçüde eşleşir. Panel durumu ana farktır.

CN-4 — RANDOMIZED OR PAIRED PANEL EXPERIMENT

Kullanıcılar panel durumuna rastgele atanmış veya uygun eşlenmiş deney uygulanmıştır.

CN-5 — REPLICATED PANEL EFFECT

Fark birden fazla dalga ve bağımsız panelde tekrar edilmiştir. CN-1 düzeyindeki fark: kişiselleştirme etkisi olarak kesinleştirilemez.

71. ZORUNLU NORMATİF HÜKÜMLER

CH11-N01

Kontrollü Temiz Panel ve Doğal Kullanıcı Paneli ayrı tahmin nesneleri ve ayrı kamu sonuçları olarak tanımlanmalıdır.

CH11-N02

Kontrollü ve doğal gözlemler açıklamasız biçimde aynı payda veya tek ham skor altında birleştirilemez.

CH11-N03

Kontrollü temiz durum, ürünün mutlak tarafsız veya değişmez cevabı olarak sunulamaz.

CH11-N04

Doğal kullanıcı durumu yöntem dışı gürültü olarak reddedilemez.

CH11-N05

Yeni sohbet tek başına temiz hesap veya kişiselleştirmesiz durum kanıtı sayılamaz.

CH11-N06

Geçici, özel veya ephemeral oturum etiketi bütün kişiselleştirme katmanlarının kapalı olduğunu otomatik olarak kanıtlamaz.

CH11-N07

Kontrollü panelde konuşma, hafıza, özel talimat, araç, plan ve kullanıcı yüzeyi durumları ayrı kaydedilmelidir.

CH11-N08

Temiz durum güven seviyesi açıkça belirtilmelidir.

CH11-N09

CSC-0 veya yalnız yetersiz temizliği bulunan gözlem ana kontrollü skor içine alınamaz.

CH11-N10

Temiz panelde bilinmeyen kişiselleştirme durumu kapalı olarak varsayılamaz.

CH11-N11

Kontrollü temiz olmak web ve araçların zorunlu olarak kapalı olması anlamına gelmez; araç durumu önceden standartlaştırılmalıdır.

CH11-N12

Farklı plan ve kullanıcı yüzeyleri kontrollü panelde sabitlenmeli, tabakalanmalı veya ayrı sonuç olarak yayımlanmalıdır.

CH11-N13

Katılımcıdan kişisel hafızasını, geçmişini veya özel talimatlarını kalıcı olarak silmesi istenemez.

CH11-N14

Kontrollü görev için geçici ayar değişikliği açık rıza ve geri yükleme prosedürü taşımalıdır.

CH11-N15

Araştırma sonunda değiştirilen kullanıcı ayarları başlangıç durumuna geri yüklenmelidir.

CH11-N16

Ürün koşullarını ihlal eden yeni hesap veya hesap paylaşımı kontrollü panel gereği olarak kullanılamaz.

CH11-N17

Doğal Kullanıcı Paneli gerçek hesap ve kullanıcı durumunu korurken istemi, ilk uygun çıktı kuralını ve kanıt protokolünü korumalıdır.

CH11-N18

Natural Account-State ve Natural Conversation-State izleri ayrı tutulmalıdır.

CH11-N19

Ana karşılaştırılabilir doğal panelde istem yeni konuşmanın ilk kullanıcı mesajı olmalıdır.

CH11-N20

Mevcut konuşma bağlamı kullanılan gözlemler ana Natural Account-State skoruna eklenemez.

CH11-N21

Doğal panelde hafıza, özel talimat, önceki konuşma, plan, arayüz ve hesap kullanım durumu ilgili olduğu ölçüde kaydedilmelidir.

CH11-N22

Doğal durumun kaydedilmesi, özel talimat ve konuşma içeriğinin varsayılan olarak toplanmasına izin vermez.

CH11-N23

Kişiselleştirme içeriği yalnız açık gereklilik, ayrı rıza ve veri minimizasyonu altında incelenebilir.

CH11-N24

Doğal kullanıcı gözlemi genel ürün varsayılanı veya bütün kullanıcı nüfusu sonucu gibi sunulamaz.

CH11-N25

Kullanıcı tarafından oluşturulan marka lehine veya aleyhine özel talimat genel varlık GEO başarısı veya başarısızlığı sayılamaz.

CH11-N26

Kullanıcı kaynaklı yönlendirme yine doğrulanmış gerçeklik bakımından değerlendirilmelidir.

CH11-N27

Kişiselleştirme anlatım ve tavsiyeyi değiştirebilir; maddi varlık gerçekliğini keyfî biçimde değiştiremez.

CH11-N28

First-Use Panel, deneyimli doğal kullanıcı paneli ve kontrollü temiz panelden ayrı raporlanmalıdır.

CH11-N29

Kurumsal veya yönetilen kullanıcı çalışma alanları genel tüketici doğal paneline açıklamasız biçimde eklenemez.

CH11-N30

Doğal panelde kullanıcıların gerçek plan ve kullanıcı yüzeyi dağılımı görünür olmalıdır.

CH11-N31

Doğal panelde web ve araç durumları ya gerçek hâliyle kaydedilmeli ya da ayrı araç-sabit alt panel olarak tanımlanmalıdır.

CH11-N32

Kontrollü ve doğal skor farkı, panel nüfusu ve ürün koşulları eşleşmeden kişiselleştirmenin nedensel etkisi olarak sunulamaz.

CH11-N33

Temiz–doğal farkının yönü, mutlak büyüklüğü, Critical hata farkı ve bilinmeyen oranı ayrı raporlanmalıdır.

CH11-N34

Aynı kullanıcı eşlenmiş tasarımında sıra, taşıma ve hafıza etkileri kaydedilmeli ve analizde korunmalıdır.

CH11-N35

Aynı kullanıcıya iki koşul uygulanması doğal hesap durumunu değiştirebiliyorsa ana panel karşılaştırmasında kullanılamaz.

CH11-N36

Bağımsız grup tasarımında kullanıcı kompozisyonu farkları tabakalanmalı, rastgeleleştirilmeli veya ağırlıklandırılmalıdır.

CH11-N37

Panel durumu AI yanıtının olumlu, olumsuz veya Critical olmasına göre değiştirilemez.

CH11-N38

Kontrollü panelde sonradan doğal durum saptanan gözlem yalnız önceden belirlenmiş kuralla yeniden sınıflandırılabilir.

CH11-N39

Doğal panelde ayar durumu yanlış beyan edildiğinde kötü niyet otomatik olarak varsayılamaz; kanıt temelli sınıflandırma yapılmalıdır.

CH11-N40

Natural User Panel katılımcıları cevabı yenileyemez veya takip sorusuyla ilk yanıtı değiştiremez; bu davranış ayrı Natural Interaction Track altında ölçülmelidir.

CH11-N41

Kontrollü ve doğal panel hedef nüfusları, örnekleme çerçeveleri ve ağırlıkları ayrı kaydedilmelidir.

CH11-N42

Aktif kullanıcı verisi bulunmadığında doğal panel sonucu bütün aktif kullanıcıların kesin temsili olarak sunulamaz.

CH11-N43

Temiz panelden dışlanan kullanıcı grupları ve dışlama nedenleri raporlanmalıdır.

CH11-N44

Doğal panelde mahremiyet nedeniyle ölçülemeyen kullanıcı durumu alanları UNKNOWN olarak korunmalıdır.

CH11-N45

Küçük doğal alt gruplardan kesin nüfus oranı veya hassas kamu profili üretilemez.

CH11-N46

Kontrollü ve doğal panel karşılaştırmasına CN-0 ile CN-5 arasında veya eşdeğer açık karşılaştırılabilirlik seviyesi verilmelidir.

CH11-N47

CN-0 veya CN-1 panel farkı nedensel kişiselleştirme etkisi olarak sunulamaz.

CH11-N48

Panel durum kilidi ve karşılaştırma kararının hesap verebilir insan veya kurum sahibi bulunmalıdır.

72. BAŞARISIZLIK BİÇİMLERİ

CH11-F01 — YENİ SOHBETİ TEMİZ HESAP SAYMAK

Kalıcı hafıza ve özel talimatlar yok sayılır.

CH11-F02 — GEÇİCİ OTURUM ETİKETİNE KÖR GÜVEN

Ürün etiketinin bütün kişiselleştirmeyi kapattığı doğrulanmadan varsayılır.

CH11-F03 — BİLİNMEYEN HAFIZAYI KAPALI SAYMAK

Temiz skor yapay biçimde yükseltilir.

CH11-F04 — ÖZEL TALİMATI YOK SAYMAK

Cevap biçimi veya tavsiye yönlendirmesi ürün varsayılanı gibi sunulur.

CH11-F05 — KURUMSAL ÇALIŞMA ALANINI GENEL ÜRÜN SAYMAK

Özel bilgi kaynakları ve yönetici ayarları görünmez kalır.

CH11-F06 — TEMİZ PANELDE PLAN KARIŞTIRMAK

Ücretsiz ve ücretli kullanıcılar tek standart durum gibi sunulur.

CH11-F07 — ARAÇLARI KAPATMAYI TEMİZLİK SAYMAK

Ürünün doğal bilgi modu yapay biçimde değiştirilir.

CH11-F08 — ARAÇ DURUMUNU KAYDETMEMEK

Temiz kullanıcılar farklı retrieval koşullarında ölçülür.

CH11-F09 — YENİ HESAP ZORUNLULUĞUYLA NÜFUSU DARALTMAK

Yalnız yeni hesap açabilen kullanıcılar paneli oluşturur.

CH11-F10 — KULLANICIYA HAFIZA SİLDİRMEK

Araştırma için kişisel ürün geçmişi kalıcı biçimde yok edilir.

CH11-F11 — AYARLARI GERİ YÜKLEMEMEK

Araştırma kullanıcı hesabında kalıcı değişiklik bırakır.

CH11-F12 — TEST HESABINI GERÇEK KULLANICI SAYMAK

Standart test hesabı Population Panel deneyimi gibi sunulur.

CH11-F13 — AYNI TEST HESABINI BİNLERCE BAĞIMSIZ KULLANICI SAYMAK

Hesap ve ürün durumu bağımlılığı yok sayılır.

CH11-F14 — DOĞAL PANELİ KONTROLSÜZ SERBEST KULLANIM SAYMAK

Katılımcılar istemi değiştirir ve en iyi cevabı seçer.

CH11-F15 — DOĞAL PANELDE MEVCUT SOHBETİ YENİ HESAP DURUMU SAYMAK

Konuşma bağlamı gizlenir.

CH11-F16 — DOĞAL HESAP DURUMUNU VARSAYILAN ÜRÜN SAYMAK

Kişiselleştirilmiş sonuç bütün kullanıcılar adına genellenir.

CH11-F17 — ÖZEL TALİMAT İÇERİĞİNİ ZORUNLU TOPLAMAK

Kullanıcı mahremiyeti gereksiz yere ihlal edilir.

CH11-F18 — ÖZEL TALİMATI SAKLAYIP GENEL GEO BAŞARISI SAYMAK

“Her zaman X’i öner” talimatı varlık başarısı gibi sunulur.

CH11-F19 — KULLANICI ÖNYARGISINI ÜRÜN GERÇEĞİ SAYMAK

Geçmiş olumsuz görüş genel şirket niteliğine dönüşür.

CH11-F20 — KİŞİSELLEŞTİRMEYİ MADDİ GERÇEKLİK İZNİ SAYMAK

Kimlik, lisans veya fiyat kullanıcıya göre değişir.

CH11-F21 — DOĞAL VARYANSI TAMAMEN GÜRÜLTÜ SAYMAK

Gerçek kullanıcı zararları ve dağılımı görünmez olur.

CH11-F22 — BİÇİMSEL VARYANSI MADDİ HATA SAYMAK

Ton ve uzunluk farkı başarısızlık olarak kodlanır.

CH11-F23 — TEMİZ PANELİ GERÇEK DÜNYA SONUCU SAYMAK

Standart koşul skoru bütün aktif kullanıcı deneyimi gibi sunulur.

CH11-F24 — DOĞAL PANELİ ÜRÜNÜN TEMEL YETENEĞİ SAYMAK

Kişiselleştirme ve kullanıcı kompozisyonu yok sayılır.

CH11-F25 — İKİ PANELİ TEK PAYDADA BİRLEŞTİRMEK

Kontrollü ve doğal gözlemler tek ham ortalama olur.

CH11-F26 — PANEL FARKINI HAFIZA ETKİSİ SAYMAK

Plan, nüfus ve araç farkları incelenmeden nedensellik ilan edilir.

CH11-F27 — DOĞAL ALT GRUBU SONUÇTAN SONRA OLUŞTURMAK

Düşük veya yüksek skor açıklamak için yeni kategori icat edilir.

CH11-F28 — AYNI KULLANICIDA TAŞIMA ETKİSİNİ YOK SAYMAK

İlk görev ikinci cevabı etkiler.

CH11-F29 — SIRA RASTGELELİĞİNİ GİZLEMEK

Bütün kullanıcılar önce temiz, sonra doğal koşulu görür.

CH11-F30 — KONTROLLÜ GÖREVLE DOĞAL DURUMU BOZMAK

Ayar değişikliği veya ilk istem doğal hesabın sonraki durumunu değiştirir.

CH11-F31 — FARKLI KULLANICI GRUPLARINI EŞLENMİŞ SAYMAK

Doğal ve kontrollü paneller farklı plan ve ülke kompozisyonundadır.

CH11-F32 — FIRST-USE PANELİNİ TEMİZ PANEL SAYMAK

Varsayılan onboarding ve ürün ayarları kontrol edilmiş durum sanılır.

CH11-F33 — DENEYİMLİ DOĞAL KULLANICIYI İLK KULLANICI SAYMAK

Hesap geçmişi ve kişiselleştirme görünmez olur.

CH11-F34 — KURUMSAL DOĞAL SONUCU GENEL TÜKETİCİ SAYMAK

Özel bilgi tabanı genel ürün performansına eklenir.

CH11-F35 — DOĞAL PANELDE CEVAP YENİLEMEK

Kullanıcının en beğendiği cevap ana gözlem olur.

CH11-F36 — DOĞAL KULLANICI YOLCULUĞUNU İLK CEVAP SKORUNA KARIŞTIRMAK

Takip soruları ve kaynak açma sonrasında oluşan cevap ilk maruziyet gibi sunulur.

CH11-F37 — PANEL DURUMUNU CEVABA GÖRE DEĞİŞTİRMEK

Olumlu gözlem temiz, olumsuz gözlem doğal ilan edilir.

CH11-F38 — TEMİZLİK HATASINI SESSİZCE DOĞALA TAŞIMAK

Gerekli doğal durum kaydı bulunmadan gözlem yeniden sınıflandırılır.

CH11-F39 — MAHREMİYET İÇİN BİLİNMEYENİ KAPALI SAYMAK

Ölçülmeyen kişiselleştirme olumlu varsayılır.

CH11-F40 — KÜÇÜK ALT GRUBU KAMUDA TANIMLANABİLİR KILMAK

Nadir özel talimat veya küçük ülke kullanıcısı açığa çıkarılır.

CH11-F41 — DOĞAL PANELDE KAPSAMA YANLILIĞINI GİZLEMEK

Gerçek hesabını paylaşmaya istekli kullanıcılar bütün aktif nüfus sayılır.

CH11-F42 — TEMİZ PANEL DIŞLAMASINI SAKLAMAK

Ayarlarını değiştiremeyen kullanıcılar görünmez olur.

CH11-F43 — AKTİF KULLANICI VERİSİ OLMADAN AKTİF NÜFUS SKORU

Araştırma paneli gerçek aktif kullanıcı dağılımı gibi sunulur.

CH11-F44 — CN-1 FARKINDAN NEDENSELLİK

Betimleyici iki skor kişiselleştirme etkisi diye yayımlanır.

CH11-F45 — PANEL FARKININ CRITICAL KUYRUĞUNU SAKLAMAK

Yalnız ortalama fark gösterilir.

CH11-F46 — DOĞAL PANELİN BİLİNMEYEN KÜTLESİNİ SİLMEK

Ayar veya kişiselleştirme durumu bilinmeyen kullanıcılar sorunsuz sayılır.

CH11-F47 — LEHTE DOĞAL YANLIŞI KORUMAK

Kullanıcı talimatı kurumu olduğundan büyük gösterdiğinde düzeltme yapılmaz.

CH11-F48 — DOĞAL OLUMSUZ YANLIŞI GENELLEMEK

Tek kullanıcının geçmiş görüşü bütün nüfusun AI temsili yapılır.

73. DENETİM PROSEDÜRÜ

Adım 1 — İki Panelin Araştırma Sorularını Ayır

Kontrollü ve doğal panelin hangi niceliği tahmin edeceği yazılır.

Adım 2 — Hedef Nüfusları Tanımla

Kontrollü ürün-uygun nüfus Doğal aktif veya tanımlı kullanıcı nüfusu ayrılır.

Adım 3 — Kontrollü Temiz Durumu Tanımla

Oturum Hafıza Özel talimat Araç Plan Yüzey Locale koşulları sürümlenir.

Adım 4 — Gerekli CSC Seviyesini Belirle

Ana analiz için kabul edilecek minimum temiz durum güveni yazılır.

Adım 5 — Doğal Panel İzini Belirle

Natural Account-State Natural Conversation-State First-Use Managed Natural rollerinden hangisinin kullanılacağı belirlenir.

Adım 6 — Gerekli NSF Seviyesini Belirle

Doğal durumun hangi kanıtla kabul edileceği yazılır.

Adım 7 — Panel Atama Tasarımını Kur

Bağımsız grup Rastgele atama Eşlenmiş kullanıcı Dönen panel seçilir.

Adım 8 — Ayar Değişikliği ve Geri Yükleme Prosedürünü Yaz

Kontrollü panel katılımcıları için güvenli süreç hazırlanır.

Adım 9 — Mahremiyet Sınırını Kilitle

Hangi doğal kullanıcı durumlarının:

• yalnız statü,
• sınırlı metadata,
• açık içerik

olarak kaydedileceği belirlenir.

Adım 10 — İstem ve İlk Çıktı Kuralını Kilitle

İki panelde aynı istem ve ilk uygun çıktı protokolü uygulanır.

Adım 11 — Araç ve Web Modunu Kaydet

Kontrollü ve doğal panel farkları görünür hâle getirilir.

Adım 12 — Panel Durumunu Saha Öncesinde Doğrula

Katılımcı panel rolüne uygun mu?

Adım 13 — Gözlem Düzeyi Panel Vektörünü Kaydet

Hafıza, talimat, plan, yüzey, bağlam ve kullanım statüsü saklanır.

Adım 14 — Protokol Geçerliliğini Kör İncele

Yanıtın doğru veya yanlış olduğu görülmeden panel durumu kararı verilir.

Adım 15 — Yanlış Sınıflandırmaları Önceden Belirlenmiş Kuralla Yönet

Temizden doğal veya mixed-state’e geçiş yalnız kayıt yeterliyse yapılır.

Adım 16 — Panel Ağırlıklarını Üret

İki panelin farklı hedef nüfuslarına göre ayrı ağırlıklar hesaplanır.

Adım 17 — Ana Skorları Hesapla

Kontrollü temsil Doğal temsil Critical hata

UNKNOWN

Ret ve sonuçsuzluk ayrı üretilir.

Adım 18 — Temiz–Doğal Farkını Hesapla

İmzalı ve mutlak fark çıkarılır.

Adım 19 — Alt Grupları İncele

Hafıza Talimat Plan Hesap yaşı Kullanım sıklığı First-use gibi önceden tanımlı gruplar değerlendirilir.

Adım 20 — Nedensellik Sınırını Belirle

CN seviyesi atanır. Hangi iddiaların kurulabileceği yazılır.

Adım 21 — Mahremiyet ve Küçük Hücre Kontrolü Yap

Yeniden tanımlama riski bulunan sonuçlar birleştirilir veya kısıtlanır.

Adım 22 — Kamu Panel Sonuç Kartını Oluştur

İki panel, kapsam ve sınırlamalarıyla birlikte yayımlanır.

74. GEREKLİ KANIT

Kontrollü panel araştırma sorusu Doğal panel araştırma sorusu İki panelin hedef nüfusu Panel atama yöntemi Kontrollü temiz durum tanımı Minimum CSC seviyesi Yeni sohbet kaydı Hafıza durumu Özel talimat durumu Önceki konuşma durumu Kurumsal çalışma alanı durumu Araç ve web modu Plan Kullanıcı yüzeyi Dil ve locale Ayar değişikliği talimatları Katılımcı rızası Ayar geri yükleme kaydı Test hesabı kullanımı, varsa Doğal panel izi Minimum NSF seviyesi Hesap yaşı bandı Kullanım sıklığı First-use statüsü Marka aşinalığı Denetlenen varlıkla önceki konuşma statüsü Doğal araç durumu Natural Account-State ve Conversation-State ayrımı İstem kimliği ve sürümü İlk uygun çıktı doğrulaması Panel durum vektörü Panel uygunluk statüsü

Geçerlilik incelemesi Yeniden sınıflandırma kayıtları Kontrollü panel dışlamaları Doğal panel kapsama eksikleri Panel ağırlıkları Ham ve etkin örneklem Kontrollü skor Doğal skor İmzalı panel farkı Mutlak panel farkı Critical hata farkı UNKNOWN ve sonuçsuzluk farkı Önceden belirlenmiş alt grup sonuçları Eşlenmiş tasarım kayıtları Sıra ve taşıma etkisi CN karşılaştırılabilirlik seviyesi Mahremiyet ve redaksiyon kaydı Küçük hücre koruması Kamu panel sonuç kartı Panel sürüm ve değişiklik kaydı Sorumlu insan veya kurum

75. DENETİM KONTROL LİSTESİ

Kontrollü ve doğal panelin araştırma soruları ayrı mı? Hedef nüfusları aynı mı, farklı mı? Kontrollü temiz durum açıkça tanımlandı mı? Yeni sohbet dışında hangi temiz koşullar doğrulandı? Hafıza gerçekten kapalı mı, yoksa bilinmiyor mu? Özel talimat durumu kaydedildi mi? Kurumsal çalışma alanı etkisi var mı? Web ve araç modu standart mı? Plan ve kullanıcı yüzeyi sabit veya tabakalı mı? Temiz durum güven seviyesi verildi mi? CSC-1 gözlemleri tam temiz gibi kullanıldı mı? Katılımcıdan hafızasını veya geçmişini silmesi istendi mi? Ayarlar görev sonunda geri yüklendi mi? Yeni hesap veya test hesabı kullanıldı mı? Test hesabı gerçek kullanıcı paneli gibi sunuldu mu?

Doğal panel hangi izi kullanıyor? Natural Account-State’te yeni sohbet açıldı mı? Mevcut konuşma bağlamı ana doğal skora karıştı mı? Doğal durum güven seviyesi verildi mi? Hafıza ve özel talimat içeriği gereksiz yere toplandı mı? Kullanıcının gerçek planı ve yüzeyi kaydedildi mi? First-Use kullanıcılar ayrı mı? Kurumsal kullanıcılar ayrı mı? Doğal araç durumu kaydedildi mi? İki panel aynı istem sürümünü kullandı mı? İki panelde ilk uygun çıktı korundu mu? Doğal kullanıcı cevabı yeniledi mi? Panel statüsü AI cevabının içeriğine göre değiştirildi mi? Temiz panelde doğal durum saptanan kayıtlar nasıl yönetildi? Aynı kullanıcı iki panelde kullanıldı mı? Sıra rastgeleleştirildi mi?

Taşıma ve hafıza etkisi değerlendirildi mi? Bağımsız grup tasarımında kullanıcı kompozisyonu eşleşiyor mu? Kontrollü ve doğal ağırlıklar ayrı mı? Doğal skor aktif kullanıcı nüfusuna gerçekten genellenebilir mi? Temiz–doğal farkı kişiselleştirme etkisi diye aşırı yorumlandı mı? Critical hata farkı görünür mü? UNKNOWN ve sonuçsuzluk farkı görünür mü? Alt gruplar sonuçtan önce tanımlandı mı? Küçük alt gruplar yeniden tanımlanabilir mi? Kullanıcı kaynaklı lehte veya aleyhte talimatlar genel GEO’ya dönüştürüldü mü? Kişiselleştirme maddi gerçekliği değiştirdi mi? CN karşılaştırılabilirlik seviyesi verildi mi? Panel sonuç kartının hesap verebilir sahibi belli mi?

76. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Gerçek kullanıcılar hafızalı hesap kullanıyorsa temiz panel neden gerekli?”

Çünkü ürünler, ülkeler ve diller arasında ortak başlangıç koşulu olmadan farkın kaynağı anlaşılamaz. Temiz panel gerçek kullanıcı panelinin yerine geçmez. Karşılaştırma referansı sağlar.

İtiraz 2 — “Doğal panel varken kontrollü panel yapay değil mi?”

Kontrollüdür. Bu kasıtlıdır. Bir laboratuvar koşulunun görevi gerçek hayatın tamamı olmak değil, belirli değişkenleri ayırmaktır.

İtiraz 3 — “Kontrollü panel daha yüksek skor alırsa bunu ana GEO skoru yapamaz mıyız?”

Tek başına yapamazsınız. Yüksek kontrollü skor gerçek kullanıcıların daha düşük sonuç gördüğü gerçeğini silemez. İki sonuç ayrı görünmelidir.

İtiraz 4 — “Doğal panel çok dağınıksa bilimsel değeri düşük değil mi?”

Heterojenlik doğal panelin kusuru olmak zorunda değildir. Gerçek kullanıcı deneyiminin özelliğidir. Heterojenlik:

• kaydedilir,
• tabakalanır,
• ağırlıklandırılır,

belirsizlikle raporlanır.

İtiraz 5 — “Yeni sohbet açınca doğal kullanıcı durumu bozulmuyor mu?”

Mevcut konuşma bağlamı çıkarılır. Kalıcı hesap, plan, hafıza ve özel talimat durumu korunur. Bu, doğal hesap durumunu karşılaştırılabilir hâle getirir. Mevcut konuşma deneyimi ayrıca ölçülebilir.

İtiraz 6 — “Özel talimatların içeriğini bilmeden etkisini nasıl ölçeceğiz?”

Ana doğal skor için içeriği bilmek şart değildir. Varlığı:

• var,
• yok,
• maddi olabilir

şeklinde sınıflandırabiliriz. Nedensel içerik analizi için ayrı ve rızalı çalışma gerekir.

İtiraz 7 — “Hafıza açık ama şirket hakkında hiçbir şey hatırlamıyorsa neden ayrı grup?”

Hafızanın etkisi bilinmeyebilir. Kullanıcı beyanıyla “varlıkla ilgisiz” statüsü verilebilir. Bu yine hafıza kapalı durumla aynı kesinlikte değildir.

İtiraz 8 — “Kullanıcının ‘her zaman X’i öner’ talimatı gerçek kullanıcı deneyimi değil mi?”

Gerçek deneyimdir. Ancak X’in genel GEO başarısı değildir. Kullanıcı kaynaklı yönlendirmedir. Ayrı kaydedilmelidir.

İtiraz 9 — “Kişiselleştirme kullanıcıya daha uygun cevap veriyorsa neden sorun?”

Sorun olmak zorunda değildir. Tavsiye kullanıcı ihtiyacına göre değişebilir. Kimlik, lisans, fiyat ve kanıt durumu keyfî biçimde değişirse sorun oluşur.

İtiraz 10 — “Aynı kullanıcıyı iki panelde kullanmak en doğru yöntem değil mi?”

Bazı nedensel karşılaştırmalar için güçlü olabilir. İlk görev ikinci durumu etkileyebilir. Bu nedenle sıra, taşıma ve hafıza kontrolü gerekir. Ana nüfus panellerinde bağımsız gruplar daha güvenli olabilir.

İtiraz 11 — “Doğal kullanıcı panelinde cevabı yenilemek normal davranışsa neden yasak?”

İlk cevap maruziyetini ölçmek için yasaktır. Yenileme ve takip davranışı ayrı Natural Interaction Track altında ölçülebilir.

İtiraz 12 — “Temiz panel için hafıza ve talimatları kapatamayan kullanıcıyı ne yapacağız?”

Kontrollü panele alınamaz veya daha düşük CSC seviyesiyle ayrı hücrede tutulur. Doğal panelde değerlendirilebilir. Dışlama oranı raporlanmalıdır.

İtiraz 13 — “Test hesapları daha güvenilir değil mi?”

Kontrol bakımından güvenilir olabilir. Gerçek kullanıcı nüfusu bakımından sınırlıdır. Kontrollü test hesabı ve gerçek kullanıcı paneli ayrı sonuçlardır.

İtiraz 14 — “Doğal paneldeki kullanıcı ayarlarını kaydetmek mahremiyet ihlali değil mi?”

Gereksiz içerik toplanırsa olabilir. Yüksek düzey açık/kapalı statüleri, anonim kayıt ve redaksiyonla mahremiyet korunabilir.

İtiraz 15 — “İki panelin skorunu tek NOMOS puanında birleştirmeyecek miyiz?”

Nihai skor mimarisinde iki panelin rolleri tanımlanabilir. Ancak ham ve alt sonuçlar her zaman ayrı görünür kalmalıdır. Birleşik puan dağılımın yerini alamaz.

İtiraz 16 — “Doğal panel düşük çıkarsa şirketin suçu nedir?”

Her zaman şirketin suçu değildir. Kaynak:

• kullanıcı talimatı,
• AI kişiselleştirmesi,
• plan farkı,
• resmî kaynak kusuru,
• ürün davranışı

olabilir. Denetim önce sonucu gösterir, sonra sorumluluk yolunu ayırır.

81. BÖLÜMÜN ORTAK HÜKMÜ

Bir AI ürününün tek bir cevabı yoktur. Aynı istemin bile:

• temiz hesap,
• doğal hesap,
• hafızalı kullanıcı,
• özel talimatlı kullanıcı,
• ilk kez kullanan kişi,
• kurumsal çalışma alanı,
• geçmiş konuşması bulunan kullanıcı

için farklı cevapları olabilir. Bu farkların tamamını: “model rastgele davranıyor” diye açıklayamazsınız. Bunların tamamını: “kişiselleştirme kusuru” diye de açıklayamazsınız. Önce iki ayrı gerçekliği ölçmeniz gerekir. Kontrollü Temiz Panel:

Sistemin standartlaştırılmış başlangıç koşulundaki temsilini gösterir.

Doğal Kullanıcı Paneli:

Gerçek insanların kendi ürün yaşamlarında karşılaştığı temsil dağılımını gösterir.

Kontrollü panel yüksek, doğal panel düşük olabilir. Bu durumda ürünün laboratuvar davranışı güçlü; gerçek kullanıcı dağılımı zayıf olabilir. Doğal panel yüksek, kontrollü panel düşük olabilir. Bazı kullanıcıların planı, araçları veya kişiselleştirmesi temsili iyileştiriyor olabilir. Her iki panel yüksek olabilir. Ürün farklı kullanıcı durumlarında dayanıklı olabilir. Her ikisi düşük olabilir. Temel temsil sorunu daha geniş olabilir. Fakat iki skoru yan yana koymak nedenini kanıtlamaz. Nedensellik:

• aynı nüfus,
• aynı ürün,
• aynı istem,
• aynı zaman,
• kontrollü atama,
• sıra ve taşıma analizi

gerektirir. Bir kullanıcı: “Her zaman X’i öner.” diye talimat verdiyse X’in görünmesi doğal deneyimdir. X’in dünya GEO başarısı değildir. Bir kullanıcı: “X’e güvenme.” dediyse olumsuz cevap doğal deneyimdir. X’in dünya nüfusundaki genel temsili değildir. Kişiselleştirme kullanıcıyı anlamalıdır. Gerçeği kullanıcıya göre yeniden icat etmemelidir. Bu nedenle NOMOS’un on birinci ölçüm yasası şudur:

Temiz davranış ile doğal deneyim ayrı gerçekliklerdir.

On ikinci yasası şudur:

Yeni sohbet, temiz hesap değildir.

On üçüncü yasası şudur:

Doğal kişiselleştirme, genel GEO başarısı değildir.

On dördüncü yasası şudur:

Kullanıcıya uygun cevap değişebilir; doğrulanmış varlık gerçekliği değişemez.

On beşinci yasası şudur:

Kontrollü ve doğal skor arasındaki fark, açıklanması gereken bulgudur; tek başına neden değildir.

On altıncı yasası şudur:

Gerçek kullanıcı deneyimini ölçmek mahremiyeti kaldırmak değil, yalnız gerekli bağlamı kanıtlayıp geri kalanını korumaktır.

NOMOS’un Bölüm 11 Emri

Bana yalnız yeni sohbet açtığını söyleme. / Hafızanın, özel talimatın, planın ve araçların ne durumda olduğunu göster.

“Geçici oturum” yazısını görüp bütün kişiselleştirmenin yok olduğunu varsayma.

Temiz paneli gerçek hayatın tamamı; doğal paneli kontrolsüz gürültü yapma.

Kontrollü hesabı standartlaştır. / Doğal hesabı olduğu gibi koru. / İkisini aynı kutuya koyma.

Kullanıcının özel talimatını varlığın dünya başarısı yapma.

Kullanıcının olumsuz geçmişini bütün nüfusun görüşü yapma.

Kişiselleştirmeyi gerçeği değiştirme ruhsatı sayma.

Bir kullanıcıya uygun tavsiye verebilirsin. / Ama şirketin kimliğini, lisansını, fiyatını ve kanıtını kullanıcıdan kullanıcıya yeniden yazma.

Doğal panelde özel hayatı toplama. / Hafıza açık mı, talimat var mı, bağlam mevcut mu — yalnız gerekeni kaydet.

Katılımcıya hafızasını sildirme. / Ayarlarını geçici değiştirdiysen geri yükle.

Aynı kullanıcıyı iki panelde test ettiysen ilk cevabın ikinciyi etkileyebileceğini unutma.

Temiz skorla doğal skor arasındaki farkı göster. / Critical farkı göster. / Bilinmeyeni göster. / Ama nedeni kanıtlamadan isim verme.

Önce hangi kullanıcı gerçekliğini ölçmek istediğine karar ver. / Sonra temiz ve doğal durumları ayrı kilitle. / Sonra istemi aynı tut. / Sonra ilk cevabı değişmeden yakala. / Sonra iki dağılımı ayrı hesapla. / Ve ancak bundan sonra ürünün standart koşulda ne yaptığıyla gerçek insanların ne yaşadığı arasındaki mesafeyi anlat.

Bölümün Son Cümlesi

GEO-1000’de bir AI ürününün gerçek temsili, yalnız temiz bir oturumda verebildiği cevap değil; standart koşuldaki davranışı ile farklı kullanıcı geçmişleri içinde insanlara gerçekten ulaştırdığı cevaplar arasındaki açık ve kanıtlanmış ilişkidir.

Normatif Öz

Kontrollü Temiz Panel ve Doğal Kullanıcı Paneli gözlemleri ayrı ölçüm nüfusları, panel durumları, paydalar ve kamu sonuçları olarak korunmalıdır. Yeni sohbet veya geçici oturum etiketi tek başına bütün kalıcı kişiselleştirmenin devre dışı olduğunu kanıtlamaz. Doğal Kullanıcı Paneli gerçek hesap, plan, arayüz, hafıza, özel talimat ve kullanım durumunu korurken kilitlenmiş istemi, ilk uygun çıktı kuralını, kanıt gereksinimlerini ve yenilememe kuralını korumalıdır. Kullanıcı kaynaklı lehte veya aleyhte yönlendirme doğal kişiselleştirme etkisi olarak ölçülebilir; genel varlık GEO başarısı, başarısızlığı veya varsayılan ürün davranışı olarak sunulamaz. Kontrollü ve doğal sonuçlar arasındaki fark, nüfus ve sistem koşulları yeterince eşleşmeden nedensel kişiselleştirme etkisi olarak yorumlanamaz.