AI Sistem Sicili ve Karşılaştırılabilirlik

Bölüm Sınırı

İlk sekiz bölüm şu yapıyı kurdu: Tek bir yanıt GEO skoru değildir. Temsil bir dağılımdır. Denetlenen varlık sonuçlardan önce tanımlanmalıdır. Resmî temsil ile doğrulanmış varlık gerçekliği ayrılmalıdır. Her AI ürünü için uygun kullanıcı nüfusu ayrıca kurulmalıdır. 1.000 geçerli gözlem nüfusa dayalı örneklem tasarımıyla dağıtılmalıdır. Küçük ülke ve diller ayrı tamamlayıcı panellerle görünür kılınmalıdır. Katılımcı seçimi, dışlama ve ağırlıklandırma AI cevabının içeriğinden bağımsız olmalıdır. Şimdi deneyin diğer tarafını tanımlamamız gerekir:

Katılımcılar tam olarak hangi AI sistemini ölçmektedir?

Bir sağlayıcının adı mı? Bir temel model mi? Bir sohbet ürünü mü? Ücretsiz web arayüzü mü? Ücretli mobil uygulama mı? Web araması açık bir oturum mu? Kaynak göstermeyen bir cevap modu mu? Kurum içi veriyle desteklenen bir kurumsal çalışma alanı mı? Hafızası açık bir hesap mı? Temporary veya temiz sohbet mi? Aynı sağlayıcının farklı kullanıcı yüzeyleri aynı sistem midir? Aynı model ailesini kullanan iki ürün aynı şekilde mi ölçülmelidir? Bir ürün ekranda aynı model adını gösterse bile:

• retrieval,
• kaynak seçimi,
• güvenlik kuralları,
• kişiselleştirme,
• araç erişimi,
• deneysel özellikler

değişiyorsa sonuçlar karşılaştırılabilir midir? Bir AI ürünü ölçüm dalgasının ortasında güncellendiğinde, dalganın ilk ve son cevapları aynı sistemden gelmiş sayılabilir mi? Bir kullanıcının:

• web araması açık,
• hafıza açık,
• önceki konuşmaları bulunan,
• ücretli plan

hesabıyla aldığı cevap; başka kullanıcının:

• arama kapalı,
• hafıza kapalı,
• yeni oturum,
• ücretsiz plan

cevabıyla aynı hücrede birleştirilebilir mi? Hayır. Önceki bölümlerin kurduğu ölçüm ilkesi açıktır: Tek bir “AI” yoktur; arama indeksi, retrieval sistemi, reranker, dil modeli, atıf katmanı ve güvenlik sistemi birbirinden farklı davranabilir. Aynı çerçeve, her denetlenebilir sonucun:

• model veya ürün,
• tarih,
• ülke,
• dil,
• sorgu kümesi,
• tekrar sayısı,
• ölçüm kaydı

taşımasını istemişti. Bu bölüm o ilkeleri bir AI Sistem Sicili içinde işletir. Bu bölüm:

• sağlayıcı, ürün, model ve kullanıcı yüzeyi ayrımını,
• AI ürün örneğini,
• model kimliği güven düzeylerini,
• retrieval ve araç yapılandırmalarını,
• hafıza ve kişiselleştirme durumlarını,
• plan, arayüz ve deneysel özellik farklarını,
• ürün değişikliklerini,
• ölçüm anındaki sistem konfigürasyonunu,
• ürünler arası karşılaştırılabilirlik seviyelerini,
• Native Reach ve Common Support karşılaştırmalarını,
• zaman içinde sürüm kaymasını

tanımlar. Bu bölüm henüz:

• istemlerin tam çeviri ve semantik eşdeğerlik sistemini,
• kontrollü ve doğal kullanıcı panellerinin bütün ayrıntılarını,
• NOMOS Capture yazılım mimarisini,
• yanıtların atomik iddia puanlamasını,
• nihai model katsayılarını ve NOMOS skor formülünü

kesinleştirmez. Bölüm 9’un temel sorusu şudur:

Aynı istemden gelen iki cevabı karşılaştırmadan önce, bu cevapların gerçekten karşılaştırılabilir AI ürün koşullarından geldiğini nasıl kanıtlarız?

NOMOS Challenge

Aynı sağlayıcının iki kullanıcısı aynı soruyu soruyor: “Apple.com nasıl bir şirkettir?” Birinci kullanıcı:

• ücretsiz web ürününü kullanıyor,
• yeni sohbet açıyor,
• hafızası kapalı,
• web erişimi bulunmuyor,

yalnız ürünün yerleşik bilgi kapasitesiyle cevap alıyor. İkinci kullanıcı:

• ücretli mobil ürünü kullanıyor,
• hafızası açık,
• daha önce Apple hakkında konuşmuş,
• web araması açık,

güncel kaynaklar ve atıf’larla cevap alıyor. Birinci cevap: “Apple, tüketici elektroniği üreten bir teknoloji şirketidir.” İkinci cevap: “Apple; donanım, yazılım ve dijital hizmetler sunan küresel bir teknoloji şirketidir. Güncel kurumsal bilgileri şu kaynaklarda görebilirsiniz.” İki cevap aynı sağlayıcıdan gelmiştir.

Aynı sistem sonucu mudur? Hayır. Şimdi başka iki kullanıcı düşünün. İkisi de ekranda aynı model adını görüyor. Birinin ülkesinde web özelliği açıktır. Diğerinin ülkesinde kapalıdır. Birinin cevabında kaynak bağlantıları görünür. Diğerinin arayüzü aynı kaynakları kullansa bile atıf göstermemektedir. Aynı model etiketi vardır.

Aynı ölçüm hücresi var mıdır? Hayır. Şimdi farklı sağlayıcılara ait iki ürün düşünün. İkisi de:

• yeni sohbet,
• hafıza kapalı,
• aynı dil,
• aynı ülke,
• aynı zaman penceresi,
• web erişimi açık,
• aynı istem sürümü

koşullarında ölçülüyor. Farklı temel modellere dayanırlar. Karşılaştırılabilirler mi? Evet, belirli kullanıcı sonucu bakımından karşılaştırılabilir olabilirler. Çünkü karşılaştırmanın nesnesi:

Aynı temel modeli kullanıp kullanmadıkları değil, aynı tanımlı kullanıcı koşulunda hangi temsili ürettikleridir.

Şimdi ölçüm dalgasının ilk 500 gözleminde ürünün sürümü değişmeden kalsın. Sonraki 500 gözlem sırasında sağlayıcı:

• retrieval sistemini,
• güvenlik kurallarını,
• kullanıcı arayüzünü

değiştirsin. Rapor yalnız: “1.000 kullanıcı aynı AI ürününü test etti.” diyor. Gerçekte iki farklı ürün durumu ölçülmüş olabilir. Bu bölümün ilk hükmü şudur:

Sağlayıcı adı, ölçülen AI sistemini tanımlamaya yetmez.

İkinci hükmü şudur:

Model adı, kullanıcıya ulaşan ürün davranışının tamamı değildir.

Üçüncü hükmü şudur:

Aynı sağlayıcı, aynı model etiketi veya aynı logo karşılaştırılabilirlik garantisi vermez.

Dördüncü hükmü şudur:

Farklı sağlayıcılar, ölçüm koşulları yeterince eşleştirildiğinde kullanıcı sonucu bakımından karşılaştırılabilir olabilir.

Beşinci hükmü şudur:

Bir ürün ölçüm sırasında maddi biçimde değişirse tek bir sabit sistem gibi raporlanamaz.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, GEO-1000 içinde denetlenen AI ürününü bütün maddi yapılandırmalarıyla tanımlamak ve farklı ürün sonuçlarının hangi koşullarda karşılaştırılabileceğini belirlemektir. Bölüm şu ayrımları normatif hâle getirir:

• Sağlayıcı ile AI ürünü
• AI ürünü ile temel model
• Model ailesi ile belirli dağıtım
• Model etiketi ile doğrulanmış model kimliği
• Kullanıcı yüzeyi ile API
• Web ile mobil ürün
• Ücretsiz plan ile ücretli plan
• Tüketici ürünü ile kurumsal ürün
• Temel model cevabı ile retrieval destekli cevap
• Retrieval ile canlı web taraması
• Kaynak kullanımı ile atıf gösterimi
• Araç erişimi ile araç kullanımı
• Hafıza ile oturum bağlamı
• Özel talimat ile sistem politikası
• Kişiselleştirme ile maddi gerçeklik
• Yeni sohbet ile geçici sohbet
• Statik ürün adı ile zaman içindeki ürün durumu
• Sağlayıcının duyurduğu güncelleme ile gözlenen davranış değişimi
• Native Reach ile Common Support karşılaştırması
• Aynı ürün ailesi ile karşılaştırılabilir ürün örneği
• Kullanıcı sonucu ile model içi soyut yetenek
• Ürün bulunmaması ile ürün başarısızlığı
• Teknik hata ile gerçek ret
• Aynı istem ile aynı deney
• Aynı ortalama ile aynı sistem davranışı
• Anlık ürün fotoğrafı ile uzun dönem ürün performansı

Bu bölümün sonunda her GEO-1000 denetimi şu sorulara cevap verebilmelidir:

Hangi sağlayıcının hangi ürünü, hangi yüzeyi, hangi planı ve hangi yapılandırması ölçüldü?

Ekranda görülen model adı gerçekten ne kadar doğrulandı?

Web, retrieval, atıf, hafıza, kişiselleştirme ve araç durumu neydi?

Ölçüm boyunca ürün aynı kaldı mı?

İki ürün sonucu hangi karşılaştırılabilirlik seviyesinde yan yana getirildi?

Karşılaştırılan şey temel model mi, tüketici ürünü mü, kullanıcı yüzeyi mi, yoksa bütün sistem zinciri mi?

2. MERKEZÎ NORMATİF HÜKÜM

Her GEO-1000 gözlemi, yalnız sağlayıcı veya model adıyla değil; ölçüm anındaki AI ürün örneğini tanımlayan sürümlü bir AI Sistem Sicili kaydına bağlanmalıdır.

Bir AI ürün örneği en azından ilgili olduğu ölçüde şu alanları taşımalıdır:

• Sağlayıcı
• Ürün adı
• Kullanıcı yüzeyi
• Ürün türü
• Plan veya hesap sınıfı
• Görünen model etiketi
• Model kimliği güven düzeyi
• Ürün veya dağıtım sürümü
• Ülke ve locale
• Dil
• Web veya retrieval erişimi
• Atıf özelliği
• Araç erişimi
• Hafıza durumu
• Özel talimat durumu
• Önceki sohbet bağlamı
• Oturum türü
• Kişiselleştirme durumu
• Güvenlik veya politika modu, biliniyorsa
• Deneysel özellikler
• Ölçüm tarihi ve UTC zamanı
• Ölçüm dalgası
• Ürün değişiklik kaydı
• Kanıt ve kayıt güveni

Bu alanlardan maddi olan biri değiştiğinde:

• yeni AI ürün örneği,
• yeni deneysel hücre,
• yeni analiz sürümü

gerekebilir.

3. “AI SİSTEMİ” TEK BİR NESNE DEĞİLDİR [K02; K03]

Bu protokolde “AI sistemi” genel ve üst düzey bir terimdir. Gerçek kullanıcı cevabı birden fazla katmanın birleşiminden doğabilir. Aday zincir:

R = F(M, O, K, Q, T, P, S, U, C, L, t)

Burada:

• M: temel veya yönlendirici model
• O: ürün orkestrasyon katmanı
• K: retrieval veya bilgi kaynağı katmanı
• Q: reranking ve kaynak seçimi
• T: araçlar
• P: politika ve güvenlik katmanı
• S: oturum, hafıza ve kişiselleştirme
• U: kullanıcı hesabı ve planı
• C: ülke ve locale
• L: dil
• t: zaman

Kullanıcının gördüğü yanıt:

R

yalnız temel modelin çıktısı olmayabilir. Bu nedenle GEO-1000 ana tüketici denetiminin nesnesi:

Model soyutlaması değil, kullanıcıya sunulan ürün davranışıdır.

Kontrollü API veya model araştırması ayrıca yapılabilir. Ana tüketici paneliyle aynı sonuç değildir.

4. AI SİSTEMİNİN YEDİ KİMLİK KATMANI

Her denetlenen AI sistemi ilgili olduğu ölçüde yedi katmanda tanımlanmalıdır.

4.1. Sağlayıcı Katmanı

Ürünü yayımlayan veya işleten kuruluştur. Sağlayıcı adı:

• ürün kimliği,
• model kimliği,
• kullanıcı yüzeyi

ile aynı değildir. Bir sağlayıcı birden fazla ürün sunabilir. Aynı ürün içinde birden fazla model veya orkestrasyon sistemi kullanabilir.

4.2. Ürün Katmanı

Kullanıcının eriştiği ticari, tüketici, kurumsal veya teknik üründür. Örnek türler:

• Genel sohbet ürünü
• Arama destekli cevap ürünü
• Kurumsal çalışma alanı
• Eğitim ürünü
• Gömülü asistan
• Geliştirici API’si
• Özel bilgi tabanlı ürün

Ürün adı tek başına bütün yapılandırmayı açıklamaz.

4.3. Kullanıcı Yüzeyi Katmanı

Kullanıcının ürünle etkileştiği arayüzdür. Web Mobil Masaüstü Tarayıcı uzantısı İşletim sistemi entegrasyonu Platform içi gömülü arayüz

API

Kurumsal portal Aynı ürünün farklı yüzeyleri:

• farklı özellik,
• farklı model,
• farklı kaynak gösterimi,
• farklı hafıza

kullanabilir.

4.4. Model veya Çıkarım Motoru Katmanı

Cevap üretiminde kullanılan model, model ailesi veya yönlendirici sistemdir. Model kimliği:

• açık,
• kısmen görünür,
• bilinmeyen,
• dinamik

olabilir. Bir ürün kullanıcı sorgusunu farklı modellere yönlendirebilir. Bu durumda: “Tek bir sabit model ölçüldü.” denemez.

4.5. Orkestrasyon ve Bilgi Katmanı

Şunları içerebilir:

• Retrieval
• Canlı web araması
• Kurum içi arama
• Kaynak sıralama
• Reranking
• Atıf seçimi
• Araç çağırma
• Sorgu yeniden yazımı
• Belge parçalama
• Cevap birleştirme

Bu katman GEO temsili için temel önem taşır. Çünkü hangi kaydın:

• erişildiğini,
• seçildiğini,
• cevaba taşındığını,
• atıf olarak gösterildiğini

etkileyebilir.

4.6. Politika ve Kişiselleştirme Katmanı

Şunları içerebilir:

• Güvenlik kuralları
• Sistem talimatları
• Ürün politikası
• Hafıza
• Özel talimatlar
• Kullanıcı geçmişi
• Bölgesel kurallar
• Yaş veya hesap sınıfı
• Kurumsal yönetici ayarları

Bu katman cevabın:

• kapsamını,
• tonunu,
• reddini,
• tavsiye’ını

değiştirebilir.

4.7. Dağıtım ve Zaman Katmanı

Ürünün belirli anda hangi:

• sürüm,
• deneysel özellik,
• bölgesel dağıtım,
• kullanıcı segmenti,
• A/B testi

altında çalıştığını ifade eder. Aynı ürün adı aynı gün içinde farklı kullanıcılarda farklı dağıtım koşullarına sahip olabilir.

5. AI ÜRÜN ÖRNEĞİ

GEO-1000 içindeki temel sistem birimi:

AI Product Instance

Türkçesi:

AI Ürün Örneği

olarak adlandırılır. Bir AI ürün örneği:

A_i = (v, p, s, r, m, k, t, x, u, c, l, ω)

şeklinde gösterilebilir. Burada:

• v: sağlayıcı
• p: ürün
• s: kullanıcı yüzeyi
• r: plan veya hesap sınıfı
• m: model kimliği veya etiketi
• k: retrieval ve bilgi yapılandırması
• t: araç yapılandırması
• x: hafıza, kişiselleştirme ve oturum durumu
• u: kullanıcı veya kurumsal ayar sınıfı
• c: ülke ve locale
• l: dil
• ω: zaman, dağıtım ve deneysel özellik durumu

Bir gözlem: Oj mutlaka belirli bir: Ai ürün örneğine bağlanmalıdır.

6. ÜRÜN ÖRNEĞİ İLE ÜRÜN ADI ARASINDAKİ FARK

Ürün adı sabit olabilir. Ürün örneği değişebilir. Örnek: Orion AI ürün adı değişmeden kalsın. Fakat şu iki ölçüm farklı ürün örnekleridir:

Ürün Örneği 1

Web Ücretsiz plan Hafıza kapalı Web erişimi kapalı Yeni sohbet Türkçe Türkiye Dalga 1

Ürün Örneği 2

Mobil Ücretli plan Hafıza açık Web erişimi açık Önceki sohbet bağlamı mevcut Türkçe Türkiye Dalga 1 Bunlar aynı marka altında bulunabilir. Aynı deneysel hücre değildir.

7. MODEL KİMLİĞİ GÜVEN DÜZEYLERİ

Model adı her zaman aynı güvenle bilinemez. Bu nedenle model kimliği şu düzeylerle kaydedilebilir.

MI-0 — UNKNOWN MODEL

Ürünün hangi model veya model ailesini kullandığı bilinmemektedir. Sonuç yalnız ürün yüzeyine atfedilir.

MI-1 — USER-DISPLAYED LABEL

Kullanıcı arayüzünde bir model etiketi görünmektedir. Etiket kayıt altına alınır. Arka uç dağıtımını bütünüyle doğruladığı varsayılmaz.

MI-2 — PROVIDER-DOCUMENTED MODEL FAMILY

Sağlayıcının ürün belgeleri belirli model ailesini veya ürün–model ilişkisini açıklamaktadır. Bireysel gözlemin tam olarak o modele yönlendirildiği yine bilinmeyebilir.

MI-3 — SESSION-CONFIRMED DEPLOYMENT

Oturum, API veya güvenilir ürün metadata’sı belirli dağıtımı doğrulamaktadır.

MI-4 — VERSIONED ENDPOINT OR DEPLOYMENT

Belirli sürüm, endpoint veya dağıtım kimliği kaydedilebilmektedir. Kontrollü karşılaştırma için daha güçlüdür.

MI-5 — REPRODUCIBLE FROZEN MODEL ARTIFACT

Sabit ve yeniden çalıştırılabilir model veya dağıtım yapısı bulunmaktadır. Canlı tüketici ürünlerinde nadir olabilir. Model kimliği güveni düşükse sonuç:

ürün davranışına

atfedilmelidir. Belirli modele kesin biçimde atfedilemez.

8. GÖRÜNEN MODEL ADININ SINIRI

Bir kullanıcı arayüzünde model adı görmek değerlidir. Fakat şu sorular yine açık kalabilir: Bütün sorgular aynı modele mi yönlendiriliyor? Sorgu zorluğuna göre model değişiyor mu? Güvenlik veya retrieval ayrı model kullanıyor mu? Sağlayıcı aynı etiketi farklı dağıtımlara uyguluyor mu? Model etiketi yalnız ürün ailesini mi gösteriyor? Kullanıcı bir deneysel rollout içinde mi? Bu nedenle doğru raporlama: “Kullanıcı arayüzünde Model X etiketi gösterildi.” olabilir. Daha güçlü kanıt olmadan şu cümle kullanılmamalıdır: “Bütün cevap kesin olarak Model X’in tek başına ürettiği çıktıdır.”

9. ÜRÜN TÜRÜ

Her AI ürünü ana tür ve ikincil türlerle sınıflandırılmalıdır.

PT-1 — General Conversational Product

Genel sohbet ve soru-cevap ürünüdür.

PT-2 — Search- or Retrieval-Grounded Product

Cevap üretiminde arama veya retrieval temel bileşendir.

PT-3 — Enterprise Knowledge Product

Kurum içi belgeler, çalışma alanları veya özel veri kaynakları kullanabilir.

PT-4 — Embedded Assistant

Başka ürün veya platform içine gömülüdür.

PT-5 — Developer or API Product

Son kullanıcı yerine geliştirici veya uygulama tarafından kullanılır.

PT-6 — Domain-Specific Product

Belirli meslek veya sektör için tasarlanmıştır.

PT-7 — Multimodal Product

Metin dışında görsel, ses veya belge girişleri ana deneyimin parçasıdır. Bir ürün birden fazla tür taşıyabilir. Karşılaştırma aynı tür içinde veya açık kapsamla yapılmalıdır.

10. KULLANICI YÜZEYİ SİCİLİ

Aynı ürünün farklı yüzeyleri ayrı kaydedilmelidir. Yüzey alanları:

• Yüzey kimliği
• Web/mobil/masaüstü/API
• Uygulama sürümü
• İşletim sistemi, maddi ise
• Tarayıcı, maddi ise
• Ürün dili
• Görünen model seçimi
• Araçların bulunabilirliği
• Atıf görünümü
• Dosya yükleme özelliği
• Hafıza ayarları
• Kurumsal yönetim ayarları
• Deneysel özellikler
• Ölçüm zamanı

Bir web ve mobil arayüz maddi bakımdan aynı bulunursa sonuçlar birleşebilir. Bu eşitlik varsayılmamalı, test edilmelidir.

11. PLAN VE HESAP SINIFI

Plan türü kullanıcı cevabını etkileyebilecek özellikler taşıyabilir. Plan statüleri:

• Ücretsiz
• Ücretli bireysel
• Profesyonel
• Kurumsal
• Eğitim
• Geliştirici
• Deneme
• Davet veya sınırlı erişim
• Bilinmeyen

Planlar şu alanlarda farklılaşabilir:

• Model
• Kullanım limiti
• Web erişimi
• Hafıza
• Araçlar
• Kaynak gösterimi
• Yanıt uzunluğu
• Hız veya öncelik
• Kurumsal veri
• Güvenlik ve saklama ayarları

Plan bilgisi bulunmuyorsa:

PLAN_UNKNOWN

statüsü kullanılmalıdır. Ücretsiz ve ücretli sonuçlar sessizce aynı ürün davranışı olarak birleştirilemez.

12. RETRIEVAL VE WEB ERİŞİMİ

Bir AI cevabı üç temel bilgi durumundan birinde üretilebilir.

KG-0 — UNDETERMINED KNOWLEDGE MODE

Retrieval veya web kullanım durumu belirlenememektedir.

KG-1 — MODEL-INTERNAL YANIT

Canlı veya dış bilgi erişimi kullanılmadığı bilinen ya da güçlü biçimde varsayılan cevap.

KG-2 — RETRIEVAL-ASSISTED YANIT

Önceden indekslenmiş veya ürün içi kaynaklardan retrieval kullanılmış olabilir.

KG-3 — LIVE WEB OR SEARCH-ASSISTED YANIT

Canlı veya ölçüm zamanına yakın web/search erişimi kullanılmıştır.

KG-4 — PRIVATE KNOWLEDGE-GROUNDED YANIT

Kurum içi veya kullanıcı tarafından sağlanmış özel veri kaynağı kullanılmıştır.

KG-5 — HYBRID OR MULTI-SOURCE YANIT

Birden fazla bilgi katmanı birlikte kullanılmıştır. Bu modlar aynı istemde farklı sonuçlar üretebilir. Karşılaştırmada açıkça ayrılmalıdır.

13. RETRIEVAL ERİŞİMİ İLE RETRIEVAL KULLANIMI AYNI DEĞİLDİR

Ürünün web arama özelliği bulunabilir. Fakat belirli cevapta kullanılmamış olabilir. Üç alan ayrı kaydedilmelidir: Özellik mevcut muydu? Özellik açık mıydı veya seçilebilir miydi? Belirli yanıtta kullanıldığına dair kanıt var mıydı? Örnek statüler:

AVAILABLE_NOT_USED

AVAILABLE_USAGE_UNKNOWN

USED_CONFIRMED

NOT_AVAILABLE

DISABLED

UNKNOWN

Yalnız kaynak bağlantısı bulunması kullanım için güçlü işaret olabilir. Kaynak bağlantısının bulunmaması retrieval kullanılmadığını kesin göstermeyebilir.

14. ATIF KATMANI

Kaynak kullanımı ile atıf gösterimi aynı şey değildir. Bir ürün:

• kaynak kullanabilir fakat göstermeyebilir,
• atıf gösterebilir fakat atıf iddiayı desteklemeyebilir,
• aynı kaynağı farklı cümlelere bağlayabilir,

kullanıcı arayüzüne göre atıfı gizleyebilir. Atıf sicili şu alanları taşımalıdır: Atıf özelliği mevcut mu? Belirli cevapta atıf gösterildi mi? Atıf sayısı Kaynak alan adları Atıf–iddia eşleşmesi Kullanıcı yüzeyindeki görünürlük Atıfın açılabilirliği Kaynağın erişilebilirliği Atıf üretim zamanı Atıf gösteren ve göstermeyen ürünler yalnız: “kaynak sayısı” bakımından doğrudan karşılaştırılamaz. Önce ürün davranışı ve arayüz farkı açıklanmalıdır.

15. ARAÇ ERİŞİMİ

AI ürünü şu araçlara erişebilir:

• Web arama
• Tarayıcı
• Hesap makinesi
• Kod çalıştırma
• Dosya okuma
• Harita
• Takvim
• Kurumsal bilgi tabanı
• Ürün kataloğu
• Başka API’ler

Araç erişimi yanıtın:

• güncelliğini,
• kanıtını,
• kapsamını,
• doğruluğunu

etkileyebilir. Araç sicili:

• aracın mevcut olup olmadığını,
• etkin olup olmadığını,
• cevapta kullanılıp kullanılmadığını,
• araç sonucunun korunup korunmadığını

göstermelidir.

16. HAFIZA, ÖZEL TALİMAT VE KİŞİSELLEŞTİRME

Kullanıcıya görünen cevap şu alanlardan etkilenebilir:

• Kalıcı hafıza
• Sohbet geçmişi
• Özel talimatlar
• Kullanıcının adı veya profili
• Önceki marka konuşmaları
• Tercihler
• Ülke ve locale
• Kurumsal çalışma alanı ayarları
• Sağlayıcı tarafından yapılan segmentasyon

Bu alanlar üç ayrı katmanda kaydedilmelidir.

16.1. Kalıcı Kişiselleştirme

Hesaplar arası veya oturumlar arası korunan bilgi.

16.2. Konuşma İçi Bağlam

Mevcut sohbet içindeki önceki mesajlar.

16.3. Sistem veya Kurumsal Ayar

Kullanıcının göremeyebileceği yönetici veya ürün talimatları. Tam bilgi her zaman elde edilemeyebilir. Bilinmeyen durum açıkça kaydedilmelidir.

17. OTURUM TÜRLERİ

Aday oturum statüleri:

ST-1 — NEW STANDARD CONVERSATION

Yeni standart sohbet. Hafıza veya özel talimatlar ayrıca kaydedilir.

ST-2 — TEMPORARY OR EPHEMERAL CONVERSATION

Kalıcı geçmişten ayrılması amaçlanan geçici oturum. Gerçek özellikleri ürün sicilinde doğrulanmalıdır.

ST-3 — EXISTING CONVERSATION

Önceki konuşma bağlamı vardır. Doğal panel için değerli olabilir. Kontrollü panelde ayrı tutulur.

ST-4 — ENTERPRISE OR SHARED WORKSPACE SESSION

Kurumsal veya ortak bilgi alanı bulunabilir.

ST-5 — UNKNOWN SESSION STATE

Oturum statüsü güvenilir biçimde belirlenememiştir. Aynı hücrede farklı oturum türleri birleştirilecekse gerekçe ve ağırlık açıklanmalıdır.

18. ÜRÜN POLİTİKASI VE RET

Bir AI ürünü belirli soruya:

• güvenlik,
• hukuk,
• ürün politikası,
• bölgesel kural,
• yaş,
• kurumsal ayar

nedeniyle cevap vermeyebilir. Ret:

• temel model eksikliği,
• ürün politikası,
• arayüz,
• kullanıcı hesabı

kaynaklı olabilir. GEO-1000 ana kullanıcı denetimi, kullanıcıya ulaşan ret sonucunu kaydeder. Fakat ret nedeni biliniyorsa ayrıca sınıflandırılır. Bir ürünün politika katmanı da kullanıcı deneyiminin parçasıdır.

19. DENEYSEL ÖZELLİKLER VE A/B DAĞITIMLARI

Canlı AI ürünleri bütün kullanıcılara aynı anda aynı özellikleri vermeyebilir. Katılımcılar:

• farklı kullanıcı arayüzü,
• farklı model yönlendirmesi,
• farklı web özelliği,
• farklı cevap biçimi

görebilir. Deneysel durum göstergeleri:

• Arayüzde beta etiketi
• Sağlayıcı belgesi
• Özellik farklılığı
• Kullanıcılar arası sistematik UI farkı
• Ölçüm sırasında davranış kırılması

olabilir. Deneysel özellik bilinmiyorsa:

EXPERIMENTAL_STATE_UNKNOWN

kullanılmalıdır. Ürün içindeki gerçek varyasyon, veri kusuru değildir. Sistemin dağılım özelliğidir. Fakat karşılaştırılabilirlikte dikkate alınmalıdır.

20. AI SİSTEM SİCİLİ

Her denetlenen ürün için AI Sistem Sicili oluşturulmalıdır. Sicil üç düzey taşımalıdır.

20.1. Sağlayıcı ve Ürün Ana Kaydı

Görece kalıcı alanları içerir:

• Sağlayıcı
• Ürün adı
• Ürün türü
• Ana kullanıcı yüzeyleri
• Resmî erişim ülkeleri
• Plan sınıfları
• Desteklenen dil kayıtları
• Genel özellikler

20.2. Ölçüm Dalgası Ürün Kaydı

Belirli dalga için:

• ürün sürümü,
• plan özellikleri,
• model etiketleri,
• web ve araç özellikleri,
• hafıza davranışı,
• erişim durumu,
• bilinen güncellemeler

kaydedilir.

20.3. Gözlem Düzeyi Sistem Kaydı

Her katılımcı için fiilen görülen:

• arayüz,
• model etiketi,
• plan,
• araç kullanımı,
• atıf,
• oturum,
• kişiselleştirme,
• zaman

alanlarını taşır. Ana kayıt tek başına gözlem düzeyi farklılıkları silemez.

21. SİSTEM KONFİGÜRASYON PARMAK İZİ

Bir AI ürün örneğinin karşılaştırılabilirliğini kolaylaştırmak için Sistem Konfigürasyon Parmak İzi oluşturulabilir. Aday alanlar:

SCF = H(canonicalize(p, s, r, m, k, t, x, c, l, w))

Burada H, sürümlenmiş alanlardan bütünlük değeri üreten fonksiyondur. Parmak izi:

• iki gözlemin aynı yapılandırmaya ait olup olmadığını,
• dalga içinde maddi değişiklik oluşup oluşmadığını

tespit etmeye yardımcı olabilir. Parmak izi: gerçek arka uç modelini kanıtlamaz, sağlayıcının açıklamadığı katmanları görünür yapmaz. Yalnız kaydedilen konfigürasyonun daha sonra değiştirilip değiştirilmediğini güçlendirir.

22. KARŞILAŞTIRILABİLİRLİK NEDİR?

İki sonuç karşılaştırılabilir olduğunda:

Aralarındaki farkın, ölçüm tasarımındaki ilgisiz farklılıklardan çok denetlenen ürün davranışıyla açıklanabilme ihtimali yeterince güçlüdür.

Karşılaştırılabilirlik mutlak eşitlik değildir. Farklı AI ürünlerinin:

• model,
• sağlayıcı,
• arayüz

bakımından aynı olması beklenmez. Ama karşılaştırma sorusuna göre maddi koşulların:

• eşitlenmesi,
• tabakalanması,
• kaydedilmesi,
• analizde modellenmesi

gerekir.

23. KARŞILAŞTIRMANIN NESNESİ ÖNCEDEN TANIMLANMALIDIR

Aynı veri farklı karşılaştırma sorularına cevap verebilir.

23.1. Kullanıcı Ürünü Karşılaştırması

“Aynı kullanıcı koşullarında hangi tüketici ürünü daha doğru temsil üretiyor?” Karşılaştırılan nesne bütün ürün zinciridir.

23.2. Model Karşılaştırması

“Aynı kontrollü istem ve araçsız koşulda hangi model daha doğru cevap üretiyor?” API veya sabit model erişimi gerekebilir.

23.3. Retrieval Karşılaştırması

“Aynı ürünün web erişimli ve erişimsiz modları arasında fark var mı?” Model ve diğer koşullar mümkün olduğunca sabit tutulur.

23.4. Plan Karşılaştırması

“Ücretsiz ve ücretli kullanıcılar aynı marka temsilini görüyor mu?” Plan farkı denetimin nesnesidir.

23.5. Arayüz Karşılaştırması

“Web ve mobil ürün aynı koşullarda farklı temsil üretiyor mu?”

23.6. Zaman Karşılaştırması

“Aynı ürünün temsili farklı dalgalarda değişti mi?” Ürün ve nüfus değişiklikleri ayrılmalıdır. Karşılaştırma sorusu belirtilmeden: “Ürün A, Ürün B’den daha iyi.” cümlesi aşırı geniştir.

24. KARŞILAŞTIRILABİLİRLİK BOYUTLARI

İki ürün veya dalga karşılaştırılırken aşağıdaki alanlar değerlendirilmelidir:

• Denetlenen varlık
• Gerçeklik paketi sürümü
• İstem kimliği ve sürümü
• Dil ve locale
• Ülke
• Hedef nüfus
• Örneklem kaynağı
• Katılımcı kompozisyonu
• Oturum türü
• Hafıza
• Özel talimat
• Önceki konuşma
• Ürün planı
• Kullanıcı yüzeyi
• Model etiketi
• Retrieval/web durumu
• Araçlar
• Atıf özelliği
• Ölçüm zamanı
• Ürün güncellemeleri
• Hakemlik kuralı
• Sonuç statüleri
• Ağırlıklandırma

Bütün boyutların aynı olması gerekmez. Farklı olan boyutlar karşılaştırmanın kapsamını sınırlar.

25. KARŞILAŞTIRILABİLİRLİK SEVİYELERİ

CP-0 — INCOMPARABLE

Maddi ölçüm koşulları bilinmiyor veya ciddi biçimde uyumsuzdur. Doğrudan performans karşılaştırması yapılamaz.

CP-1 — DESCRIPTIVE CO-OCCURRENCE

İki ürün veya dalgadan sonuç vardır. Fakat:

• nüfus,
• istem,
• zaman,
• oturum

eşit değildir. Yalnız betimleyici yan yana gösterim yapılabilir.

CP-2 — PARTIALLY ALIGNED

Bazı temel alanlar eşleşir. Maddi farklılıklar devam eder. Sınırlı karşılaştırma yapılabilir.

CP-3 — MATCHED USER-SURFACE COMPARISON

Aynı varlık Aynı istem sürümü Aynı dil/ülke Benzer kullanıcı nüfusu Aynı zaman penceresi Kayıtlı ürün özellikleri bulunmaktadır. Tüketici ürünü sonucu karşılaştırılabilir.

CP-4 — CONTROLLED MATCHED COMPARISON

Ek olarak:

• oturum,
• hafıza,
• kişiselleştirme,
• retrieval,
• araçlar,
• plan

kontrollü veya açık biçimde eşleştirilmiştir. Daha güçlü ürün veya özellik karşılaştırması sağlar.

CP-5 — REPLICATED AND CALIBRATED COMPARISON

Karşılaştırma:

• birden fazla dalgada,
• bağımsız kullanıcı veya panelde,
• aynı normatif değerlendirmeyle

tekrarlanmış; değişkenlik ve ürün değişiklikleri kalibre edilmiştir. Bu seviyeler “bilimsel doğruluk puanı” değildir. Karşılaştırma iddiasının taşıyabileceği sınırı gösterir.

26. CP-0 DURUMUNDA NE YAPILIR?

İki ürün karşılaştırılamıyorsa sonuçlar yok sayılmaz. Ayrı ayrı raporlanabilir:

• “Ürün A’nın Native Reach sonucu budur.”
• “Ürün B’nin farklı kullanıcı ve ürün koşullarındaki sonucu budur.”

Fakat: “A, B’den 12 puan daha iyidir.” denemez. Karşılaştırılamazlık bir başarısızlık değil, yöntem sınırıdır.

27. AYNI SAĞLAYICI İÇİN KARŞILAŞTIRILABİLİRLİK

Aynı sağlayıcıya ait sonuçlar otomatik olarak karşılaştırılabilir değildir. Aşağıdaki farklar bulunabilir:

• Ürün
• Plan
• Model
• Web erişimi
• Arayüz
• Hafıza
• Kurumsal veri
• Ülke dağıtımı
• Deneysel özellik
• Zaman

Aynı sağlayıcı karşılaştırması da CP seviyesine göre değerlendirilmelidir.

28. FARKLI SAĞLAYICILAR İÇİN KARŞILAŞTIRILABİLİRLİK

Farklı sağlayıcılara ait kullanıcı ürünleri:

• aynı hedef nüfus,
• aynı istem,
• aynı zaman,
• benzer kullanıcı yüzeyi,
• açık ürün yapılandırması

altında karşılaştırılabilir. Farklı sağlayıcı olmak karşılaştırmayı engellemez. Ancak özellik farkları karşılaştırmanın neyi ölçtüğünü belirler. Örnek: Ürün A canlı web kullanıyor. Ürün B kullanmıyor. Sonuç şu soruya cevap verebilir: “Kullanıcıya sunulan iki ürün zincirinden hangisi daha doğru temsil üretiyor?” Şu soruya doğrudan cevap vermez: “Hangi temel model daha bilgili?”

29. WEB DESTEKLİ VE WEBSİZ ÜRÜNLERİN KARŞILAŞTIRILMASI

İki ayrı karşılaştırma mümkündür.

29.1. Doğal Ürün Karşılaştırması

Her ürün varsayılan gerçek kullanıcı koşulunda ölçülür. Web kullanan ürün web kullanır. Kullanmayan kullanmaz. Sonuç: gerçek tüketici ürün deneyimi karşılaştırmasıdır.

29.2. Özellik Eşleştirilmiş Karşılaştırma

Mümkünse her iki ürün:

• web açık,
• web kapalı

modlarında ayrıca ölçülür. Bu, retrieval etkisini daha iyi ayırabilir. Her ürün aynı seçenekleri sunmayabilir. Eksik mod:

NOT AVAILABLE

olarak kaydedilir.

30. ATIF GÖSTEREN VE GÖSTERMEYEN ÜRÜNLER

Atıf özelliği olmayan ürüne: “Sıfır atıf” vermek mümkündür. Fakat bunun anlamı açıklanmalıdır: Ürün kaynak göstermiyor olabilir. Kaynak kullanmıyor olduğu kesin değildir. Atıf kapsamı ile doğruluk kapsamı ayrı sonuçlardır. Atıf karşılaştırması yalnız atıf destekleyen ürünler arasında veya ayrı özellik statüsüyle yapılmalıdır.

31. NATIVE REACH KARŞILAŞTIRMASI

Her ürün kendi gerçek erişim nüfusunda ölçülür. Avantajı: ürünün doğal küresel etkisini gösterir. Sınırlaması: nüfuslar farklıdır, ülke ve dil dağılımları farklı olabilir. Native Reach skorları: ürünün kendi eriştiği insanlarda ne yaptığını gösterir. Doğrudan ürün üstünlüğü sıralamasında tek başına kullanılmamalıdır.

32. COMMON SUPPORT KARŞILAŞTIRMASI

Karşılaştırılan ürünlerin ortak erişim nüfusu kullanılır. Avantajı:

• aynı ülke,
• aynı dil,
• aynı kullanıcı koşulu

üzerinden daha adil karşılaştırma sağlar. Sınırlaması: ürünlerin gerçek küresel erişim farkını saklar, ortak evren çok dar olabilir. Common Support skoru ile Native Reach skoru birlikte yayımlanmalıdır.

33. EŞLENMİŞ KULLANICI KARŞILAŞTIRMASI

Aynı kullanıcı iki veya daha fazla AI ürününü test ederse kullanıcı özellikleri kontrol edilebilir. Ancak:

• görev sırası,
• cevap hatırlama,
• ürün aşinalığı,
• bütün ürünlere erişebilen kullanıcıların özel profili

yanlılık yaratabilir. Eşlenmiş tasarımda:

• ürün sırası rastgeleleştirilmeli,
• önceki cevaplar paylaşılmamalı,

aynı kullanıcı bağımlılığı analizde korunmalıdır.

34. BAĞIMSIZ KULLANICI KARŞILAŞTIRMASI

Her ürün farklı fakat aynı nüfus çerçevesinden seçilen kullanıcılar tarafından test edilir. Avantajı: görev bulaşması azalır, daha doğal ürün kullanıcıları seçilebilir. Sınırlaması: kullanıcı grupları tamamen eşit olmayabilir. Ağırlıklandırma ve tabakalama gerekir. Eşlenmiş ve bağımsız kullanıcı sonuçları ayrı ama tamamlayıcı olabilir.

35. ZAMAN KARŞILAŞTIRILABİLİRLİĞİ

Bir AI ürününün bugünkü sonucu geçmiş sonuçla karşılaştırılırken şu değişiklikler incelenmelidir:

• Model
• Ürün sürümü
• Web/retrieval
• Plan
• Ülke erişimi
• Dil desteği
• İstem
• Varlık gerçekliği
• Hakemlik
• Nüfus çerçevesi
• Ağırlıklandırma

Zaman farkı yalnız AI ürününden kaynaklanmayabilir.

36. ÜRÜN DEĞİŞİKLİĞİ TÜRLERİ

UC-1 — DOCUMENTED MINOR CHANGE

Sağlayıcı tarafından açıklanmış ve ölçüm nesnesini maddi biçimde değiştirmediği değerlendirilen küçük değişiklik.

UC-2 — DOCUMENTED MATERIAL CHANGE

Model, retrieval, arayüz veya özellikte açıklanmış maddi değişiklik.

UC-3 — OBSERVED BEHAVIOR CHANGE

Resmî açıklama bulunmasa da sistematik davranış veya arayüz değişimi gözlenir.

UC-4 — ACCESS OR PLAN CHANGE

Ülke, plan veya kullanıcı erişimi değişir.

UC-5 — UNKNOWN CHANGE EVENT

Ölçüm davranışında kırılma vardır. Nedeni doğrulanamamıştır.

UC-6 — PRODUCT REPLACEMENT OR RETIREMENT

Eski ürün veya model sona ermiş, yerine başka yapı gelmiştir. Değişiklik türü zaman serisi karşılaştırmasını sınırlar.

37. ÖLÇÜM DALGASI İÇİNDE ÜRÜN DEĞİŞİKLİĞİ

Bir dalga sırasında maddi değişiklik oluşursa şu seçenekler vardır: Dalga durdurulur ve yeniden başlatılır. Değişiklik öncesi ve sonrası ayrı alt dalga yapılır. Değişiklik bir deneysel faktör olarak modellenir. Dalga MIXED_SYSTEM_STATE olarak etiketlenir. Şu yapı yasaktır: Değişiklik bilinmesine rağmen bütün cevapları tek sabit ürün sonucu gibi birleştirmek.

38. ÜRÜN DEĞİŞİKLİĞİ OLMADAN DAVRANIŞ DEĞİŞEBİLİR

Sağlayıcı açık güncelleme duyurmasa da sonuç değişebilir. Muhtemel nedenler:

• Retrieval indeksinin değişmesi
• Kaynakların güncellenmesi
• Web’de yeni içerik oluşması
• Reranking değişikliği
• A/B testi
• Bölgesel rollout
• Güvenlik politikası
• Trafik yönlendirmesi

Bu nedenle: “Sağlayıcı güncelleme açıklamadı, sistem kesinlikle aynıydı.” denemez. Ölçüm kanıtları ve davranış kırılması ayrıca incelenmelidir.

39. CANLI ÜRÜN VE DONDURULMUŞ MODEL

İki farklı araştırma nesnesi vardır.

39.1. Canlı Ürün Denetimi

Gerçek kullanıcıların gerçek tüketici yüzeyinde ne gördüğünü ölçer. Avantajı:

• gerçek deneyim,
• gerçek kaynak,
• gerçek politika,
• gerçek arayüz

gösterir. Sınırlaması: değişkendir, tam yeniden üretim zor olabilir.

39.2. Dondurulmuş Model Denetimi

Sabit sürüm veya endpoint altında kontrollü tekrar yapılır. Avantajı:

• yeniden üretilebilirlik,
• deneysel kontrol

sağlar. Sınırlaması: gerçek tüketici ürününü tam temsil etmeyebilir. NOMOS GEO-1000’in ana nüfus katmanı canlı kullanıcı ürününe dayanır. Dondurulmuş model denetimi tamamlayıcı laboratuvar çalışmasıdır.

40. ÜRÜN BULUNAMAMASI VE TEKNİK SONUÇLAR

Aşağıdaki durumlar ayrı tutulmalıdır:

AR-1 — PRODUCT UNAVAILABLE

Ürün ülke veya kullanıcı grubu için mevcut değildir. Erişim kapsamı sonucudur.

AR-2 — ACCOUNT OR PLAN INELIGIBLE

Katılımcının atandığı plan veya hesap koşulu uygun değildir. Örneklem veya görev atama sorunu olabilir.

AR-3 — TEMPORARY TECHNICAL FAILURE

Geçici teknik hata oluşmuştur. Yeniden deneme protokolü önceden tanımlanmalıdır.

AR-4 — RATE OR USAGE LIMIT

Kullanım kotası veya hız limiti oluşmuştur. Gerçek kullanıcı deneyiminin parçası olabilir.

AR-5 — SYSTEM REFUSAL

Ürün görevi politika veya içerik nedeniyle reddetmiştir. Geçerli sistem sonucudur.

AR-6 — NO USABLE OUTPUT

Kullanılabilir cevap oluşmamıştır.

AR-7 — UNKNOWN ACCESS FAILURE

Neden belirlenememiştir. Bu durumlar aynı “cevap yok” kutusunda birleştirilemez.

41. TEKNİK YENİDEN DENEME KURALI

Geçici teknik hata veya bağlantı kesintisinde yeniden deneme yapılabilir. Fakat:

• AI cevabı beğenilmediği,
• ret oluştuğu,
• yanlış bilgi üretildiği

için yeniden deneme yapılamaz. Teknik yeniden deneme:

• aynı kullanıcı,
• aynı ürün,
• aynı yapılandırma,
• önceden belirlenmiş süre

içinde yapılmalıdır. İlk teknik olay da saklanmalıdır.

42. KARŞILAŞTIRMA MATRİSİ

İki ürün için temel karşılaştırma kaydı şöyle olabilir:

Bu sonuçlar yan yana gösterilebilir. Fakat: “Ürün B’nin temel modeli daha iyidir.” denemez. Farklılık bütün ürün zincirinden kaynaklanabilir.

43. SENTETİK APPLE.COM KARŞILAŞTIRMA VAKASI

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki ürünler, cevaplar ve sonuçlar tamamen kurgusaldır. Gerçek Apple Inc. veya herhangi bir gerçek AI sağlayıcısının performansını temsil etmez. Üç sentetik ürün örneği düşünelim.

Ürün Örneği A

Sağlayıcı: Orion Ürün: Orion Chat Yüzey: Web Plan: Ücretsiz Model etiketi: Orion Standard Model güveni: MI-1 Web erişimi: Kapalı Hafıza: Kapalı Oturum: Yeni Dil: Türkçe Locale: Türkiye Dalga: W1 Yanıt: “Apple, telefon ve bilgisayar üreten bir Amerikan teknoloji şirketidir.”

Ürün Örneği B

Sağlayıcı: Orion Ürün: Orion Chat Yüzey: Mobil Plan: Ücretli Model etiketi: Orion Pro Model güveni: MI-1 Web erişimi: Açık Atıf: Açık Hafıza: Açık Önceki konuşma: Apple ile ilgili Dil: Türkçe Locale: Türkiye Dalga: W1 Yanıt: “Apple; donanım, yazılım ve dijital hizmetler sunan küresel teknoloji şirketidir. Güncel kurumsal bilgiler şu kaynaklarda yer almaktadır.”

Ürün Örneği C

Sağlayıcı: Helios Ürün: Helios Search Yüzey: Web Plan: Ücretsiz Model etiketi: Bilinmiyor Model güveni: MI-0 Web erişimi: Açık Atıf: Açık Hafıza: Bulunmuyor Oturum: Yeni Dil: Türkçe Locale: Türkiye Dalga: W1 Yanıt: “Apple, tüketici cihazları, işletim sistemleri ve dijital hizmetler geliştiren ABD merkezli teknoloji şirketidir.”

43.1. A ve B Karşılaştırması

Aynı sağlayıcıdır. Fakat:

• plan,
• yüzey,
• model etiketi,
• web,
• hafıza,
• önceki konuşma

farklıdır. Karşılaştırma seviyesi: CP-1 veya CP-2 olabilir. Yanıt farkı yalnız temel model farkına atfedilemez.

43.2. A ve C Karşılaştırması

Farklı sağlayıcılardır. Ancak:

• yeni oturum,
• ücretsiz plan,
• web yüzeyi,
• aynı dil/ülke,
• aynı dalga

bakımından bazı koşullar eşleşir. Web erişimi farklıdır. Karşılaştırma: doğal tüketici ürünü sonucu olarak yapılabilir. Temel model yeteneği olarak yapılamaz.

43.3. B ve C Karşılaştırması

İki üründe web ve atıf açıktır. Ancak B’de hafıza ve önceki konuşma vardır. C’de yoktur. Kullanıcı ürün deneyimi bakımından karşılaştırılabilir. Kontrollü temiz ürün karşılaştırması değildir.

43.4. Kontrollü Tekrar

B ürününde:

• hafıza kapatılır,
• yeni sohbet açılır,
• özel talimatlar kapatılır,

web açık kalır. C aynı koşulda ölçülür. Karşılaştırma seviyesi: CP-3 veya yeterli ek kontrolle CP-4 olabilir. Bu örnek şunu gösterir:

Aynı sağlayıcı yakın karşılaştırma sağlamaz; iyi kaydedilmiş farklı sağlayıcılar daha karşılaştırılabilir olabilir.

44. SENTETİK ÜRÜN DEĞİŞİKLİĞİ VAKASI

SENTETİK ÖRNEK

Orion Chat W1 dalgasında 1.000 gözlem hedefliyor. İlk 480 gözlemde:

• ürün sürümü: 6.1
• web özelliği: manuel
• atıf: sınırlı

Sonraki 520 gözlemde:

• ürün sürümü: 6.2
• web özelliği: otomatik
• atıf: genişletilmiş

olsun. Tek sonuç: “Orion Chat W1 skoru” olarak hesaplanırsa iki farklı sistem durumu karışır. Doğru seçenekler:

Seçenek 1

W1A: ilk 480 W1B: sonraki 520 ayrı raporlanır.

Seçenek 2

Dalgaya devam edilmez. 6.2 sürümünde yeni 1.000 gözlem alınır.

Seçenek 3

Sürüm, istatistiksel analizde açık deneysel faktör olarak tutulur. Yanlış seçenek: Güncelleme rapordan çıkarılır ve bütün gözlemler tek sabit ürün gibi sunulur.

45. ASGARİ AI SİSTEM KAYDI

Her gözlem en azından şu alanları taşımalıdır:

• NOMOS AI sistem kimliği
• Sağlayıcı
• Ürün
• Yüzey
• Plan
• Ürün türü
• Görünen model etiketi
• Model güven düzeyi
• Ülke
• Locale
• Dil
• Oturum türü
• Hafıza durumu
• Özel talimat durumu
• Önceki konuşma durumu
• Retrieval/web özelliği
• Retrieval kullanım statüsü
• Atıf statüsü
• Araç statüsü
• Deneysel özellik durumu
• UTC zaman
• Dalga
• Sistem parmak izi
• Değişiklik olayları
• Kanıt kaynağı
• Kayıt sahibi

Maddi alan bilinmiyorsa boş bırakılamaz. UNKNOWN statüsü kullanılmalıdır.

46. ASGARİ KARŞILAŞTIRMA KARTI

İki ürün veya dalga karşılaştırıldığında kamu kaydı şunları göstermelidir:

• Karşılaştırma sorusu
• Karşılaştırma seviyesi
• Ortak hedef nüfus
• Native Reach farkları
• İstem eşitliği
• Dil ve ülke
• Ölçüm zamanı
• Ürün, plan ve yüzey
• Model kimliği güveni
• Web/retrieval farkı
• Hafıza ve kişiselleştirme farkı
• Araç farkı
• Örneklem farkı
• Değerlendirme yöntemi
• Maddi sınırlamalar
• Doğrudan karşılaştırılabilen metrikler
• Karşılaştırılamayan alanlar

Tek sayı veya sıralama bu kart olmadan yayımlanmamalıdır.

47. KARŞILAŞTIRILABİLİRLİK HÜKMÜ

Bir denetçi şu dört soruya cevap vermelidir: Aynı şey mi soruldu? Aynı insan evreni mi ölçüldü? Aynı kullanıcı koşulları mı uygulandı? Aynı zaman ve değerlendirme sistemi mi kullanıldı? Bu soruların her biri:

• tamamen,
• kısmen,
• hayır,
• bilinmiyor

olarak sınıflandırılır. Karşılaştırma seviyesi buna göre verilir.

48. ZORUNLU NORMATİF HÜKÜMLER

CH09-N01

Her GEO-1000 gözlemi sürümlü bir AI Sistem Sicili kaydına bağlanmalıdır.

CH09-N02

Sağlayıcı adı, ölçülen AI ürününün tam kimliği olarak kullanılamaz.

CH09-N03

Ürün, kullanıcı yüzeyi, plan, model, retrieval, araç, oturum ve kişiselleştirme katmanları birbirinden ayrılmalıdır.

CH09-N04

Kullanıcı yüzeyindeki model etiketi doğrulanmış arka uç model kimliği gibi sunulamaz.

CH09-N05

Model kimliği güven düzeyi MI-0 ile MI-5 arasında veya eşdeğer açık statüyle kaydedilmelidir.

CH09-N06

Model kimliği doğrulanamıyorsa sonuç yalnız ürün ve kullanıcı yüzeyine atfedilmelidir.

CH09-N07

Aynı sağlayıcıya ait ürünler otomatik olarak aynı deneysel hücre sayılmaz.

CH09-N08

Farklı sağlayıcılara ait ürünler, maddi kullanıcı ve deney koşulları eşleştirildiğinde karşılaştırılabilir olabilir.

CH09-N09

Web, mobil, masaüstü, gömülü ürün ve API yüzeyleri açıklamasız biçimde birleştirilemez.

CH09-N10

Ücretsiz, ücretli, kurumsal, eğitim ve geliştirici planları ayrı ürün koşulları olarak kaydedilmelidir.

CH09-N11

Plan bilinmiyorsa sonuç PLAN_UNKNOWN statüsü taşımalıdır.

CH09-N12

Retrieval veya web özelliğinin mevcut olması, belirli yanıtta kullanıldığının kanıtı sayılamaz.

CH09-N13

Retrieval erişimi, retrieval kullanımı ve atıf gösterimi ayrı statülerle kaydedilmelidir.

CH09-N14

Atıf göstermeyen ürün otomatik olarak kaynak kullanmıyor sayılamaz.

CH09-N15

Atıf gösteren ürünün atıfları iddia desteği bakımından ayrıca incelenmelidir.

CH09-N16

Araç erişimi ve belirli yanıtta araç kullanımı ayrı kaydedilmelidir.

CH09-N17

Hafıza, özel talimatlar, önceki sohbet ve kurumsal ayarlar mümkün olduğu ölçüde ayrı kaydedilmelidir.

CH09-N18

Bilinmeyen kişiselleştirme durumu temiz oturum gibi varsayılamaz.

CH09-N19

Yeni sohbet, geçici sohbet, mevcut sohbet ve kurumsal çalışma alanı oturumları açıklamasız biçimde birleştirilemez.

CH09-N20

Doğal kullanıcı paneli ve kontrollü temiz panel sonuçları ayrı ürün durumu taşımalıdır.

CH09-N21

Ürün içindeki deneysel özellik veya A/B dağıtımı maddi ise gözlem sicilinde korunmalıdır.

CH09-N22

Bir dalga sırasında maddi ürün değişikliği oluşursa dalga ayrı alt sürümlere bölünmeli, yeniden başlatılmalı veya değişiklik analizde açıkça modellenmelidir.

CH09-N23

Bilinen ürün değişikliği bütün gözlemler tek sabit sistemden gelmiş gibi saklanamaz.

CH09-N24

Sağlayıcının güncelleme açıklamamış olması ürünün değişmediğinin kesin kanıtı sayılamaz.

CH09-N25

Canlı tüketici ürünü sonucu dondurulmuş temel model sonucu gibi sunulamaz.

CH09-N26

Dondurulmuş model laboratuvar sonucu gerçek kullanıcı ürünü performansı gibi sunulamaz.

CH09-N27

Ürün bulunmaması, teknik hata, kullanım limiti, sistem reddi ve sonuçsuzluk ayrı statülerle kaydedilmelidir.

CH09-N28

Yanlış veya olumsuz AI cevabı teknik yeniden deneme nedeni olamaz.

CH09-N29

Karşılaştırmanın nesnesi veri toplanmadan önce tanımlanmalıdır.

CH09-N30

İki ürünün karşılaştırılabilirlik seviyesi kamu sonucunda görünür olmalıdır.

CH09-N31

CP-0 veya CP-1 düzeyindeki sonuçlardan kesin ürün sıralaması üretilemez.

CH09-N32

Aynı istem kullanılması tek başına karşılaştırılabilir deney oluşturmaz.

CH09-N33

Karşılaştırmada hedef varlık, gerçeklik paketi, istem, dil, ülke, zaman, nüfus, oturum, ürün ve değerlendirme yöntemi birlikte incelenmelidir.

CH09-N34

Native Reach sonuçları farklı hedef nüfuslara ait oldukları için açıklamasız biçimde doğrudan sıralanamaz.

CH09-N35

Common Support sonucu ürünün gerçek küresel erişim sonucu gibi sunulamaz.

CH09-N36

Web destekli ve websiz ürün karşılaştırması, kullanıcı ürünü karşılaştırması olarak yapılabilir; temel model üstünlüğü olarak sunulamaz.

CH09-N37

Aynı kullanıcıyla yapılan eşlenmiş karşılaştırmada ürün sırası ve kullanıcı bağımlılığı korunmalıdır.

CH09-N38

Farklı kullanıcılarla yapılan karşılaştırmada kullanıcı kompozisyonu ve ağırlık farkları görünür olmalıdır.

CH09-N39

Ürün sürümü veya konfigürasyon parmak izi her ölçüm dalgasında saklanmalıdır.

CH09-N40

Sistem sicili ve karşılaştırılabilirlik kararının hesap verebilir insan veya kurum sahibi bulunmalıdır.

49. BAŞARISIZLIK BİÇİMLERİ

CH09-F01 — SAĞLAYICIYI TEK AI SAYMAK

Sağlayıcının bütün ürün, model ve yüzeyleri tek sistem gibi sunulur.

CH09-F02 — MODEL ADINI ÜRÜN DAVRANIŞI SAYMAK

Retrieval, güvenlik, arayüz ve kişiselleştirme yok sayılır.

CH09-F03 — GÖRÜNEN MODEL ETİKETİNİ KESİN ARKA UÇ SAYMAK

Yönlendirme veya dinamik model kullanımı göz ardı edilir.

CH09-F04 — AYNI SAĞLAYICIYI KARŞILAŞTIRILABİLİR SAYMAK

Plan, yüzey ve özellik farkları saklanır.

CH09-F05 — FARKLI SAĞLAYICILARI KARŞILAŞTIRILAMAZ SAYMAK

Eşlenmiş kullanıcı koşullarında mümkün olan ürün karşılaştırması reddedilir.

CH09-F06 — WEB VE MOBİLİ TEKLEŞTİRMEK

Arayüz ve özellik farkları kaybolur.

CH09-F07 — ÜCRETSİZ VE ÜCRETLİ PLANI BİRLEŞTİRMEK

Plan kaynaklı kalite veya özellik farkı görünmez olur.

CH09-F08 — KURUMSAL VE TÜKETİCİ ÜRÜNÜNÜ AYNI SAYMAK

Özel bilgi ve yönetici ayarları gizlenir.

CH09-F09 — API SONUCUNU TÜKETİCİ ÜRÜNÜ SAYMAK

Orkestrasyon ve kullanıcı yüzeyi farkları yok edilir.

CH09-F10 — RETRIEVAL MEVCUTSA KULLANILDI SAYMAK

Belirli cevabın gerçek bilgi yolu doğrulanmaz.

CH09-F11 — ATIF YOKSA KAYNAK YOK SAYMAK

Gizli veya görünmeyen retrieval ihtimali yok sayılır.

CH09-F12 — ATIF VARSA DOĞRU KAYNAK SAYMAK

Atıf–iddia eşleşmesi incelenmez.

CH09-F13 — ARAÇ ERİŞİMİNİ ARAÇ KULLANIMI SAYMAK

Belirli cevapta hangi aracın kullanıldığı bilinmez.

CH09-F14 — HAFIZAYI TEMİZ OTURUM SAYMAK

Kişiselleştirme etkisi görünmez kalır.

CH09-F15 — YENİ SOHBETİ KİŞİSELLEŞTİRMESİZ SAYMAK

Kalıcı hesap ayarları ve özel talimatlar yok sayılır.

CH09-F16 — MEVCUT SOHBETİ YENİ OTURUM GİBİ SUNMAK

Önceki bağlam gizlenir.

CH09-F17 — DENEYSEL ÖZELLİĞİ VERİ HATASI SAYMAK

Gerçek ürün varyasyonu geçersiz gözlem ilan edilir.

CH09-F18 — DENEYSEL ÖZELLİĞİ SAKLAMAK

Farklı rollout’lardaki kullanıcılar tek sabit ürün gibi birleştirilir.

CH09-F19 — GÜNCELLEME SONRASI TEK DALGA

Maddi ürün değişimi tek sabit sistem sonucu gibi yayımlanır.

CH09-F20 — DUYURU YOKSA DEĞİŞİKLİK YOK SAYMAK

Gözlenen davranış kırılması incelenmez.

CH09-F21 — CANLI ÜRÜNÜ DONDURULMUŞ MODEL SAYMAK

Tam yeniden üretilebilirlik iddia edilir.

CH09-F22 — DONDURULMUŞ MODELİ GERÇEK KULLANICI ÜRÜNÜ SAYMAK

Ürün zinciri ve arayüz farkları saklanır.

CH09-F23 — ÜRÜN YOKLUĞUNU HATA SAYMAK

Erişim kapsamı temsil doğruluğuna karıştırılır.

CH09-F24 — TEKNİK HATAYI RET SAYMAK

Bağlantı veya hizmet sorunu politika sonucu gibi sınıflandırılır.

CH09-F25 — RETİ TEKNİK HATA SAYIP YENİDEN DENEMEK

Gerçek kullanıcı sonucu paydadan çıkarılır.

CH09-F26 — KULLANIM LİMİTİNİ GİZLEMEK

Ücretsiz planın gerçek deneyimi görünmez olur.

CH09-F27 — AYNI İSTEMİ AYNI DENEY SAYMAK

Ürün, plan, oturum, web ve zaman farkları yok sayılır.

CH09-F28 — ÜRÜN SONUCUNU MODEL ÜSTÜNLÜĞÜ SAYMAK

Bütün sistem zincirindeki fark temel modele atfedilir.

CH09-F29 — NATIVE REACH SKORLARINI DOĞRUDAN SIRALAMAK

Farklı nüfus evrenleri aynı kabul edilir.

CH09-F30 — COMMON SUPPORT’U KÜRESEL KAPSAM SAYMAK

Dar ortak evren ürünün bütün erişimi gibi sunulur.

CH09-F31 — CP-1 SONUCUNDAN LİDERLİK İDDİASI

Yalnız yan yana duran uyumsuz sonuçlardan ürün üstünlüğü çıkarılır.

CH09-F32 — KARŞILAŞTIRMA SEVİYESİNİ SAKLAMAK

Kamu yalnız sıralamayı görür.

CH09-F33 — EŞLENMİŞ KULLANICI BAĞIMLILIĞINI YOK SAYMAK

Aynı insanın ürün cevapları bağımsız kabul edilir.

CH09-F34 — ÜRÜN SIRASI ETKİSİNİ YOK SAYMAK

İlk cevap sonraki görevleri etkiler.

CH09-F35 — FARKLI PANEL KULLANICILARINI AYNI SAYMAK

Ürünler farklı kullanıcı kompozisyonunda test edilir.

CH09-F36 — GERÇEKLİK PAKETİ SÜRÜMÜNÜ DEĞİŞTİRMEK

Aynı cevaplar farklı referans kayıtlarıyla karşılaştırılır.

CH09-F37 — ÜRÜN PARMAK İZİNİ SESSİZCE DEĞİŞTİRMEK

Konfigürasyon kaydı güncellenir, eski ölçüm yeniden yazılır.

CH09-F38 — BİLİNMEYEN ALANI TEMİZ SAYMAK

Model, hafıza veya araç durumu bilinmediği hâlde kontrollü kabul edilir.

CH09-F39 — ÜRÜN MARKASINI KANIT YERİNE KULLANMAK

Sağlayıcının itibarı ölçüm şartlarının yerine geçer.

CH09-F40 — TEK KATSAYIYLA BÜTÜN ÜRÜN FARKINI ÖRTMEK

Model veya pazar katsayısı kullanılarak plan, arayüz ve konfigürasyon farkları görünmez yapılır.

50. DENETİM PROSEDÜRÜ

Adım 1 — Sağlayıcı ve Ürünü Tanımla

Ürün adı, türü ve resmî kullanıcı yüzeyleri kaydedilir.

Adım 2 — Ölçüm Yüzeyini Kilitle

Web Mobil Masaüstü

API

Gömülü ürün ayrılır.

Adım 3 — Plan ve Hesap Sınıfını Doğrula

Ücretsiz, ücretli, kurumsal veya başka plan statüsü kaydedilir.

Adım 4 — Model Kimliği Güvenini Ata

MI-0 ile MI-5 arasında uygun seviye belirlenir.

Adım 5 — Retrieval ve Web Yapılandırmasını Kaydet

Özellik mevcut mu? Açık mı? Belirli cevapta kullanıldı mı? Kanıt nedir?

Adım 6 — Atıf ve Araç Durumunu Kaydet

Özellik erişimi ile gerçek kullanım ayrılır.

Adım 7 — Oturum ve Kişiselleştirme Durumunu Kaydet

Hafıza Özel talimat Önceki sohbet Kurumsal ayar incelenir.

Adım 8 — Ülke, Locale ve Dil Kaydını Doğrula

Ürün davranışının bölgesel şartı belirlenir.

Adım 9 — Deneysel Özellikleri İncele

Kullanıcılar arası UI veya özellik farkı aranır.

Adım 10 — Zaman ve Dalga Kimliğini Kilitle

UTC zamanı ve dalga kaydı oluşturulur.

Adım 11 — Sistem Konfigürasyon Parmak İzini Üret

Kaydedilen alanlar bütünlük kaydına bağlanır.

Adım 12 — Değişiklik Olaylarını İzle

Duyurulan ve gözlenen ürün değişiklikleri kaydedilir.

Adım 13 — Karşılaştırmanın Nesnesini Yaz

Ürün Model Retrieval Plan Arayüz Zaman karşılaştırmalarından hangisi yapılıyor?

Adım 14 — Karşılaştırma Boyutlarını Eşleştir

Maddi alanlar tablo hâline getirilir.

Adım 15 — CP Seviyesini Ata

CP-0 ile CP-5 arasında uygun seviye verilir.

Adım 16 — Karşılaştırılabilir ve Karşılaştırılamaz İddiaları Ayır

Hangi sonuçların yan yana getirilebileceği açıkça yazılır.

Adım 17 — Native Reach ve Common Support Sonuçlarını Ayır

Ürün içi ve ortak nüfus karşılaştırmaları ayrı kaydedilir.

Adım 18 — Dalga İçindeki Sistem Değişimini Denetle

MIXED_SYSTEM_STATE veya yeni alt dalga gerekip gerekmediği belirlenir.

Adım 19 — Kamu Karşılaştırma Kartını Oluştur

Sıralamanın arkasındaki koşullar görünür hâle getirilir.

Adım 20 — Kayıt Sahibinin Onayını Al

Sistem sicili ve karşılaştırma kararı sorumlu insan tarafından sürümlenir.

51. GEREKLİ KANIT

Sağlayıcı kimliği Ürün adı ve türü Kullanıcı yüzeyi Uygulama veya arayüz sürümü Plan ve hesap sınıfı Görünen model etiketi Model kimliği kanıtı Model kimliği güven seviyesi Ürün belgeleri Ülke erişim kayıtları Dil ve locale Web/retrieval özelliği Retrieval kullanım kanıtı Atıf özelliği Atıf görünümü Atıf–iddia bağlantısı Araç erişimi Araç kullanım kaydı Hafıza ayarı Özel talimatlar Önceki sohbet durumu Oturum türü Kurumsal yönetici ayarları Deneysel özellik kaydı A/B dağıtım sinyalleri UTC zaman damgası Ölçüm dalgası Sistem konfigürasyon parmak izi Sağlayıcı güncelleme kayıtları Gözlenen davranış değişiklikleri Ürün erişim hataları Teknik yeniden deneme kayıtları Native Reach nüfus kaydı Common Support nüfus kaydı Karşılaştırma boyut tablosu

CP seviyesi İstem sürümü Gerçeklik paketi sürümü Örneklem ve ağırlık kaydı Hakemlik sürümü Kamu karşılaştırma kartı Değişiklik günlüğü Sorumlu insan veya kurum

52. DENETİM KONTROL LİSTESİ

Sağlayıcı ve ürün ayrı kaydedildi mi? Kullanıcı yüzeyi belli mi? Plan ve hesap sınıfı doğrulandı mı? Model etiketi yalnız görünen etiket mi, doğrulanmış dağıtım mı? Model kimliği güven seviyesi verildi mi? Sonuç ürüne mi, modele mi atfediliyor? Web/retrieval özelliği mevcut muydu? Belirli cevapta retrieval kullanıldığı doğrulandı mı? Atıf özelliği ve atıf görünümü ayrıldı mı? Atıf’lar iddiaları gerçekten destekliyor mu? Araç erişimi ve araç kullanımı ayrıldı mı? Hafıza açık mıydı? Özel talimatlar var mıydı? Önceki sohbet bağlamı bulunuyor muydu? Oturum türü kaydedildi mi? Kurumsal veya özel bilgi kaynağı var mıydı? Ürün içindeki deneysel özellikler kontrol edildi mi? Ülke ve locale ürün davranışını etkiliyor mu?

Sistem parmak izi oluşturuldu mu? Ölçüm dalgası sırasında ürün değişti mi? Sağlayıcı duyurusu dışında davranış kırılması var mı? Değişiklik öncesi ve sonrası gözlemler ayrıldı mı? Teknik hata ile ret ayrıldı mı? Yanlış cevap nedeniyle yeniden deneme yapıldı mı? Karşılaştırmanın nesnesi açık mı? Aynı istemin dışında hangi koşullar eşleşiyor? Hedef nüfus aynı mı? İstem ve gerçeklik paketi sürümleri aynı mı? Plan, yüzey ve retrieval farkları görünür mü? CP seviyesi verildi mi? CP-0 veya CP-1 sonuçlarından sıralama yapıldı mı? Native Reach ve Common Support sonuçları ayrıldı mı? Aynı kullanıcı ürün sırası dengelendi mi? Farklı kullanıcı panelleri kalibre edildi mi?

Canlı ürün sonucu temel model üstünlüğü gibi sunuldu mu? Bilinmeyen alanlar kontrollü kabul edildi mi? Kamu karşılaştırma kartı mevcut mu? Sistem sicilinin hesap verebilir sahibi belli mi?

53. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Kullanıcı hangi modelin çalıştığını bilmiyorsa bu çalışma yapılamaz mı?”

Yapılabilir. Ana GEO-1000 nesnesi kullanıcı ürünüdür. Model bilinmiyorsa sonuç: “Bu ürün ve kullanıcı yüzeyinde bu davranış gözlendi.” şeklinde raporlanır. Belirli modele atıf yapılmaz.

İtiraz 2 — “Aynı sağlayıcının ürünlerini neden bu kadar ayırıyoruz?”

Çünkü kullanıcı:

• farklı plan,
• model,
• retrieval,
• hafıza,
• araç

koşullarında farklı cevap görebilir. Sağlayıcı adı kullanıcı deneyimini tam tanımlamaz.

İtiraz 3 — “Farklı sağlayıcıları karşılaştırmak zaten elma ile armut değil mi?”

Karşılaştırma sorusu doğru kurulursa değildir. Gerçek kullanıcı: “Hangi ürün beni daha doğru bilgilendiriyor?” diye sorabilir. Bütün ürün zinciri bu sorunun parçasıdır. Temel model üstünlüğü iddia edilecekse daha kontrollü deney gerekir.

İtiraz 4 — “Web kullanan ürünün avantajlı olması doğal değil mi?”

Doğaldır. Doğal ürün karşılaştırmasında avantaj ürünün gerçek özelliğidir. Model karşılaştırmasında retrieval etkisi ayrıca ayrılmalıdır.

İtiraz 5 — “Atıf göstermeyen ürüne atıf puanı vermemek haksızlık değil mi?”

Atıf özelliği ürünün kullanıcıya sunduğu işlevdir. Özellik yoksa atıf sonucu:

NOT AVAILABLE

olarak gösterilebilir. Maddi doğruluk ayrıca ölçülür.

İtiraz 6 — “Hafıza doğal kullanıcı deneyiminin parçasıysa neden kapatıyoruz?”

Doğal panelde açık kalabilir. Kontrollü panelde ürünler arası karşılaştırmayı temizlemek için kapatılabilir. İki panel farklı sorulara cevap verir.

İtiraz 7 — “Yeni sohbet açmak temiz oturum için yeterli değil mi?”

Her zaman değil. Kalıcı hafıza, özel talimat veya hesap ayarları devam edebilir. Bu alanlar ayrıca kaydedilmelidir.

İtiraz 8 — “Sağlayıcı ürün değişikliğini açıklamadıysa ne yapabiliriz?”

Gözlenen:

• arayüz,
• özellik,
• davranış,
• atıf

değişikliklerini kaydedebiliriz. Nedeni bilinmiyorsa UC-5 gibi belirsiz değişiklik statüsü kullanılır.

İtiraz 9 — “Ürünler sürekli değişiyorsa hiçbir sonuç geçerli olmaz mı?”

Sonuç belirtilen:

• tarih,
• dalga,
• ürün örneği

için geçerlidir. Değişkenlik ölçümü anlamsızlaştırmaz. Zamansız hükmü engeller.

İtiraz 10 — “Aynı istem ve aynı gün yeterince karşılaştırılabilir değil mi?”

Hayır. Plan, yüzey, hafıza, web, ülke ve kullanıcı nüfusu farklı olabilir. Aynı istem gerekli olabilir. Tek başına yeterli değildir.

İtiraz 11 — “CP seviyesi kamu için fazla teknik olmaz mı?”

Kısa etiket kullanılabilir:

• Descriptive
• Partially matched
• Matched
• Controlled
• Replicated

Kamu sıralamanın ne kadar güçlü olduğunu bilmelidir.

İtiraz 12 — “Native Reach skorlarından neden doğrudan sıralama yapamıyoruz?”

Çünkü her ürün farklı ülke ve kullanıcı nüfusunda ölçülmüş olabilir. Skor farkı kısmen ürünün hangi nüfusa ulaştığından doğabilir. Common Support daha adil karşılaştırma sağlar.

İtiraz 13 — “Common Support gerçek dünya sonucu değil mi?”

Gerçek ortak nüfus sonucudur. Fakat ürünlerin ortak evren dışındaki erişimini göstermez. Native Reach ile birlikte okunmalıdır.

İtiraz 14 — “Canlı ürün denetimi mi, dondurulmuş model denetimi mi daha önemlidir?”

Sorular farklıdır. Canlı ürün kullanıcı gerçeğini ölçer. Dondurulmuş model bilimsel kontrol ve yeniden üretim sağlar. NOMOS ikisini birbirinin yerine kullanmaz.

57. BÖLÜMÜN ORTAK HÜKMÜ

Bir kullanıcı:

• “ChatGPT böyle söyledi.”
• “Gemini böyle düşündü.”
• “Claude bizi önerdi.”
• “Kimi bizi kaynak aldı.”

diyebilir. Günlük konuşmada bu ifadeler anlaşılabilir. Denetim kaydında yeterli değildir. Çünkü bu adların altında:

• farklı ürünler,
• farklı planlar,
• farklı modeller,
• farklı kullanıcı yüzeyleri,
• farklı web ve retrieval sistemleri,
• farklı hafıza koşulları,
• farklı ülkeler,
• farklı zamanlar

bulunabilir. Aynı isim altında farklı insanlar farklı AI deneyimleri görebilir. Farklı isimler altında ise karşılaştırılabilir kullanıcı deneyimleri kurulabilir. Bir model etiketi cevabın tamamını üretmiş görünür. Fakat kullanıcıya ulaşan gerçeklik:

• kaynak seçimi,
• güvenlik,
• kişiselleştirme,
• arayüz,
• araçlar

tarafından şekillendirilebilir. Bu nedenle NOMOS yalnız: “Hangi model?” diye sormaz. Şunları birlikte sorar: Hangi ürün? / Hangi yüzey? / Hangi plan? / Hangi bilgi modu? / Hangi oturum? / Hangi kullanıcı? / Hangi ülke? / Hangi zaman? / Hangi sürüm? İki sonuç aynı istemden gelmiş olabilir. Ama aynı deneyden gelmemiş olabilir. İki sonuç farklı sağlayıcılardan gelmiş olabilir. Ama aynı kullanıcı koşulunda gerçek ve adil biçimde karşılaştırılabilir olabilir. Bir ürün canlıdır. Değişir. Kaynakları değişir. Arayüzü değişir. Modeli değişir. Bu değişim sonucu değersiz yapmaz. Sonucu zamana ve ürün durumuna bağlar. Bu nedenle NOMOS’un dokuzuncu ölçüm yasası şudur:

AI sağlayıcısı, AI ürünü değildir.

Onuncu yasası şudur:

Model, kullanıcıya ulaşan temsil zincirinin yalnız bir parçasıdır.

On birinci yasası şudur:

Aynı isim karşılaştırılabilirlik; farklı isim karşılaştırılamazlık garantisi vermez.

On ikinci yasası şudur:

Aynı istem, aynı deney değildir.

On üçüncü yasası şudur:

Canlı ürünün sonucu, yalnız ölçüldüğü ürün örneği ve zamanda geçerlidir.

On dördüncü yasası şudur:

Karşılaştırmanın gücü sıralamanın büyüklüğünden değil, eşleştirilen koşulların açıklığından doğar.

NOMOS’un Bölüm 9 Emri

Bana yalnız sağlayıcının adını verme. / Hangi ürününü, hangi yüzeyde ve hangi planla kullandığını göster.

Ekranda gördüğün model etiketini bütün arka uç sistemin kesin kimliği yapma.

Web özelliği vardı diye kullanıldı; atıf vardı diye iddiayı destekledi sanma.

Araç erişimini araç kullanımı, yeni sohbeti temiz hesap, hafıza bilinmiyor durumunu hafıza kapalı sayma.

Ücretsiz kullanıcıyla ücretli kullanıcıyı, mobil ürünle web ürününü, kurumsal çalışma alanıyla genel sohbeti aynı hücreye atma.

Aynı sağlayıcının sonuçlarını otomatik olarak adil karşılaştırma sayma.

Farklı sağlayıcıları yalnız farklı oldukları için karşılaştırmaktan kaçma. / Önce koşulları eşleştir. / Sonra hangi soruya cevap verdiğini açıkla.

Canlı ürünü dondurulmuş model, API’yi tüketici deneyimi, ürün sonucunu temel model üstünlüğü gibi sunma.

Dalganın ortasında sistem değiştiyse eski ve yeni cevapları tek ürün gibi birleştirme.

Sağlayıcı değişiklik açıklamadı diye gözünün önündeki davranış kırılmasını yok sayma.

Bilinmeyeni temiz, eşit veya sabit varsayma.

Önce sistemi sicile kaydet. / Sonra konfigürasyonu kilitle. / Sonra değişiklikleri izle. / Sonra karşılaştırmanın nesnesini yaz. / Sonra eşleşen ve eşleşmeyen koşulları göster. / Ve ancak bundan sonra hangi ürünün hangi koşulda daha güçlü sonuç verdiğini söyle.

Bölümün Son Cümlesi

GEO-1000’de ölçülen “AI”, tek bir isim veya model değil; belirli bir anda, belirli bir kullanıcıya, belirli bir ürün zinciri içinde ulaşan sürümlü temsil sistemidir.

Normatif Öz

Her GEO-1000 gözlemi; sağlayıcı, ürün, kullanıcı yüzeyi, plan, görünen veya doğrulanmış model kimliği, model kimliği güveni, retrieval ve web yapılandırması, atıf kapasitesi ve kullanımı, araç erişimi, oturum durumu, hafıza, özel talimatlar, önceki bağlam, kişiselleştirme, ülke, locale, dil, dağıtım durumu, ölçüm zamanı ve bilinen sistem değişikliklerini ilgili olduğu ölçüde taşıyan sürümlü bir AI Sistem Sicili kaydına bağlanmalıdır. Sağlayıcı adı, ürün adı, görünen model etiketi, temel model, retrieval sistemi ve kullanıcı ürünü birbirinin yerine kullanılamaz. Aynı sağlayıcı veya model etiketi otomatik karşılaştırılabilirlik oluşturmaz. Farklı sağlayıcılar, kullanıcı koşulları yeterince eşleştirildiğinde ölçülen ürün davranışı bakımından karşılaştırılabilir.