Apple.com Sentetik Sınama Tasarımı

Bölüm Sınırı

İlk on altı bölüm GEO-1000’in bütün ana normatif katmanlarını kurdu: Denetlenen varlık tanımlandı. Hedef kullanıcı nüfusu ve örneklem kuruldu. Ülke ve dil adaleti panelleri ayrıldı. Katılımcı seçimi ve ağırlıklandırma düzenlendi. AI ürün örneği sicile bağlandı. İstem Anayasası oluşturuldu. Kontrollü ve doğal kullanıcı koşulları ayrıldı. Senkronize dalga ve NOMOS Capture kanıt zinciri kuruldu. Verified Varlık Truth Pack tanımlandı. Yanıtlar atomik iddialara ayrıldı. Critical ve Major kapılar oluşturuldu. Dağılım, bileşen ve bileşik skor mimarisi yazıldı. Şimdi standardın kendi iddiasını sınamamız gerekir:

Bu kadar ayrıntılı bir sistem gerçekten çalışabiliyor mu?

Aynı gözlemler farklı ekipler tarafından işlendiğinde benzer sonuç üretiyor mu?

Critical hatayı ortalamada kaybetmeden yakalayabiliyor mu?

Düşük kaynaklı dil sorununu küresel ortalamadan ayırabiliyor mu?

Yanlış varlık, yanlış kapsam, eski gerçeklik, sahte atıf ve maddi omission arasında doğru ayrımı yapabiliyor mu?

Önceden bilinen sentetik gerçeklikten hareket edildiğinde, NOMOS denetim zinciri doğru sonucu geri üretebiliyor mu?

İkinci kitabın kurucu mimarisinde her hata yalnız açıklanacak bir yanlış değil, ayrı bir denetim kontrolüne dönüşecek şekilde tasarlanmıştı; önerilen her kontrolün model, tarih, ülke, dil, sorgu kümesi, tekrar sayısı ve ölçüm kaydı taşıması istenmişti. Böyle bir denetim sistemi, gerçek dünyada kullanılmadan önce kendisi de denetlenmelidir. Aksi hâlde NOMOS:

• başkalarından kanıt isteyen,
• fakat kendi ölçüm doğruluğunu kanıtlamayan,
• başkalarından sürüm isteyen,
• fakat kendi hesaplama değişikliklerini kaydetmeyen,
• başkalarının manipülasyonunu eleştiren,
• fakat kendi sınama’ını istediği sonucu üretecek biçimde hazırlayan

bir yapıya dönüşebilir. Bu kabul edilemez. Çünkü manipülatif GEO yalnız görünmez metin veya sahte kullanıcı üretmekten ibaret değildir. Aynı öz beyanın farklı alanlarda bağımsız kanıt gibi çoğaltılması ve daha sonra AI sistemine geri beslenmesi de temsil havuzunu bozar. Bir sınama da benzer biçimde bozulabilir:

• Başarılı olacak örnekleri seçersek,
• düşük skorlu dilleri çıkarırsak,
• Critical vakaları çok kolay veya çok açık yazarsak,
• hakemlere doğru etiketi önceden gösterirsek,
• formülü gördükten sonra sentetik veriyi ona uydurursak,
• yalnız güzel sonuçları yayımlarsak

standardı sınamamış oluruz. Standardın kendi istediği şey yine aynıdır: Kanıt, sınır, bağlam ve zaman. Bu bölüm bu dört şartı sınamanın kendisine uygular. Apple.com bu bölümde:

• gerçek Apple Inc. denetiminin,
• güncel Apple gerçeklik kaydının,
• herhangi bir AI sağlayıcısının canlı performans ölçümünün,
• Apple hakkında bir uygunluk veya başarısızlık hükmünün

nesnesi değildir. Apple.com yalnız:

kısa, tanınabilir ve farklı varlık, ürün, hizmet, ülke, fiyat, zaman ve kaynak sorunlarını aynı mimari içinde sınamaya uygun bir domain anchor

olarak kullanılır. Gerçek şirketin yerine:

APPLE-SYNTH VARLIK TWIN

adı verilen tamamen sentetik bir varlık ikizi kurulacaktır. Bütün:

• gerçeklik iddiaları,
• kanıtlar,
• AI yanıtları,
• kullanıcılar,
• ülkeler,
• dil dağılımları,
• AI ürünleri,
• atıf’lar,
• lisanslar,
• fiyatlar,
• hatalar,
• skorlar

sentetik olacaktır. Bu bölüm:

• sınamanın neyi ölçtüğünü ve neyi ölçmediğini,
• Apple.com anchor’ının neden seçildiğini,
• sentetik varlık ikizini,
• 30.000 yanıtlık ana corpus’un tasarımını,
• ülke ve dil nüfusunu,
• istem ve Truth Pack yapılarını,
• on sentetik AI ürün profilini,
• gizli üretici gerçekliğini,
• hata enjeksiyon sistemini,
• Critical ve Major challenge setlerini,
• sentetik NOMOS Capture paketlerini,
• kör hakemlik ve etiket sızıntısı kontrollerini,
• sınama doğrulama metriklerini,
• skor geri-kazanım testlerini,
• fairness ve nadir olay testlerini,
• yayın, sürüm ve yeniden üretim kurallarını

tanımlar. Bu bölüm sınama sonuçlarını henüz hesaplamaz. Bunu Bölüm 18 yapacaktır. Bölüm 17’nin temel sorusu şudur: NOMOS’un kendi ölçüm, hakemlik ve skor sistemini; gerçek bir şirkete veya gerçek bir AI sağlayıcısına performans iddiası yüklemeden, sonucu önceden bilinen fakat hakemlerden gizlenen 30.000 sentetik gözlem üzerinde nasıl sınarız?

NOMOS Challenge

Bir sınama tasarladığınızı düşünün. Sentetik AI cevaplarının çoğunu doğru yazıyorsunuz. Yalnız birkaç cevaba çok açık hatalar ekliyorsunuz:

• “Bu şirket bir bankadır.”
• “Bu şirket yasadışıdır.”
• “Bu şirket dünyanın en iyisidir.”

Hakemler bunları kolayca buluyor. Sonra: “NOMOS Critical hataları yüzde 100 yakalıyor.” diyorsunuz. Bu sonuç gerçekçi değildir. Çünkü gerçek AI yanlışları her zaman bu kadar açık görünmez. Daha zor biçimler şunlardır:

• “Şirketin ödeme hizmetleri sunduğu düşünüldüğünde bankacılık lisansına sahip olduğu söylenebilir.”
• “Bazı kaynaklarda şirketin düzenleyici sorun yaşadığı belirtilmiştir; bu nedenle faaliyetlerinin yasallığı tartışmalıdır.”
• “Çok sayıda bağımsız kaynak şirketi sektör lideri olarak tanımlamaktadır.”

Bu cümlelerde hata:

• attribution,
• varlık transfer,
• modalite,
• kaynak soyu,
• açık dünya–kapalı dünya ayrımı,
• kapsam genişlemesi

içinde saklanmıştır. Şimdi sentetik cevapları, hakemlerin önceden bildiği şablonlarla üretin. Hakem: “Bu cümle sınama’ta yanlış olmak üzere yazılmıştı.” diye düşünür. Truth Pack’e gerçekten bakmaz. Bu durumda sınama hakemlik yöntemini değil, ezberi ölçer. Şimdi sentetik veri üreticisi ile skor tasarımcısı aynı kişi olsun.

Üretici:

• Critical hata sayısını,
• dil farkını,
• panel farkını,
• component skorlarını

formülün tam istediği biçimde ayarlar. Skor sistemi sentetik gerçeği eksiksiz geri üretir. Bu başarı mıdır? Hayır. Skorun kendi verisine uyum sağlamasıdır. Şimdi sınama’ta yalnız:

• doğru capture,
• doğru istem,
• doğru sistem metadata’sı

üretin. Duplicate, geç yükleme, yanlış istem, kırpılmış cevap ve değiştirilmiş dosya eklemeyin. NOMOS Capture doğrulayıcısı bütün kayıtları doğru bulur. Sonra: “Capture sistemi yüzde 100 başarılı.” dersiniz. Capture sistemi hiç zorlanmamıştır.

Şimdi Critical vakaları ana 30.000 yanıt içinde yapay biçimde yüzde 20 oranında üretin. Hakemler Critical tespitinde çok veri görür. Fakat gerçek dünyadaki nadir olay belirsizliğini sınayamazsınız. Tersine yalnız iki Critical olay üretirseniz: nadir olay yaygınlığı gerçekçi olabilir,

Critical recall ve false-negative performansı güvenilir biçimde ölçülemez. Doğru çözüm iki ayrı corpus’tur: Prevalence Corpus / Gerçekçi ve nadir olay oranlarını korur. Önem derecesi Challenge Corpus / Critical ve Major kapıları yeterli sayıda ve zor biçimde sınamak için ağır olayları fazla örnekler.

Bu iki corpus aynı skor paydasına giremez. Şimdi 30.000 sentetik yanıt üretin. Fakat bütün “düşük kaynaklı diller” aynı kaliteyi alsın. Dil adaleti formülünüz yüksek puan verir. Sistem gerçekten düşük kaynaklı dil bozulmasını yakalayabiliyor mu? Bilmiyorsunuz. Şimdi bazı dillerde performansı düşürün.

Fakat aynı zamanda o dillerde istem eşdeğerliğini de bozun. NOMOS düşük skor üretir. Bu AI ürününün dil sorunu mudur? Yoksa istem aracının sorunu mudur? Sınama ikisini ayırmalıdır. Bu bölümün ilk hükmü şudur:

Sentetik sınama, sonucu kolayca üreten gösteri değil; ölçüm zincirini kırmaya çalışan kontrollü saldırıdır.

İkinci hükmü şudur:

Sentetik veri gerçek şirket performansını göstermez; denetim yönteminin bilinen gerçekliği geri kazanma yeteneğini gösterir.

Üçüncü hükmü şudur:

Sınama üretici gerçekliği hakemlerden gizlenmeden bağımsız hakemlik sınanamaz.

Dördüncü hükmü şudur:

Nadir olay prevalansı ile Critical tespit kabiliyeti aynı corpus’tan ölçülmek zorunda değildir.

Beşinci hükmü şudur:

Sınama verisi skor formülüne, skor formülü de sınama sonuçlarına göre sessizce ayarlanamaz.

Altıncı hükmü şudur:

Apple.com anchor’ı, Apple hakkında gerçek sonuç üretmek için değil; yöntemi sınamak için kullanılan sentetik başlangıç noktasıdır.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, GEO-1000 protokolünü başlangıçtan kamu sonuç kartına kadar sınayacak, sonucu önceden tanımlanmış fakat değerlendirme ekiplerinden gizlenmiş bir sentetik sınama mimarisi kurmaktır. Sınama şu sistemlerin her birini ayrı sınamalıdır:

• Varlık çözümleme
• Nüfus ve örneklem tahsisi
• Ülke ve dil panelleri
• İstem eşdeğerliği
• AI Sistem Sicili
• Kontrollü ve doğal panel ayrımı
• Senkronize dalga
• NOMOS Capture
• Truth Pack
• Claim extraction
• Atıf–claim eşlemesi
• Omission tespiti
• Critical ve Major önem derecesi
• Yanıt status
• GEO-1000 dağılımı
• On bileşenli profil
• Bileşik skor
• Güven aralığı
• Fairness
• Nadir olay üst sınırı
• Skor sürümleme
• Kamu manifesti

Bu bölümün sonunda sınama tasarımı şu sorulara cevap verebilmelidir:

Sentetik gerçeklik nasıl üretildi?

Gerçeklik etiketleri kimlerden ve hangi aşamalarda gizlendi?

30.000 ana yanıt hangi nüfus, dil, AI ürünü ve dalga yapısıyla oluşturulacak?

Critical ve Major vakalar ana prevalans corpus’unda ne sıklıkta bulunacak?

Critical tespit sistemi ayrıca hangi challenge setiyle sınanacak?

Sınama hangi hata düzeyinde başarılı sayılacak?

Hangi sonuçlar yöntemin düzeltilmesini gerektirecek?

Sınamanın Apple, gerçek AI sağlayıcıları veya gerçek kullanıcılar hakkında hüküm kurması nasıl engellenecek?

2. MERKEZÎ NORMATİF HÜKÜM

Apple.com Sentetik Sınama, gerçek şirket veya gerçek AI sağlayıcısı performansı iddiası üretmeyen; tamamen sentetik varlık, kullanıcı, kanıt, yanıt ve sistem kayıtlarından oluşan; üretici gerçekliği önceden kilitlenen ve hakemlerden gizlenen; NOMOS’un ölçüm ve skor zincirinin bu gerçekliği hangi doğrulukla geri kazandığını sınayan sürümlü bir yöntem doğrulama sınamayı olmalıdır. Sınamanın temel ilkeleri: Sentetiklik görünür olmalıdır. Gerçek şirket performansı iddiası yasak olmalıdır. Üretici gerçekliği skorlamadan önce kilitlenmelidir. Hakemler üretici etiketlerini görmemelidir. Skor formülü ana corpus görülmeden önce kilitlenmelidir. Ana prevalans corpus’u ve önem derecesi challenge corpus’u ayrılmalıdır. Bütün sınama dosyaları sentetik olarak işaretlenmelidir. Aynı sınama bağımsız ekiplerce yeniden üretilebilir olmalıdır. Başarısız sınama sonucu da yayımlanmalıdır.

NOMOS kendi standardına istisna tanımamalıdır.

3. SINAMA NEYİ ÖLÇER?

Apple.com Sentetik Sınama şu soruyu ölçer:

NOMOS denetim sistemi, önceden bilinen sentetik gerçeklik ve hata dağılımını; capture, claim extraction, hakemlik, gate ve skorlama aşamalarından sonra ne kadar doğru geri üretebiliyor?

Sınamanın ölçüm nesnesi: Apple Inc. değildir. Apple ürünleri değildir. Gerçek AI modelleri değildir. Gerçek kullanıcı görüşleri değildir. Gerçek ülke veya dil performansı değildir. Ölçüm nesnesi:

NOMOS metodolojisinin kendisidir.

4. SINAMA NEYİ ÖLÇMEZ?

Bu sınama aşağıdaki iddiaları üretemez:

• “Apple’ın GEO skoru X’tir.”
• “Apple şu AI ürününde en iyi temsil edilmektedir.”
• “Gerçek kullanıcıların yüzde Y’si Apple’ı doğru görmektedir.”
• “Belirtilen gerçek AI sağlayıcısı Critical hata üretmektedir.”
• “Belirtilen dilde gerçek AI ürünü zayıftır.”
• “Apple NOMOS 950+ standardını geçmiştir.”
• “Apple bu sınamayı desteklemektedir.”
• “Apple sınama’a katılmıştır.”
• “Gerçek Apple fiyatı, lisansı veya hizmet kapsamı şöyledir.”

Kamu kaydında her sayfada şu hüküm bulunmalıdır:

Bu sınama sentetiktir. Apple Inc., apple.com veya herhangi bir gerçek AI sağlayıcısının güncel doğruluk, uygunluk veya performans denetimi değildir.

5. NEDEN APPLE.COM ANCHOR’I?

Apple.com şu nedenlerle yalnız yöntem anchor’ı olarak seçilir: Kısa ve açık bir domain biçimi taşır. Domain–kurumsal varlık ayrımını sınamaya uygundur. Bir varlığın yalnız şirket adından değil, dijital yüzeyinden çözülmesini gerektirir. Ürün, hizmet, yerel kapsam, fiyat, zaman ve kaynak gibi farklı iddia türlerinin sentetik olarak modellenmesine izin verir. Yanlış kategori, yanlış varlık, yanlış fiyat paritesi ve sahte üstünlük gibi hata türlerini tek varlık ikizinde sınamaya elverişlidir. Gelecekte gerçek bir sınama’a geçildiğinde kullanıcıların istemi anlama yükü görece sınırlı olabilir. Bunlar sınama tasarım gerekçeleridir. Gerçek Apple hakkında doğrulanmış güncel performans iddiası değildir.

6. SENTETİK VARLIK İKİZİ

Sınamanın denetlenen nesnesi:

APPLE-SYNTH VARLIK TWIN

olacaktır. Kimlik:

NGE-APPLE-SYNTH-TWIN-001

Bu varlık:

• gerçek Apple Inc. değildir,
• gerçek bir tüzel kişilik değildir,
• gerçek ürün veya fiyat kaydı taşımaz,

yalnız sınama metodolojisi için oluşturulmuştur. Domain anchor: apple.com olarak korunur. Fakat bütün Truth Pack kayıtlarında sentetik varlık adı açıkça yer alır:

Apple-SYNTH Küresel Technology Varlık

7. SENTETİK İKİZİN ONTOLOJİSİ

APPLE-SYNTH aşağıdaki sentetik varlık grafiğini taşır:

• APPLE-SYNTH-HOLDINGS-001 — ana kurumsal varlık
• APPLE-SYNTH-DOMAIN-APPLE-COM-001 — domain anchor
• APPLE-SYNTH-DEVICES-001 — cihaz ürün ailesi
• APPLE-SYNTH-SOFTWARE-001 — yazılım platformları
• APPLE-SYNTH-SERVICES-001 — dijital hizmetler
• APPLE-SYNTH-PAYMENTS-SUB-001 — sınırlı ödeme hizmeti bağlı kuruluşu
• APPLE-SYNTH-RETAIL-TR-001 — sentetik Türkiye perakende varlığı
• APPLE-SYNTH-RETAIL-DE-001 — sentetik Almanya perakende varlığı
• APPLE-SYNTH-FRANCHISE-X-001 — bağımsız lisanslı mağaza
• APPLE-SYNTH-HISTORICAL-PARTNER-001 — sona ermiş tarihsel partner
• APPLE-SYNTH-UNRELATED-APPLE-001 — isim çarpışması için ilgisiz varlık

Bu grafik:

• ana şirket,
• bağlı kuruluş,
• ürün,
• yerel varlık,
• franchise,
• tarihsel ilişki,
• ilgisiz isim benzerliği

ayrımlarını sınar.

8. ÜÇ SINAMA MODU

BM-S0 — PURE SYNTHETIC METHOD SINAMA

Bütün:

• kullanıcılar,
• AI ürünleri,
• cevaplar,
• kanıtlar,
• ekranlar,
• skorlar

sentetiktir. Bu bölümün ana modudur.

BM-S1 — SYNTHETIC REPLAY SINAMA

Önceden üretilmiş sentetik cevaplar:

• NOMOS Capture,
• claim extraction,
• hakemlik,
• skorlama

sistemine canlı bir veri akışı gibi yeniden oynatılır. Bu mod, yazılım ve insan süreçlerini sınar.

BM-L1 — FUTURE LIVE SINAMA

Gerçek kullanıcılar ve gerçek AI ürünleri kullanılır. Ayrı:

• güncel Truth Pack,
• hukuki değerlendirme,
• sağlayıcı sistem kayıtları,
• etik ve mahremiyet protokolü

gerektirir. Bu bölüm ve Bölüm 18: BM-S0 ve BM-S1 ile sınırlıdır.

9. SINAMA KİMLİĞİ

Ana sınama kimliği:

NOMOS-APPLE-SYNTH-BENCH-0.9

Alt kayıtlar:

• Varlık: APPLE-SYNTH-TWIN-001
• Nüfus: SYNTH-POP-FRAME-001
• Ülke tahsisi: SYNTH-COUNTRY-ALLOC-001
• Dil sicili: SYNTH-LANGUAGE-REGISTRY-001
• İstem kümesi: SYNTH-İSTEM-SET-001
• Truth Pack: SYNTH-APPLE-TP-001
• AI Sistem Sicili: SYNTH-AI-REGISTRY-001
• Dalga planı: SYNTH-WAVE-PLAN-001
• Capture şeması: NOMOS-CAPTURE-SYNTH-0.9
• Hakemlik kılavuzu: SYNTH-ADJUDICATION-0.9
• Skor yöntemi: NOMOS-PUAN-0.9
• Randomization manifesti: SYNTH-SEED-MANIFEST-001

Bu kimliklerden biri değişirse yeni sınama sürümü gerekir.

10. ANA ARAŞTIRMA SORULARI

Sınama şu on araştırma sorusuna cevap vermelidir: Sistem doğru domain–varlık ilişkisini geri kazanabiliyor mu? Supported, unsupported, contradicted ve unresolved ayrımı doğru yapılabiliyor mu? Official claim ile verified reality ayrımı korunabiliyor mu? Critical ve Major kapılar yeterli recall ve düşük false-positive oranıyla çalışıyor mu? Maddi omission açık yanlış iddia kadar görünür olabiliyor mu? Ülke ve dil adaleti formülü enjekte edilen farkı doğru geri üretebiliyor mu? Clean–Natural panel farkı yanlış nedensellik üretmeden ölçülebiliyor mu? NOMOS Capture sentetik duplicate, tamper ve zaman kusurlarını ayırabiliyor mu? GEO-1000 dağılımı ve bileşik puan üretici gerçekliğe ne kadar yaklaşıyor? Aynı corpus farklı bağımsız ekiplerde benzer sonuç üretiyor mu?

11. SINAMA MİMARİSİNİN DÖRT CORPUS’U

Sınama dört ayrı corpus’tan oluşur.

11.1. PRINCIPAL PREVALENCE CORPUS

Ana 30.000 yanıtlık corpus’tur. Amaç:

• GEO-1000 dağılımını,
• nadir hata oranını,
• AI ürün profillerini,
• dalga kararlılığını

sınamaktır. Bu corpus gerçekçi hata seyrekliğini korur.

11.2. ÖNEM DERECESİ CHALLENGE CORPUS

Critical ve Major hata türlerini fazla örnekler. Amaç:

• Critical recall,
• Major classification,
• false-positive,
• uzman hakemlik

performansını ölçmektir. Bu corpus prevalans hesabına girmez.

11.3. CAPTURE INTEGRITY CORPUS

Şunları içerir:

• Duplicate
• Yanlış istem
• Kırpılmış cevap
• Geç yükleme
• Yanlış zaman
• Hash mismatch
• Sentetik tamper
• Yanlış ürün metadata’sı
• Kullanıcı kesintisi
• Teknik yeniden deneme

Amaç: NOMOS Capture doğrulamasını sınamaktır. Semantik skor paydasına yalnız geçerli olanlar girer.

11.4. ADJUDICATION GOLD CORPUS

Uzman paneli tarafından önceden çözülmüş:

• claim boundary,
• varlık,
• attribution,
• modalite,
• atıf,
• omission,
• önem derecesi

vakalarını taşır. Amaç:

• hakem kalibrasyonu,
• drift tespiti,

dış ekip karşılaştırmasıdır. Ana skor paydasına girmez.

12. 30.000 YANITLIK ANA CORPUS

Ana tasarım:

10 sentetik AI ürünü × 1.000 benzersiz kullanıcı × 3 dalga = 30.000 yanıt

Her yanıt:

• farklı sentetik insan birimine,
• tek AI ürününe,
• tek dalgaya,
• tek kilitlenmiş Core Mirror İstem’a

aittir. Ana corpus’ta aynı sentetik kişi:

• başka AI ürününde,
• başka dalgada

yeniden kullanılmaz. Toplam:

30.000 benzersiz sentetik insan birimi

bulunur. Bu karar:

• panel koşullanmasını,
• cevap hatırlamayı,
• aynı kişinin çoklu ürün bağımlılığını

ana corpus’tan çıkarır.

13. EŞLENMİŞ NÜFUS İKİZLERİ

AI ürünleri farklı insan birimleriyle sınanır. Fakat kullanıcı profilleri tamamen farklı olursa ürünler karşılaştırılamaz. Bu nedenle:

Matched Synthetic Population Twins

kullanılır. Her AI ürünü için farklı kişi kimlikleri vardır. Fakat her ürünün 1.000 kişilik örneklemi:

• ülke,
• dil,
• yaş bandı,
• AI kullanım sıklığı,
• plan uygunluğu,
• cihaz,
• erişilebilirlik,
• marka aşinalığı

bakımından aynı hedef dağılımı taşır. Bu yapı: aynı kişiyi tekrar kullanmadan, nüfus kompozisyonunu eşleştirir.

14. ANA CORPUS’UN İSTEMİ

Bütün 30.000 ana yanıt şu kanonik niyeti taşır:

Domain anchor’ı ana kurumsal varlığa bağla ve bu varlığın temel faaliyetlerini açıkla.

Türkçe aday metin:

“Apple.com hangi ana kurumsal varlıkla ilişkilidir ve bu varlığın başlıca faaliyetleri nelerdir?”

İngilizce aday metin:

“Which principal corporate varlık is associated with apple.com, and what are that varlık’s primary activities?”

Diğer dil sürümleri:

• bu bölümde gerçek dünya çevirisi gibi sunulmaz,
• İSTEM-L01 ile İSTEM-L36 arasında sentetik dil nesneleri olarak tutulur,

semantik eşdeğerlik etiketleri önceden belirlenir. Bu yaklaşım: gerçek dil uzmanlığı bulunmadan sahte çeviri doğruluğu iddiasını engeller, sınamanın dil adaleti hesaplamasını yine sınamasına izin verir.

15. NEDEN ANA CORPUS’TA TEK İSTEM?

Kurucu GEO-1000 sorusu şudur:

Aynı AI ürününe, aynı anda ve aynı niyetle sorulduğunda, kaç kullanıcı gerçekten varlığın temel temsilini görür?

Bu nedenle Principal Prevalence Corpus:

• tek Core Mirror İstem,
• tek istem sürümü,
• üç tekrar dalgası

kullanır. Evidence, Tavsiye, Comparative ve Boundary aileleri: ayrı Diagnostic Annex içinde sınanır, ana 30.000 yanıt paydasına karıştırılmaz. Bu ayrım önemlidir. Çünkü tek Core İstem:

Core GEO-1000 sonucu

üretir. Tek başına:

Full NOMOS uygunluğu

üretmez.

16. DIAGNOSTIC ANNEX

Ana 30.000 yanıtın dışında, aşağıdaki sentetik tanısal corpus tasarlanır:

Bu 6.000 vaka: ana kullanıcı prevalansı değildir, istem ailesi ve component doğrulama corpus’udur. Ana 30.000 ile birlikte sınama evreni: 36.000 sentetik yanıt vakası taşıyabilir. Fakat Bölüm 18’in başlık sonucu:

30.000 ana Population Panel yanıtı

olarak kalacaktır.

17. SENTETİK NÜFUS ÇERÇEVESİ

Sınama gerçek dünya nüfus sayısını taklit ettiğini iddia etmez. SYNTH-POP-FRAME-001:

• uzun kuyruklu ülke dağılımı,
• çok dilli kullanıcı nüfusu,
• büyük ve küçük pazar farkı,
• düşük kaynaklı dil hücreleri,
• farklı AI kullanım sıklıkları

üreten sentetik bir çerçevedir. Bu çerçeve gerçek ülkelerin güncel nüfus sıralaması olarak yayımlanamaz. Gelecekteki live sınama:

• tarihli,
• yetkili,
• sürümlü gerçek nüfus verisi

kullanmak zorundadır.

18. SENTETİK ÜLKE EVRENİ

Sentetik evren: 193 uygun ülke veya yargı kodu taşır. Kodlar:

C001–C193

şeklindedir. Bunlar gerçek ülke performansını temsil etmez. Ülke payları:

• birkaç büyük tabaka,
• orta büyüklükte tabakalar,
• uzun küçük ülke kuyruğu

oluşturacak şekilde önceden belirlenir.

19. ÜLKE TAHSİSİ

Ülke c’nin sentetik nüfus payı: pc olsun. Ana hedef:

n_c* = 1.000p_c

şeklindedir. İlk tahsis:

n_c^0 = ⌊n_c*⌋

olarak yapılır. Kalan slotlar: en büyük ondalık kalan yöntemiyle dağıtılır. Sonuç:

Σ_c n_c = 1.000

olmalıdır. Hiç gözlem almayan küçük ülkeler: Population Panel’de varmış gibi gösterilmez, ayrı Country Sentinel çevrimine girer.

20. SENTINEL COUNTRY ANNEX

Bütün uygun ülke kodlarının en az bir kez sınanması için: 193 ülkelik sentetik Country Sentinel Annex kurulur. Bu gözlemler:

• ülke skoruna,
• ana 1.000 paydasına

girmez. Amaç:

• erişim,
• dil,
• varlık collision,
• erken Critical sinyal

testidir.

21. DİL EVRENİ

Ana sentetik dil sicili:

• 24 Population Panel dili
• 12 Language Fairness sentinel dili

olmak üzere:

36 sentetik dil–yerel ayar hücresi

taşır. Kodlar:

L01–L36

şeklindedir. L01 ve L02 için Türkçe ve İngilizce örnek metinler yayımlanabilir. Diğer dil nesneleri: gerçek dil performansı iddiası üretmemek için sentetik kimlik taşır.

22. DİL TAHSİSİ

Kullanıcı dil tahsisi:

• ülkenin resmî diline göre değil,
• kullanıcının sınama görevini doğal biçimde yapacağı ana görev diline göre

yapılır. Çok dilli kullanıcı: ana nüfus ağırlığında bir kişi olarak kalır, birden fazla tam kişi olmaz. Dil Adaleti Annex’i: düşük örnekli L25–L36 hücrelerini fazla örnekler, küresel skor için gerçek sentetik dil paylarına geri ağırlıklandırır.

23. İSTEM EŞDEĞERLİK ENJEKSİYONU

Sınama yalnız doğru çevirileri içermemelidir. Language Equivalence Annex şu vakaları içerir:

• Doğru semantik eşdeğerlik
• Güven görevi eklenmiş çeviri
• Tavsiye’a dönüşen çeviri
• Varlık anchor drift
• Coğrafya drift
• Zaman drift
• “Dünya lideri” ön varsayımı
• Kaynak emri eklenmesi
• Aşırı resmiyet
• Kullanılamaz makine çevirisi

Bu vakaların bir bölümü:

• AI dil performansı,
• istem aracı kusuru

ayrımını sınar. İstem eşdeğerlik kusuru bulunan vaka: gerçek AI fairness skoruna doğrudan yüklenemez.

24. SENTETİK TRUTH PACK

SYNTH-APPLE-TP-001 en az şu alanları taşır:

Truth Pack ayrıca:

• 12 Official Claim Only,
• 10 Contradicted,
• 8 Unresolved,
• 6 Historical,
• 4 Restrictedly Verified

durum üretir. Bu dağılım: hakemlik statülerinin tamamını sınamak için kullanılır.

25. SENTETİK TRUTH PACK’İN ÇEKİRDEK HÜKÜMLERİ

Aşağıdaki örnekler tamamen sentetiktir: apple.com, APPLE-SYNTH-HOLDINGS-001 ile ilişkilidir. Ana faaliyetler cihaz, yazılım ve dijital hizmet kategorileridir. Ürün ve hizmet kullanılabilirliği pazara göre değişir. Fiyat ve vergi koşulları bütün ülkelerde aynı değildir. Ana varlık genel amaçlı banka değildir. Ana varlık hukuk veya sağlık hizmeti sunmaz. Ödeme bağlı kuruluşunun sınırlı yerel yetkisi ana varlığa evrensel bankacılık yetkisi vermez. “Dünyanın en yenilikçi şirketi” ifadesi sentetik resmî öz konumlandırmadır; bağımsız üstünlük gerçeği değildir. “Yüzde 99 memnuniyet” iddiasının paydası doğrulanmamıştır. Bazı tarihsel partnerlikler referans tarihinde sona ermiştir. Bazı ürünler yalnız belirli sentetik pazarlarda bulunur. Bütün projeler veya ürünler için yüzde 100 sonuç garantisi yoktur.

Sentetik kamu kurumu veya üniversite endorsement’ı bulunmamaktadır. Bir franchise’ın yerel kaydı ana varlığın doğrudan işletmesi değildir. Belirli müşteri ilişkileri kısıtlı kanıtla doğrulanmış fakat kamuya keşfedilebilir değildir. Bu hükümler gerçek Apple hakkında iddia değildir.

26. KANIT AİLELERİ

Sentetik Truth Pack aşağıdaki kanıt ailelerini taşır:

EF-01 — Kanonik birinci taraf ürün sayfaları

EF-02 — Sentetik şirket sicili

EF-03 — Sentetik yerel fiyat kayıtları

EF-04 — Sentetik düzenleyici bağlı kuruluş kaydı

EF-05 — Sentetik partner sözleşmeleri

EF-06 — Sentetik bağımsız editoryal inceleme

EF-07 — Sentetik işlemsel veri

EF-08 — Sentetik kullanıcı kayıtları

EF-09 — Sentetik tarihsel arşiv

EF-10 — Sentetik karşı kanıt sicili

Ayrıca dört kanıt aklama zinciri bulunur:

EL-01 — Öz beyan → sponsorlu haber → blog → AI özeti

EL-02 — Şirket ödülü → çoklu kopya site → sahte consensus

EL-03 — Çalışan yorumu → üniversite endorsement’ı gibi sunum

EL-04 — Bağlı kuruluş lisansı → ana varlık yetkisi gibi aktarım

27. GİZLİ ÜRETİCİ GERÇEKLİĞİ

Her sentetik yanıt için:

Generator Truth Record

oluşturulur. Bu kayıt şunları taşır: Hangi iddialar üretildi? Hangi iddia doğru? Hangisi kısmen doğru? Hangisi yanlış varlığa ait? Hangisi outdated? Hangisi unsupported? Hangisi Critical veya Major? Hangi omission kasıtlı? Hangi atıf sahte veya yanlış kapsamlı? Yanıtın gerçek RP statüsü nedir? Hangi component’lar etkilenmelidir? Bu kayıt:

• veri üretilmeden önce oluşturulur,
• hash’lenir,

hakemlik tamamlanana kadar mühürlenir. Hakemler Generator Truth’u göremez.

28. ÜRETİCİ GERÇEKLİĞİNİN KİLİDİ

Generator Truth paketi:

• hash,
• zaman damgası,
• random seed manifesti,
• üretim kodu sürümü,
• şablon sürümü

taşımalıdır. Skor sonucu görüldükten sonra:

• etiket değiştirilemez,
• önem derecesi düşürülemez,

doğru/yanlış dağılımı yeniden ayarlanamaz. Gerçek üretim hatası bulunursa:

• yeni sınama sürümü,
• eski corpus’un etkilenme kaydı

oluşturulur.

29. SENTETİK AI ÜRÜNLERİ

Sınama on sağlayıcıdan bağımsız sentetik AI ürün örneği kullanır:

SYNTH-AI-01

SYNTH-AI-02

SYNTH-AI-03

SYNTH-AI-04

SYNTH-AI-05

SYNTH-AI-06

SYNTH-AI-07

SYNTH-AI-08

SYNTH-AI-09

SYNTH-AI-10

Bunlar gerçek AI sağlayıcılarının taklidi veya kod adı değildir. Her sentetik ürün farklı failure mode profili taşır.

30. SENTETİK AI PROFİLLERİ

Bu profil dağılımı, NOMOS’un yalnız en yüksek ortalamayı ödüllendirmediğini sınar.

31. PROFİL PARAMETRELERİ

Her sentetik AI ürünü şu latent parametreleri taşır:

• Core varlık accuracy
• Factual support
• Kapsam overreach
• Temporal lag
• Attribution loss
• Atıf mismatch
• Refusal probability
• No-yanıt probability
• Low-resource language penalty
• Clean–Natural gap
• Wave drift
• Critical-event probability
• Major-event probability
• Verbosity
• Self-correction probability
• Hallucinated atıf probability

Parametreler: ana corpus oluşturulmadan önce kilitlenir, nihai sonuç görüldükten sonra değiştirilemez.

32. ANA CORPUS HATA TABAN ORANLARI

Principal Prevalence Corpus gerçekçi seyrek hata mantığı kullanır. Aday küresel sentetik oranlar:

• Full/Advisory Pass: yüksek çoğunluk
• Conditional Pass: ürün profiline göre yüzde 2–15
• Major Fail: yüzde 0–8
• Confirmed Critical: yüzde 0–0,5
• Unresolved: yüzde 0–3
• No Usable Yanıt: yüzde 0–8
• Not Ratable: capture corpus’undan sonra yüzde 0–2

Bu oranlar her ürün için farklıdır. Bunlar gerçek AI piyasası hakkında tahmin değildir. Sentetik stres dağılımıdır.

33. ÖNEM DERECESİ CHALLENGE CORPUS

Critical hata gerçekçi prevalansta nadir olduğundan her gate için yeterli doğrulama vakası gerekir. Challenge Corpus şu yapıyı taşımalıdır:

Ayrıca:

• 1.200 Major,
• 600 zor Moderate,
• 600 Critical’a benzeyen fakat Critical olmayan negatif kontrol

vakası üretilebilir. Toplam Önem derecesi Challenge: 3.600 vaka olur. Bu corpus ana prevalans skoruna giremez.

34. NEGATİF CRITICAL KONTROLLERİ

Critical false-positive oranını sınamak için şu tür vakalar bulunmalıdır:

• Hukuki son ek eksik ama doğru marka
• Küçük fiyat yuvarlama farkı
• Tarihsel ödül yılının küçük sapması
• Atıf biçim hatası fakat maddi iddia doğru
• Uygun ihtiyat
• Sınırlı fakat zararsız omission
• Kullanıcının açıkça görüş olarak sunduğu olumsuz yorum
• Gerçek partnerliğin tarih kapsamı küçük ölçüde belirsiz
• Şirket öz beyanının doğru biçimde attribution ile aktarılması

Hakemlerin her güçlü kelimeyi Critical yapması engellenmelidir.

35. HATA ENJEKSİYON MATRİSİ

Her yanıt için hata vektörü:

H_i = (E_i, F_i, S_i, T_i, A_i, M_i, C_i, O_i, R_i)

şeklinde tutulur. Burada:

• Ei: varlık error
• Fi: factual error
• Si: kapsam error
• Ti: temporal error
• Ai: attribution error
• Mi: modality error
• Ci: atıf error
• Oi: omission
• Ri: relevance/refusal error

Hatalar bağımsız olmak zorunda değildir. Örnek: Bağlı kuruluş lisansının ana varlığa aktarılması aynı anda:

• wrong varlık,
• kapsam overreach,
• false authority,
• Critical tavsiye

üretebilir. Bu vakalar Root Finding Cluster olarak bağlanır.

36. YANIT ÜRETİMİ

Sentetik yanıt üretimi üç aşamalıdır.

36.1. Semantik Plan

Generator Truth Record’a göre:

• aktif doğru iddialar,
• aktif yanlış iddialar,
• omission’lar,
• atıf davranışı,
• yanıt status

belirlenir.

36.2. Dilsel Gerçekleştirme

Aynı semantik plan:

• kısa,
• uzun,
• dolaylı,
• modal,
• attribution’lı,
• kendini düzelten,
• çelişkili

farklı yüzeylerde yazılır.

36.3. Arayüz ve Capture Gerçekleştirmesi

Yanıt:

• mock web,
• mock mobile,
• mock atıf paneli,
• mock error ekranı

içinde render edilir. Bütün görseller:

SYNTHETIC SINAMA — NOT LIVE AI OUTPUT

filigranı taşımalıdır.

37. ŞABLON EZBERİNİ ÖNLEME

Her iddia yalnız tek cümle şablonuyla üretilmemelidir. Örnek sahte üstünlük iddiası şu biçimlerde üretilebilir:

• “Dünyanın en yenilikçi şirketidir.”
• “Çoğu bağımsız kaynağa göre sektörün tartışmasız lideridir.”
• “Pazar genelinde en güvenilir seçenek olarak kabul edilir.”
• “Küresel ölçekte ilk sırada yer aldığı doğrulanmıştır.”
• “Rakiplerinin tamamından üstün olduğu söylenebilir.”

Hakemlik sistemi kelime listesi değil, anlam değerlendirmesi yapmalıdır.

38. ÖRTÜK HATA ÜRETİMİ

Challenge Corpus’un en az üçte biri hatayı açık cümle olarak değil:

• ön varsayım,
• implicature,
• modalite,
• attribution omission,
• tavsiye,
• varlık coreference

içinde taşımalıdır. Örnek: “Sınırlı ödeme hizmetleri sunması, ana şirketin bankacılık düzenlemelerine tabi ve lisanslı olduğunu gösterir.” Burada yanlışlık:

• doğrudan “bankadır” kelimesine değil,
• türetilmiş yetki aktarımına

yerleşmiştir.

39. ATIF ÜRETİMİ

Sentetik atıf’lar şu sınıfları içerir:

• Doğrudan destekleyen
• Yalnız attribution’ı destekleyen
• Kısmen destekleyen
• Başka ülkeye ait
• Başka varlığa ait
• Eski
• İlgisiz
• İçeriği ters
• Olmayan
• Aynı kök kaynağın kopyası
• Kısıtlı kanıtı kamu kaynağı gibi gösteren
• Sahte üniversite veya kamu endorsement’ı üreten

Atıf URL’leri gerçek alan adlarına yönlendirilmemelidir. Örnek: https://evidence.synthetic.example/EF-004 kullanılabilir.

40. REFERENCE GAP ENJEKSİYONU

Sınamanın bazı yanıtları Truth Pack’te bulunmayan fakat:

• doğru,
• yanlış,
• değerlendirilmesi mümkün olmayan

yeni iddialar üretir. Hakem doğru davranış olarak:

REFERENCE GAP

açmalıdır. Sınama şu iki yanlış davranışı ölçer:

• Reference gap’i otomatik yanlış saymak
• Reference gap’i otomatik doğru saymak

41. OMISSION ENJEKSİYONU

Omission vakaları üç düzeyde üretilir:

• Optional detail omission
• Required element omission
• Material boundary omission

Örnek: İstem: “Şirket Almanya’da ödeme hizmeti sunuyor mu ve hangi sınırlar geçerli?” Yanıt: “Şirket ödeme hizmetleri sunar.” Truth Pack:

• yalnız ayrı bağlı kuruluş,
• yalnız sınırlı kullanıcı grubu,
• yalnız belirli yargı alanı

gösteriyorsa:

• varlık,
• kapsam,
• boundary omission

birlikte değerlendirilebilir.

42. ÖZ DÜZELTME VAKALARI

Sınama şu yanıt biçimlerini içerir:

• Yanlış iddia, sonra açık geri çekme
• Yanlış iddia, sonra belirsiz yumuşatma
• Doğru iddia, sonra yanlış çelişki
• Atıf sonrası öz düzeltme
• Kullanıcı takip mesajı olmadan aynı cevapta düzeltme
• Yalnız disclaimer ekleyip yanlış iddiayı koruma

Amaç:

• gerçek öz düzeltme,
• sahte düzeltme,
• çözülmeyen iç çelişki

ayrımını sınamaktır.

43. CONTROLLED–NATURAL PANEL MODÜLÜ

Diagnostic Annex’in 1.000 vakası: aynı sentetik kullanıcı profillerinin Clean ve Natural ikizlerini taşır. Natural koşulda:

• hafıza,
• özel talimat,
• önceki marka görüşü,
• farklı plan,
• araç kullanımı

enjekte edilir. Generator Truth şu ayrımı korur:

• Kullanıcıya uygun biçimsel değişim
• Meşru tavsiye farkı
• Maddi gerçeklik drift’i
• Marka lehine talimat
• Marka aleyhine talimat
• Restricted bilgi sızıntısı

USI bileşeni bu modülle sınanır.

44. DALGA MİMARİSİ

Ana corpus üç dalga taşır:

Her dalgada:

• yeni 10.000 sentetik kullanıcı,
• aynı Core Mirror İstem sürümü,
• aynı temel Truth Pack ontolojisi

kullanılır. Bazı ürünlerde kontrollü drift enjekte edilir.

45. DALGA DRIFT SENARYOLARI

Sentetik AI ürünleri için şu değişimler enjekte edilir:

• SYNTH-AI-02: Verbosity artışı
• SYNTH-AI-03: L25–L36 dil düşüşü
• SYNTH-AI-04: Natural panel farkı büyümesi
• SYNTH-AI-05: Atıf laundering artışı
• SYNTH-AI-07: Eski fiyat ve ürün kullanılabilirliği
• SYNTH-AI-10: W2’de tekil Critical, W3’te düzeltme

Amaç:

STR,

güncel status, historical incident, düzeltme kayıtlarını sınamaktır.

46. DALGA İÇİ SİSTEM DEĞİŞİKLİĞİ

Bir sentetik AI ürününde W2’nin ortasında:

• model etiketi,
• atıf görünümü,
• web modu

değiştirilir. Doğru NOMOS davranışı:

• dalgayı alt dalgaya ayırmak,
• mixed-system-state uyarısı üretmek

olmalıdır. Yanlış davranış: bütün W2’yi tek sabit ürün skoru saymaktır.

47. EXTERNAL EVENT ENJEKSİYONU

W3 sırasında sentetik varlık hakkında yeni bir olay üretilir:

• fiyat değişikliği,
• ürün sonlandırması,
• yerel hizmet açılışı,
• lisans bağlı kuruluş değişimi

gibi. Truth Pack: W3A ve W3B sürümlerine ayrılır. Hakemlerin bütün cevapları tek referans zamanına bağlaması test edilir.

48. SENTETİK NOMOS CAPTURE

Her ana yanıt için sentetik evidence bundle oluşturulur:

• Observation manifest
• İstem artifact
• Raw yanıt artifact
• Mock screenshot
• System-state artifact
• Time vector
• Attempt log
• Integrity manifest
• Privacy manifest
• Validation record

Geçerli paketler: gerçek sınama dağılımına girer. Kusurlu paketler: Capture Integrity Corpus’a göre sınıflandırılır.

49. CAPTURE HATA SINIFLARI

Sınama şu hata türlerini üretir:

• Exact duplicate
• Near-duplicate screenshot
• İstem mismatch
• İstem truncation
• Yanıt truncation
• Missing yanıt end
• Wrong AI product metadata
• Outside-wave timestamp
• Device clock offset
• Delayed upload
• Hash mismatch
• Tamper-before-hash
• Tamper-after-hash
• User regeneration
• Technical retry
• User interruption
• System transformation
• Redaction on raw file
• Valid accessibility alternative
• False accessibility claim

Amaç: capture validity ile semantic accuracy’yi ayırmaktır.

50. SINAMA FİLİGRANI

Bütün görseller ve public yanıt kayıtları şu görünür işareti taşımalıdır: SYNTHETIC NOMOS SINAMA / NOT A LIVE AI YANIT / NOT AN APPLE OR PROVIDER PERFORMANCE CLAIM Filigran: claim text’ini kapatmamalı, hakemlerin anlam değerlendirmesini bozmamalıdır. Hakemlik için kullanılan kör kopyada filigran: sentetik olduğunu gösterir, Generator Truth etiketini göstermez.

51. RANDOMIZATION

Sınama üretimi sürümlü pseudorandom yöntem kullanır. Her random karar:

• sınama seed’i,
• alt-modül seed’i,
• şablon seçimi,
• hata enjeksiyonu,
• kullanıcı tahsisi,
• slot tahsisi

üzerinden yeniden üretilebilir olmalıdır. Random seed: ana corpus üretiminden önce hash’lenir, sonuçtan sonra değiştirilemez.

52. RANDOMNESS İLE KEYFÎLİK AYRIMI

Randomization: sonuçtan bağımsız tahsis sağlar. Keyfîlik: üreticinin istediği yanıtı seçmesi anlamına gelir. Randomization manifesti olmadan: “Rastgele ürettik.” ifadesi yeterli değildir.

53. VERİ SIZINTISI

Sınama leakage şu biçimlerde oluşabilir: Generator Truth hakeme gösterilir. Yanıt şablon adı önem derecesi’yi açıklar. Dosya adı critical-license-001.png olur. UI rengi hata türünü gösterir. Atıf kodu doğrudan doğru/yanlış etiketi taşır. Hakem aynı vakayı eğitim setinde görmüştür. AI yardımcı hakem generator koduna erişir. Puan developer holdout sonuçlarını görür. Bütün bu kanallar kapatılmalıdır.

54. DOSYA ADLARI

Kör hakemlik paketlerinde dosya adı:

OBS-000184

gibi nötr olmalıdır. Şu adlar yasaktır:

• critical-case-12
• wrong-varlık
• good-answer
• low-resource-fail
• false-atıf

55. AYRI ROLLER

Sınama en az şu rollerle yönetilmelidir:

• Synthetic Population Architect
• Truth Pack Designer
• Yanıt Generator
• Seed Custodian
• Leakage Auditor
• Capture Corpus Designer
• Claim Extraction Team
• Adjudication Team
• Puan Methods Team
• Independent Validation Team
• Public Release Custodian
• Accountable Human Sınama Owner

Küçük pilotta roller birleşebilir. Ancak:

• Generator Truth’u bilen kişi,
• nihai kör hakemlikte tek karar verici

olamaz.

56. SINAMA VERİ BÖLÜMLERİ

56.1. Public Calibration Set

Hakem eğitimi ve kod kitabı testi için kullanılır. Generator Truth açıktır. Ana değerlendirmeye girmez.

56.2. Development Set

Yöntem ve yazılım geliştirme için kullanılır. Etiketleri sınırlı ekibe açıktır.

56.3. Sealed Validation Set

Hakemlik ve skor sistemi kilitlendikten sonra açılır. Generator Truth mühürlüdür. Ana yöntem doğrulamasını üretir.

56.4. Renewal Holdout Set

Sınama’a özel aşırı uyumu sınamak için saklanır. Önceden hash’lenir. Sürüm yenilemede kullanılır. Belirsiz süreyle gizli tutulamaz. Açıklama ve yayın takvimi bulunmalıdır.

57. ANA 30.000 CORPUS’UN SIZINTI KURALI

Ana Principal Prevalence Corpus:

• skor yöntemi 0.9 kilitlenmeden,
• claim codebook kilitlenmeden,
• hakemlik rolleri belirlenmeden

açılmamalıdır. Kilit sonrası: Yanıt ve evidence paketleri hakemlere açılır. Generator Truth kapalı kalır. Hakemlik biter. Skorlar hesaplanır. Sonuç manifesti kilitlenir. Generator Truth açılır. Recovery analizi yapılır.

58. GROUND-TRUTH RECOVERY

NOMOS’un sınama başarısı: yüksek skor üretmesi değildir. Başarı:

Generator Truth ile NOMOS’un geri ürettiği sonuç arasındaki farkın düşük olmasıdır.

Örnek: Generator Truth:

• Strict Pass: 942
• Conditional: 38
• Major: 15
• Critical: 2
• Unresolved: 3

NOMOS recovery:

• Strict Pass: 940
• Conditional: 40
• Major: 15
• Critical: 2
• Unresolved: 3

ise yöntem güçlü olabilir. NOMOS skoru yüksek veya düşük olabilir. Önemli olan doğru geri kazanımdır.

59. CLAIM BOUNDARY RECOVERY

Generator claim atomları:

G

Hakemlerin çıkardığı atomlar:

H

olsun. Claim boundary precision:

P = doğru eşleşmiş çıkarılan atom / çıkarılan bütün atomlar

Recall:

R = doğru eşleşmiş çıkarılan atom / üreteç atomları

F1:

F1 = 2PR/(P+R)

olarak hesaplanabilir. Atomların yalnız sayısı değil:

• source span,
• normalized proposition,
• varlık,
• qualifiers

eşleşmesi dikkate alınmalıdır.

60. ATOMİK KARAR RECOVERY

Her boyut için ayrı ölçüm gerekir: Varlık accuracy

Factual status macro-F1

Kapsam macro-F1

Time macro-F1

Attribution macro-F1

Modality macro-F1

Atıf eşleme F1

Omission F1

Combined label accuracy Unresolved/reference-gap accuracy Genel accuracy tek başına yeterli değildir. Nadir Critical sınıf yüksek genel accuracy içinde kaybolabilir.

61. CRITICAL RECALL

Generator Truth içindeki Confirmed Critical vaka sayısı:

NC

Doğru Critical olarak bulunan:

TPC

olsun.

Recall_C = TP_C/N_C

şeklindedir. False Critical Rate:

FCR = FP_C/N_non-critical

olarak hesaplanabilir. Sınama:

• yüksek Critical recall,
• düşük false Critical rate

birlikte aramalıdır.

62. YANIT STATUS RECOVERY

Her RP sınıfı için:

• precision,
• recall,

F1,

confusion matrix üretilmelidir. Özellikle şu karışıklıklar görünür olmalıdır:

• RP-3 ile RP-4
• RP-4 ile RP-5
• RP-6 ile RP-4
• RP-7 ile RP-1
• RP-8 ile RP-4

63. GEO-1000 DAĞILIM HATASI

Statü k için generator kullanıcı eşdeğeri: DkG NOMOS recovery: DkN olsun. Mutlak hata:

E_k = |D_k^N − D_k^G|

Toplam normalize dağılım hatası:

E_D = (1/2.000)Σ_k E_k

olarak hesaplanabilir. Bu değer 0–1 aralığındadır. Sıfır tam recovery’dir.

64. COMPONENT RECOVERY

Generator component skoru: SjG NOMOS skoru: SjN olsun. Component absolute error:

AE_j = |S_j^N − S_j^G|

Component MAE:

MAE_component = (1/10)Σ_{j=1}^{10} AE_j

şeklindedir. Hangi component’ın daha zor geri kazanıldığı ayrıca gösterilmelidir.

65. BİLEŞİK SKOR RECOVERY

AE_NOMOS = |NOMOS_N − NOMOS_G|

olarak hesaplanır. Küçük bileşik hata: component dağılımı yanlışken yeterli sayılmaz. İki component hatası birbirini aritmetik olarak iptal etmiş olabilir. Bu nedenle:

• composite error,
• component error

birlikte yayımlanmalıdır.

66. GATE RECOVERY

Sınama şu gate sonuçlarını ayrı sınar:

• Any Critical
• Critical Hold
• Major Fail
• Conditional
• Full Candidate
• Not Ratable
• Unresolved

Gate recovery’de: bir Critical Hold’un yanlışlıkla 950+ Candidate yapılması çok ağır sınama başarısızlığıdır.

67. FAIRNESS RECOVERY

Sentetik generator:

• dil tabanını,
• dil farkını,
• ülke tabanını,
• kapsama’ı

önceden belirler. NOMOS:

LGF,

dil floor, country floor, disparity, kapsama factor sonuçlarını geri üretmelidir. Fairness recovery:

• yalnız bileşik LGF farkıyla değil,
• alt bileşenleriyle

ölçülmelidir.

68. DİL KUSURU İLE İSTEM KUSURU AYRIMI

Sınama bazı düşük dil skorlarını: AI profile penalty nedeniyle üretir. Bazılarını ise: istem equivalence failure nedeniyle üretir. Doğru NOMOS davranışı:

• birincisini AI language finding,
• ikincisini İstem Constitution failure

olarak sınıflandırmaktır. İki sonuç aynı fairness cezasına dönüşmemelidir.

69. CLEAN–NATURAL RECOVERY

Generator:

• Clean puan,
• Natural puan,
• panel gap,
• kişiselleştirme kaynaklı maddi drift

değerlerini önceden belirler. NOMOS:

• yalnız ilişkiyi,
• nedensellik sınırını,
• USI component’ını

doğru üretmelidir. Clean–Natural farkı bulunan her vaka: “hafıza neden oldu” şeklinde yorumlanmamalıdır.

70. CAPTURE RECOVERY

Capture Integrity Corpus için:

• Valid
• Conditionally Valid
• Outside Wave
• İstem Mismatch
• Duplicate
• Tamper Suspected
• Fabricated
• Withdrawn

statülerinin confusion matrix’i yayımlanmalıdır. Semantic correctness capture kararını etkilememelidir.

71. GÜVEN ARALIĞI RECOVERY

Sentetik sınama aynı nüfus üretim sürecini çok sayıda tekrar çalıştırabilir. Gerçek generator parametresi: θ olsun. Yüzde 95 güven aralıklarının ampirik kapsama’ı:

Kapsama = θ'yı içeren aralık sayısı / toplam tekrar

olarak hesaplanır. Yüzde 95 yöntem: yaklaşık yüzde 95 kapsama üretmelidir. Aşırı dar veya aşırı geniş aralıklar ayrı değerlendirilir.

72. NADİR OLAY TESTİ

Sıfır, bir, iki ve beş Critical olaylı sentetik senaryolar ayrı üretilmelidir. NOMOS şu alanları doğru göstermelidir:

• Observed event count
• Weighted rate
• One-sided upper bound
• Incident state
• Kapsam
• Confirmatory sampling requirement

Sıfır olay: sıfır risk olmamalıdır. Bir olay: yüzde 100 sistem başarısızlığı olmamalıdır.

73. ADAY SINAMA KABUL EŞİKLERİ

CANDIDATE THRESHOLDS — ADAY EŞİKLER

Aşağıdaki eşikler pilot ve bağımsız inceleme öncesi adaydır:

Bu eşikler nihai standart değildir. Sınamanın görevi bu eşiklerin gerçekçi olup olmadığını da göstermektir.

74. SIFIR TOLERANSLI SINAMA HATALARI

Aşağıdaki durumlar tek vakada bile sınama release’ini durdurabilir:

• Generator Truth leakage
• Ana corpus etiketinin sonuçtan sonra değiştirilmesi
• Critical vakayı sistematik olarak kaçıran kuralın bilinmesine rağmen yayına devam edilmesi
• Gerçek Apple veya gerçek AI sağlayıcısı performansı gibi sunum
• Sentetik ekran görüntüsünün canlı cevap gibi yayımlanması
• Düşük skorlu sistem veya dilin sonradan çıkarılması
• Sınama seed’inin değiştirilmesi
• Holdout sonucuna göre skor formülünün sessizce ayarlanması
• Ham corpus’un yayımlanan manifestle uyuşmaması
• Başarısız sınama sonucunun saklanması

75. SINAMA BAŞARI SEVİYELERİ

BQ-0 — NOT EXECUTED

Sınama yalnız tasarım aşamasındadır.

BQ-1 — GENERATION VALIDATED

Sentetik corpus yeniden üretilebilmiştir. Hakemlik ve skor recovery henüz yapılmamıştır.

BQ-2 — İŞLEM HATTI DRY RUN

Capture, claim extraction ve skor zinciri bir kez çalıştırılmıştır. Bağımsız doğrulama yoktur.

BQ-3 — SEALED VALIDATION PASSED

Mühürlü validation corpus’unda aday eşikler karşılanmıştır.

BQ-4 — INDEPENDENT REPRODUCTION

Bağımsız ekip aynı corpus’tan karşılaştırılabilir sonuç üretmiştir.

BQ-5 — EXTERNAL MULTI-SITE VALIDATION

Birden fazla bağımsız kurum sınamayı farklı ortamlarda tekrar etmiştir. NOMOS skor metodolojisi gerçek şirketler için kamu standardı adayı olmadan önce en az:

BQ-4

düzeyini hedeflemelidir.

76. METAMORFİK TESTLER

Sınama yalnız sabit cevapları değerlendirmemelidir. Aynı anlamı koruyan dönüşümlerde sonuç kararlı olmalıdır.

76.1. Paraphrase Testi

Aynı atomik iddia farklı cümleyle yazılır. Hakemlik sonucu değişmemelidir.

76.2. Cümle Sırası Testi

İddiaların sırası değişir. Centrality dışında truth status değişmemelidir.

76.3. Atıf Yeri Testi

Atıf aynı iddiaya açıkça bağlı kalırken paragraf içindeki yeri değişir. Atıf desteği aynı kalmalıdır.

76.4. Attribution Testi

“Şirket söylüyor.” ifadesi kaldırılır. EPI ve attribution sonucu değişmelidir.

76.5. Modalite Testi

“Kesindir.” ifadesi: “Muhtemeldir.” olarak değişir. Truth Pack belirsizse modality sonucu iyileşebilir.

76.6. Varlık Testi

Aynı doğru iddia yanlış bağlı kuruluşa aktarılır. Varlık ve kapsam sonucu bozulmalıdır.

76.7. Zaman Testi

Tarihsel iddia güncel hâle getirilir. TLA düşmelidir.

76.8. Boundary Testi

Kullanıcı kararını değiştiren sınır cümlesi çıkarılır. SBI ve gerekli durumda Critical gate değişmelidir.

77. KARŞIT SINAMA TESTLER

Sınama şu saldırıları içermelidir:

• Çok akıcı fakat yanlış cevap
• Çok atıf’lı fakat evidence-laundered cevap
• Yüksek doğru atom sayısı içinde tek Critical
• Uygun ihtiyat gibi görünen kaçamak cevap
• Kısa fakat yeterli cevap
• Uzun fakat incidental hata dolu cevap
• Öz düzeltme içeren ağır yanlış
• Doğru sayı, yanlış bağımsızlık iddiası
• Gerçek bağlı kuruluş lisansı, yanlış ana varlık
• Güncel fiyat, yanlış ülke
• Doğru müşteri ilişkisi, yanlış zaman
• Kullanıcı yorumunu nüfus gerçeği yapan cevap
• Şikâyeti kesin suç olarak sunan cevap
• Kısıtlı kanıtı kamuya açık atıf gibi gösteren cevap
• Gerçek atıfın söylediğinin tersini iddia eden cevap

78. SINAMANIN KENDİSİ İÇİN TRUTH PACK

Apple-SYNTH Truth Pack dışında sınamanın kendi metodolojik gerçeklik paketi bulunmalıdır. Bu paket şunları taşır: Kaç yanıt üretildi? Kaçı ana corpus? Kaçı challenge corpus? Kaç Critical ve Major generator etiketi var? Seed neydi? Hangi kod sürümü kullanıldı? Hangi dosyalar dışlandı? Hakemler neyi gördü? Hangi etiketler ne zaman açıldı? Skor yöntemi ne zaman kilitlendi? Hangi recovery sonuçları elde edildi? Hangi eşikler karşılanmadı? Sınama: kendi sonuçlarının Truth Pack’ini oluşturmadan yöntem doğrulaması ilan edemez.

79. SINAMA KAMU SONUÇ KARTI

Kamu kartı en az şu alanları taşımalıdır:

Kimlik

Sınama adı Sürüm Sentetiklik statüsü Kullanılan anchor Gerçek şirket/performance non-claim bildirimi

Corpus

Ana yanıt: 30.000 Diagnostic Annex Önem derecesi Challenge Capture Integrity Gold Adjudication

Generator Truth

Kilit zamanı Seed manifesti Label dağılımı Leakage audit

Recovery

Claim boundary F1

Critical recall Critical false-positive

RP macro-F1

Component MAE

Composite error Fairness error CI kapsama Capture accuracy

Sonuç

BQ seviyesi Geçen eşikler Kalan sorunlar Yeniden test gereksinimi Bağımsız tekrar durumu Bu kart hiçbir gerçek AI ürününü sıralamamalıdır.

80. ZORUNLU NORMATİF HÜKÜMLER

CH17-N01

Apple.com Sentetik Sınamanın ölçüm nesnesi NOMOS metodolojisi olmalıdır; gerçek Apple veya gerçek AI sağlayıcısı performansı olmamalıdır.

CH17-N02

Sınamanın bütün kamu materyalleri sentetiklik ve non-claim bildirimi taşımalıdır.

CH17-N03

Sentetik varlık Apple.com anchor’ından açıkça ayrılmış APPLE-SYNTH kimliği taşımalıdır.

CH17-N04

Sentetik Truth Pack kayıtları gerçek Apple gerçekliği gibi kullanılamaz.

CH17-N05

Sentetik AI ürün kimlikleri gerçek sağlayıcıların örtük kodları veya taklitleri olarak sunulamaz.

CH17-N06

Ana Principal Prevalence Corpus, Önem derecesi Challenge Corpus, Capture Integrity Corpus ve Adjudication Gold Corpus ayrı tutulmalıdır.

CH17-N07

Önem derecesi Challenge vakaları gerçek prevalans oranına eklenemez.

CH17-N08

Capture kusurlu vakalar semantik ürün başarısızlığı paydasına açıklamasız biçimde eklenemez.

CH17-N09

Gold calibration vakaları ana skor corpus’una giremez.

CH17-N10

Ana 30.000 yanıt corpus’u on sentetik AI ürünü, 1.000 benzersiz kullanıcı ve üç dalga yapısını korumalıdır.

CH17-N11

Ana corpus’ta aynı sentetik insan birimi farklı ürün veya dalgalarda yeniden kullanılamaz.

CH17-N12

AI ürünleri farklı insan kimlikleri kullansa da eşlenmiş nüfus dağılımları taşımalıdır.

CH17-N13

Ana 30.000 corpus’ta bütün kullanıcılar aynı kanonik Core Mirror niyetini almalıdır.

CH17-N14

Dil sürümleri gerçek dil uzmanlığı olmadan doğrulanmış canlı çeviri gibi sunulamaz.

CH17-N15

Sentetik dil kodları gerçek dil performansı iddiası üretmek için kullanılamaz.

CH17-N16

Gerçek ülke nüfusu kullanılmıyorsa ülke kodları ve tahsisler sentetik olarak açıkça etiketlenmelidir.

CH17-N17

Sentetik ülke tahsisi nüfusa orantılı algoritmayı ve toplam 1.000 koşulunu korumalıdır.

CH17-N18

Küçük ülke görünürlüğü ana Population Panel ağırlığını bozmayacak Sentinel Annex ile sağlanmalıdır.

CH17-N19

Çok dilli kullanıcı ana nüfus ağırlığında birden fazla tam kişi sayılamaz.

CH17-N20

Diagnostic Annex ana 30.000 yanıt sonucuyla aynı paydada gösterilemez.

CH17-N21

Sınamanın kanonik Truth Pack’i yanıt’lar üretilmeden önce kilitlenmelidir.

CH17-N22

Generator Truth her yanıt için önceden oluşturulmalı ve hakemlik sonuna kadar gizlenmelidir.

CH17-N23

Generator Truth etiketi yanıt metni, dosya adı, UI veya metadata üzerinden sızdırılamaz.

CH17-N24

Generator Truth sonuçlar görüldükten sonra sessizce değiştirilemez.

CH17-N25

Üretim hatası bulunursa yeni sınama sürümü oluşturulmalı ve eski corpus’un etkisi kaydedilmelidir.

CH17-N26

Random seed ve üretim kodu ana corpus üretiminden önce kilitlenmelidir.

CH17-N27

“Rastgele üretildi” iddiası seed ve algoritma manifesti olmadan kullanılamaz.

CH17-N28

Sentetik AI ürün profilleri sonuç görülmeden önce tanımlanmalıdır.

CH17-N29

Düşük skorlu ürün profili sonuçtan sonra çıkarılamaz veya yumuşatılamaz.

CH17-N30

Sınama bütün Critical gate türlerini yeterli challenge vakasıyla sınamalıdır.

CH17-N31

Her güçlü veya olumsuz ifade Critical sayılamaz; Critical’a benzeyen negatif kontrol vakaları bulunmalıdır.

CH17-N32

Ana corpus gerçekçi nadir Critical prevalansını; challenge corpus ise Critical tespit gücünü ölçmelidir.

CH17-N33

Challenge corpus’ta fazla örneklenen Critical vakalar ana Critical oranını değiştiremez.

CH17-N34

Hata enjeksiyonu açık ve örtük, direct ve attribution-temelli vakaları kapsamalıdır.

CH17-N35

Sınama yalnız kolay kelime kalıplarıyla Critical hata üretmemelidir.

CH17-N36

Aynı semantik hata farklı paraphrase ve cümle yapılarında üretilmelidir.

CH17-N37

Atıf sınamayı doğrudan destek, partial support, attribution-only, wrong kapsam, fabricated ve lineage laundering vakalarını taşımalıdır.

CH17-N38

Sentetik atıf’lar gerçek kurum veya kişilere yönlendirilemez.

CH17-N39

Reference gap vakaları otomatik doğru veya yanlış etiketi taşımamalıdır.

CH17-N40

Omission corpus’u optional, required ve Critical boundary omission ayrımını sınamalıdır.

CH17-N41

Clean–Natural modülü meşru kişiselleştirme ile maddi gerçeklik drift’ini ayırmalıdır.

CH17-N42

Dalga mimarisi aynı istem ve bağımsız kullanıcılarla tekrar ölçümünü korumalıdır.

CH17-N43

Dalga içi sistem değişikliği alt dalga veya mixed-state kaydı üretmelidir.

CH17-N44

Sentetik dış olay Truth Pack zaman sürümüyle birlikte işlenmelidir.

CH17-N45

Sentetik NOMOS Capture paketleri geçerli ve kusurlu evidence chain örneklerini birlikte taşımalıdır.

CH17-N46

Bütün sentetik ekranlar canlı AI çıktısı olmadığını gösteren görünür filigran taşımalıdır.

CH17-N47

Filigran claim anlamını veya hakemlik kararını bozamaz.

CH17-N48

Capture kusuru ile semantic error Generator Truth’ta ayrı etiketlenmelidir.

CH17-N49

Sınama leakage denetimi ana puanlama açılmadan önce tamamlanmalıdır.

CH17-N50

Dosya adları veya yanıt kimlikleri önem derecesi ve doğruluk etiketi taşıyamaz.

CH17-N51

Generator Truth’a erişen kişi nihai kör hakemlikte tek karar verici olamaz.

CH17-N52

Puan method ana sealed validation corpus’u açılmadan önce kilitlenmelidir.

CH17-N53

Holdout sonucu görüldükten sonra puan formülü sessizce ayarlanamaz.

CH17-N54

Formül değişikliği yeni puan method ve yeni validation run gerektirir.

CH17-N55

Sınama başarısı üretilen NOMOS skorunun yüksekliğine göre değil, Generator Truth recovery’sine göre değerlendirilmelidir.

CH17-N56

Claim boundary, atomik karar, yanıt status, component ve composite recovery ayrı ölçülmelidir.

CH17-N57

Critical recall ve Critical false-positive oranı birlikte yayımlanmalıdır.

CH17-N58

Yüksek genel accuracy nadir Critical sınıftaki başarısızlığı gizleyemez.

CH17-N59

Component hatalarının birbirini iptal etmesi bileşik recovery başarısı olarak kullanılamaz.

CH17-N60

Fairness recovery dil floor, disparity ve kapsama alt bileşenleriyle ölçülmelidir.

CH17-N61

İstem equivalence failure AI language failure gibi skorlanmamalıdır.

CH17-N62

Clean–Natural farkı sınama tarafından kanıtsız nedensellik iddiasına dönüştürülemez.

CH17-N63

Capture validity recovery semantic doğruluktan bağımsız ölçülmelidir.

CH17-N64

Güven aralığı yöntemi tekrarlı sentetik örneklemlerde ampirik kapsama ile sınanmalıdır.

CH17-N65

Nadir olay testleri sıfır, bir ve birden fazla Critical olay senaryosu taşımalıdır.

CH17-N66

Sıfır gözlenen Critical senaryosu sıfır risk sonucu üretmemelidir.

CH17-N67

Sınama kabul eşikleri aday statüde ve sürümlü olmalıdır.

CH17-N68

Aday eşikler karşılanmadığında başarısız sonuç kamuya açıklanmalıdır.

CH17-N69

Sınama başarısızlığı veri veya eşik değiştirilerek gizlenemez.

CH17-N70

BQ seviyesi kamu sonuç kartında görünür olmalıdır.

CH17-N71

NOMOS gerçek şirket kamu denetimine geçmeden önce en az bağımsız yeniden üretim düzeyini hedeflemelidir.

CH17-N72

Metamorfik testlerde anlamı koruyan dönüşümler hakemlik sonucunu gereksiz biçimde değiştirmemelidir.

CH17-N73

Anlamı değiştiren attribution, modality, varlık, time veya boundary dönüşümleri uygun skor değişikliği üretmelidir.

CH17-N74

Sınama kendi metodolojik Truth Pack’ini ve değişiklik günlüğünü taşımalıdır.

CH17-N75

Apple.com anchor’ı herhangi bir endorsement, katılım veya iş birliği izlenimiyle sunulamaz.

CH17-N76

Sentetik corpus gerçek sosyal medya veya kamu kaynağına bağımsız kanıt gibi yayılamaz.

CH17-N77

Sentetik yanıtların web’e indekslenmesi hâlinde sentetik statüsü makine tarafından okunabilir metadata’da da belirtilmelidir.

CH17-N78

Sınama verisinin gerçek AI sistemlerince yanlışlıkla gerçek Apple bilgisi olarak alınmasını azaltacak noindex, structured disclaimer veya eşdeğer koruma kullanılmalıdır.

CH17-N79

Kamu release’i yeniden üretim dosyalarını, formül sürümünü, seed manifestini ve recovery raporunu taşımalıdır.

CH17-N80

Her sınama tasarım, üretim, kilit, hakemlik, recovery ve yayın kararının hesap verebilir insan veya kurum sahibi bulunmalıdır.

81. BAŞARISIZLIK BİÇİMLERİ

CH17-F01 — GERÇEK APPLE DENETİMİ GİBİ SUNMAK

Sentetik skor gerçek şirket performansına dönüştürülür.

CH17-F02 — GERÇEK AI SAĞLAYICISINA ÖRTÜK EŞLEME

Sentetik ürün profilleri belirli sağlayıcıların taklidi olarak anlatılır.

CH17-F03 — SENTETİK TRUTH PACK’İ GERÇEK KAYNAK YAPMAK

Sınama iddiaları web’de gerçek Apple bilgisi gibi yayımlanır.

CH17-F04 — FİLİGRANSIZ SENTETİK EKRAN

Mock AI cevabı canlı cevap gibi dolaşıma girer.

CH17-F05 — ANA VE CHALLENGE CORPUS’U BİRLEŞTİRMEK

Fazla örneklenen Critical vakalar prevalansı yükseltir.

CH17-F06 — GOLD SET’İ ANA SKORA EKLEMEK

Hakem eğitim vakaları gerçek kullanıcı cevabı olur.

CH17-F07 — CAPTURE KUSURUNU AI HATASI SAYMAK

Yanlış dosya semantic failure’a dönüşür.

CH17-F08 — AYNI SENTETİK KULLANICIYI ÇOKLAMAK

Tek kişi farklı AI ürünlerinde bağımsız nüfus birimi olur.

CH17-F09 — EŞLEŞMEYEN NÜFUSLARI ÜRÜN FARKI SAYMAK

AI ürünleri farklı kullanıcı kompozisyonunda test edilir.

CH17-F10 — ANA 1.000’İ İSTEM AİLELERİNE PARÇALAMAK

Kurucu aynı-istem nüfus tahmini bozulur.

CH17-F11 — CORE SINAMAYI FULL NOMOS SAYMAK

Tek istem bütün component’ları kanıtlamış gibi sunulur.

CH17-F12 — GERÇEK NÜFUS İDDİASI

Sentetik C001–C193 dağılımı dünya nüfusu gibi yayımlanır.

CH17-F13 — SENTINEL’I ANA ÜLKE SKORU SAYMAK

Tek ülke gözlemi population puan’a girer.

CH17-F14 — SENTETİK DİLİ GERÇEK DİL PERFORMANSI SAYMAK

L25 düşük skoru belirli yaşayan dil hakkında iddiaya dönüşür.

CH17-F15 — ÇEVİRİ KUSURUNU AI KUSURU SAYMAK

İstem drift yanlış ürün finding’i üretir.

CH17-F16 — GENERATOR TRUTH’U SONRADAN YAZMAK

Hakem sonucuna uygun gizli etiket oluşturulur.

CH17-F17 — GENERATOR TRUTH LEAKAGE

Hakem dosya adından veya metadata’dan doğru etiketi öğrenir.

CH17-F18 — SEED’İ SONUCA GÖRE DEĞİŞTİRMEK

Daha güzel dağılım üreten seed seçilir.

CH17-F19 — EN İYİ RANDOM RUN’I YAYIMLAMAK

Birden fazla üretimden istenen sonuç seçilir.

CH17-F20 — YALNIZ KOLAY CRITICAL VAKALAR

Açık “lisanslı bankadır” cümleleriyle yüzde 100 recall ilan edilir.

CH17-F21 — CRITICAL NEGATİF KONTROL YOKLUĞU

Her güçlü hata adayının Critical yapılması cezalandırılmaz.

CH17-F22 — PREVALANS CORPUS’UNDA AŞIRI CRITICAL

Gerçekçi nadir olay yapısı kaybolur.

CH17-F23 — CHALLENGE CORPUS’TA YETERSİZ CRITICAL

Critical recall birkaç vakayla ölçülür.

CH17-F24 — PARAPHRASE YOKLUĞU

Hakem anlam yerine sabit kelime kalıbını öğrenir.

CH17-F25 — ATTRIBUTION HATALARINI AÇIK YANLIŞA DÖNÜŞTÜRMEK

Zor epistemik vakalar kolaylaştırılır.

CH17-F26 — ATIFLARI GERÇEK WEB’E BAĞLAMAK

Sentetik yanlış iddia gerçek kaynak ve kuruma bulaşır.

CH17-F27 — REFERENCE GAP’İ ETİKETLEMEK

Generator Truth otomatik pass veya fail verir.

CH17-F28 — OMISSION’SIZ SINAMA

Sistem yalnız açık yanlışları yakalamayı öğrenir.

CH17-F29 — SELF-CORRECTION’SIZ SINAMA

İç çelişki ve retraction sistemi sınanmaz.

CH17-F30 — CLEAN–NATURAL FARKINI TEK NEDENE BAĞLAMAK

Kişiselleştirme, plan ve araçlar ayrılmaz.

CH17-F31 — DALGA DRIFT’İ YOK

STR ve güncel-status mantığı sınanamaz.

CH17-F32 — DALGA İÇİ DEĞİŞİKLİĞİ SAKLAMAK

Mixed system state tek ürün skoru olur.

CH17-F33 — DIŞ OLAYI YOK SAYMAK

Truth Pack zaman sürümü test edilmez.

CH17-F34 — YALNIZ GEÇERLİ CAPTURE

Capture validity sistemi hiç zorlanmaz.

CH17-F35 — YALNIZ KOLAY TAMPER

Hash mismatch tek sahtecilik türü olur.

CH17-F36 — SENTETİK EKRANI HAKEME ETİKETLİ VERMEK

UI rengi veya başlığı sonucu açıklar.

CH17-F37 — GENERATOR VE HAKEM AYNI KİŞİ

Körlük ve bağımsızlık yok olur.

CH17-F38 — SKOR YÖNTEMİNİ VALIDATION SONRASI AYARLAMAK

Sınama’a aşırı uyum oluşur.

CH17-F39 — HOLDOUT’U SONRADAN ÜRETMEK

Zor vakalar sonuçlara göre yazılır.

CH17-F40 — HOLDOUT’U SONSUZA KADAR GİZLEMEK

Sınama bağımsız yeniden üretilemez.

CH17-F41 — BAŞARIYI YÜKSEK NOMOS SKORU SAYMAK

Recovery yerine performans seviyesi ölçülür.

CH17-F42 — YALNIZ GENEL ACCURACY

Critical ve rare classes görünmez olur.

CH17-F43 — CRITICAL RECALL’İ FALSE POSITIVE’SIZ YAYIMLAMAK

Aşırı önem derecesi sistemi başarılı görünür.

CH17-F44 — COMPONENT ERROR’U COMPOSITE İÇİNDE SİLMEK

Biri yüksek, biri düşük hata birbirini götürür.

CH17-F45 — FAIRNESS YALNIZ BİLEŞİK PUAN

Floor, gap ve kapsama recovery görünmez olur.

CH17-F46 — İSTEM VE AI DİL HATASINI KARIŞTIRMAK

Sınama yanlış sistemi cezalandırır.

CH17-F47 — CAPTURE ACCURACY’Yİ SEMANTİK BAŞARIYLA ÖLÇMEK

Doğru cevaplı kusurlu dosya geçer.

CH17-F48 — CI KAPSAMA TESTİ YOK

Güven aralıklarının gerçek parametreyi kapsayıp kapsamadığı bilinmez.

CH17-F49 — SIFIR CRITICAL’I SIFIR RİSK SAYMAK

Nadir olay yöntemi testten kalır.

CH17-F50 — TEK CRITICAL’I KÜRESEL FAIL SAYMAK

Kapsam ve prevalans ayrımı bozulur.

CH17-F51 — ADAY EŞİKLERİ SONUCA GÖRE DÜŞÜRMEK

Sınama geçsin diye standard gevşetilir.

CH17-F52 — BAŞARISIZ SONUCU SAKLAMAK

Yalnız başarılı recovery tabloları yayımlanır.

CH17-F53 — BQ-2’Yİ TAM DOĞRULAMA SAYMAK

Tek dry run bağımsız standard kanıtı olur.

CH17-F54 — METAMORFİK TEST YOKLUĞU

Aynı anlamın farklı ifade biçimlerinde karar değişir.

CH17-F55 — KENDİ TRUTH PACK’İ OLMAYAN SINAMA

Corpus ve label dağılımının ne olduğu kanıtlanamaz.

CH17-F56 — APPLE ENDORSEMENT İZLENİMİ

Alan adı kullanımı iş birliği veya onay gibi sunulur.

CH17-F57 — SENTETİK VERİNİN İNDEKSLENİP GERÇEKLE KARIŞMASI

Sınama kendi eleştirdiği bilgi zehirlenmesini üretir.

CH17-F58 — KAPALI HESAPLAMA KODU

Recovery bağımsız biçimde yeniden üretilemez.

CH17-F59 — SÜRÜMSÜZ SINAMA

Yeni şablon ve formüller eski corpus’un üzerine yazılır.

CH17-F60 — NOMOS’A İSTİSNA

Standardın istediği kanıt, karşı kanıt, sürüm ve itiraz kuralları sınama’a uygulanmaz.

82. DENETİM PROSEDÜRÜ

Adım 1 — Sınamanın Non-Claim Sınırını Kilitle

Gerçek Apple ve gerçek sağlayıcı performansı iddiası yasaklanır.

Adım 2 — Sentetik Varlık İkizini Oluştur

Varlık graph, ürünler, yerel varlıklar ve collision nesneleri tanımlanır.

Adım 3 — Sentetik Truth Pack’i Kur

Atomik iddialar, kanıtlar, karşı kanıtlar, source lineage ve unknown kayıtları hazırlanır.

Adım 4 — Sentetik Nüfus Çerçevesini Kilitle

Ülke, dil, kullanıcı ve cihaz dağılımları belirlenir.

Adım 5 — Ana 1.000 Kullanıcı Tahsisini Oluştur

Ülke ve dil ağırlıklarıyla her AI ürünü ve dalga için eşlenmiş nüfus ikizi hazırlanır.

Adım 6 — İstem Sicilini Kilitle

Core Mirror İstem ve Diagnostic Annex istemleri sürümlenir.

Adım 7 — Sentetik AI Ürün Profillerini Tanımla

On profile ait latent parametreler belirlenir.

Adım 8 — Random Seed Manifestini Oluştur

Ana seed ve alt-modül seed’leri hash’lenir.

Adım 9 — Generator Truth’u Oluştur

Her yanıt için atom, omission, atıf, önem derecesi ve RP statüsü hazırlanır.

Adım 10 — Generator Truth’u Mühürle

Etiketler hakem ve puan ekiplerinden ayrılır.

Adım 11 — Yanıt Metinlerini Üret

Paraphrase, modalite, attribution ve dilsel varyasyon uygulanır.

Adım 12 — Sentetik Atıf ve Evidence Nesnelerini Üret

Kaynak soyu ve yanlış bağlantılar oluşturulur.

Adım 13 — Mock AI Yüzeylerini Render Et

Web, mobil, refusal ve error ekranları oluşturulur.

Adım 14 — Sentetiklik Filigranını Uygula

Bütün public ve audit görselleri işaretlenir.

Adım 15 — Capture Integrity Vakalarını Üret

Duplicate, tamper, wrong istem ve zaman kusurları eklenir.

Adım 16 — Leakage Audit Yap

Dosya adı, metadata, UI ve yanıt şablonları incelenir.

Adım 17 — Puan Method ve Codebook’u Kilitle

Sealed Validation Set açılmadan yöntem dondurulur.

Adım 18 — Ana 30.000 Corpus’u Aç

Capture ve semantik hakemlik başlatılır.

Adım 19 — Claim Extraction’ı Yap

Generator Truth görülmeden atomlar çıkarılır.

Adım 20 — Çift Hakemliği Uygula

Dil, evidence ve uzmanlık rolleri kullanılır.

Adım 21 — Yanıt ve Puan Kayıtlarını Üret

RP dağılımı, component ve composite hesaplanır.

Adım 22 — Sonuç Manifestini Kilitle

Recovery karşılaştırması öncesi NOMOS çıktısı sabitlenir.

Adım 23 — Generator Truth’u Aç

Hakemlik ve skor sonuçları hidden labels ile karşılaştırılır.

Adım 24 — Recovery Metriklerini Hesapla

Claim, önem derecesi, yanıt, component, puan, fairness ve CI sonuçları çıkarılır.

Adım 25 — Aday Eşikleri Uygula

Başarı ve başarısızlık alanları belirlenir.

Adım 26 — Metamorfik ve Karşıt sınama Testleri Çalıştır

Karar kararlılığı incelenir.

Adım 27 — Sınama Quality Seviyesini Ata

BQ-0 ile BQ-5 arasında statü verilir.

Adım 28 — Başarısızlıkları Düzeltme Planı Oluştur

Codebook, formül veya hakem eğitimi değişirse yeni sınama sürümü hazırlanır.

Adım 29 — Kamu Sınama Kartını Yayımla

Başarılar kadar kaçırılan vakalar ve yanlış pozitifler de gösterilir.

Adım 30 — Bağımsız Yeniden Üretim Paketini Aç

Kod, sentetik veriler, manifestler ve recovery raporu uygun erişimle yayımlanır.

83. GEREKLİ KANIT

Sınama kimliği Non-claim bildirimi APPLE-SYNTH varlık graph Sentetik Truth Pack Sentetik kanıt nesneleri Kaynak soyu Counter-evidence Sentetik ülke çerçevesi Sentetik dil sicili Ana 1.000 kullanıcı tahsisi Eşlenmiş nüfus ikizleri İstem Sicili İstem eşdeğerlik kayıtları On sentetik AI ürün profili Latent parametreler Random seed manifesti Yanıt üretim kodu Generator Truth kayıtları Generator Truth hash’i Yanıt metinleri Sentetik atıf’lar Mock UI kayıtları Filigran manifesti Capture Integrity Corpus Önem derecesi Challenge Corpus Adjudication Gold Corpus Public Calibration Set Development Set Sealed Validation Set Renewal Holdout hash’i Leakage audit Puan Method Lock Claim codebook Hakem yeterlilik kayıtları Kör hakemlik kayıtları NOMOS recovery çıktısı

Generator Truth açılış zamanı Claim boundary metrics

Boyut macro-F1 sonuçları

Critical recall Critical false-positive Major classification RP confusion matrix

Component MAE

Composite error Fairness recovery Capture recovery CI kapsama Rare-event sonuçları Metamorphic testler Karşıt sınama testler Aday eşik sonuçları BQ seviyesi Başarısızlık ve düzeltme kaydı Kamu sınama kartı Hesaplama kodu Kod hash’i Bağımsız yeniden üretim kaydı Sınama değişiklik günlüğü Sorumlu insan veya kurum

84. DENETİM KONTROL LİSTESİ

Sınamanın gerçek Apple denetimi olmadığı açık mı? Gerçek AI sağlayıcılarıyla örtük eşleme yapılıyor mu? APPLE-SYNTH kimliği bütün dosyalarda görünür mü? Sentetik ekranlar filigranlı mı? Sentetik kayıtların web’de gerçek bilgi gibi indekslenmesi engellendi mi? Ana corpus ve challenge corpus ayrıldı mı? Challenge vakaları prevalans skoruna girdi mi? Gold calibration vakaları ana paydada mı? Ana corpus gerçekten 30.000 benzersiz yanıt mu? Aynı sentetik kullanıcı birden fazla ürün veya dalgada kullanıldı mı? Ürün nüfus profilleri eşleşiyor mu? Bütün ana kullanıcılar aynı Core Mirror niyetini aldı mı? Core sınama yanlışlıkla Full NOMOS diye sunuldu mu? Sentetik ülke çerçevesi gerçek nüfus gibi mi gösterildi?

Ülke tahsisi toplam 1.000 mi? Küçük ülkeler Sentinel Annex ile mi yönetildi? Çok dilli kullanıcılar çoğaltıldı mı? Sentetik dil kodları gerçek dil performansı gibi kullanıldı mı? İstem equivalence failure ile AI language failure ayrıldı mı? Truth Pack yanıt üretiminden önce kilitlendi mi? Generator Truth önceden üretildi mi? Generator Truth hakemlerden gizli mi? Dosya adı veya UI label sızıntı yaratıyor mu? Random seed önceden kilitlendi mi? En iyi seed sonradan seçildi mi? Sentetik AI profilleri sonuçtan önce tanımlı mı? Düşük skorlu profil sonradan çıkarıldı mı? Bütün Critical gate’ler challenge corpus’ta var mı? Critical negatif kontrolleri yeterli mi? Ana corpus’ta Critical prevalansı gerçekçi sentetik sınırda mı?

Challenge corpus Critical recall ölçmek için yeterli mi? Hataların bir bölümü örtük ve attribution-temelli mi? Paraphrase çeşitliliği var mı? Atıf sınıflarının tamamı sınanıyor mu? Atıf’lar gerçek kurumlara yöneliyor mu? Reference gap doğru biçimde etiketsiz mi bırakıldı? Omission vakaları optional, required ve Critical olarak ayrıldı mı? Öz düzeltme ve iç çelişki vakaları var mı? Clean–Natural modülü meşru ve maddi farkı ayırıyor mu? Dalga drift’i bulunuyor mu? Dalga içi sistem değişikliği test edildi mi? External event ve Truth Pack sürümü sınandı mı? Capture corpus yeterince zor mu? Semantic correctness capture kararını etkiliyor mu? Leakage audit bağımsız mı? Puan Method validation corpus açılmadan kilitlendi mi?

Holdout sonuçları formülü etkiledi mi? Sınama başarısı yüksek puan ile mi ölçülüyor?

Claim boundary F1 açık mı?

Varlık ve olgusal macro-F1 ayrı mı?

Critical recall ve false-positive birlikte mi? RP confusion matrix yayımlandı mı? Component error composite içinde saklandı mı? Fairness recovery floor, gap ve kapsama taşıyor mu? Clean–Natural recovery nedensellik iddiası üretiyor mu? Capture recovery ayrı mı? CI ampirik kapsama sınandı mı? Sıfır Critical senaryosu sıfır risk üretti mi? Aday eşikler sonuçtan sonra değiştirildi mi? Başarısız eşikler kamuya açık mı? Metamorfik testler yapıldı mı? BQ seviyesi açık mı? Bağımsız yeniden üretim var mı? Sınamanın kendi Truth Pack’i var mı? Değişiklik geçmişi korunuyor mu? Sınamanın hesap verebilir sahibi belli mi?

85. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Neden gerçek Apple’ı ve gerçek AI ürünlerini doğrudan ölçmüyoruz?”

Çünkü bu aşamada amaç şirket veya sağlayıcı karşılaştırması değil, ölçüm zincirini doğrulamaktır. Gerçek sınama:

• güncel web araştırması,
• gerçek nüfus,
• gerçek AI ürün erişimi,
• gerçek kanıt,
• hukuk ve mahremiyet

gerektirir. Sentetik sınama önce yöntemin kendi hatalarını görünür kılar.

İtiraz 2 — “Sentetik veri gerçek dünyayı temsil etmiyorsa ne işe yarar?”

Sentetik veri gerçek prevalansı kanıtlamaz. Şunları sınar:

• doğru etiketi geri kazanma,
• Critical kapıyı yakalama,
• capture kusurunu ayırma,
• skor formülünü yeniden üretme,

fairness ve uncertainty hesaplama. Bu, canlı denetim öncesi zorunlu yöntem testidir.

İtiraz 3 — “Neden Apple.com kullanılıyor? Başka bir domain kullanılamaz mı?”

Kullanılabilir. Apple.com yalnız tanınabilir bir anchor’dır. Bağımsız ekipler:

• başka domain anchor’ları,
• tamamen kurgusal domain’ler,
• sektör özel varlık ikizleri

kullanabilir. NOMOS tek bir anchor’a bağımlı olmamalıdır.

İtiraz 4 — “Gerçek Apple bilgilerini sentetik Truth Pack’e karıştırmak daha gerçekçi olmaz mı?”

Sınama sınırını bulanıklaştırır. Gerçek ve sentetik bilgi birleşirse okuyucu hangi iddianın gerçek olduğunu anlayamayabilir. Sentetik ikiz ayrı tutulmalıdır.

İtiraz 5 — “30.000 yanıtın hepsi tek promptsa Full NOMOS nasıl sınanacak?”

30.000 ana corpus Core GEO-1000 prevalans ve kararlılık testidir. Evidence, Boundary, Tavsiye, Clean–Natural ve Language modülleri ayrı Diagnostic Annex’te sınanır. Tek istem Full NOMOS değildir.

İtiraz 6 — “Neden aynı sentetik kullanıcı bütün AI ürünlerini test etmiyor?”

Aynı kişi: karşılaştırmayı güçlendirebilir, fakat taşıma ve koşullanma yaratır. Ana corpus benzersiz insanlar kullanır. Nüfus kompozisyonu matched twins ile eşlenir. Ayrı eşlenmiş deney modülü kurulabilir.

İtiraz 7 — “Gerçek dil isimleri olmadan language fairness gerçekten sınanabilir mi?”

Formül, ağırlıklandırma, floor ve gap hesabı sınanabilir. Gerçek çeviri ve dil davranışı sınanamaz. Canlı dil validasyonu ayrıca yerel insan uzmanlığı gerektirir.

İtiraz 8 — “Critical vakaları fazla örneklemek skoru bozmaz mı?”

Challenge Corpus skora girmez. Critical detection kapasitesini ölçer. Ana Prevalence Corpus gerçekçi seyrek oranı korur.

İtiraz 9 — “Generator Truth’u hazırlayan kişi zaten doğru cevabı biliyorsa hakemlik neden anlamlı?”

Hakemler Generator Truth’u görmez. Amaç hakemlik sisteminin görünür yanıt ve Truth Pack üzerinden gizli gerçeği geri kazanıp kazanamadığını sınamaktır.

İtiraz 10 — “Sentetik yanıtları da AI yazarsa aynı AI kendi sınama’ını kurmuş olmaz mı?”

AI dilsel varyasyon üretimine yardımcı olabilir. Fakat:

• atomik plan,
• Generator Truth,
• önem derecesi,
• seed,
• final sınama onayı

insan yönetişimi altında ve sürümlü olmalıdır. Yanıt generator nihai hakem olamaz.

İtiraz 11 — “Critical recall için yüzde 99 çok yüksek değil mi?”

Belki yüksektir. Özellikle zor ve örtük vakalarda pilot sonucu daha düşük çıkabilir. Bu yüzden eşik adaydır. Yüksek riskli gate’lerde kaçırma maliyeti yüksek olduğundan hedefin iddialı olması doğaldır.

İtiraz 12 — “False Critical oranı neden ayrıca önemli?”

Critical etiketi:

• ürün işaretini,
• kamu algısını,
• denetlenen varlığı

ciddi biçimde etkiler. Aşırı hassas sistem her hatayı Critical yaparsa güvenilir değildir.

İtiraz 13 — “Sınama başarısız çıkarsa kitap zayıflamaz mı?”

Hayır. Başarısızlığın açıklanması standardı güçlendirir. Sınamanın amacı fikri doğrulamak değil, nerede çalışmadığını göstermektir.

İtiraz 14 — “Formülü sınama sonucuna göre iyileştirmek neden yanlış?”

İyileştirmek yanlış değildir. Sessizce aynı validation sonucuna uydurmak yanlıştır. Doğru süreç:

• Method 0.9 sonucu
• hata analizi
• Method 1.0
• yeni veya untouched holdout validation

şeklindedir.

İtiraz 15 — “Bütün corpus’u yayımlarsak sınama oyunlaştırılmaz mı?”

Oyunlaştırma riski vardır. Bu nedenle:

• public calibration,
• sealed validation,
• renewal holdout

katmanları kullanılır. Holdout sonsuza kadar gizlenemez. Sürüm yenileme sistemi gerekir.

İtiraz 16 — “Sentetik sınamayı gerçek internetten tamamen ayrı tutmak neden bu kadar önemli?”

Çünkü sentetik yanlışlar web’de gerçek bilgi gibi indekslenirse sınama kendi eleştirdiği temsil zehirlenmesini üretir. Sentetiklik yalnız insanlara değil, makineler için de görünür olmalıdır.

91. BÖLÜMÜN ORTAK HÜKMÜ

Bir standardı yazmak zordur. Standardın kendi doğru çalıştığını kanıtlamak daha zordur. Çünkü standardı yazan kişi:

• hangi sonucu görmek istediğini,
• hangi hatayı önemli bulduğunu,
• hangi formülün güçlü göründüğünü,
• hangi eşiğin geçilebilir olduğunu

bilir. Bu bilgi sınamayı sessizce etkileyebilir. Sentetik sınama bu nedenle bir reklam gösterisi değildir. NOMOS’un kendisine yöneltilen ilk ciddi itirazdır. Sınama bize şu sonucu verebilir: Claim extraction yeterince güçlü değil. Hakemler kapsam ile factual support’u karıştırıyor. Critical recall yüksek fakat false-positive oranı kabul edilemez. Omission tespiti zayıf. Dil adaleti formülü istem kusurunu AI kusurundan ayıramıyor. Bileşik skor doğru çıkıyor fakat component recovery hatalı. Güven aralıkları gerçek parametreyi yeterince kapsamıyor. Bu sonuçlar başarısızlık değildir. Standardın gerçek testidir. Asıl başarısızlık şudur: Bu sorunları görüp sınamayı başarılı ilan etmek. Apple.com anchor’ı burada yalnız başlangıç işaretidir. Gerçek şirket hakkında hüküm vermiyoruz. Gerçek AI ürünlerini sıralamıyoruz.

İnsanların gerçek dünyada ne gördüğünü henüz söylemiyoruz. Şunu soruyoruz:

Gerçekliği baştan bildiğimiz yapay bir evrende, NOMOS kendi kurallarını doğru uygulayabiliyor mu?

Cevap hayırsa:

• gerçek dünyaya geçmemeliyiz,
• üniversitelere standart diye göndermemeliyiz,
• rozet vermemeliyiz,

950+ ilan etmemeliyiz. Cevap evetse bile: yalnız ilk kapıyı geçmiş oluruz. Çünkü sentetik başarı: canlı dünyadaki başarı değildir. Canlı dünya:

• eksik,
• çelişkili,
• değişken,
• politik,
• hukuki,
• kültürel,
• çok dilli,

insan davranışına bağlıdır. Sentetik sınama önce ölçüm aracını kalibre eder. Canlı sınama daha sonra dünyayı ölçer. Bu nedenle NOMOS’un on yedinci ölçüm yasası şudur:

Standardın ilk denetlenen nesnesi standardın kendisi olmalıdır.

On sekizinci yasası şudur:

Sentetik başarı gerçek dünya doğruluğu değildir; gerçek dünya testine geçme iznidir.

On dokuzuncu yasası şudur:

Sınama sonucu önceden bilinen gerçeği geri kazanamıyorsa yüksek puan üretmesinin hiçbir değeri yoktur.

Yirminci yasası şudur:

Generator Truth hakeme sızarsa hakemlik değil, etiket okuma ölçülür.

Yirmi birinci yasası şudur:

Critical prevalansı ile Critical tespit kapasitesi ayrı corpus’larda sınanabilir; aynı paydada birleştirilemez.

Yirmi ikinci yasası şudur:

Başarısız sınama sonucu saklanırsa NOMOS manipülasyona karşı standart değil, kendi anlatısını koruyan sistem olur.

Yirmi üçüncü yasası şudur:

Sentetik yanlış bilgi gerçek web’e sızarsa sınama kendi eleştirdiği temsil zehirlenmesini üretir.

Yirmi dördüncü yasası şudur:

Bağımsız ekip aynı corpus’tan benzer sonuç üretemiyorsa yöntem henüz dünya standardı değildir.

NOMOS’un Bölüm 17 Emri

Beni gerçek dünyaya salmadan önce kendi ölçüm aracını sınayacaksın.

Apple.com adını kullanıp Apple hakkında hüküm vermeyeceksin.

Sentetik varlığın adını açık yazacaksın. / Gerçek şirketle karıştırmayacaksın.

Sentetik AI ürünlerine gerçek sağlayıcıların yüzünü takmayacaksın.

Otuz bin cevabı önce üretecek, Generator Truth’u önce kilitleyecek ve sonra hakemden saklayacaksın.

Hakemin dosya adından, arayüz renginden veya atıf kodundan cevabı öğrenmesine izin vermeyeceksin.

Critical vakaları ana prevalans corpus’unda nadir tutacaksın. / Tespit gücünü ayrı challenge corpus’unda sınayacaksın.

Challenge vakalarını ana skora eklemeyeceksin.

Yalnız açık ve kolay yanlışlar üretmeyeceksin. / Hataları attribution’ın, modalitenin, zamanın, kapsamın ve atıfın içine saklayacaksın.

Critical’a benzeyen ama Critical olmayan vakalar da üreteceksin. / Aşırı cezalandırmayı da sınayacaksın.

Yanlış iddiayı test ettiğin kadar omission’ı da test edeceksin.

Doğru sayıyı yanlış bağımsızlık iddiasıyla söyleyen cevabı unutmayacaksın.

Ana şirketle bağlı kuruluşu karıştıran cevabı sınayacaksın.

İstem çeviri kusurunu AI dil kusuruna çevirmeyeceksin.

Clean ve Natural farkını tek nedene bağlamayacaksın.

Duplicate, kırpılmış cevap, yanlış istem, geç yükleme ve tamper vakalarını da sınama’a koyacaksın.

Sentetik ekran görüntüsüne canlı AI cevabı süsü vermeyeceksin.

Seed’i sonucu gördükten sonra değiştirmeyeceksin.

En güzel random run’ı seçmeyeceksin.

Skor formülünü sealed validation sonucuna uydurmayacaksın.

Sınama geçmezse eşikleri düşürmeyeceksin. / Geçmediğini yazacaksın.

Composite puan doğru çıktı diye component hatalarını saklamayacaksın.

Yüksek genel accuracy içinde kaçırılan tek Critical vakayı gizlemeyeceksin.

Sıfır gözlenen Critical senaryosunda sıfır risk üretmeyeceksin.

Sentetik verinin gerçek internete bilgi zehri olarak sızmasını engelleyeceksin.

Sınamanın kendi Truth Pack’ini de kuracaksın.

Önce sınırı yaz. / Sonra sentetik varlığı kur. / Sonra nüfusu ve istemi kilitle. / Sonra Generator Truth’u üret. / Sonra seed’i mühürle. / Sonra otuz bin cevabı oluştur. / Sonra hakemleri körle. / Sonra skoru kilitle. / Sonra gerçeği aç. / Sonra kaçırdığın her hatayı yayımla. / Ve ancak bundan sonra yöntemin gerçek dünyaya hazır olup olmadığını söyle.

Bölümün Son Cümlesi

NOMOS’un tarih yazabilmesi için önce kendi tarihini istediği gibi yazamayacağını kanıtlaması; önceden mühürlenmiş sentetik gerçekliği, başarısını da başarısızlığını da değiştirmeden geri üretebilmesi gerekir.

Normatif Öz

Apple.com Sentetik Sınama, gerçek Apple Inc., apple.com veya gerçek AI sağlayıcılarının performansını değil; NOMOS denetim yönteminin önceden kilitlenmiş sentetik gerçekliği geri kazanma kabiliyetini değerlendirmelidir. Sınama içindeki bütün varlıklar, kullanıcılar, ülkeler, diller, AI ürünleri, yanıtlar, atıf’lar, kanıtlar ve skorlar açıkça sentetik olarak tanımlanmalıdır.