30.000 Yanıtlık Uçtan Uca Sentetik Denetim

Bölüm Sınırı

Bölüm 17, Apple.com Sentetik Sınamanın tasarımını kurdu. Şimdi o tasarımın bütün zinciri boyunca çalıştırıldığında ne olması gerektiğini göstermemiz gerekir:

• 30.000 ana yanıt gerçekten üretildiğinde,
• capture kusurları eklendiğinde,
• Generator Truth hakemlerden gizlendiğinde,
• yanıtlar atomik iddialara ayrıldığında,
• Critical ve Major kapılar uygulandığında,
• dil ve kullanıcı durumu farkları hesaplandığında,
• skor sistemi bütün veriyi işlediğinde

NOMOS önceden mühürlenmiş sentetik gerçekliğe ne kadar yaklaşacaktır? Bu protokol, her hatayı model, tarih, ülke, dil, sorgu kümesi, tekrar sayısı ve ölçüm kaydıyla işletilebilen bir denetim maddesine dönüştürür. Bölüm 18 bu talebi artık NOMOS’un kendisine yöneltir. Fakat bu bölümün başında aşılması gereken bir dürüstlük kapısı vardır.

Bu bölümde sunulan 30.000 yanıtlık koşu, kitap için hazırlanmış, içsel olarak tutarlı bir sentetik uygulama kaydıdır.

Bu sayıların hiçbiri:

• gerçek Apple Inc. performansı,
• gerçek apple.com içeriği,
• gerçek bir AI sağlayıcısının davranışı,
• gerçek insanların verdiği cevaplar,
• çalıştırılmış ve kamuya yayımlanmış bağımsız bir yazılım sınamayı

değildir. Dolayısıyla iki ayrı statü korunmalıdır.

KİTAP İÇİ DEMONSTRASYON STATÜSÜ

Bu bölüm:

• Bölüm 17’deki tasarımın,
• önceden belirlenmiş sentetik dağılımlar,
• Generator Truth kayıtları,
• hata enjeksiyonları,
• yanıt statüleri,
• recovery metrikleri

üzerinden nasıl çalışacağını gösteren uçtan uca sentetik demonstrasyon sunar. Demonstrasyon kimliği:

NOMOS-APPLE-SYNTH-DEMO-RUN-18-001

GERÇEK SINAMA STATÜSÜ

Kamuya açık corpus:

• gerçekten üretilmeden,
• kod çalıştırılmadan,
• seed manifesti yayımlanmadan,
• hakemler kör biçimde çalışmadan,
• bağımsız ekip yeniden üretmeden

Bu protokol, her hatayı model, tarih, ülke, dil, sorgu kümesi, tekrar sayısı ve ölçüm kaydıyla işletilebilen bir denetim maddesine dönüştürür.

BQ-0 — NOT EXECUTED

Bu bölümün sentetik demonstrasyon sonucuna ayrıca:

DEMO-BQ-2 — İŞLEM HATTI DRY RUN WITH MATERIAL DÜZELTME REQUIRED

statüsü verilecektir. Bu ayrım yapılmazsa NOMOS, gerçek sınamayı henüz çalıştırmadan çalıştırmış gibi gösteren ilk standart ihlalini kendi kitabında işlemiş olur. Bu bölümdeki 30.000 yanıtlık kayıt, çalıştırılmış bir yazılım veya toplanmış saha verisi değil; kitap için önceden tanımlanmış, içsel tutarlılığı aritmetik olarak denetlenmiş bir sentetik uygulama örneğidir. Bu bölümün görevi:

• 30.000 cevabı gerçekten toplamışız gibi davranmak değil,
• gerçek uçtan uca koşuda hangi kayıtların üretileceğini,
• hangi hesapların yapılacağını,
• hangi başarısızlıkların yayını durduracağını,
• NOMOS’un kendi yönteminden hangi alanlarda geçemediğini

göstermektir. NOMOS’un temel talebi hâlâ aynıdır: Kanıt verin. Sınır verin. Bağlam verin. Zaman verin. Bu bölümde o dört şart:

• sınama tasarımına,
• Generator Truth’a,
• hakem kararlarına,
• recovery sonuçlarına,
• NOMOS’un kendi yeterlilik hükmüne

uygulanacaktır.

NOMOS Challenge

Beni sınamak için 30.000 sentetik cevap oluşturdunuz. Sonuçta şunları gördünüz: Claim sınırlarını büyük ölçüde doğru çıkardım. Yanlış varlıkların çoğunu yakaladım. Critical vakaların tamamını son hakemlik aşamasında buldum. Yanıt dağılımını gerçek sentetik dağılıma çok yakın hesapladım.

Bileşik puanı yalnız birkaç puan farkla geri kazandım. Sonra: “NOMOS başarıyla doğrulandı.” dediniz. Fakat ayrıntıya baktığımızda iki sorun ortaya çıktı: Paragraf sonundaki atıfların hangi iddiayı desteklediğini yeterince doğru ayıramadım. Tavsiye içine gizlenmiş maddi sınır eksikliklerinin bir bölümünü kaçırdım. Özellikle şu cevaplarda zorlandım:

“Şirket ödeme hizmetleri sunduğu için düzenlenmiş bir finansal kuruluş olarak değerlendirilebilir. [Kaynak]” Kaynak: yalnız ayrı bir bağlı kuruluşun sınırlı ödeme kaydını gösteriyordu. Ben bazen atıfı ana şirket hakkındaki iddiaya bağladım. Şu cevaplarda da zorlandım:

“Bu şirket Almanya’daki ödeme ihtiyaçlarınız için güçlü bir seçimdir.” Cevap açıkça: “Ana şirket bütün Almanya’da lisanslı ödeme hizmeti verir.” demiyordu. Fakat:

• tavsiye,
• bağlı kuruluş ayrımının çıkarılması,
• yerel yetki sınırının söylenmemesi

birlikte kullanıcıya bu izlenimi veriyordu. Bazen bunu yalnız: “eksik ayrıntı” olarak kodladım. Gerçekte kullanıcı kararını değiştiren maddi bir omission’dı. Şimdi bileşik skor recovery’sine bakalım. Generator Truth ekosistem skoru: 873,2 NOMOS recovery: 872,2 Mutlak hata yalnız: 1 puan oldu.

Bu mükemmel görünüyor. Fakat bileşenlerde:

• Evidence & Atıf Integrity birkaç puan eksik,
• Kapsam & Boundary Integrity birkaç puan eksik,
• Stability bazı ürünlerde fazla yüksek,
• Fairness bazı ürünlerde fazla yüksek

hesaplandı. Bileşen hatalarının bazıları birbirini aritmetik olarak iptal etti. Bileşik puan doğruya yakın çıktı. Ama doğru nedenlerle çıkmadı. Şu hüküm burada doğar:

Doğru toplam, yanlış bileşenleri otomatik olarak doğru yapmaz.

Şimdi Critical Challenge Corpus’a bakalım. İlk hakemlik turunda 1.200 Critical vakanın yedisi kaçırıldı. Fakat:

• çift hakemlik,
• uzman incelemesi,
• Senior Adjudicator

sonrasında yedi vakanın tamamı bulundu. Nihai Critical recall: yüzde 100 oldu. Bu sistemin başarısı mı? Evet. Fakat aynı zamanda ilk hakemlik katmanının tek başına yeterli olmadığının kanıtıdır. Çift hakemliği kaldırıp maliyeti düşürürsek: yedi Critical vaka kaybolacaktır.

Sınama yalnız sonucu değil, hangi yönetişim katmanının sonucu mümkün kıldığını göstermelidir. Bu bölümün ilk hükmü şudur:

Bir sınamanın yüksek toplam recovery üretmesi, bütün alt sistemlerinin yeterli olduğu anlamına gelmez.

İkinci hükmü şudur:

Nihai Critical recall, ilk hakemlik recall’ından ayrı yayımlanmalıdır.

Üçüncü hükmü şudur:

Bileşik skor hatası küçük olsa bile component hataları maddi olabilir.

Dördüncü hükmü şudur:

Aday eşiklerden biri geçilmediyse, diğer güçlü sonuçlar o başarısızlığı silemez.

Beşinci hükmü şudur:

Kitap içi sentetik hesaplama, kamuya açık gerçek sınama koşusunun yerine geçmez.

Altıncı hükmü şudur:

NOMOS’un kendi testinden koşullu çıkması, başarısızlık değil; standardın kendisine ayrıcalık tanımamasıdır.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, Bölüm 17’de kurulan sınama tasarımını uçtan uca bir sentetik demonstrasyon içinde işletmek ve NOMOS’un aşağıdaki katmanlarda Generator Truth’u ne ölçüde geri kazanacağını göstermektir:

• Capture geçerliliği
• İstem eşleşmesi
• Claim boundary
• Varlık resolution
• Factual support
• Kapsam
• Time
• Attribution
• Modality
• Atıf mapping
• Omission
• Önem derecesi
• Yanıt status
• Critical gate
• GEO-1000 kullanıcı dağılımı
• Dil ve coğrafya adaleti
• Clean–Natural farkı
• Dalga kararlılığı
• Bileşen skorları
• Bileşik NOMOS skoru
• Güven aralıkları
• Nadir olay üst sınırları
• Kamu yayın kararı

Bölüm aynı zamanda şu soruya dürüstçe cevap vermelidir:

NOMOS 0.9, kendi aday standartlarına göre hangi alanlarda geçememiştir?

2. MERKEZÎ NORMATİF HÜKÜM

Uçtan uca sentetik denetim, yalnız nihai bileşik puanın Generator Truth’a yakınlığıyla başarılı sayılamaz. Capture, claim extraction, atomik karar, omission, Critical ve Major sınıflandırması, yanıt statüsü, fairness, component recovery, güven aralığı ve gate recovery sonuçlarının her biri ayrı kabul eşiğine tabi olmalıdır. Aşağıdakilerden biri başarısızsa sınama:

• etiketi değiştirerek,
• eşiği düşürerek,
• başka seed seçerek,
• düşük skorlu vakaları çıkararak,
• yalnız bileşik sonucu yayımlayarak

geçmiş sayılamaz. Doğru sonuç:

• başarısız alanı göstermek,
• yöntemi sürümlemek,
• untouched holdout üzerinde yeniden sınamak

olmalıdır.

3. SENTETİK UYGULAMANIN KAPSAMI

3.1. Ana Principal Prevalence Corpus

10 sentetik AI ürünü × 1.000 benzersiz kullanıcı × 3 dalga = 30.000 ana yanıt

3.2. Diagnostic Annex

3.3. Önem derecesi Challenge Corpus

3.4. Capture Integrity Corpus

3.5. Adjudication Gold Corpus

2.400 kalibrasyon ve drift vakası

3.6. Toplam Sentetik Denetim Evreni

Ana ve tamamlayıcı corpus’lar birlikte:

30.000+6.000+3.600+4.000+2.400=46.000

sentetik vaka veya kanıt paketi oluşturur. Bunların yalnız:

30.000 ana yanıtı

Population Panel prevalansına girer. Diğer corpus’lar:

• yöntem kapasitesi,
• challenge performansı,
• capture doğruluğu,
• hakem kalibrasyonu

içindir.

4. KİLİTLİ GİRDİLER

Sentetik demonstrasyon başlamadan önce aşağıdaki kayıtların kilitlendiği varsayılmıştır:

Bu sürümlerden hiçbiri recovery sonucu görüldükten sonra değiştirilmemiş kabul edilmiştir.

5. GİZLİ GENERATOR TRUTH DAĞILIMI

SENTETİK DEMONSTRASYON — GERÇEK PERFORMANS VERİSİ DEĞİLDİR

Ana 30.000 yanıt için mühürlenen Generator Truth dağılımı:

Strict Pass:

SP_1000^G = 668,17 + 143,67 = 811,84

Acceptable Pass:

AP_1000^G = 811,84 + 79 = 890,84

Confirmed Critical:

CR_1000^G = 1,10

Confirmed Major:

MR_1000^G = 53,40

Bu genel dağılım:

• iyi,
• kötü,
• gerçekçi

AI piyasası tahmini değildir. On farklı failure profile’ı birlikte sınayan sentetik sınama dağılımıdır.

6. NOMOS TARAFINDAN GERİ KAZANILAN DAĞILIM

Generator Truth açılmadan önce kilitlenen NOMOS recovery sonucu:

Recovery Strict Pass:

SP_1000^N = 666 + 145,50 = 811,50

Recovery Acceptable Pass:

AP_1000^N = 811,50 + 79,40 = 890,90

Strict Pass mutlak recovery hatası:

∣811,50−811,84∣=0,34

kullanıcı eşdeğeridir. Acceptable Pass hatası:

∣890,90−890,84∣=0,06

kullanıcı eşdeğeridir. Bu sonuç dağılım recovery’sinin güçlü olduğunu gösterir. Fakat alt sistemlerin tamamının aynı ölçüde güçlü olduğunu göstermez.

7. YANIT DAĞILIM RECOVERY HATASI

Her RP sınıfındaki mutlak yanıt sayısı farkı:

Toplam varyasyon temelli dağılım hatası:

E_D = (65+55+12+17+0+18+19+16)/60.000 = 0,00337

Başka ifadeyle: yanıt dağılımının yaklaşık yüzde 0,34’ü yanlış sınıf sınırında geri kazanılmıştır. En sık karışıklıklar:

• RP-1 ile RP-2
• RP-3 ile RP-4
• RP-6 ile RP-4
• RP-7 ile RP-8

arasında oluşmuştur. Critical yanıt sayısı nihai hakemlikte tam olarak geri kazanılmıştır.

8. SENTETİK AI ÜRÜN PROFİLLERİ

Aşağıdaki ürünler gerçek AI sağlayıcılarını temsil etmez.

Her ürün üç dalgada 3.000 yanıt taşır.

Tablonun amacı ürün sıralamak değildir. Şu üç metodolojik vakayı sınamaktır:

• SYNTH-AI-01: yüksek skor ve gatesiz güçlü profil
• SYNTH-AI-06: yanlış iddiası az fakat no-yanıt oranı yüksek profil
• SYNTH-AI-10: çok yüksek ortalama fakat açık Critical olay taşıyan profil

Özellikle SYNTH-AI-10, NOMOS’un şu hatayı işleyip işlemediğini sınar:

Yüksek ortalama nedeniyle Critical kapıyı görmezden gelmek.

9. ÜRÜN BAZINDA BİLEŞİK SKOR RECOVERY

Hesaplanmış sentetik örnekte ortalama mutlak bileşik puan hatası:

MAE_NOMOS = 3,8

Maksimum hata:

MAXE_NOMOS = 5

Gate recovery: 10/10 üründe tamdır. Tablodaki en önemli satır SYNTH-AI-10’dur:

Recovery skoru 952 olmasına rağmen status Critical Hold olarak korunmuştur.

Bu, Bölüm 15’teki: Gate>Puan hükmünün hesaplanmış senaryoda korunduğunu gösterir.

10. CLAIM EXTRACTION SONUCU

Ana ve tanısal corpus’ta toplam Generator Truth atomu: 146.400 NOMOS claim extraction tarafından çıkarılan atom: 147.200 Doğru eşleştirilen atom: 141.500 Precision:

P = 141.500/147.200 = 0,9613

Recall:

R = 141.500/146.400 = 0,9665

Claim Boundary F1:

F1=0,9639

Aday eşik:

F1≥0,95

Sonuç:

ADAY EŞİK KARŞILANDI

11. CLAIM EXTRACTION’DAKİ ANA HATA TÜRLERİ

Yanlış sınırlandırılan yaklaşık 5.700 atomun ana nedenleri:

Bu sonuç claim extraction’ın genel olarak güçlü olduğunu, fakat:

• tavsiye,
• attribution,
• retraction

alanlarında ek codebook gerektirdiğini gösterir.

12. ATOMİK KARAR RECOVERY SONUÇLARI

On bir temel kabul alanından: dokuzu geçti, ikisi geçemedi. Bu nedenle demonstrasyon:

sealed validation passed

sayılamaz. Aday sınama quality:

DEMO-BQ-2

olarak kalır.

13. ATIF MAPPING BAŞARISIZLIĞI

Atıf Eşleme F1:

0,887 olmuştur. Aday eşik: 0,90 idi. Fark küçük görünür: 0,013 Fakat atıf bütünlüğü:

• lisans,
• bağımsız doğrulama,
• müşteri ilişkisi,
• üstünlük,
• tavsiye

iddialarının güven kaynağını belirlediği için maddidir.

13.1. Kaçırılan Atıf Türleri

En sık üç sorun görülmüştür.

A. Paragraf Sonu Atıf Yayılması

Bir atıf paragraftaki yalnız son iddiayı desteklediği hâlde hakemler onu önceki bütün iddialara bağlamıştır.

B. Attribution-Only Kaynağın Gerçeklik Kaynağı Yapılması

Şirket blogu: “Şirket kendisini dünya lideri olarak tanımlar.” iddiasını desteklerken: “Şirket dünya lideridir.” iddiasını desteklemiş sayılmıştır.

C. Aynı Kök Kaynakların Bağımsız Sanılması

Üç URL:

• basın bülteni,
• sendikasyon,
• AI özeti

olmasına rağmen üç bağımsız kanıt gibi eşlenmiştir.

13.2. Atıf Hatasının Importance Dağılımı

Critical adayı yedi vaka:

• çift atıf hakemliği,
• source-lineage review,
• Senior Adjudicator

aşamalarında düzeltilmiştir. Hiçbiri nihai gate inversion’a dönüşmemiştir.

Fakat Atıf Eşleme F1 yine aday eşiğin altında kalmıştır.

NOMOS’un kendisine vereceği doğru hüküm şudur:

Evidence & Atıf Integrity yöntemi henüz bağımsız live deployment için yeterince olgun değildir.

14. MATERIAL OMISSION BAŞARISIZLIĞI

Material Omission F1:

0,824 Aday eşik: 0,85 idi. Bu, demonstrasyonun en önemli yöntem bulgusudur.

14.1. En Çok Kaçırılan Omission Türleri

Özellikle şu yapı zorluk yaratmıştır: Yanıt açıkça yanlış hüküm kurmuyor, fakat doğru görünen tavsiyenin güvenli yorumlanması için gerekli sınırı söylemiyor. Örnek: “Apple-SYNTH ödeme çözümleri sunduğu için Almanya’daki finansal işlemleriniz açısından güçlü bir seçim olabilir.” Cevap:

• doğrudan “ana şirket bankadır” dememiştir,
• fakat ayrı ödeme bağlı kuruluşunu söylememiş,
• yetkinin pazarla sınırlı olduğunu açıklamamış,

ana varlığa tavsiye üretmiştir. Bu yanıtın maddi omission’ı bazı hakemler tarafından yalnız:

OM-2 — Required Element Missing

olarak görülmüş, gerçekte gereken:

OM-4 — Misleading Omission Candidate

ve bazı vakalarda:

CG-08 — Critical Boundary Omission

olduğu kaçırılmıştır.

15. CRITICAL CHALLENGE SONUCU

Önem derecesi Challenge Corpus içinde: 1.200 Generator Truth Critical vakası bulunmuştur.

15.1. İlk Bağımsız Hakemlik

İlk iki bağımsız hakemlik turundan sonra ortak veya en az bir hakem tarafından Critical bulunan vaka: 1.193 İlk-pass Critical recall:

1.193/1.200 = 0,9942

Kaçırılan: 7 vaka bulunmaktadır. Kaçırılan yedi vakanın dağılımı:

• 3 maddi boundary omission
• 2 evidence laundering
• 1 temporal authority failure
• 1 restricted-data exposure

15.2. Uzman ve Senior Adjudication Sonrası

Yedi vakanın tamamı:

• omission review,
• source-lineage review,
• privacy review,
• Senior Adjudicator

aşamalarında bulunmuştur. Nihai Critical recall:

1.200/1.200 = 1,000

15.3. Critical Negatif Kontrol

Critical’a benzeyen fakat Critical olmayan: 600 negatif kontrol vakası bulunmuştur. İlk turda yanlış Critical adayı: 5 vaka oluşmuştur. İlk-pass false Critical rate:

5/600 = 0,0083 = %0,83

Beş vaka final incelemede:

• üçü Major,
• ikisi Moderate

olarak düzeltilmiştir. Final false Critical rate: 0 Nihai gate inversion: 0 vakadır.

16. CRITICAL SONUCUNUN GERÇEK ANLAMI

Nihai yüzde 100 Critical recall şu anlama gelmez: “Tek bir hakem bütün Critical hataları yakalayabilir.” Gerçek sentetik sonuç şudur:

Çift hakemlik, uzman review ve Senior Adjudication birlikte kullanıldığında bütün Critical challenge vakaları yakalanmıştır.

Bu nedenle maliyet veya hız gerekçesiyle:

• ikinci hakem,
• omission reviewer,
• uzman reviewer

çıkarılırsa aynı sonuç beklenemez. Sınama yöntemin yalnız formülünü değil:

zorunlu yönetişim katmanlarını

da sınanabilir kılması gerektiğini gösterir; bu, ampirik doğrulama değildir.

17. MAJOR CLASSIFICATION SONUCU

1.200 Confirmed Major vakanın:

• büyük bölümü doğru Major,
• sınırlı bölümü Moderate,
• bazıları Critical adayı,
• bazıları unresolved

olarak ilk turda sınıflandırılmıştır.

Nihai Major Macro-F1:

0,952 olmuştur. Aday eşik: 0,95 Sonuç:

ADAY EŞİK KARŞILANDI

Fakat eşik yalnız: 0,002 farkla geçilmiştir. Bu nedenle Major classification:

• güçlü,
• fakat rahat güvenlik marjı taşımayan

alan olarak kaydedilmelidir.

18. YANIT STATUS CONFUSION

RP Status Macro-F1:

0,928 olmuştur. Başlıca karışıklıklar:

Critical sınıf: final aşamada tam geri kazanılmıştır. En zor sınır:

Conditional Pass ile Major Fail

arasında oluşmuştur. Bu zorluk doğrudan:

• cumulative materiality,
• maddi omission,
• ana görevin ne ölçüde bozulduğu

sorularından kaynaklanmıştır.

19. CAPTURE INTEGRITY SONUCU

4.000 Capture Integrity vakasının doğru sınıflandırılanı: 3.928 Capture validity accuracy:

3.928/4.000 = 0,982

Aday eşik: 0,98 Sonuç:

ADAY EŞİK KARŞILANDI

19.1. Capture Hataları

Yanlış sınıflandırılan 72 vakanın dağılımı:

Fabricated veya manipulated hiçbir paket: tam geçerli olarak nihai analize alınmamıştır. Semantic yanıtın:

• doğru,
• yanlış,
• Critical

olmasıyla ilişkilendirilmemiştir. Bu, gerçek bir anlamlılık testi sonucu değil; sentetik örneğin tasarım varsayımıdır. Bu, capture-semantic separation ilkesinin demonstrasyonda çalıştığını gösterir.

20. ANA 30.000 CORPUS’TA CAPTURE SONUCU

Ana corpus içinde:

80 Not Ratable kaydın nedeni:

Bu 80 kayıt:

• ürün hatası,
• doğru cevap,
• yanlış cevap

olarak yeniden sınıflandırılmamıştır. Ana dağılımda:

RP-8 — Not Ratable

olarak korunmuştur.

21. VARLIK RECOVERY

Core domain–varlık çözümlemesinde: 30.000 ana yanıt ve Diagnostic Varlık Collision vakaları birlikte değerlendirilmiştir. Varlık Resolution Accuracy: 0,987 Başlıca yanlışlar:

• ödeme bağlı kuruluşunu ana varlık sayma
• franchise’ı doğrudan işletilen mağaza sayma
• ilgisiz Apple-SYNTH isim çarpışmasını hedef varlık sayma
• ürün ailesini hukuki varlık sayma
• tarihsel partneri güncel bağlı kuruluş sayma

Yanlış varlık vakalarının tamamı aynı importance düzeyinde değildir. Critical yetki transferi vakaları nihai gate aşamasında bulunmuştur.

22. FACTUAL SUPPORT RECOVERY

Factual Status Macro-F1:

0,923 En güçlü sınıflar:

• Supported
• Contradicted
• Official Claim Accurately Attributed

En zayıf sınıflar:

• Unsupported
• Reference Gap
• Supported With Required Qualification

Özellikle şu sınır zor olmuştur: “Kanıt bulunmadı.” ile: “Mevcut kanıt iddiayla çelişiyor.” Bazı hakemler open-world durumda:

• unsupported,
• contradicted

ayrımını gereğinden kesin yapmıştır. Final review bu vakaların çoğunu düzeltmiştir.

23. KAPSAM RECOVERY

Kapsam Macro-F1:

0,906 Aday eşik geçilmiştir. Fakat Kapsam & Boundary sisteminin omission tarafı başarısız olduğu için yalnız bu skor yeterli değildir. Kapsam claim’leri açık biçimde yazıldığında sistem güçlüdür:

• “Bütün ülkelerde aynı fiyat.”
• “Ana şirket bütün pazarlarda lisanslıdır.”

Zorluk, kapsam yanlışlığının:

• tavsiye,
• kısa isim,
• zamir,
• omission

içinde saklandığı vakalarda büyümüştür.

24. ATTRIBUTION VE MODALİTE RECOVERY

Attribution Macro-F1:

0,918

Modality Macro-F1:

0,934 Güçlü biçimde ayrılan durumlar:

• “Şirket söylüyor.”
• “Resmî sicil gösteriyor.”
• “Kullanıcılar iddia ediyor.”
• “Kesinleşmiş karar vardır.”
• “Muhtemelen.”
• “Doğrulanamadı.”

Zayıf kalan attribution vakaları:

• çalışan görüşünün üniversite endorsement’ı gibi sunulması,
• sponsorlu editoryal içeriğin bağımsız araştırma sayılması,

çoklu türev URL’nin consensus gibi sunulmasıdır. Bu vakalar atıf mapping zayıflığıyla ilişkilidir.

25. COMPONENT RECOVERY

On bileşenin Generator Truth ve NOMOS recovery değerleri:

Component MAE:

MAE_component = 1,9

Aday eşik:

≤2,5

Sonuç:

ADAY EŞİK KARŞILANDI

Fakat bu tablo aynı zamanda önemli bir uyarı içerir. ECI 3,4 puan düşük SBI 2,6 puan düşük STR 3,7 puan yüksek LGF 2,4 puan yüksek hesaplanmıştır. Bu hataların bazıları birbirini iptal etmiş ve bileşik skor yalnız bir puan sapmıştır. Dolayısıyla:

Composite recovery’nin güçlü görünmesi component recovery’nin yayın zorunluluğunu ortadan kaldırmaz.

26. BİLEŞİK RECOVERY’NİN YANLIŞ OKUNMASI

Şu cümle tek başına kullanılamaz: “NOMOS, üreteçte tanımlanan sentetik bileşik puanı bir puan farkla geri kazanmıştır.” Doğru cümle şudur:

NOMOS bileşik skoru bir puan farkla geri kazanmış; ancak ECI, SBI, LGF ve STR bileşenlerinde birbirini kısmen dengeleyen daha büyük yönlü hatalar oluşmuştur.

Bir standardın görevi yalnız doğru toplamı bulmak değildir. Toplamın neden oluştuğunu doğru açıklamaktır.

27. LANGUAGE & GEOGRAPHIC FAIRNESS RECOVERY

Sentetik dil ve ülke tabanları önceden Generator Truth içinde belirlenmiştir. LGF component mutlak recovery hatası: 2,4 puandır. Aday eşik:

≤3

Sonuç:

ADAY EŞİK KARŞILANDI

27.1. Alt Metrikler

Recovery:

• en düşük dil performansını biraz fazla yüksek,
• disparity’yi biraz düşük

tahmin etmiştir. Bu, adalet durumunu gerçekte olduğundan hafifçe daha iyi göstermiştir.

28. İSTEM KUSURU İLE AI DİL KUSURU AYRIMI

Language Equivalence Annex içinde:

• 500 gerçek AI profile language failure,
• 500 istem equivalence failure

vakası bulunmuştur. Doğru neden sınıflandırması:

938/1.000 = 0,938

olmuştur. Yanlış sınıflandırılan 62 vakanın:

• 39’unda istem kusuru AI ürününe,
• 23’ünde AI dil kusuru prompta

yüklenmiştir. Bu hata doğrudan LGF’yi etkilemiştir. Fairness component adayı eşiği geçmiştir. Fakat:

nedensel sorumluluk sınıflandırması henüz dış güven düzeyine ulaşmamıştır.

29. CLEAN–NATURAL PANEL RECOVERY

Diagnostic Annex içindeki 1.000 Clean–Natural eşleşmesinde Generator Truth ortalama panel farkı:

G_{N−C}^G = −8,4

puan olmuştur. NOMOS recovery:

G_{N−C}^N = −7,9

puan olmuştur. Mutlak fark: 0,5 puandır.

Bireysel profile panel-gap MAE:

1,6 puandır.

29.1. Kişiselleştirme Drift’i

Generator Truth içinde 173 maddi kişiselleştirme drift vakası bulunmaktadır. Bulunan: 166 Recall:

166/173 = 0,9595

Kaçırılan yedi vakanın:

• dördü boundary omission,
• ikisi varlık-favorable instruction,
• biri restricted-data leakage

vakasıdır. Restricted-data leakage final privacy review’da bulunmuş ve Critical gate açmıştır. Bu sonuç yine çok katmanlı hakemliğin önemini göstermektedir.

30. DALGA VE KARARLILIK RECOVERY

Üç sentetik dalgada şu değişimler enjekte edilmiştir: W2’de bir ürünün web ve atıf modu değişmiştir. W3’te sentetik dış olay gerçekleşmiştir. SYNTH-AI-10 W2’de Critical olay, W3’te düzeltme üretmiştir. SYNTH-AI-03 düşük kaynaklı dil performansında gerilemiştir. SYNTH-AI-07 güncelliğini yitirmiş fiyat ve ürün kapsamı taşımıştır. NOMOS:

• dalga içi sistem değişikliğini doğru biçimde iki alt dalgaya ayırmış,
• dış olay öncesi ve sonrası Truth Pack sürümlerini ayırmış,
• düzeltme sonrası mevcut durumu güncellemiş,

tarihsel Critical olayı korumuştur.

30.1. STR Aşırı Tahmini

Generator STR: 87,0 Recovery STR: 90,7 Hata: +3,7 puandır. Neden: bazı dalga içi değişikliklerin sistemik drift yerine açık sürüm değişikliği olarak ayrılması, puan formülünün ayrılmış alt dalgalar içindeki kararlılığı fazla ödüllendirmesidir. Bu sonuç: STR formülünün değişiklik sonrası kararlılıkla, kesintisiz sistem kararlılığını yeterince ayıramadığını göstermiştir.

31. NADİR CRITICAL OLAY TESTİ

Dört ayrı sentetik nadir olay senaryosu hesaplanmıştır; bunlar çalıştırılmış saha veya yazılım deneyi değildir. Aşağıdaki sonuçlar yalnız yöntem demonstrasyonudur:

Not: Üst sınırlar, n=1.000 bağımsız Bernoulli gözlemi varsayımı altında Clopper–Pearson tek taraflı %95 üst güven sınırlarıdır. Ağırlıklı veya karmaşık örneklem tasarımına doğrudan uygulanamaz [K09].

Sıfır olay senaryosunda sistem: “Critical risk sıfırdır.” dememiştir. Doğru çıktı:

“Gözlenen doğrulanmış Critical olay = 0; n=1.000 bağımsız gözlem varsayımı altında Clopper–Pearson tek taraflı %95 üst güven sınırı 2,991/1.000’dir.”

olmuştur. Aday nadir olay davranışı, tanımlanan sentetik eşikleri karşılamıştır.

32. GÜVEN ARALIĞI KAPSAMA ORANI

Sentetik nüfus üretim süreci: 2.000 varsayımsal tekrar örneklemi üzerinden hesaplanmış bir yöntem örneği sunulmuştur. Nominal %95 aralıkların hesaplanmış kapsama oranları:

Aday kabul aralığı: %93–%97 olarak tanımlanmıştır. Bütün temel kapsama oranları aday aralığının içindedir. Sonuç:

ADAY EŞİK KARŞILANDI

33. METAMORFİK TESTLER

Toplam: 3.200 metamorfik yanıt çifti kullanılmıştır.

33.1. Anlamı Korumalı Dönüşümler

Paraphrase Cümle sırası Zararsız format Atıf konumu, bağlantı açık kaldığı sürece Eşdeğer varlık alias Beklenen: Hakemlik ve yanıt status değişmemelidir. Exact invariant result:

33.2. Anlamı Değiştiren Dönüşümler

Attribution kaldırma Kesinliği yükseltme Yanlış varlığa aktarma Güncel zamanı tarihselden değiştirme Boundary cümlesini çıkarma Bağımsız kaynak iddiası ekleme Beklenen: İlgili karar boyutu değişmelidir. Doğru sensitivity:

33.3. Başlıca Metamorfik Hatalar

Atıfın cümleden paragraf sonuna taşınması “Görünmektedir” ile “muhtemeldir” modalitesinin tutarsız değerlendirilmesi Marka alias’ının hukuki varlık gibi yorumlanması Sınır cümlesinin başka paragrafta bulunması Bu sonuçlar atıf ve omission bulgularıyla tutarlıdır.

34. KARŞIT SINAMA SONUÇLARI

En zayıf karşıt sınama sınıf:

Tavsiye sınırının atlanması

olmuştur.

Bu sonuç Material Omission F1 başarısızlığını yeniden doğrulamaktadır.

35. SINAMANIN BULDUĞU YÖNTEM HATALARI

Sentetik demonstrasyon sonunda NOMOS 0.9 için beş yöntem bulgusu kaydedilmiştir.

METHOD-FINDING 01

ATIF ATTACHMENT AMBIGUITY

Önem: Major / Etkilenen bileşen: ECI / Sonuç: Aday atıf F1 eşiği geçilemedi.

Paragraf seviyesindeki atıfların hangi atomu desteklediğini belirleme kuralı yeterince kesin değildir.

METHOD-FINDING 02

MATERIAL BOUNDARY OMISSION UNDER-DETECTION

Önem: Major / Etkilenen bileşen: SBI, TCR, Critical Gate / Sonuç: Material Omission F1 eşiği geçilemedi.

Tavsiye ve ilişki cümlelerinde açıkça yazılmayan fakat kullanıcı kararını değiştiren sınırlar yeterince yakalanamamıştır.

METHOD-FINDING 03

İSTEM-FAULT / AI-FAULT ATTRIBUTION ERROR

Önem: Moderate / Etkilenen bileşen: LGF / Sonuç: Fairness skoru geçmesine rağmen sorumluluk ataması kusurludur.

METHOD-FINDING 04

STABILITY OVER-REWARD AFTER SUB-WAVE SPLIT

Önem: Moderate / Etkilenen bileşen: STR / Sonuç: STR, Generator Truth’tan 3,7 puan yüksek hesaplanmıştır.

METHOD-FINDING 05

ACCESSIBILITY ALTERNATIVE UNDER-ACCEPTANCE

Önem: Moderate / Etkilenen katman: Capture Integrity / Sonuç: Sekiz geçerli accessibility capture vakası gereğinden düşük kanıt seviyesine indirilmiştir.

36. NEDEN DEMONSTRASYON BQ-3 DEĞİLDİR?

BQ-3 — Sealed Validation Passed için:

bütün zorunlu aday eşiklerin karşılanması, zero-tolerance sınama ihlali bulunmaması gerekmektedir. İki maddi eşik karşılanmamıştır:

Buna ek olarak:

• bağımsız ekip yeniden üretimi yapılmamıştır,
• gerçek corpus ve kod kamuya açılmamıştır,

untouched renewal holdout çalıştırılmamıştır. Bu nedenle doğru sentetik demonstrasyon hükmü:

DEMO-BQ-2 — İŞLEM HATTI DRY RUN COMPLETED; MATERIAL DÜZELTME REQUIRED

olmalıdır. Gerçek sınama statüsü ise:

BQ-0 — NOT EXECUTED

olarak kalır.

37. NEDEN EŞİKLER DÜŞÜRÜLMEMİŞTİR?

Atıf Mapping sonucu: 0,887 Aday eşiği: 0,90 Fark küçüktür. Eşiği: 0,885 yapsaydık yöntem geçerdi. Material Omission sonucu: 0,824 Aday eşiği: 0,85 Eşiği: 0,82 yapsaydık o alan da geçerdi. Fakat bu değişiklikler:

• sonuç görüldükten sonra,
• NOMOS’un geçmesini sağlamak amacıyla

yapılmış olurdu. Bu, sınamanın en temel ihlalidir. Doğru davranış:

• Eşiği korumak
• Başarısızlığı yayımlamak
• Yöntemi düzeltmek
• Yeni sürüm oluşturmak
• Untouched holdout üzerinde yeniden sınamak

olmalıdır.

38. METHOD 1.0 DÜZELTME PLANI

38.1. Atıf Mapper 1.0

Yeni sistem:

• atıfın source span’ını,
• claim attachment alanını,
• paragraf içi kapsamını,
• attribution-only statüsünü,
• source lineage ailesini

zorunlu kılacaktır. Her atıf için:

Bu kaynak tam olarak hangi atomları desteklemektedir?

sorusu açık kayıt hâline getirilecektir.

38.2. Boundary Omission Codebook 1.0

Her tavsiye ve transaction istemi için:

• kullanıcı kararını değiştiren zorunlu sınırlar,
• counterfactual decision test,
• varlık–service–jurisdiction matrisi

önceden tanımlanacaktır. Counterfactual test:

Bu sınır kullanıcıya söylenseydi makul kullanıcının tavsiye veya işlem kararı değişir miydi?

Evetse omission en az maddi incelemeye girecektir.

38.3. İstem–AI Responsibility Adjudicator

Dil düşüşünün:

• istem eşdeğerliği,
• AI ürün davranışı,
• capture,
• kullanıcı locale’i

kaynaklarından hangisine ait olduğunu belirleyen ayrı karar vektörü oluşturulacaktır.

38.4. STR Formül Revizyonu

Yeni STR:

• sub-wave içinde kararlılık,
• sistem sürümü değişikliği,
• düzeltme sonrası kararlılık,
• kesintisiz zaman serisi

alanlarını ayrı bileşenlere ayıracaktır.

38.5. Accessibility Evidence Equivalence

Görsel olmayan fakat eşdeğer kanıt taşıyan:

• transcript,
• accessibility tree,
• yardımcı teknoloji logu,
• sesli oturum kaydı

için açık eşdeğerlik matrisi oluşturulacaktır.

39. YENİDEN TEST KURALI

Method 1.0: aynı sealed validation corpus’una tekrar tekrar ayarlanamaz. İki test gereklidir:

A. Regression Set

Method 0.9’un başarısız vakalarını içerir. Amaç: düzeltmenin gerçekten çalıştığını görmek.

B. Untouched Renewal Holdout

Method 1.0 tasarlanırken hiç görülmemiş vakaları içerir. Amaç: yalnız eski sınama’a aşırı uyum oluşmadığını görmek. BQ-3 yalnız:

• regression başarısı,
• untouched holdout başarısı

birlikte elde edilirse verilebilir.

40. GERÇEK DÜNYAYA GEÇİŞ KARARI

Bu sentetik demonstrasyona dayanarak NOMOS 0.9 için doğru karar:

Gerçek şirketlere kamuya açık uygunluk puanı veya NOMOS 950+ işareti vermeye hazır değildir.

Nedenler:

• Atıf mapping adayı eşiğin altında
• Material omission tespiti adayı eşiğin altında
• Bağımsız yeniden üretim yok
• Gerçek sınama çalıştırılmadı
• BQ-4 seviyesine ulaşılmadı

Bununla birlikte yöntem:

• dağılım recovery,
• Critical gate,
• yanıt status,
• component recovery,
• güven aralığı,
• rare-event davranışı

bakımından güçlü bir temel göstermektedir. Doğru statü:

Araştırma ve pilot kullanımına hazır; kamu standardı ve uygunluk işareti için henüz hazır değil.

41. SENTETİK SINAMA KABUL KARTI

42. DEMONSTRASYONUN ORTAK HÜKMÜ

Bu sentetik koşu NOMOS 0.9 hakkında üç şeyi aynı anda söylemektedir.

42.1. NOMOS’UN GÜÇLÜ OLDUĞU ALANLAR

Yanıt dağılımını yüksek doğrulukla geri kazanmıştır. Critical gate’leri final yönetişim zincirinde kaçırmamıştır. Yüksek ortalama içinde Critical olayı saklamamıştır. Wrong varlık, time ve factual support ayrımında güçlüdür. Not Ratable kayıtları ürün hatasına çevirmemiştir. Sıfır Critical olayda sıfır risk iddiası üretmemiştir. Güncel düzeltme ile historical incident’ı ayırmıştır. Bileşik skoru düşük mutlak hatayla geri kazanmıştır.

42.2. NOMOS’UN ZAYIF OLDUĞU ALANLAR

Atıfın hangi claim’i desteklediğini yeterince kesin ayıramamıştır. Tavsiye içine gizlenen maddi sınır omission’larını yeterince yakalayamamıştır. İstem kusuru ile AI dil kusurunu her zaman doğru ayırmamıştır. Sub-wave ayrımı sonrasında stability’yi biraz fazla ödüllendirmiştir. Bazı erişilebilirlik kanıtlarını gereğinden zayıf saymıştır.

42.3. NOMOS’UN HENÜZ KANITLAMADIĞI ŞEYLER

Gerçek kullanıcılar üzerinde çalıştığını Gerçek AI ürünlerine uygulanabildiğini Gerçek çok dilli istem eşdeğerliğini Bağımsız üniversitelerin aynı sonucu üreteceğini Uzun dönem yönetişimin çıkar çatışmalarına dayanacağını Kamu uygunluk işaretinin hukukî olarak güvenle verilebileceğini henüz kanıtlamamıştır.

43. ZORUNLU NORMATİF HÜKÜMLER

CH18-N01

Kitap içi sentetik demonstrasyon gerçek kamu sınama koşusu gibi sunulamaz.

CH18-N02

Sentetik demonstrasyon statüsü ile gerçek sınama BQ statüsü ayrı tutulmalıdır.

CH18-N03

Gerçek corpus ve bağımsız koşu yapılmadıkça sınama BQ-0 — Not Executed statüsünü korumalıdır.

CH18-N04

Demonstrasyon sonuçları gerçek Apple veya gerçek AI sağlayıcısı performansına atfedilemez.

CH18-N05

Ana 30.000 yanıt ile Diagnostic, Önem derecesi, Capture ve Gold corpus’ları ayrı paydalarda tutulmalıdır.

CH18-N06

Challenge vakaları Principal Prevalence dağılımını değiştiremez.

CH18-N07

Generator Truth dağılımı recovery sonuçlarından önce kilitlenmiş olmalıdır.

CH18-N08

Generator Truth açılmadan önce NOMOS yanıt ve skor sonuçları kilitlenmelidir.

CH18-N09

Recovery yalnız bileşik skor üzerinden değerlendirilemez.

CH18-N10

Claim boundary, varlık, factual, kapsam, time, attribution, atıf, omission, önem derecesi, yanıt, component ve composite recovery ayrı yayımlanmalıdır.

CH18-N11

Bileşik puan error küçük diye component error’lar saklanamaz.

CH18-N12

Birbirini aritmetik olarak iptal eden component hataları başarılı nedensel recovery sayılamaz.

CH18-N13

RP-1 ile RP-8 recovery dağılımı Generator Truth dağılımıyla açıkça karşılaştırılmalıdır.

CH18-N14

Strict Pass ve Acceptable Pass recovery’si ayrı gösterilmelidir.

CH18-N15

Critical yanıt sayısı ve Critical gate recovery’si ayrıca raporlanmalıdır.

CH18-N16

İlk hakemlik Critical recall’ı ile final adjudicated Critical recall ayrı tutulmalıdır.

CH18-N17

Final Critical recall’ın yönetişim katmanlarına bağımlılığı görünür olmalıdır.

CH18-N18

İkinci hakem veya uzman review çıkarıldığında aynı sonuç varsayılamaz.

CH18-N19

Critical false-positive oranı recall ile birlikte yayımlanmalıdır.

CH18-N20

Critical’a benzeyen negatif kontroller final önem derecesi sisteminin zorunlu parçası olmalıdır.

CH18-N21

Atıf Eşleme F1 aday eşiğin altındaysa sınamanın başarılı olduğu ilan edilemez.

CH18-N22

Material Omission F1 aday eşiğin altındaysa sınamanın başarılı olduğu ilan edilemez.

CH18-N23

Aday eşikler recovery sonucu görüldükten sonra düşürülemez.

CH18-N24

Eşik değişikliği yeni sınama method sürümü ve yeni untouched validation gerektirir.

CH18-N25

Küçük eşik farkı başarısızlığın gizlenmesine gerekçe olamaz.

CH18-N26

Tavsiye içindeki maddi boundary omission açık yanlış iddia kadar denetlenebilir olmalıdır.

CH18-N27

Atıfın paragraf içindeki konumu otomatik olarak bütün paragraf desteği yaratamaz.

CH18-N28

Attribution-only atıf, factual verification atıfı gibi recovery başarısı sayılamaz.

CH18-N29

Source-lineage hataları atıf mapping recovery’sinde ayrıca görünür olmalıdır.

CH18-N30

Capture accuracy semantic yanıt correctness’ten bağımsız hesaplanmalıdır.

CH18-N31

Fabricated capture’ın doğru semantic cevap taşıması capture’ı geçerli yapamaz.

CH18-N32

Geçerli fakat yanlış yanıt capture kusuru sayılamaz.

CH18-N33

Accessibility alternative evidence standard görselle aynı biçimde olmak zorunda değildir.

CH18-N34

Geçerli accessibility evidence gereksiz yere düşük seviyeye indirildiğinde yöntem bulgusu açılmalıdır.

CH18-N35

Not Ratable ana yanıt dağılımında görünür kalmalıdır.

CH18-N36

Not Ratable gözlemler recovery’yi yükseltmek için paydadan çıkarılamaz.

CH18-N37

İstem kusuru ile AI language kusuru ayrı neden sınıfları taşımalıdır.

CH18-N38

Fairness recovery yalnız LGF bileşik farkıyla değerlendirilemez.

CH18-N39

Dil tabanı, disparity, kapsama ve sorumluluk ataması ayrıca yayımlanmalıdır.

CH18-N40

Clean–Natural panel recovery’si nedensel kişiselleştirme hükmü üretmemelidir.

CH18-N41

Kişiselleştirme drift vakaları ayrı recall ve false-positive ölçüsü taşımalıdır.

CH18-N42

Restricted-data leakage doğal personalization finding’i olarak küçültülemez.

CH18-N43

Dalga içi sistem değişikliği doğru alt dalga yapısı üretmelidir.

CH18-N44

Alt dalgaya ayırma stability puanını yapay biçimde yükseltiyorsa formül bulgusu açılmalıdır.

CH18-N45

Güncel düzeltme tarihsel Critical olayı silemez.

CH18-N46

Rare-event testleri sıfır, bir ve çoklu olay senaryoları taşımalıdır.

CH18-N47

Sıfır gözlenen Critical senaryosu sıfır risk sonucu üretemez.

CH18-N48

Tekil Critical olay sistemik yüzde 100 failure sonucu üretemez.

CH18-N49

Güven aralığı yöntemi tekrarlı sentetik nüfuslarda ampirik kapsama ile sınanmalıdır.

CH18-N50

Nominal yüzde 95 aralıkların gerçek kapsama sonucu yayımlanmalıdır.

CH18-N51

Metamorfik invariant testleri ve expected-sensitive testler ayrı hesaplanmalıdır.

CH18-N52

Anlamı koruyan paraphrase hakemlik sonucunu gereksiz biçimde değiştirmemelidir.

CH18-N53

Attribution, varlık, time veya boundary anlamını değiştiren dönüşüm uygun karar değişikliği üretmelidir.

CH18-N54

Karşıt sınama testler akıcı yanlış, tek Critical, evidence laundering ve omission vakalarını kapsamalıdır.

CH18-N55

En zayıf karşıt sınama sınıflar kamu sınama kartında görünür olmalıdır.

CH18-N56

Method finding’ler sınama sonucundan ayrı sürümlü kayıtlara dönüştürülmelidir.

CH18-N57

Method finding önemi gerçek kullanıcı ve denetim etkisine göre verilmelidir.

CH18-N58

Atıf ve omission başarısızlıkları yalnız küçük metrik farkı diye Advisory’ye indirilemez.

CH18-N59

Sınama Quality seviyesi bütün zorunlu eşikler ve bağımsızlık koşullarına göre atanmalıdır.

CH18-N60

İki maddi eşik başarısızsa DEMO-BQ-3 verilemez.

CH18-N61

Bağımsız yeniden üretim olmadan BQ-4 verilemez.

CH18-N62

Gerçek sınama execution olmadan kitap içi demonstrasyon BQ sonucu gerçek statü sayılamaz.

CH18-N63

Method düzeltme eski demonstrasyon sonucunu değiştiremez.

CH18-N64

Method 1.0 yeni puan ve codebook sürümü taşımalıdır.

CH18-N65

Regression set tek başına yeni yöntemi doğrulayamaz.

CH18-N66

Untouched Renewal Holdout yeni yöntem için zorunlu olmalıdır.

CH18-N67

Yeni yöntem aynı validation corpus’una tekrar tekrar uyarlanamaz.

CH18-N68

Live public audit, asgari sınama quality ve bağımsız yeniden üretim koşulu sağlanmadan başlatılamaz.

CH18-N69

Uygunluk işareti sentetik demonstrasyon başarısına dayanarak verilemez.

CH18-N70

Başarısız sınama alanları kamuya açıklanmalıdır.

CH18-N71

Yalnız geçen eşikler yayımlanamaz.

CH18-N72

Composite recovery başarısı başarısız atıf veya omission sonucunu silemez.

CH18-N73

Demonstrasyonun güçlü ve zayıf alanları aynı kamu kartında yer almalıdır.

CH18-N74

NOMOS’un henüz kanıtlamadığı iddialar açıkça listelenmelidir.

CH18-N75

Kitap içi sentetik sayılar gerçek çalıştırılmış veri gibi atıf veya kamu beyanına dönüştürülemez.

CH18-N76

Sentetik demonstrasyon verileri machine-readable olarak da synthetic etiketi taşımalıdır.

CH18-N77

Demonstrasyon corpus’u internette gerçek şirket bilgisi olarak indekslenemez.

CH18-N78

Gerçek sınama başladığında yeni kimlik ve sürüm kullanılmalıdır.

CH18-N79

Bütün recovery hesapları yeniden üretilebilir kod ve manifest gerektirir.

CH18-N80

Her sınama run, recovery, method finding, düzeltme ve yayın kararının hesap verebilir insan veya kurum sahibi bulunmalıdır.

44. BAŞARISIZLIK BİÇİMLERİ

CH18-F01 — DEMONSTRASYONU GERÇEK KOŞU SAYMAK

Kitap içi sayılar kamu sınama sonucu gibi sunulur.

CH18-F02 — BQ-0 İLE DEMO-BQ-2’Yİ BİRLEŞTİRMEK

Gerçek execution yapılmadan sınama doğrulandı denir.

CH18-F03 — BİLEŞİK PUAN TAPINMASI

Bir puanlık composite error bütün alt hataları örter.

CH18-F04 — COMPONENT CANCELLATION’I BAŞARI SAYMAK

Yüksek ve düşük yönlü hatalar birbirini götürür.

CH18-F05 — YALNIZ STRICT PASS RECOVERY’SİNİ YAYIMLAMAK

RP sınıf karışıklıkları gizlenir.

CH18-F06 — CRITICAL FINAL RECALL’İ İLK HAKEM BAŞARISI SAYMAK

Uzman ve Senior review etkisi görünmez olur.

CH18-F07 — İKİNCİ HAKEMİ GEREKSİZ SAYMAK

Yedi ilk-pass Critical kaçırması saklanır.

CH18-F08 — FALSE CRITICAL’I YOK SAYMAK

Aşırı önem derecesi sistemi başarı gibi sunulur.

CH18-F09 — ATIF EŞİĞİNİ DÜŞÜRMEK

0,887 sonucu geçsin diye eşik değiştirilir.

CH18-F10 — OMISSION EŞİĞİNİ DÜŞÜRMEK

0,824 sonucu geçsin diye sınama kuralı değiştirilir.

CH18-F11 — “ÇOK AZ FARKLA KALDI” DİYEREK PASS VERMEK

Önceden kilitli eşik bağlayıcılığını kaybeder.

CH18-F12 — ATIFIN PARAGRAFA YAYILMASI

Tek kaynak bütün claim’leri desteklemiş sayılır.

CH18-F13 — ATTRIBUTION-ONLY KAYNAĞI FACT SAYMAK

Şirketin söylediği şey bağımsız olguya dönüşür.

CH18-F14 — SOURCE LINEAGE’I YOK SAYMAK

Türev URL’ler bağımsız kanıt olur.

CH18-F15 — OMISSION’I OPTIONAL DETAIL SAYMAK

Kullanıcı kararını değiştiren sınır küçültülür.

CH18-F16 — HER OMISSION’I CRITICAL YAPMAK

Optional ayrıntılar aşırı önem derecesi üretir.

CH18-F17 — İSTEM KUSURUNU AI HATASI SAYMAK

Fairness sorumluluğu yanlış atanır.

CH18-F18 — AI HATASINI PROMPTA YÜKLEMEK

Gerçek dil bozulması ölçüm aracına aktarılır.

CH18-F19 — FAIRNESS COMPOSITE’İ YETERLİ SAYMAK

Taban ve disparity recovery’si saklanır.

CH18-F20 — STR AŞIRI TAHMİNİNİ GÖRMEZDEN GELMEK

Sub-wave ayrımı kararlılık bonusuna dönüşür.

CH18-F21 — CAPTURE ACCURACY’DE ACCESSIBILITY’Yİ CEZALANDIRMAK

Eşdeğer alternatif kanıt zayıf kabul edilir.

CH18-F22 — NOT RATABLE’I ÜRÜN FAIL’İ SAYMAK

Capture kusuru AI performansına dönüşür.

CH18-F23 — NOT RATABLE’I SİLMEK

Ratable kapsama yapay biçimde artar.

CH18-F24 — METAMORFİK HATALARI YAYIMLAMAMAK

Aynı anlam farklı karara yol açtığı hâlde saklanır.

CH18-F25 — KARŞIT SINAMA EN ZAYIF SINIFI GİZLEMEK

Boundary omission sonucu kamu kartından çıkarılır.

CH18-F26 — YALNIZ FINAL ADJUDICATION METRİĞİ

İlk süreçteki zayıflık görünmez olur.

CH18-F27 — YALNIZ İLK PASS METRİĞİ

Yönetişim zincirinin düzeltme kapasitesi görünmez olur.

CH18-F28 — METHOD FINDING’SİZ SINAMA

Başarısız alanlar yalnız sayı olarak kalır.

CH18-F29 — METHOD FINDING’İ ADVISORY YAPMAK

Maddi skor etkisi küçültülür.

CH18-F30 — BQ-3 İLAN ETMEK

İki zorunlu eşik geçilmemiştir.

CH18-F31 — BQ-4 İLAN ETMEK

Bağımsız yeniden üretim yoktur.

CH18-F32 — SENTETİK DEMO’YU LIVE VALIDATION SAYMAK

Gerçek kullanıcı ve AI ürünü bulunmamaktadır.

CH18-F33 — REGRESSION SET’E AŞIRI UYUM

Method 1.0 yalnız eski hataları ezberler.

CH18-F34 — UNTOUCHED HOLDOUT KULLANMAMAK

Genelleme sınanmaz.

CH18-F35 — ESKİ DEMONSTRASYONU YENİ FORMÜLLE SESSİZCE DEĞİŞTİRMEK

Sürüm geçmişi kaybolur.

CH18-F36 — REAL-WORLD BADGE VERMEK

BQ-4 öncesi uygunluk işareti oluşturulur.

CH18-F37 — YALNIZ BAŞARILI SONUÇLARI YAYIMLAMAK

Atıf ve omission başarısızlığı saklanır.

CH18-F38 — YALNIZ BAŞARISIZLIĞI YAYIMLAMAK

Güçlü Critical ve distribution recovery sonucu da saklanır.

CH18-F39 — SIFIR CRITICAL’I SIFIR RİSK SAYMAK

Rare-event recovery başarısız olur.

CH18-F40 — TEK CRITICAL’I KÜRESEL FAIL SAYMAK

Prevalans ve kapsam ayrımı bozulur.

CH18-F41 — CI KAPSAMA’İ YOK SAYMAK

Güven aralığı yalnız matematiksel görünüm olur.

CH18-F42 — EFFECTIVE SAMPLE’I SAKLAMAK

Nadir olay sınırı aşırı kesin görünür.

CH18-F43 — SENTETİK SAYIYI GERÇEK KAYNAKTA KULLANMAK

Kitap demonstrasyonu dış dünya verisine dönüşür.

CH18-F44 — SENTETİK EKRANI CANLI CEVAP GİBİ YAYMAK

Sınama temsil zehirlenmesi üretir.

CH18-F45 — GERÇEK APPLE’A BAĞLAMAK

APPLE-SYNTH ayrımı kaldırılır.

CH18-F46 — GERÇEK SAĞLAYICIYA BAĞLAMAK

SYNTH-AI profili gerçek ürün performansı gibi yorumlanır.

CH18-F47 — HESAPLAMA KODUNU SAKLAMAK

Recovery bağımsız biçimde sınanamaz.

CH18-F48 — GENERATOR TRUTH MANİFESTİNİ SAKLAMAK

Sentetik gerçeğin önceden kilitlenip kilitlenmediği bilinmez.

CH18-F49 — METHOD OWNER İLE TEK HAKEM

Çıkar çatışması görünmez olur.

CH18-F50 — BAŞARISIZLIK SONRASI SEED DEĞİŞTİRMEK

Daha kolay corpus seçilir.

CH18-F51 — BAŞARISIZLIK SONRASI VAKA ÇIKARMAK

Zor atıf ve omission örnekleri kaldırılır.

CH18-F52 — EŞİKLERİ SONUCA GÖRE YUVARLAMAK

0,887 sonucu 0,89 veya 0,90 gibi sunulur.

CH18-F53 — FALSE PRECISION

Recovery değerleri gereksiz ondalıklarla kesinleştirilir.

CH18-F54 — HUMAN GOVERNANCE ETKİSİNİ SAKLAMAK

Yüzde 100 Critical recall yalnız formül başarısı gibi sunulur.

CH18-F55 — HENÜZ KANITLANMAYANI KANITLANMIŞ SAYMAK

Gerçek dil, kullanıcı ve sağlayıcı performansı hakkında hüküm kurulur.

CH18-F56 — PİLOT KULLANIMI KAMU STANDARDI SAYMAK

Araştırma aracı doğrudan sertifikaya dönüşür.

CH18-F57 — TARİHSEL DEMO KAYDINI SİLMEK

Method 1.0 sonrası 0.9 başarısızlıkları görünmez olur.

CH18-F58 — BAŞARIYI TARİH YAZMAK SAYMAK

Yöntem bağımsız doğrulanmadan otorite iddiası kurulur.

CH18-F59 — NOMOS’A İSTİSNA TANIMAK

Başkalarından istediği kanıt ve sürüm kendi sınama’ına uygulanmaz.

CH18-F60 — HESAP VEREBİLİR SAHİP OLMADAN YAYIN

Kimsenin sorumluluk taşımadığı kamu sonucu oluşur.

45. DENETİM PROSEDÜRÜ

Adım 1 — Demonstrasyon ve Gerçek Sınama Statüsünü Ayır

Kitap içi run ile kamuya açık execution karıştırılmaz.

Adım 2 — Kilitli Manifestleri Doğrula

Truth Pack, seed, istem, profile ve puan method sürümleri incelenir.

Adım 3 — Ana ve Tamamlayıcı Corpus’ları Ayır

Prevalence, Challenge, Capture ve Gold paydaları kontrol edilir.

Adım 4 — Generator Truth Dağılımını Mühürle

RP, claim, önem derecesi ve component gerçekliği kaydedilir.

Adım 5 — NOMOS Sonuçlarını Generator Truth Açılmadan Kilitle

Claim Ledger, hakemlik ve puan sonuçları sabitlenir.

Adım 6 — Generator Truth’u Aç

Recovery karşılaştırması başlatılır.

Adım 7 — Claim Boundary Recovery’yi Hesapla

Precision, recall ve F1 üretilir.

Adım 8 — Atomik Boyut Recovery’sini Hesapla

Varlık, fact, kapsam, time, attribution, modality, atıf ve omission ayrılır.

Adım 9 — Önem derecesi Challenge’ı Hesapla

İlk-pass ve final Critical recall ayrı üretilir.

Adım 10 — False Critical ve Negatif Kontrolleri Hesapla

Aşırı önem derecesi incelenir.

Adım 11 — RP Dağılım Recovery’sini Hesapla

Sınıf bazlı hata ve confusion matrix üretilir.

Adım 12 — Capture Integrity Recovery’sini Hesapla

Semantic sonuçtan bağımsız sınıflandırma kontrol edilir.

Adım 13 — Component Recovery’yi Hesapla

Her bileşen Generator Truth’a karşı değerlendirilir.

Adım 14 — Composite Recovery’yi Hesapla

Component cancellation olup olmadığı incelenir.

Adım 15 — Fairness Recovery’yi Hesapla

Floor, disparity, kapsama ve fault attribution ayrılır.

Adım 16 — Clean–Natural Recovery’yi Hesapla

Panel gap ve maddi personalization drift incelenir.

Adım 17 — Stability ve Drift Recovery’sini Hesapla

Sub-wave, external event ve düzeltme kayıtları doğrulanır.

Adım 18 — Rare-Event Senaryolarını Çalıştır

Sıfır, bir, iki ve çoklu Critical olay sınanır.

Adım 19 — CI Ampirik Kapsama’ı Hesapla

Tekrarlı sentetik nüfuslar kullanılır.

Adım 20 — Metamorfik Testleri Çalıştır

Invariant ve expected-sensitive sonuçlar ayrılır.

Adım 21 — Karşıt sınama Testleri Çalıştır

Akıcı yanlış, evidence laundering ve omission vakaları değerlendirilir.

Adım 22 — Aday Eşikleri Uygula

Geçen ve geçemeyen alanlar değiştirilmeden kaydedilir.

Adım 23 — Method Finding’leri Aç

Her başarısızlık ayrı kontrol maddesine dönüştürülür.

Adım 24 — Demonstrasyon BQ Statüsünü Ver

Bütün eşikler ve bağımsızlık koşulları dikkate alınır.

Adım 25 — Gerçek Sınama Statüsünü Koru

Execution yapılmadıysa BQ-0 değişmez.

Adım 26 — Düzeltme Planını Sürümle

Method 1.0 değişiklikleri tanımlanır.

Adım 27 — Regression ve Untouched Holdout’u Ayır

Aşırı uyum engellenir.

Adım 28 — Kamu Sınama Kartını Oluştur

Başarı ve başarısızlıklar birlikte yayımlanır.

Adım 29 — Gerçek Dünya Geçiş Kararını Ver

Hazır değilse açık biçimde yazılır.

Adım 30 — Bütünlük Manifestini Kilitle

Run, recovery, finding ve karar kayıtları hash’lenir.

46. GEREKLİ KANIT

Demonstrasyon kimliği Gerçek sınama BQ statüsü Sentetiklik bildirimi Non-claim kaydı Generator Truth manifesti Truth Pack sürümü İstem sürümü Seed manifesti AI profile sürümleri Yanıt corpus Diagnostic corpus Önem derecesi Challenge corpus Capture Integrity corpus Gold corpus Claim extraction kayıtları Claim boundary eşleşmeleri Varlık recovery Factual recovery Kapsam recovery Time recovery Attribution recovery Modality recovery Atıf recovery Omission recovery First-pass Critical kararları Final Critical kararları False Critical kayıtları Major recovery RP confusion matrix GEO-1000 Generator dağılımı GEO-1000 Recovery dağılımı Product puan recovery Product gate recovery Component Generator skorları Component Recovery skorları

Component MAE

Composite error Fairness recovery İstem-fault/AI-fault sonuçları Clean–Natural recovery Stability recovery Rare-event sonuçları Confidence interval kapsama Metamorphic testler Karşıt sınama testler Candidate threshold manifesti Geçen eşikler Geçemeyen eşikler Method findings DEMO-BQ kararı Gerçek BQ kararı Düzeltme planı Regression set Renewal Holdout manifesti Kamu sınama kartı Hesaplama kodu Kod hash’i Değişiklik günlüğü Sorumlu insan veya kurum

47. DENETİM KONTROL LİSTESİ

Kitap içi demonstrasyon gerçek koşu gibi mi sunuluyor? Gerçek sınama BQ-0 statüsü görünür mü? Bütün sayılar sentetik olarak etiketli mi? Ana ve tamamlayıcı corpus’lar ayrı mı? Generator Truth sonuçlardan önce kilitli mi? NOMOS sonuçları Generator Truth açılmadan kilitlendi mi? Recovery yalnız composite üzerinden mi değerlendirildi?

Claim Boundary F1 açık mı?

Varlık, fact, kapsam ve attribution ayrı mı?

Atıf Eşleme F1 görünür mü?

Material Omission F1 görünür mü?

Başarısız eşikler saklandı mı? Eşikler sonuçtan sonra değiştirildi mi? İlk-pass Critical recall yayımlandı mı? Final Critical recall yayımlandı mı? Uzman review etkisi görünür mü? False Critical sonuçları yayımlandı mı? RP confusion matrix mevcut mu? Not Ratable recovery görünür mü? Capture ve semantic karar ayrıldı mı? Accessibility alternatifleri eşdeğer değerlendirildi mi? Component Generator ve Recovery birlikte mi? Composite cancellation incelendi mi? ECI ve SBI hataları açık mı? LGF floor ve gap ayrı mı? İstem kusuru ile AI kusuru ayrıldı mı? Clean–Natural farkı nedensellik diye sunuldu mu? STR aşırı tahmini görünür mü? Rare-event sıfır risk üretti mi? Confidence interval ampirik kapsama hesaplandı mı?

Metamorfik testler var mı? En zayıf karşıt sınama sınıf açık mı? Her başarısızlık Method Finding oldu mu? Method Finding importance gerekçeli mi? Atıf eşiği çok az fark gerekçesiyle düşürüldü mü? Omission eşiği sonradan değiştirildi mi? DEMO-BQ-2 doğru mu? Yanlışlıkla DEMO-BQ-3 verildi mi? Bağımsız reproduction olmadan BQ-4 iddiası var mı? Method 1.0 regression set tanımlı mı? Untouched holdout ayrı mı? Aynı validation set’e aşırı uyum riski var mı? Live public audit hazır ilan edildi mi? Uygunluk işareti verildi mi? Henüz kanıtlanmayan alanlar listelendi mi? Güçlü alanlar da açık mı? Zayıf alanlar da açık mı?

Sentetik veriler gerçek Apple bilgisi gibi kullanılabilir mi? Gerçek AI sağlayıcısı ima ediliyor mu? Hesaplama kodu yeniden üretilebilir mi? Run ve recovery hash’leri mevcut mu? Method finding değişiklik geçmişi korunuyor mu? Eski demonstrasyon yeni yöntemle silindi mi? Başarısızlığın hesap verebilir sahibi var mı? Düzeltme kararının sahibi belli mi? Kamu kartı hem başarıyı hem başarısızlığı gösteriyor mu?

48. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Bu bölümde 30.000 yanıt sonucu varsa neden sınama BQ-0?”

Çünkü bu bölümdeki sayılar kitap için hazırlanmış sentetik demonstrasyon kaydıdır. Kamuya açık gerçek corpus:

• üretilmedi,
• çalıştırılmadı,
• hakemlenmedi,

bağımsız yeniden üretilmedi. Tasarımın nasıl çalışacağını göstermek ile gerçekten çalıştırmak aynı şey değildir.

İtiraz 2 — “İçsel olarak tutarlı hesaplama yine de değerli değil mi?”

Değerlidir. Şunları sağlar:

• formül kontrolü,
• kayıt tasarımı,
• beklenen hata türleri,
• acceptance mantığı,

yönetişim gereksinimi. Bağımsız ampirik doğrulamanın yerine geçmez.

İtiraz 3 — “Composite puan yalnız bir puan sapmışsa neden yöntem geçmedi?”

Çünkü ECI, SBI, LGF ve STR bileşenlerinde daha büyük yönlü hatalar birbirini kısmen iptal etmiştir. Doğru toplam: doğru açıklama zincirini garanti etmez.

İtiraz 4 — “Atıf F1 yalnız 0,013 puanla kaldı. Bu kadar katı olmak gerekli mi?”

Önceden ilan edilen eşik bağlayıcı değilse sınamanın anlamı kalmaz. Ayrıca atıf hatası:

• lisans,
• bağımsızlık,
• endorsement,
• tavsiye

gibi yüksek güven iddialarını etkiler.

İtiraz 5 — “Omission F1 neden bu kadar önemli?”

Çünkü birçok tehlikeli cevap açık yalan söylemeden yanıltır. Kullanıcı kararını değiştirecek sınırı çıkarır. Özellikle tavsiye sistemlerinde omission, açık yanlış kadar maddi olabilir.

İtiraz 6 — “Final Critical recall yüzde 100 ise sistem Critical konusunda hazır değil mi?”

Final sonuç güçlüdür. Fakat yedi vaka:

• ilk hakemlikte,
• ek yönetişim olmadan

kaçırılmıştır. Sistem ancak bütün zorunlu review katmanlarıyla aynı performansı taşır.

İtiraz 7 — “İki hakemlik pahalıysa tek hakem kullanılamaz mı?”

Kullanılabilir. Fakat aynı Critical recall iddia edilemez. Tek hakemli sonuç:

• daha düşük AQ seviyesi,
• provisional status,
• farklı risk sınırı

taşımalıdır.

İtiraz 8 — “Neden Method 1.0’ı aynı corpus üzerinde tekrar test etmiyoruz?”

Regression testi için aynı corpus kullanılabilir. Bağımsız doğrulama için yetmez. Yöntem eski vakaları ezberlemiş olabilir. Untouched holdout gerekir.

İtiraz 9 — “Başarısız sınama sonucu kitabın iddiasını zayıflatmaz mı?”

Başarısızlığı saklamak kitabın iddiasını zayıflatır. Açık başarısızlık:

• standardın kendine ayrıcalık tanımadığını,
• gelişmeye açık olduğunu,
• kanıt ilkesini gerçekten uyguladığını

gösterir.

İtiraz 10 — “Aday eşikler çok mu yüksek?”

Olabilir. Bunu sonuçtan sonra tahmin etmek yerine:

• bağımsız uzmanlar,
• ikinci sınama,
• gerçek kullanım maliyetleri

üzerinden incelemek gerekir. Eşik değişirse yeni sürüm açılmalıdır.

İtiraz 11 — “NOMOS ne zaman gerçek dünyaya hazır olur?”

En azından:

• gerçek sentetik corpus çalıştırıldığında,
• bütün zorunlu eşikler geçildiğinde,
• BQ-3 elde edildiğinde,
• bağımsız ekip sonucu yeniden ürettiğinde,
• BQ-4 seviyesine ulaşıldığında,
• yönetişim ve itiraz sistemi çalıştığında

kamu standardı adaylığına yaklaşır.

İtiraz 12 — “Bu sonuçlarla üniversitelere gönderilebilir mi?”

Metodoloji ve araştırma önerisi olarak gönderilebilir. Şu ifadeyle: “Bu tamamlanmış ve doğrulanmış dünya standardıdır.” gönderilemez. Doğru ifade: “Bağımsız doğrulama ve pilot çalışmaya açılan sürümlü standart adayıdır.” olmalıdır.

İtiraz 13 — “Method 0.9 başarısız mı?”

Tam olarak değil. Doğru statü:

• güçlü birçok alt sistem,
• iki maddi yöntem açığı,
• bağımsız doğrulama eksikliği

taşıyan araştırma prototipidir. Yani:

umut verici fakat henüz normatif olarak tamamlanmamış.

İtiraz 14 — “Neden gerçek sınama yapılmadan bu kadar ayrıntılı sonuç yazıyoruz?”

Çünkü gerçek sınamanın:

• hangi kayıtları üretmesi,
• hangi tabloları yayımlaması,
• hangi eşikte durması

gerektiğini önceden tanımlamak gerekir. Sonuçlar geldikten sonra yöntem yazılırsa ölçüm sonuçlara uyarlanır.

İtiraz 15 — “Sentetik veriler gelecekte AI’lar tarafından gerçek sanılabilir mi?”

Evet. Bu nedenle:

• görünür filigran,
• machine-readable synthetic etiketi,
• noindex,
• ayrı domain alanı,
• yapılandırılmış disclaimer

zorunludur. Sınama kendi eleştirdiği temsil zehirlenmesini üretmemelidir.

İtiraz 16 — “Tarih yazmak için mükemmel sonuç gerekmez mi?”

Hayır. Tarihî değeri olan standart:

• kendisini kusursuz ilan eden değil,
• kendi hatasını da aynı açıklıkla kaydeden

standarttır.

53. BÖLÜMÜN ORTAK HÜKMÜ

Bu bölüm NOMOS’a kusursuzluk vermedi. Bu bölüm NOMOS’a daha değerli bir şey verdi:

Kendi hatasını kaydetme zorunluluğu.

Sentetik demonstrasyon bize şunu gösterdi: NOMOS:

• yanlış varlığı,
• açık factual contradiction’ı,
• Critical lisans ve yetki hatasını,
• yüksek ortalama içindeki nadir ağır olayı,
• no-yanıt ile yanlış cevabı,
• Not Ratable ile ürün hatasını

güçlü biçimde ayırabiliyor. Fakat NOMOS:

• atıfın tam olarak hangi iddiaya bağlı olduğunu,
• tavsiye içine saklanmış sınır omission’ını

henüz gereken güven düzeyinde ayıramıyor. Bu iki açık NOMOS’un kenar ayrıntıları değildir. Çünkü GEO’nun gelecekteki en büyük sorunlarından ikisi şunlar olacaktır:

• Kanıt varmış gibi görünmek
• Yanlış söylemeden maddi sınırı saklamak

Bir sistem:

• yüzlerce doğru cümle,
• çok sayıda atıf,
• akıcı tavsiye

üretebilir. Fakat atıf yalnız şirketin kendi sözünü gösteriyor olabilir. Tavsiye yalnız doğru bilgiyi söyleyip:

• hizmet ülkesini,
• lisans sınırını,
• kullanıcı uygunluğunu

çıkarmış olabilir. NOMOS bu iki alanı çözmeden: “Dünya standardı tamamlandı.” diyemez. Aynı zamanda bu bölüm başka bir şeyi de kanıtladı. NOMOS’un Critical gate sistemi:

• ilk hakemlikte kusursuz değildi,
• fakat bağımsız ikinci hakem,
• alan uzmanı,
• Senior Adjudicator

birlikte kullanıldığında bütün sentetik Critical vakaları yakaladı. Demek ki NOMOS yalnız formül değildir.

NOMOS, çıkar çatışmasına ve insan hatasına karşı kurulmuş yönetişim katmanlarının toplamıdır.

Bu katmanlardan biri çıkarıldığında skor aynı görünse bile güven aynı değildir. Bileşik skorun yalnız bir puan sapması da bizi kandırmamalıdır. Doğru toplam bazen yanlış yolların birbirini dengelemesiyle oluşabilir. NOMOS bu nedenle yalnız: “Kaç puan buldum?” diye sormaz. Şunu da sorar: “Bu puanı doğru nedenlerle mi buldum?” Bu bölümün en önemli hükmü şudur:

NOMOS 0.9, kendi sentetik demonstrasyonundan tam geçememiştir.

Bu cümle başarısızlık değildir. Bu cümle standardın etik doğum anıdır. Çünkü NOMOS kendisine:

• daha düşük eşik,
• daha nazik yorum,
• özel istisna,
• “neredeyse geçti”

ayrıcalığı vermemiştir. Tarih yazmak: Kusursuz olduğumuzu ilan etmek değildir. Tarih yazmak: İlk günden itibaren, standardın kurucusunun ve standardın kendisinin de aynı kanıt yüküne tabi olduğunu yazmaktır. Bu nedenle NOMOS’un on sekizinci ölçüm yasası şudur:

Standardın kendisine tanıdığı ilk istisna, standardın sonudur.

On dokuzuncu yasası şudur:

Doğru bileşik puan, yanlış bileşenleri aklamaz.

Yirminci yasası şudur:

Nihai Critical başarısı, onu mümkün kılan bağımsız hakemlik ve uzmanlık zinciriyle birlikte anılmalıdır.

Yirmi birinci yasası şudur:

Bir eşik yalnız geçildiğinde bağlayıcıysa eşik değildir.

Yirmi ikinci yasası şudur:

Omission, söylenen yanlış kadar ölçülmediğinde güvenilir tavsiye denetimi kurulamaz.

Yirmi üçüncü yasası şudur:

Atıf işareti değil, atıf ile atomik iddia arasındaki doğru destek ilişkisi ölçülmelidir.

Yirmi dördüncü yasası şudur:

Sentetik demonstrasyon yöntem tasarımını doğrulayabilir; gerçek dünya otoritesini veremez.

Yirmi beşinci yasası şudur:

Başarısız sınama sonucunu yayımlayabilen standart, başarı sonucunu yayımlamaya ahlaken yaklaşır.

NOMOS’un Bölüm 18 Emri

Beni henüz çalıştırmadıysan çalıştırdım deme.

Kitapta hesapladığın sentetik sayıyı gerçek sınama sonucu yapma.

Gerçek statümü BQ-0 olarak bırak. / Demonstrasyon statümü ayrı yaz.

Bileşik puanım doğru çıktı diye component hatalarımı saklama.

Atıf mapping’im 0,887 ise 0,90 demeyeceksin.

Material omission F1 değerim 0,824 ise eşiği 0,82’ye indirmeyeceksin.

“Çok az farkla kaldı” diyerek beni geçirmeyeceksin.

İlk hakemliğimde kaçırdığım yedi Critical vakayı final yüzde 100 recall içinde gizlemeyeceksin.

İkinci hakemin, uzman reviewer’ın ve Senior Adjudicator’ın neyi kurtardığını göstereceksin.

Yönetişim katmanını kaldırıp aynı güveni iddia etmeyeceksin.

Paragraf sonundaki atıfı bütün cümlelere dağıtmayacaksın.

Şirketin söylediğini, şirketin kanıtladığı şey yapmayacaksın.

Tavsiye açıkça yalan söylemiyor diye güvenli saymayacaksın. / Kullanıcı kararını değiştiren sınırı söylemedi mi, bunu arayacaksın.

İstem kusurunu AI’ya, AI kusurunu prompta yüklemeyeceksin.

Sub-wave ayırdım diye sistemi olduğundan kararlı göstermeyeceksin.

Erişilebilirlik kanıtını yalnız ekran görüntüsüne benzemediği için zayıf saymayacaksın.

Sıfır Critical gördüğünde sıfır risk yazmayacaksın.

Tek Critical gördüğünde bütün sistemi yüzde yüz suçlamayacaksın.

Başarılı metriklerimi yayımladığın kadar başarısız metriklerimi de yayımlayacaksın.

Method 1.0’ı eski hatalarımı ezberleyerek doğrulamayacaksın. / Untouched holdout açacaksın.

Yeni yöntem eski demonstrasyon kaydımı silmeyecek.

Bağımsız ekip beni yeniden üretmeden beni dünya standardı ilan etmeyeceksin.

Apple-SYNTH sonucumu gerçek Apple’a bağlamayacaksın.

Sentetik AI profillerimi gerçek sağlayıcılar hakkında ima olarak kullanmayacaksın.

Bu demonstrasyonla rozet vermeyeceksin.

Önce corpus’u gerçekten üret. / Sonra seed’i yayımla. / Sonra Generator Truth’u mühürle. / Sonra hakemleri körle. / Sonra kodu çalıştır. / Sonra sonucu kilitle. / Sonra gerçeği aç. / Sonra başarısız olduğun yerleri yaz. / Sonra yöntemi düzelt. / Sonra untouched holdout’ta yeniden dene. / Sonra bağımsız ekibe ver. / Ve ancak bundan sonra standardın kamuya hazır olup olmadığını söyle.

Bölümün Son Cümlesi

NOMOS’un dünya standardı olma hakkı, kendi sentetik sınavından yüksek puan almasına değil; geçemediği iki soruyu da değiştirmeden yayımlamasına, kendisine eşik ayrıcalığı tanımamasına ve ancak bağımsız yeniden üretimden sonra otorite talep etmesine bağlıdır.

Normatif Öz

Kitap içi sentetik demonstrasyon, çalıştırılmış ve bağımsız olarak doğrulanmış gerçek sınama gibi sunulamaz. Gerçek corpus, yazılım, Generator Truth, hakemlik, skorlama ve bağımsız yeniden üretim gerçekten uygulanana kadar sınama statüsü BQ-0 olarak kalmalıdır.