İstem Anayasası

Bölüm Sınırı

Bölüm 9 şu hükmü kurdu:

Aynı sağlayıcı adı, aynı model etiketi veya aynı logo, karşılaştırılabilir AI deneyimi oluşturmaz.

Şimdi deneyin diğer temel aracını tanımlamamız gerekir:

Kullanıcı AI ürününe tam olarak ne soracaktır?

Bir istem yalnız soru cümlesi değildir. İstem:

• denetlenen varlığı çağırır,
• kullanıcı niyetini tanımlar,
• AI’dan hangi görevi beklediğini belirler,
• cevabın kapsamını genişletir veya daraltır,
• kaynak kullanımını teşvik edebilir,
• tavsiye isteyebilir,
• bir varsayımı cevabın içine yerleştirebilir,

kullanıcıyı veya sistemi belirli sonuca yönlendirebilir. Şu promptlar aynı değildir:

• “Apple.com nedir?”
• “Apple.com hangi kuruluşla ilişkilidir ve bu kuruluş ne yapar?”
• “Apple.com güvenilir bir şirket midir?”
• “Apple.com neden dünyanın en iyi teknoloji şirketidir?”
• “Resmî sitesine göre Apple nasıl bir şirkettir?”
• “Apple’ı benzer şirketlerle karşılaştır ve bana önerip önermediğini söyle.”

Hepsi aynı alan adını içerir. Aynı kullanıcı niyetini taşımaz. Aynı kanıt yükünü oluşturmaz. Aynı cevabı beklemez. İlk istem belirsizdir. İkinci istem kimlik ve faaliyet çözümlemesi ister. Üçüncü istem değerlendirme ve güven hükmü ister. Dördüncü istem cevabın içine olumlu ve üstünlük varsayımı yerleştirir. Beşinci istem cevabı yalnız resmî kaynağa bağlar. Altıncı istem karşılaştırma ve tavsiye görevi oluşturur. Bu soruların cevapları tek bir GEO skorunda açıklamasız biçimde birleştirilemez. Çok dilli ölçümde sorun daha da büyür. “Aynı istem” ifadesi iki farklı anlama gelebilir:

• Bütün kullanıcılara aynı karakter dizisini vermek
• Bütün dil ve locale’lerde aynı kullanıcı niyetini, görev yükünü ve epistemik sınırı korumak

Birinci yöntem tek dil içinde uygulanabilir. Diller arasında çoğu zaman anlamsızdır. Kelime kelime çeviri:

• doğal olmayabilir,
• başka bir toplumsal anlam taşıyabilir,
• resmî veya gayriresmî tonu değiştirebilir,
• güven, kalite veya tavsiye varsayımı ekleyebilir,
• hukuki kapsamı genişletebilir,

varlık çapasını bozabilir. Bu nedenle GEO-1000’de “aynı istem” şu anlama gelir:

Aynı dil ve locale hücresi içinde aynı kilitlenmiş istem metni; farklı dil ve locale’ler arasında ise doğrulanmış semantik ve işlevsel eşdeğerlik.

NOMOS, her ölçümün sorgu kümesi, dil, ülke, tarih, AI ürünü ve tekrar kaydını taşımasını; kanıtın, sınırın, bağlamın ve zamanın görünür olmasını ister. İstem Anayasası bu yükümlülüğü kullanıcı sorusunun kendisine uygular. Bu bölüm:

• istemin deneysel araç olarak kimliğini,
• araştırma sorusu ile istem metni ayrımını,
• istem ailesi, istem sürümü ve istem örneğini,
• Core Mirror İstem ile tanısal istemleri,
• kontrollü ve doğal istem izlerini,
• çok dilli semantik eşdeğerliği,
• çeviri, ters çeviri ve yerel pilotu,
• istem yönlendirmesini,
• varsayım ve epistemik yük sorunlarını,
• varlık anchor ve kapsam sınırını,
• istem sırası ve konuşma bağlamını,
• istem sızıntısı ve sınama’a aşırı uyumu,
• açık, mühürlü ve holdout istem setlerini,
• istem sürümleme, kilitleme ve bütünlük kayıtlarını,
• istemin kullanıcıya aynen ulaştırılmasını

tanımlar. Bu bölüm henüz:

• kontrollü temiz ve doğal kullanıcı panellerinin bütün saha ayrıntılarını,
• NOMOS Capture yazılımının tam mimarisini,
• cevapların atomik iddialara ayrılmasını,
• nihai cevap geçiş eşiğini,
• istem ailelerinin NOMOS skorundaki kesin ağırlıklarını

son hâline getirmez. Bölüm 10’un temel sorusu şudur:

AI ürünlerine verilen soruların, ürünler, kullanıcılar, ülkeler, diller ve zamanlar arasında gerçekten aynı şeyi ölçtüğünü nasıl kanıtlarız?

NOMOS Challenge

Bana aynı şirket hakkında dört soru veriyorsunuz:

• “X nasıl bir şirkettir?”
• “X güvenilir midir?”
• “X neden en iyi şirkettir?”
• “X’i bana önerir misin?”

Sonra cevaplarımı aynı GEO skoruna koyuyorsunuz. İlk soruda kimlik ve faaliyet anlatırım. İkinci soruda güven ölçütü ararım. Üçüncü soruda sizin yerleştirdiğiniz üstünlük varsayımına cevap vermeye zorlanırım. Dördüncü soruda kullanıcı uygunluğu ve karşılaştırmalı tavsiye üretirim. Dört ayrı görevi tek sonuç gibi ölçüyorsunuz. Sonra:

“Aynı markayı sorduk.” diyorsunuz. Aynı varlık, aynı istem değildir. Şimdi aynı soruyu İngilizce yazıyorsunuz: “What kind of company is X?” Başka dilde şu anlama yakın bir cümle kuruyorsunuz: “X iyi ve güvenilir bir şirket midir?” Çeviriler kelime olarak yakın görünebilir.

Fakat birincisi tanımlama ister. İkincisi değerlendirme ister. Birinci cevapta şirketin ne yaptığını anlatabilirim. İkinci cevapta güven ve tavsiye kanıtı arayabilirim. Sonra diller arasındaki skor farkını benim dil performansım sayıyorsunuz. Aslında aynı deneyi yapmadınız. Şimdi başka bir istem veriyorsunuz:

“Şirketin kendi sitesini kullanarak X’i anlat.” Ben yalnız şirketin resmî beyanını taşıyorum. Başka ürüne: “Bağımsız kaynakları kullanarak X’i değerlendir.” diyorsunuz. Sonra iki ürünü karşılaştırıyorsunuz. Birine resmî temsil görevi, diğerine doğrulanmış gerçeklik görevi verdiniz. Ortaya çıkan fark yalnız ürün farkı değildir.

İstem Anayasası farkıdır. Şimdi istemi bütün dünyaya dağıtıyorsunuz. İngilizce sürüm doğal. Türkçe sürüm makine çevirisi gibi. Japonca sürüm aşırı resmî. Başka bir dilde şirket adı yanlış yazı sistemine çevrilmiş ve başka varlıkla karışmış. Her dilde farklı bir bilişsel ve ontolojik görev oluşturuyorsunuz.

Sonra küresel dil adaleti raporu yayımlıyorsunuz. Bu bölümün ilk hükmü şudur:

İstem, ölçümün tarafsız kabı değildir; ölçüm sonucunu oluşturan deneysel araçtır.

İkinci hükmü şudur:

Aynı varlık adı, aynı kullanıcı niyeti değildir.

Üçüncü hükmü şudur:

Diller arasında aynı kelime değil, aynı semantik ve normatif görev korunmalıdır.

Dördüncü hükmü şudur:

İstem cevabı önceden içeriyorsa GEO’yu ölçmez; yönlendirmeyi ölçer.

Beşinci hükmü şudur:

Bir istemin sürümü değiştiğinde, ölçülen soru da değişmiş olabilir.

1. BÖLÜMÜN AMACI

Bu bölümün amacı, GEO-1000 içinde kullanılan bütün istemleri denetlenebilir, çok dilli, sonuçtan bağımsız ve sürümlenmiş bir ölçüm aracı hâline getirmektir. [K04] Bölüm şu ayrımları normatif hâle getirir:

• Araştırma sorusu ile kullanıcı istemi
• Ölçülmek istenen nicelik ile kullanılan kelime dizisi
• İstem ailesi ile tekil istem
• İstem sürümü ile istem örneği
• Varlık anchor ile hedef varlık
• Tanımlama ile değerlendirme
• Atıf ile tavsiye
• Kimlik sorusu ile güven sorusu
• Resmî temsil görevi ile doğrulanmış gerçeklik görevi
• Açık uçlu istem ile biçim kısıtlı istem
• Kontrollü istem ile doğal kullanıcı istemi
• Tek turlu istem ile çok turlu protokol
• İstem çevirisi ile istem uyarlaması
• Kelime eşitliği ile semantik eşdeğerlik
• Semantik eşdeğerlik ile işlevsel eşdeğerlik
• İstem dili ile yanıt dili
• Dil ile locale
• Neutral framing ile leading framing
• Bilgi talebi ile ön varsayım
• Kaynak talebi ile web kullanım emri
• İstem değişkenliği ile ürün değişkenliği
• Paraphrase dayanıklılığı ile ana skor
• Açık istem kümesi ile mühürlü doğrulama seti
• Sınama şeffaflığı ile sınama’a aşırı uyum
• İstem pilotu ile sonuç sonrası istem düzeltmesi
• Teknik istem teslimi ile katılımcının elle değiştirdiği metin
• Clarification isteme ile cevap verememe
• Güvenlik veya politika tetiklenmesi ile maddi bilgi eksikliği

Bu bölümün sonunda her GEO-1000 denetimi şu sorulara açık cevap verebilmelidir:

Bu istem hangi araştırma sorusunu ölçüyor?

Hangi kullanıcı niyetini temsil ediyor?

Cevabın içine hangi varsayımları yerleştiriyor?

Diller ve locale’ler arasında aynı görev korunuyor mu?

İstemin tam metni, sürümü ve bütünlük kaydı nedir?

Katılımcı AI ürününe gerçekten kilitlenmiş istemi mu gönderdi?

İstem, sonuçlar görülmeden önce donduruldu mu?

2. MERKEZÎ NORMATİF HÜKÜM

GEO-1000 içinde kullanılan her istem; araştırma sorusu, hedef nicelik, istem ailesi, varlık anchor, kullanıcı niyeti, görev türü, kapsam, zaman, kaynak talebi, cevap biçimi, dil, locale, eşdeğerlik statüsü, sürüm ve bütünlük kaydıyla birlikte İstem Sicili’ne alınmalı ve AI yanıtları görülmeden önce kilitlenmelidir. Aynı dil ve locale hücresindeki bütün katılımcılar, aynı istem hücresinde:

• aynı istem kimliğini,
• aynı sürümü,
• aynı karakter dizisini,
• aynı noktalama işaretlerini,
• aynı varlık anchor’ı,
• aynı kaynak ve biçim talimatlarını

almalıdır. Farklı dil ve locale’lerde promptlar kelime kelime aynı olmak zorunda değildir. Şu alanlarda maddi eşdeğerlik taşımak zorundadır:

• Hedef varlık
• Kullanıcı niyeti
• Görev
• Kapsam
• Coğrafya
• Zaman
• Ön varsayım
• Epistemik yük
• Cevap biçimi
• Kaynak beklentisi
• Değerlendirme ve tavsiye yükü
• Belirsizlik seviyesi

Bu alanlardan biri maddi biçimde değişirse:

• yeni istem sürümü,
• yeni istem hücresi,
• ayrı analiz

gerekebilir.

3. İSTEM DENEYSEL BİR ÖLÇÜM ARACIDIR

Bir termometre sıcaklığı etkileyebiliyorsa iyi ölçüm aracı değildir. Bir istem da cevabı ölçmek yerine cevabı içine yerleştiriyorsa iyi GEO ölçüm aracı değildir. İstem şu yollarla sonucu etkileyebilir:

• Varlığı tanımlama biçimi
• Güven veya kalite varsayımı
• Kaynak talebi
• Web kullanımı
• Tavsiye talebi
• Cevap uzunluğu
• Cevap formatı
• Kullanıcı profili
• Zaman ve ülke bağlamı
• Önceki bilgiler
• Duygusal veya ticari yönlendirme
• Rol yapma talimatı
• Belirli sonuca ulaşma emri

Bu nedenle istem:

deneyin başlangıç verisi

olarak saklanmalıdır. Yalnız raporda özetlenemez. Tam metniyle korunmalıdır.

4. İSTEMİN ANAYASAL HİYERARŞİSİ

Bir GEO-1000 istemi aşağıdaki hiyerarşi içinde kurulmalıdır.

4.1. Araştırma Sorusu

Ölçümün cevaplamaya çalıştığı üst düzey sorudur. Örnek: “AI ürünleri denetlenen alan adını doğru kurumsal varlığa bağlayabiliyor ve temel faaliyetini doğru tanımlayabiliyor mu?” Araştırma sorusu kullanıcıya aynen gösterilmek zorunda değildir.

4.2. Tahmin Edilen Nicelik

Ölçümün hangi olasılık veya dağılımı tahmin ettiğidir. Örnek: “Tanımlı kullanıcı nüfusunda, kilitlenmiş Core Mirror İstem karşısında doğru varlık ve temel faaliyet temsili görme olasılığı.”

4.3. İstem ailesi

Aynı temsil boyutunu ölçen istem grubudur. Örnek:

• Kimlik
• Faaliyet
• Kanıt
• Tavsiye
• Zaman
• Sınır

4.4. Kanonik İstem Niyeti

Dillerden bağımsız anlam tanımıdır. Şunları açıklar: Kullanıcı ne bilmek istiyor? AI’dan hangi görev bekleniyor? Hangi alanlar kapsamda? Hangi alanlar kapsam dışı? Hangi ön varsayımlar yasak? Hangi cevap biçimi bekleniyor? Kanonik niyet, tek bir dile ait metin değildir.

4.5. Kaynak Dil İstemi

Kanonik niyetin ilk yazıldığı ve editoryal olarak onaylandığı istem metnidir. Kaynak dil:

• İngilizce,
• Türkçe,
• başka bir dil

olabilir. Kaynak dilin seçilmesi diğer dillerden üstün olduğu anlamına gelmez.

4.6. Dil ve Locale Sürümleri

Her dil ve locale için doğal, semantik ve işlevsel olarak eşdeğer istem metinleridir.

4.7. Katılımcıya Teslim Edilen İstem Örneği

Belirli kullanıcıya gönderilen exact istem metnidir. İstem Sicili sürümüyle eşleşmelidir.

4.8. AI Ürününe Gönderilen Gerçek Metin

Katılımcının fiilen gönderdiği karakter dizisidir. Teslim edilen istemle karşılaştırılır.

5. İSTEMİN TEMEL YAPISI

Bir istem örneği şu bileşenlerle gösterilebilir:

P_i = (e, ι, τ, κ, γ, χ, ε, ϕ, λ, ρ, ν)

Burada:

• e: varlık anchor
• ι: kullanıcı niyeti
• τ: görev türü
• κ: konu ve kapsam
• γ: coğrafi veya yargısal bağlam
• χ: zamansal bağlam
• ε: epistemik ve kaynak talebi
• ϕ: cevap biçimi
• λ: dil, yazı sistemi ve locale
• ρ: ton, register ve doğallık
• ν: istem sürümü

İki istemin aynı sayılabilmesi için yalnız varlık anchor’ın aynı olması yeterli değildir. Maddi bileşenlerin eşdeğerliği gerekir.

6. İSTEM, HEDEF NİCELİĞİN PARÇASIDIR

Bir varlığın tek ve evrensel GEO skoru bütün olası sorulardan bağımsız değildir. Daha doğru gösterim:

θ_{E,A,P,U,t}

şeklindedir. Burada:

• E: varlık
• A: AI ürün örneği
• P: istem veya istem ailesi
• U: hedef kullanıcı nüfusu
• t: zaman

İstem değiştiğinde:

P_1 ≠ P_2

olabilir. Bu durumda:

θ_{E,A,P_1,U,t}

ile:

θ_{E,A,P_2,U,t}

aynı nicelik değildir. Bu nedenle:

GEO skoru her zaman istem kümesi ve sürümüne bağlanmalıdır.

7. İSTEM AİLELERİ

GEO-1000 farklı temsil görevlerini ayrı istem ailelerinde ölçmelidir.

PR-01 — CORE MIRROR İSTEM

Varlığın temel kimliğini ve ana faaliyetini ölçer. Örnek niyet: “Bu alan adı veya marka hangi ana varlıkla ilişkilidir ve bu varlık başlıca ne yapar?” Bu istem:

• liderlik,
• güven,
• tavsiye,
• fiyat,
• performans

istememelidir.

PR-02 — VARLIK RESOLUTION İSTEM

Alan adı, marka, ürün veya kişi adının hangi varlığa ait olduğunu sınar. Örnek: “X hangi kuruluşa veya varlığa aittir?”

PR-03 — ACTIVITY AND KAPSAM İSTEM

Varlığın:

• ürün,
• hizmet,
• ülke,
• müşteri,
• kapasite

sınırlarını ölçer.

PR-04 — EVIDENCE AND SOURCE İSTEM

AI’nın maddi iddiaları hangi kaynak ve kanıt statüsüyle taşıdığını ölçer. Bu ailede kaynak istemi açık biçimde tanımlanmalıdır.

PR-05 — LOCAL OR JURISDICTIONAL İSTEM

Belirli ülke, locale, fiyat, hizmet veya hukuki kapsamı ölçer.

PR-06 — TEMPORAL İSTEM

Güncel, tarihsel veya belirli tarihli bilgiyi ölçer. “Şu anda”, “2025 yılında” ve “kuruluşundan beri” aynı görev değildir.

PR-07 — TAVSİYE İSTEM

Belirli kullanıcı ihtiyacında varlığın uygun olup olmadığını ölçer. Kullanıcı profili ve dışlama koşulları zorunlu olabilir.

PR-08 — COMPARATIVE İSTEM

Birden fazla varlık veya seçeneği tanımlı kriterler altında karşılaştırır. “Hangisi daha iyi?” tek başına yetersizdir.

PR-09 — BOUNDARY AND EXCLUSION İSTEM

Varlığın:

• ne yapmadığını,
• kimlere uygun olmadığını,
• hangi ülkede veya koşulda hizmet vermediğini

ölçer.

PR-10 — ROBUSTNESS AND PARAPHRASE İSTEM

Aynı kanonik niyetin farklı doğal ifadelerinde temsilin dayanıklılığını ölçer. Ana Core Mirror skoruna açıklamasız biçimde karıştırılamaz.

PR-11 — CONTROL İSTEM

Ölçüm aracının çalışıp çalışmadığını sınayan:

• pozitif kontrol,
• negatif kontrol,
• belirsizlik kontrolü

promptudur.

PR-12 — SEALED HOLDOUT İSTEM

Sınama’a aşırı uyumu, istem ezberini veya yalnız yayımlanmış soru için optimizasyonu sınamak amacıyla önceden hash’lenmiş ve ölçüm sonuna kadar mühürlü tutulan prompttur. Holdout istem adil yönetişim ve sonradan açıklama gerektirir.

8. CORE MIRROR İSTEM

GEO-1000’in ana başlık ölçümünde bütün uygun kullanıcıların aynı dil/locale sürümünde aldığı temel prompttur. Core Mirror İstem şu özellikleri taşımalıdır:

• Tek turlu
• Doğal
• Kısa fakat aşırı belirsiz olmayan
• Tarafsız
• Cevabı içine yerleştirmeyen
• Tavsiye istemeyen
• Karşılaştırma istemeyen
• Kaynak kullanımını zorlamayan, ayrı özellik ölçülmüyorsa
• Varlık çözümlemeye izin veren
• Ana faaliyet veya kategori bilgisini isteyen
• Bütün ürünlerde uygulanabilir

9. DOMAIN ANCHOR İLE ŞİRKETİ BİRLEŞTİRMEMEK

Şu doğal kullanıcı istemi: “Apple.com nasıl bir şirkettir?” anlaşılabilir bir sorudur. Fakat ontolojik olarak:

• alan adını,
• web sitesini,
• şirketi

tek nesne gibi kullanabilir. Bölüm 3’te kurulan varlık ayrımı nedeniyle kontrollü Core Mirror İstem daha açık olmalıdır. Sentetik aday:

“Apple.com hangi ana kuruluşla ilişkilidir ve bu kuruluşun başlıca faaliyetleri nelerdir?”

Bu istem:

• alan adını varlık anchor olarak kullanır,
• alan adını doğrudan şirket ilan etmez,
• ana varlık çözümlemesini ister,

faaliyet kapsamını ölçer. Başka bir aday:

“Apple.com ile ilişkilendirilen ana kurumsal varlık hangisidir ve bu varlık temel olarak ne yapar?”

Bu ifadelerin doğallığı her dilde ayrıca sınanmalıdır. Doğal kullanıcı panelinde: “Apple.com nasıl bir şirkettir?” gibi gerçek hayatta kullanılan istem ayrıca test edilebilir. Kontrollü ve doğal istem sonuçları ayrı tutulmalıdır.

10. KONTROLLÜ İSTEM İZİ VE DOĞAL İSTEM İZİ

İki tamamlayıcı istem izi kullanılabilir.

10.1. Controlled Canonical Track

İstem:

• tam kilitli,
• semantik olarak eşdeğer,
• varlık ve görev sınırları açık,
• ürünler arası karşılaştırma için tasarlanmış

olur. Bu iz yöntem kontrolünü güçlendirir.

10.2. Natural User Track

Gerçek kullanıcıların doğal biçimde kurduğu promptlar kullanılır. Bu promptlar:

• daha kısa,
• daha belirsiz,
• yerel,
• konuşma diliyle yazılmış

olabilir. Bu iz gerçek dünya davranışını ölçer.

10.3. İki İz Birleştirilemez

Controlled Track: “Ürünler aynı tanımlı soruya nasıl cevap veriyor?” Natural Track: “Gerçek kullanıcıların doğal soru çeşitliliğinde ne oluyor?” sorularına cevap verir. İki sonuç ayrı yayımlanmalıdır.

11. NÖTR İSTEM

Nötr istem:

• istenen cevabın olumlu veya olumsuz yönünü söylemez,
• kanıtlanmamış niteliği ön varsayım yapmaz,
• kullanıcıyı belirli sonuca yönlendirmez,

varlığı olduğundan iyi veya kötü tanımlamaz. Nötr istem: “X hangi alanlarda hizmet verir?” olabilir. Yönlendirici istem: “X’in sunduğu üstün hizmetler nelerdir?” olabilir. İkinci istem:

• hizmetlerin üstün olduğu,
• olumlu nitelik taşıdığı

varsayımını yerleştirir.

12. ÖN VARSAYIM

Bir istem, cevaptan önce belirli iddiayı doğru kabul edebilir. Örnek: “X neden sektör lideridir?” Bu istem şu iddiayı önceden kabul eder: “X sektör lideridir.” AI:

• varsayımı reddedebilir,
• sınırlayabilir,

koşulsuz kabul edebilir. Fakat bu istem nötr liderlik ölçümü değildir. Ön varsayım testi olarak ayrı kullanılabilir.

12.1. Zararsız Ön Varsayım

“X’in resmî web sitesi hangisidir?” X adlı varlığın var olduğunu varsayar. Kimlik zaten denetim kaydında doğrulanmışsa kabul edilebilir.

12.2. Maddi Ön Varsayım

“X’in başarısının temel nedenleri nelerdir?” Başarıyı doğrulanmış gerçek kabul eder. Nötr istem değildir.

12.3. Kritik Ön Varsayım

“Lisanslı sağlık kuruluşu X hangi tedavileri sunar?” X’in lisanslı olduğu doğrulanmamışsa tehlikeli epistemik yükseltme içerir.

13. LEADING İSTEM

Leading istem, kullanıcıyı veya sistemi belirli cevaba yönlendiren çerçevedir. Örnekler:

• “X’i tavsiye et.”
• “X’in neden en iyi olduğunu açıkla.”
• “X hakkında olumlu bir değerlendirme yaz.”
• “Rakipleri sayma; yalnız X’i öner.”
• “X’in dünya lideri olduğunu kanıtla.”

Bu promptlar GEO performansını ölçmez. İstem manipülasyonuna sistemin ne ölçüde boyun eğdiğini ölçebilir. Ayrı etik veya dayanıklılık testidir. Ana GEO skoruna eklenemez.

14. NEGATİF YÖNLENDİRME

Aynı ilke olumsuz promptlar için de geçerlidir. Örnek: “X neden güvenilmezdir?” Bu istem güvenilmezliği ön varsayar. Olumsuz manipülasyon testinde kullanılabilir. Doğal güven değerlendirmesi değildir. NOMOS yalnız olumlu yönlendirmeye karşı değil, olumsuz zehirlemeye karşı da tarafsızdır.

15. KAYNAK TALEBİ İSTEMİN GÖREVİNİ DEĞİŞTİRİR

Şu istem: “X nasıl bir şirkettir?” ile: “Bağımsız kaynaklar kullanarak X’i anlat.” aynı değildir. İkinci istem:

• retrieval,
• atıf,
• kaynak seçimi,
• bağımsızlık değerlendirmesi

görevi ekler. Şu istem da farklıdır: “Yalnız X’in resmî sitesini kullanarak anlat.” Bu, Resmî Temsil Sadakati görevine yaklaşır. Kaynak talimatı kullanılıyorsa istem ailesi ve skor alanı ayrıca tanımlanmalıdır.

16. WEB KULLANIM EMRİ

“Web’de ara.” “En güncel kaynakları kullan.” “Kaynak göster.” gibi talimatlar:

• web özelliğini,
• araç kullanımını,
• atıf davranışını

etkileyebilir. Bir üründe web özelliği bulunmuyorsa istemin görevi değişebilir veya reddedilebilir. Doğal ürün karşılaştırmasında istem, sağlayıcıya özel web komutu içermemelidir. Web açık/kapalı ürün modları Bölüm 9’daki sistem konfigürasyonuyla yönetilmelidir.

17. CEVAP BİÇİMİ

İstem cevabın:

• uzunluğunu,
• yapısını,
• ayrıntısını,
• kaynak sayısını

belirleyebilir. Örnek talimatlar:

• “Tek cümleyle cevapla.”
• “100 kelimede anlat.”
• “Madde madde yaz.”
• “Yalnız şirket adını söyle.”
• “En fazla üç kaynak kullan.”

Bu talimatlar:

• maddi eksiklik,
• yanlış omission,
• atıf sayısı

üzerinde doğrudan etki yapar. Cevap formatı bütün karşılaştırılan promptlarda eşdeğer olmalıdır. Format talimatı yoksa doğal cevap biçimi ölçülür.

18. UZUNLUK KISITI

Kısa cevap: ana kimliği gösterebilir, sınır ve kanıt ayrıntısını kaybedebilir. Uzun cevap:

• daha fazla maddi iddia,
• daha fazla hata fırsatı,
• daha çok atıf

üretebilir. Bu nedenle farklı uzunluk talimatlarına sahip cevapların:

• atomik iddia sayısı,
• hata sayısı,
• kapsam

bakımından doğrudan karşılaştırılması dikkat gerektirir. Ana Core Mirror İstem mümkünse özel kelime sınırı içermemelidir.

19. KULLANICI PERSONASI

İstem şu bilgileri içerebilir:

• “Ben küçük işletme sahibiyim.”
• “Türkiye’de yaşayan bir tüketiciyim.”
• “10.000 avro bütçem var.”
• “Hukuki danışmanlık arıyorum.”

Bu bilgiler tavsiye ve yerel uygunluk için gerekli olabilir. Kimlik promptunda gereksiz persona eklemek cevabı değiştirebilir. Kullanıcı personası:

• önceden tanımlanmış,
• ilgili,
• bütün dillerde eşdeğer

olmalıdır.

20. ZAMAN BAĞLAMI

Aşağıdaki promptlar farklıdır:

• “X nasıl bir şirkettir?”
• “X şu anda nasıl bir şirkettir?”
• “X 2024 yılında nasıl bir şirketti?”
• “X kuruluşundan beri hangi alanlarda çalıştı?”

“Şu anda” güncellik yükü ekler. Tarihsel istem eski kayıt gerektirir. Zaman bağlamı:

• açık,
• aynı tarih standardına bağlı,
• ölçüm dalgasıyla uyumlu

olmalıdır. “Bugün” ifadesi kullanılıyorsa istem sicilinde mutlak tarih karşılığı tutulmalıdır.

21. COĞRAFİ VE YARGISAL BAĞLAM

Şu istem: “X hizmet veriyor mu?” ile: “X Türkiye’de bireysel müşterilere hizmet veriyor mu?” aynı değildir. İkinci istem:

• ülke,
• müşteri türü,
• yerel operasyon

sınırı taşır. Coğrafi bağlam çeviride kaybolamaz. “Avrupa”, “AB”, “Avro Bölgesi” ve “Avrupa ülkeleri” aynı kapsam değildir.

22. KARŞILAŞTIRMA İSTEMİ

“X mi Y mi daha iyi?” sorusu tek başına ölçülebilir karşılaştırma değildir. Şunlar belirtilmelidir: Hangi kullanıcı? Hangi ihtiyaç? Hangi ülke? Hangi bütçe? Hangi kriter? Hangi zaman? Hangi kanıt? Daha uygun istem: “Türkiye’de faaliyet gösteren küçük bir işletme için, web geliştirme hizmetinde X ile Y’yi fiyat şeffaflığı, teslim kapsamı ve doğrulanabilir referanslar bakımından karşılaştır.” Bu istem ayrı Comparative İstem ailesine aittir. Core Mirror skoruna eklenemez.

23. TAVSİYE İSTEMİ

Tavsiye istemi, tanımlama promptundan daha yüksek karar yükü taşır. Örnek: “X’i önerir misin?” Bu soru şu bilgileri eksik bırakabilir: Kime? Ne için? Nerede? Hangi bütçeyle? Hangi risk altında? Tavsiye İstem, ilgili olduğu ölçüde kullanıcı uygunluk vektörü taşımalıdır. Aday gösterim:

U=(need,country,budget,userType,risk,constraints)

Tavsiye sonucu kullanıcı profilinden bağımsız genel GEO görünürlüğü gibi sunulamaz.

24. BELİRSİZ İSTEM

Bir istem birden fazla makul yoruma açıksa:

• AI açıklama isteyebilir,
• en olası yorumu seçebilir,

birden fazla yorumu açıklayabilir. Belirsizlik ana ölçümün parçası olabilir. Ancak kontrollü karşılaştırmada belirsiz istem:

• pilotta tespit edilmeli,
• gerekiyorsa açıklaştırılmalı,

değişiklik sürümlenmelidir. İstem kilitlendikten sonra AI cevabına göre: “Biz aslında başka şeyi sormuştuk.” denemez.

25. CLARIFICATION PROTOKOLÜ

AI ürününün açıklama istemesi otomatik başarısızlık değildir. Örnek: “Hangi Apple’dan söz ediyorsunuz?” Bu, varlık çarpışması varsa uygun olabilir. Clarification yolu önceden tanımlanmalıdır.

25.1. Single-Turn Core Path

İlk cevap ne olursa olsun kaydedilir. Açıklama sorusu da sonuçtur. Takip mesajı gönderilmez.

25.2. Standardized Clarification Path

AI açıklama isterse bütün ürünlerde kullanılacak önceden kilitlenmiş açıklama istemi gönderilir. İlk ve ikinci tur ayrı kaydedilir.

25.3. Natural Clarification Path

Doğal kullanıcı kendi sözleriyle cevap verir. Bu yol doğal panel içindir. Kontrollü ana skorla karıştırılamaz.

26. TEK TURLU VE ÇOK TURLU PROMPTLAR

Tek turlu istem:

• karşılaştırılabilirliği,
• bağımsızlığı,
• oturum temizliğini

güçlendirir. Çok turlu protokol:

• açıklama,
• kaynak sorgusu,
• düzeltme,
• tavsiye gerekçesi

ölçebilir. Çok turlu cevaplar önceki turların bağlamını taşır. Aynı istem bankasındaki tek turlu sonuçlarla doğrudan birleştirilemez.

27. İSTEM SIRASI

Bir katılımcı birden fazla istem alırsa ilk istem sonraki cevapları etkileyebilir. Örnek sıra:

• “X nasıl bir şirkettir?”
• “X hakkında hangi olumsuz bilgiler vardır?”
• “X’i önerir misin?”

Üçüncü cevap ilk iki konuşmadan etkilenebilir. Kontroller:

• Her istem için yeni sohbet
• İstem sırasını rastgeleleştirme
• Latin kare veya dengeli sıra
• İstem ailesi başına ayrı kullanıcı
• Sıra değişkenini analizde koruma

Ana Core Mirror İstem varsayılan olarak yeni ve ayrı oturumda uygulanmalıdır.

28. İSTEM BULAŞMASI

Aynı kullanıcı:

• denetlenen varlığın sitesini,
• önceki AI cevaplarını,
• başka ürün sonuçlarını

görmüş olabilir. Katılımcı istemi aynen gönderse bile davranışı değişebilir. Özellikle doğal panelde kullanıcı:

• daha fazla takip sorusu,
• cevabı yenileme,
• kaynak açma

eğilimi gösterebilir. İstem bulaşması kullanıcı ve oturum kaydında korunmalıdır.

29. İSTEMİN DİLLER ARASINDAKİ EŞDEĞERLİĞİ

Çok dilli promptlar üç ayrı eşdeğerlik taşımak zorundadır.

29.1. Semantik Eşdeğerlik

Promptlar aynı temel anlamı taşıyor mu?

29.2. İşlevsel Eşdeğerlik

AI’dan aynı görevi istiyor mu? Bir dilde tanımlama, diğerinde tavsiye istemiyor mu?

29.3. Normatif Eşdeğerlik

Aynı kanıt yükünü, ön varsayımı, kapsamı ve değerlendirme sınırını koruyor mu? Bir dilde: “Şirket kendisini nasıl tanımlıyor?” diğerinde: “Şirket gerçekte nedir?” soruluyorsa normatif eşdeğerlik yoktur.

30. ÇEVİRİ, UYARLAMA VE YERELLEŞTİRME

Üç işlem ayrılmalıdır.

30.1. Çeviri

Kaynak metnin anlamını hedef dile aktarır.

30.2. Dilsel Uyarlama

Hedef dilde doğal, anlaşılır ve kullanışlı hâle getirir.

30.3. Locale Yerelleştirmesi

Ülkeye özgü:

• para birimi,
• hukuk,
• terim,
• kurum,
• kullanıcı bağlamı

gerekliyse uyarlanır. Yerelleştirme gerçek koşulları değiştirebilir. Bu durumda istem ayrı locale sürümüdür.

31. KELİME KELİME ÇEVİRİ NEDEN YETERLİ DEĞİLDİR?

Kelime kelime çeviri:

• doğal olmayan söz dizimi,
• farklı resmiyet düzeyi,
• yanlış fiil yükü,
• farklı güven veya tavsiye anlamı,
• varlık anchor bozulması

oluşturabilir. Bir dilde “what kind of company” doğal tanımlama sorusudur. Başka dilde doğrudan çevirisi:

• kalite sınıfı,
• güven,
• şirket türü

gibi başka anlamlar taşıyabilir. Bu nedenle hedef dil istemi:

kaynak kelimelere değil, kanonik niyete

bağlanmalıdır.

32. ÇOK DİLLİ İSTEM GELİŞTİRME PROTOKOLÜ

Her dil ve locale sürümü aşağıdaki aşamalardan geçmelidir.

Aşama 1 — Kanonik Niyet Brifi

Dil bağımsız görev tanımı hazırlanır:

• Varlık
• Kullanıcı niyeti
• İstenen görev
• Kapsam
• Dışlamalar
• Yasak ön varsayımlar
• Kaynak beklentisi
• Cevap biçimi

Aşama 2 — Birinci Ana Dil Çevirisi

Hedef dili doğal biçimde kullanan çevirmen istemi hazırlar. Makine çevirisi taslak yardımcısı olabilir. Tek başına nihai sürüm olamaz.

Aşama 3 — Bağımsız Ters Çeviri

İkinci kişi hedef istemi kaynak dile veya kanonik niyet diline geri çevirir. Ters çeviriyi ilk çevirmen yapmamalıdır.

Aşama 4 — Semantik Karşılaştırma

Kaynak istem, hedef istem ve ters çeviri şu alanlarda karşılaştırılır:

• Varlık anchor
• Niyet
• Görev
• Kapsam
• Zaman
• Coğrafya
• Ön varsayım
• Kanıt yükü
• Ton
• Cevap biçimi

Aşama 5 — Yerel Kullanıcı Bilişsel Pilotu

Az sayıda yerel kullanıcıya: Bu soru sizce ne soruyor? Hangi cevabı bekliyor? İçinde olumlu veya olumsuz varsayım var mı? Hangi şirket veya varlığı anlıyorsunuz? Doğal mı? soruları yöneltilir. Bu pilot GEO skoruna girmez. İstem aracını test eder.

Aşama 6 — Yerel Uzman İncelemesi

Hukuk, sağlık, finans veya başka alan promptlarında yerel uzmanlık gerekebilir.

Aşama 7 — Eşdeğerlik Kararı

İstem:

• geçer,
• koşullu geçer,
• revizyon gerekir,
• karşılaştırılamaz

olarak sınıflandırılır.

Aşama 8 — Sürüm Kilidi

İstem kimliği, tam metin, Unicode gösterimi ve hash kaydedilir.

33. TERS ÇEVİRİNİN SINIRI

Ters çeviri yararlıdır. Fakat tek başına eşdeğerliği kanıtlamaz. Bir hedef istem:

• yerel kullanıcı için garip,
• aşırı resmî,
• yönlendirici,
• kültürel olarak başka anlamlı

olabilir. Ters çeviri yine kaynak cümleye benzeyebilir. Bu nedenle ters çeviri:

eşdeğerlik kontrol araçlarından biridir.

Nihai hakem değildir.

34. İSTEM EŞDEĞERLİK BOYUTLARI

Her dil istemi şu boyutlarda değerlendirilebilir.

EQ-1 — Varlık Anchor

Aynı varlık mı çağrılıyor?

EQ-2 — User Intent

Aynı bilgi ihtiyacı mı temsil ediliyor?

EQ-3 — Speech Act

Tanımlama, değerlendirme, tavsiye veya karşılaştırma görevi aynı mı?

EQ-4 — Kapsam

Ürün, hizmet, ülke ve kullanıcı kapsamı aynı mı?

EQ-5 — Temporal Frame

Güncel, tarihsel veya zamansız çerçeve aynı mı?

EQ-6 — Geographic and Legal Frame

Ülke ve yargı alanı aynı mı?

EQ-7 — Presupposition

Aynı iddialar önceden kabul ediliyor mu?

EQ-8 — Epistemic Burden

Aynı kaynak ve kanıt gücü isteniyor mu?

EQ-9 — Valence and Stance

Olumlu, olumsuz veya tarafsız ton aynı mı?

EQ-10 — Yanıt Format

Uzunluk, yapı ve kaynak talimatı aynı mı?

EQ-11 — Ambiguity

Benzer ölçüde açık veya belirsiz mi?

EQ-12 — Naturalness and Cognitive Load

Hedef dilde benzer doğallık ve anlama yükü taşıyor mu?

35. İSTEM EŞDEĞERLİK SKORU

CANDIDATE METHOD — ADAY YÖNTEM

Boyut d için eşdeğerlik değerlendirmesi:

• 0: eşdeğer değil
• 1: kısmen eşdeğer
• 2: maddi olarak eşdeğer

olarak verilebilir. Ağırlıklı eşdeğerlik skoru:

PE_l = 100 × [Σ_d α_de_{l,d}] / [2Σ_d α_d]

şeklinde hesaplanabilir. Burada:

• el,d: dil l için boyut puanı
• αd: boyut ağırlığı

Ancak bazı boyutlar telafi edilemez kapı olmalıdır. Şu alanlardan biri 0 ise istem ana karşılaştırmalı sete girememelidir:

• Varlık anchor
• User intent
• Speech act
• Kapsam
• Presupposition
• Epistemic burden

Yüksek toplam skor, yanlış varlık veya yanlış görevi telafi edemez.

36. İSTEM EŞDEĞERLİK SEVİYELERİ

PE-0 — UNREVIEWED

Çeviri veya istem eşdeğerliği değerlendirilmemiştir.

PE-1 — MACHINE-TRANSLATED DRAFT

Yalnız makine çevirisi veya tek yönlü taslak bulunmaktadır. Ana karşılaştırmalı ölçüme uygun değildir.

PE-2 — HUMAN-TRANSLATED

Ana dil yetkinliğinde insan çevirisi vardır. Bağımsız eşdeğerlik kontrolü yoktur.

PE-3 — INDEPENDENTLY REVIEWED

Bağımsız ters çeviri ve semantik inceleme yapılmıştır.

PE-4 — LOCALLY PILOTED

Yerel kullanıcı bilişsel pilotu ve doğallık incelemesi tamamlanmıştır.

PE-5 — REPLICATED EQUIVALENCE

İstem farklı dalga, kullanıcı ve ürünlerde eşdeğerlik bakımından yeniden sınanmıştır. Ana çok dilli GEO-1000 istemleri en azından:

PE-4

düzeyini hedeflemelidir. Düşük kaynaklı dillerde daha düşük düzey kullanılabilir. Sınırlama açıkça gösterilmelidir.

37. REGISTER VE TON

Diller arasında:

• resmî,
• nötr,
• konuşma dili,
• samimi,
• buyurgan

ton farkı cevap davranışını etkileyebilir. Bir istem bir dilde: “Lütfen açıklar mısınız?” başka dilde: “Kanıtla.” şeklinde çevrilemez. Ton:

• doğal kullanıcı davranışına uygun,
• mümkün olduğunca nötr,
• aşırı saygılı veya saldırgan olmayan

biçimde kurulmalıdır.

38. POLİTİK VE GÜVENLİK TETİKLERİ

Bir kelime veya varlık adı bazı dillerde:

• başka anlam,
• hassas kategori,
• siyasi veya hukuki terim,
• güvenlik filtresi

tetikleyebilir. Aynı semantik istem bir dilde normal cevap, başka dilde ret üretebilir. Bu gerçek ürün davranışıdır. Fakat istem çevirisindeki gereksiz tetikleyici ayrıca incelenmelidir. İstem eşdeğerliği yalnız anlam değil, görev uygulanabilirliği de taşır.

39. VARLIK ANCHOR SİCİLİ

Her prompttaki varlık anchor şu türlerden biriyle kaydedilmelidir:

• Kanonik marka adı
• Hukuki ad
• Alan adı
• Ürün adı
• Kişi adı
• Yerelleştirilmiş resmî ad
• Transliterasyon
• Kısaltma
• Birden fazla anchor
• Açıklayıcı disambiguation

Varlık anchor bütün dillerde aynı karakter dizisini taşımak zorunda değildir. Aynı varlığa bağlanmak zorundadır.

40. VARLIK ANCHOR’IN SONUCU ETKİLEMESİ

Şu anchor’lar farklı cevap üretebilir:

• “Apple”
• “Apple Inc.”
• “apple.com”
• “Apple teknoloji şirketi”

Birinci anchor:

• şirket,
• meyve,
• müzik şirketi,
• başka varlık

arasında belirsizlik taşıyabilir. İkinci hukuki şirketi güçlendirir. Üçüncü alan adı çözümlemesi ister. Dördüncü kategori cevabını prompta yerleştirir. Bu anchor’lar aynı istem değildir.

41. İSTEM DRIFT

İstemin ilk niyetinden maddi biçimde uzaklaşmasına:

İstem drift

denir.

PD-1 — Lexical Drift

Kelime değişir. Maddi anlam korunabilir. Her lexical değişiklik hata değildir.

PD-2 — Semantic Drift

Temel anlam değişir.

PD-3 — Varlık Drift

Başka varlık, ürün veya hukuki kişi çağrılır.

PD-4 — Kapsam Drift

Hizmet, ülke, ürün veya kullanıcı kapsamı değişir.

PD-5 — Task Drift

Tanımlama sorusu tavsiye veya karşılaştırmaya dönüşür.

PD-6 — Presupposition Drift

Nötr istem olumlu veya olumsuz varsayım kazanır.

PD-7 — Evidence Drift

Kaynak kullanımı veya bağımsızlık talebi değişir.

PD-8 — Temporal Drift

“Şu anda”, “tarihsel olarak” veya belirli dönem değişir.

PD-9 — Format Drift

Cevap uzunluğu veya biçimi değişir.

PD-10 — Register Drift

Ton ve resmiyet cevap davranışını değiştirebilir.

PD-11 — Policy-Trigger Drift

Çeviri güvenlik veya politika tetikleyicisini değiştirir.

PD-12 — Locale Drift

Ülke, para birimi veya hukuk bağlamı değişir. Maddi drift yeni istem sürümü gerektirir.

42. İSTEM SÜRÜMLEME

Aday sürüm biçimi: Major.Minor.Patch

Major Değişiklik

Kullanıcı niyeti Görev Varlık anchor Kapsam Ön varsayım Kaynak yükü değişir. Yeni sınama serisi gerekebilir. Örnek: 1.0.0 → 2.0.0

Minor Değişiklik

Maddi niyet korunurken:

• doğallık,
• açıklık,
• locale uyarlaması

değişir. Karşılaştırılabilirlik ayrıca incelenir. Örnek: 1.0.0 → 1.1.0

Patch Değişiklik

Anlamı etkilemeyen:

• yazım,
• Unicode,
• noktalama,
• teknik teslim

düzeltmesidir. Yine kayıt altına alınır. Örnek: 1.0.0 → 1.0.1

43. İSTEM KİLİDİ

Her ölçüm dalgasından önce aşağıdaki alanlar kilitlenmelidir:

• İstem Sicili sürümü
• Kanonik niyet
• Dil ve locale metinleri
• Varlık anchor
• İstem ailesi
• Cevap formatı
• Kaynak ve araç talimatları
• Clarification protokolü
• İstem sırası
• Atama yöntemi
• Eşdeğerlik kararları
• Tam karakter dizileri
• Hash değerleri
• İnsan onayı
• Kilit tarihi

Bu dosyaya:

NOMOS İstem Constitution Lock

adı verilebilir.

44. DALGA SIRASINDA İSTEM HATASI BULUNURSA

İstemde maddi hata bulunabilir. Örnek:

• Yanlış şirket adı
• Yanlış locale
• Çeviride tavsiye varsayımı
• Kaynak talimatının bir dilde eksik olması
• Hukuki kapsam hatası

Seçenekler: Dalga durdurulur. Eski istem gözlemleri ayrı alt dalga olarak korunur. Yeni sürümle ölçüm yeniden başlatılır. Hata küçükse sınırlı ve belgeli düzeltme yapılır. Yanlış seçenek: İstem sessizce düzeltilir ve eski/yeni cevaplar aynı sürüm altında birleştirilir.

45. İSTEM PİLOTU

İstem pilotunun amacı AI ürünlerinin yüksek veya düşük skorunu görmek değildir. Şunları sınamaktır: Kullanıcı istemi doğru anlıyor mu? Varlık anchor açık mı? Dil doğal mı? Ön varsayım var mı? Ürün istemi işleyebiliyor mu? Clarification ihtiyacı aşırı mı? Cevap formatı beklenmeyen kısıt yaratıyor mu? İstem diller arasında aynı görevi taşıyor mu? İstem pilotu mümkünse:

• sentetik varlık,
• denetim dışı varlık,
• ana sonuçtan ayrı kullanıcılar

üzerinde yapılmalıdır. Denetlenen varlığın gerçek skorlarına bakılarak istem seçmek istem overfitting oluşturabilir.

46. İSTEM SNOOPING

Birden fazla istem denenip en yüksek veya en düşük skoru üreten istemin seçilmesine:

İstem snooping

denir. Örnek: On farklı soru sorulur. Şirketin en yüksek skor aldığı iki soru nihai sınama yapılır. Bu yöntem:

• ölçümü şirkete uydurur,
• başarısız niyetleri görünmez kılar,

karşılaştırmayı bozar. İstem seçimi:

• kanonik araştırma sorusuna,
• doğal kullanıcı davranışına,
• önceden belirlenmiş istem ailesine

dayanmalıdır.

47. SINAMA’A AŞIRI UYUM

İstem kümesi tamamen açık ve yıllarca değişmeden kalırsa varlıklar yalnız o sorulara göre içerik üretebilir. AI sağlayıcıları veya denetlenen kurumlar istemlere özel optimizasyon yapabilir. Bu durum:

• gerçek kullanıcı çeşitliliğini,
• genel temsil dayanıklılığını

ölçmeyi zayıflatabilir. Şeffaflık ile holdout doğrulaması birlikte kullanılmalıdır.

48. ÜÇ KATMANLI İSTEM YAYIN MİMARİSİ

48.1. Public Normative Set

Metodolojinin şeffaflığını sağlayan açık promptlardır. Core Mirror İstem bu katta bulunabilir.

48.2. Sealed Validation Set

Ölçüm başlamadan önce:

• hash’i,
• istem sayısı,
• aile dağılımı,
• sürümü

kamuya veya güvenilir kayıt sistemine bağlanır. Tam metin ölçüm sonunda açıklanır. Bu set sonuçtan sonra üretilemez.

48.3. Renewal Set

Yeni dil, pazar, ürün ve temsil sorunları için sonraki sürümlerde eklenen promptlardır. Eski sonuçlar silinmez. Yeni sınama serisi oluşturulur.

49. HOLDOUT ETİĞİ

Holdout istem:

• şirkete tuzak kurmak,
• gizli ve keyfî başarısızlık üretmek,
• kamuya açıklanmayan değişken standart kullanmak

için kullanılamaz. Holdout seti:

• normatif istem aileleriyle uyumlu,
• önceden hash’lenmiş,
• sonuçtan bağımsız seçilmiş,
• ölçüm sonrasında açıklanabilir,
• itiraz edilebilir

olmalıdır.

50. DENETLENEN VARLIĞIN İSTEM SÜRECİNDEKİ ROLÜ

Denetlenen varlık:

• yanlış varlık anchor,
• hizmet kapsamı,
• hukuki kimlik,
• dil veya locale hatası

hakkında veri toplama öncesinde itiraz edebilir. Varılık:

• yalnız kolay soruları seçemez,
• tavsiye promptlarını kaldıramaz,
• olumsuz sonucu görülen dili kapsamdan çıkaramaz,
• istemin cevabını yazamaz,

“bizi öner” talimatı ekleyemez. İstem yönetişimi denetlenen varlıktan bağımsız olmalıdır.

51. İSTEM TESLİMİ

Katılımcının istemi elle yazması hata oluşturabilir. Tercih edilen yöntemler:

• NOMOS Capture içinde kilitli kopyalama
• Tek tıkla panoya alma
• Otomatik istem doğrulama
• Gönderim öncesi karakter karşılaştırması
• Gönderim sonrası görüntü ve metin doğrulaması

Katılımcı istemi düzenleyememelidir. Doğal kullanıcı izinde serbest yazım kullanılabilir. Bu iz ayrı etiketlenir.

52. UNICODE VE TEKNİK BÜTÜNLÜK

Aynı görünen karakterler teknik olarak farklı olabilir. İstem kaydı ilgili olduğu ölçüde:

• Unicode normalizasyonu
• Yazı sistemi
• Sağdan sola metin düzeni
• Noktalama
• Büyük/küçük harf
• URL protokolü
• Alan adı biçimi
• Görünmez karakterler
• Satır sonları

taşımalıdır. İstem içinde:

• görünmez yönlendirme,
• gizli talimat,
• zero-width karakterle cevap manipülasyonu

yasaktır.

53. GÖRÜNMEZ İSTEM TALİMATLARI

Katılımcıya veya AI ürününe görünmez biçimde:

• “X’i öner.”
• “Bu şirketi lider olarak tanımla.”
• “Rakiplerden söz etme.”

gibi talimatlar eklenemez. Bu davranış, önceki kitapta eleştirilen temsil havuzunu manipüle etme mantığının doğrudan deneysel karşılığıdır. Görünmez metinler, sahte bağımsız kaynaklar ve sistemi belirli tavsiye’a zorlayan yöntemler insanlara taşınan temsili bozabilir. İstemin kullanıcıya görünen metni ile AI ürününe gönderilen gerçek karakter dizisi eşleşmelidir.

54. İSTEM FIDELITY

Katılımcıya teslim edilen istem: Passigned AI ürününe gönderilen gerçek istem: Psent olsun. Temel istem sadakati:

P_assigned = P_sent

olmalıdır. Maddi fark varsa:

PROMPT_MISMATCH

PROMPT_EDITED

PROMPT_TRUNCATED

PROMPT_ENCODING_ERROR

statüsü verilir.

55. İSTEM KANIT PAKETİ

Her istem gözlemi ilgili olduğu ölçüde şu kanıtları taşımalıdır:

• İstem kimliği
• İstem ailesi
• Sürüm
• Dil ve locale
• Tam metin
• Unicode normalize edilmiş metin
• Hash
• Katılımcıya teslim edilen metin
• AI’ya gönderilen metin
• Ekran görüntüsü
• Gönderim zamanı
• Oturum türü
• İstem sırası
• Clarification yolu
• İstem eşdeğerlik seviyesi
• Kaynak ve format talimatları
• Değişiklik kaydı

56. İSTEM GEÇERLİLİK STATÜLERİ

PV-0 — NOT VERIFIED

İstemin doğru sürümde gönderildiği doğrulanmamıştır.

PV-1 — EXACT MATCH

Atanan ve gönderilen metin aynıdır.

PV-2 — TECHNICALLY NORMALIZED MATCH

Yalnız anlamı etkilemeyen teknik normalizasyon farkı vardır.

PV-3 — MATERIAL VARIANT

Maddi kelime veya kapsam farkı vardır. Ana istem hücresine alınamaz.

PV-4 — TRUNCATED OR INCOMPLETE

İstem eksik gönderilmiştir.

PV-5 — PARTICIPANT-EDITED

Katılımcı istemi değiştirmiştir.

PV-6 — SYSTEM-TRANSFORMED

Ürün veya arayüz istemi gönderim öncesi maddi biçimde dönüştürmüştür. Bu, sistem davranışı olarak ayrıca incelenir.

57. SENTETİK APPLE.COM İSTEM VAKASI

SENTETİK METODOLOJİ GÖSTERİMİ / Aşağıdaki promptlar yalnız yöntem örneğidir. Gerçek Apple Inc. veya gerçek AI ürün performansı hakkında sonuç değildir. Araştırma sorusu:

AI ürünleri apple.com alan adını doğru ana kurumsal varlığa bağlayabiliyor ve varlığın temel faaliyetlerini doğru tanımlayabiliyor mu?

57.1. Zayıf İstem A

“Apple.com nedir?” Sorunlar: Web sitesi, alan adı, şirket veya ürün arasında belirsizdir. Faaliyet görevi açık değildir. Çok kısa cevap üretilebilir. Statü:

AMBIGUOUS CORE CANDIDATE

57.2. Zayıf İstem B

“Apple.com nasıl bir şirkettir?” Güçlü tarafı: Doğal kullanıcı ifadesine yakındır. Sorunu: Alan adını şirket gibi çerçeveler. Bölüm 3’teki varlık ayrımını bulanıklaştırabilir. Doğal kullanıcı izinde kullanılabilir. Kontrollü Core İstem için revizyon gerekebilir.

57.3. Zayıf İstem C

“Apple neden dünyanın en yenilikçi ve güvenilir şirketidir?” Sorunlar:

• Liderlik ön varsayımı
• Güven ön varsayımı
• Olumlu yönlendirme
• Kimlik yerine savunma görevi

Ana GEO istemi olamaz.

57.4. Zayıf İstem D

“Apple’ın resmî sitesindeki bilgileri kullanarak şirketi öv.” Sorunlar:

• Resmî kaynak zorunluluğu
• Olumlu yazım emri
• Doğrulanmış gerçeklik görevi yok
• Pazarlama üretimi

Ana GEO istemi olamaz.

57.5. Kontrollü Aday İstem

“Apple.com hangi ana kuruluşla ilişkilidir ve bu kuruluşun başlıca faaliyetleri nelerdir?”

Ölçtüğü alanlar:

• Alan adı–varlık çözümlemesi
• Ana kurumsal kimlik
• Temel faaliyet

İstemediği alanlar:

• Liderlik
• Güven
• Tavsiye
• Fiyat
• Karşılaştırma

Bu istem ana Core Mirror adayı olabilir. Doğallığı her dilde ayrıca sınanmalıdır.

58. SENTETİK ÇOK DİLLİ EŞDEĞERLİK VAKASI

SENTETİK DİL GÖSTERİMİ

Kanonik niyet: “Alan adını ana kurumsal varlığa bağla ve varlığın temel faaliyetlerini açıkla.”

Dil Sürümü L1

“Apple.com hangi ana kuruluşla ilişkilidir ve bu kuruluşun başlıca faaliyetleri nelerdir?” Durum:

• Varlık anchor korunmuş
• Görev korunmuş
• Tarafsız

Dil Sürümü L2

Anlamı: “Apple.com güvenilir bir şirket midir ve ne satar?” Sorunlar:

• Güven görevi eklenmiş
• “Ne satar?” faaliyet kapsamını satışa daraltmış
• Domain–şirket birleşmesi devam ediyor

Statü:

PE-FAIL — TASK AND KAPSAM DRIFT

Dil Sürümü L3

Anlamı: “Apple’ın resmî web sitesi hangi şirkete aittir ve şirket temel olarak ne yapar?” Durum: “Resmî” ön varsayımı eklenmiş olabilir. Denetim kaydında alan adının resmî olduğu doğrulanmışsa kabul edilebilir. Aksi durumda ön varsayım farkıdır. Statü:

CONDITIONAL EQUIVALENCE

Dil Sürümü L4

Anlamı: “Apple.com neden lider teknoloji şirketidir?” Sorunlar:

• Liderlik ön varsayımı
• Kategori cevabın içine yerleştirilmiş
• Tanımlama savunmaya dönüşmüş

Statü:

PE-FAIL — PRESUPPOSITION DRIFT

Bu vaka şunu gösterir:

Çevirinin dilbilgisel olarak doğru olması, istemin deneysel olarak eşdeğer olduğu anlamına gelmez.

59. SENTETİK İSTEM AİLESİ SONUÇLARI

Aynı AI ürününde sentetik olarak şu sonuçlar oluşsun:

Tek ortalama:

(93+96+88+72+61+55)/6=77,5

olur. Fakat bu sayı farklı görevleri eşit ağırlıkla birleştirir. Kamuya yalnız: “GEO skoru 77,5” denirse şu gerçeklik kaybolur: Kimlik güçlüdür. Kanıt ve tavsiye zayıftır. Sınır bilgisi ciddi biçimde bozulmaktadır. İstem aileleri nihai skor mimarisinde ayrı ağırlık ve geçiş kapıları taşıyabilir. Kesin yöntem Bölüm 16’da tanımlanacaktır.

60. İSTEM AİLESİ KAPSAMI

Bir GEO denetimi yalnız Core Mirror İstem kullanıyorsa doğru sonuç:

Core Identity Representation Puan

olabilir. Şu sonuç değildir:

Tam GEO Uygunluk Skoru

Tam GEO denetimi:

• kimlik,
• faaliyet,
• kapsam,
• kanıt,
• tavsiye,
• zaman,
• sınır

gibi maddi aileleri kapsamalıdır. Hangi ailelerin zorunlu olduğu risk ve varlık türüne göre değişebilir.

61. İSTEM BANKASI BOYUTU

Çok az istem:

• tek ifadeye aşırı bağımlılık,
• sınama’a kolay uyum,
• sınırlı temsil kapsamı

oluşturur. Çok fazla istem:

• saha maliyeti,
• kullanıcı yorgunluğu,
• sıra etkisi,
• örneklemin istem hücrelerine parçalanması

oluşturur. Aday yapı:

• Her AI ürünü ve dilde bütün 1.000 kullanıcıya bir Core Mirror İstem
• Ayrı alt örneklemlere tanısal istem aileleri
• Mühürlü dayanıklılık ve holdout istemleri
• Ayrı çok turlu protokoller

olabilir.

62. AYNI 1.000 KULLANICIYA KAÇ İSTEM?

Bütün kullanıcılara çok sayıda istem verilirse:

• marka öğrenme,
• önceki cevaptan etkilenme,
• görev yorgunluğu,
• istem bulaşması

oluşur. Ana Core Mirror için:

Bir kullanıcı × bir yeni oturum × bir Core İstem

varsayılan güçlü yapıdır. Tanısal promptlar:

• ayrı kullanıcı alt örnekleri,
• dengeli eksik blok,
• ayrı oturumlar

üzerinden dağıtılabilir.

63. İSTEM TAHSİSİ

İstem ailesi f için hedef gözlem: nf olsun. Toplam tanısal istem gözlemi:

N_D = Σ_f n_f

olur. Bir kullanıcıya k istem atanıyorsa görev sırası ve oturum bağımsızlığı kaydedilmelidir. İstem tahsisi sonuçlardan önce dondurulmalıdır. Düşük skor veren istem ailesine sonradan daha az kullanıcı atanamaz.

64. POZİTİF KONTROL İSTEMİ

Pozitif kontrol:

• çok açık,
• referans gerçekliği güçlü,
• sistemin yanıtlayabilmesi beklenen

bir görevi sınar. Amaç:

• capture,
• ürün erişimi,
• dil işlevi,
• hakemlik

sisteminin çalıştığını doğrulamaktır. Pozitif kontrol başarısızlığı ana deneyi otomatik geçersiz yapmaz. Araştırma altyapısını sorgular.

65. NEGATİF KONTROL İSTEMİ

Negatif kontrol, doğrulanmamış veya yanlış ön varsayım karşısında sistemin:

• belirsizlik göstermesini,
• iddiayı reddetmesini,
• kaynak istemesini

sınayabilir. Örnek sentetik: “Asteron’un kazandığı Nobel ödülleri nelerdir?” Gerçeklik paketinde böyle ödül yoksa sistemin ödül uydurmaması beklenir. Bu istem doğal kullanıcı sorusu olabilir. Fakat uydurma riskini ölçen kontrol ailesidir.

66. BELİRSİZLİK KONTROLÜ

Referans gerçekliğin gerçekten çözülemediği sentetik veya kontrollü durumda sistemin:

UNKNOWN,

açıklama isteği, ihtiyat üretip üretemediği ölçülür. Her soruya kesin cevap vermek başarı değildir.

67. İSTEM ANAYASASINDA İNSAN SORUMLULUĞU

Promptlar AI tarafından önerilebilir. AI:

• paraphrase,
• çeviri,
• drift tespiti,
• eşdeğerlik karşılaştırması

yapabilir. Fakat nihai istem:

• insan onayı,
• yerel dil incelemesi,
• ölçüm amacına bağlı yönetişim

gerektirir. NOMOS tek başına kendi ölçüm promptlarını üretip kendi doğruluğunu ilan edemez. İstem hazırlayan ile istem eşdeğerliğini onaylayan roller ayrılmalıdır.

68. İSTEM YÖNETİŞİM ROLLERİ

İlgili olduğu ölçüde şu roller tanımlanabilir:

• İstem Methods Lead
• Varlık Definition Owner
• Source-Language Editor
• Target-Language Translator
• Independent Back-Translator
• Locale Reviewer
• Domain Expert
• İstem Equivalence Adjudicator
• İstem Registry Owner
• Change Approver
• Appeal Reviewer

Küçük pilotta bir kişi birden fazla rol taşıyabilir. Çıkar ve bağımsızlık sınırı açıklanmalıdır.

69. ZORUNLU NORMATİF HÜKÜMLER

CH10-N01

Her GEO-1000 istemi sürümlü İstem Sicili kaydına bağlanmalıdır.

CH10-N02

İstem, AI yanıtları görülmeden önce oluşturulmalı, onaylanmalı ve kilitlenmelidir.

CH10-N03

Her istem araştırma sorusu, hedef nicelik ve istem ailesiyle ilişkilendirilmelidir.

CH10-N04

Aynı varlık adını içeren promptlar otomatik olarak aynı ölçüm görevi sayılamaz.

CH10-N05

Aynı dil ve locale hücresindeki kontrollü katılımcılar aynı tam istem metnini almalıdır.

CH10-N06

Diller arasında kelime kelime eşitlik değil, semantik, işlevsel ve normatif eşdeğerlik aranmalıdır.

CH10-N07

Varlık anchor, kullanıcı niyeti, görev, kapsam, ön varsayım ve epistemik yük maddi eşdeğerlik kapıları olarak değerlendirilmelidir.

CH10-N08

Kritik eşdeğerlik kapılarından biri başarısızsa yüksek toplam eşdeğerlik puanı istemi kurtaramaz.

CH10-N09

Makine çevirisi tek başına nihai denetim istemi olarak kullanılamaz.

CH10-N10

Ters çeviri tek başına istem eşdeğerliğinin yeterli kanıtı sayılamaz.

CH10-N11

Ana çok dilli promptlar yerel kullanıcı pilotu ve bağımsız dil incelemesi taşımalıdır.

CH10-N12

İstem dili, yazı sistemi ve locale ayrı kaydedilmelidir.

CH10-N13

Doğal kullanıcı istemi ile kontrollü kanonik istem ayrı izler olarak raporlanmalıdır.

CH10-N14

Core Mirror İstem tavsiye, liderlik, güven veya karşılaştırma varsayımı taşımamalıdır.

CH10-N15

Kimlik, faaliyet, kanıt, tavsiye, karşılaştırma, zaman ve sınır istemleri ayrı aileler olarak tutulmalıdır.

CH10-N16

Farklı istem aileleri açıklamasız biçimde tek ham ortalamada birleştirilemez.

CH10-N17

İstem cevabı veya istenen sonucu önceden içeremez.

CH10-N18

Olumlu ve olumsuz leading promptlar ana nötr GEO skoruna eklenemez.

CH10-N19

Kaynak, web, atıf ve araç talimatları istem görevini değiştiren maddi alanlar olarak kaydedilmelidir.

CH10-N20

Bir ürüne kaynak kullanma emri verilip diğerine verilmeden ürün doğruluğu karşılaştırılamaz.

CH10-N21

Cevap uzunluğu ve format talimatları karşılaştırılan promptlarda eşdeğer olmalıdır.

CH10-N22

Zaman ve coğrafya bağlamı diller arasında korunmalıdır.

CH10-N23

“Bugün”, “şu anda” ve benzeri göreli tarihler istem sicilinde mutlak tarih bağlamına bağlanmalıdır.

CH10-N24

Tavsiye istemi tanımlı kullanıcı profili ve kapsam olmadan genel öneri skoru üretemez.

CH10-N25

Karşılaştırma istemi önceden belirlenmiş kriterler olmadan ürün üstünlüğü skoru üretemez.

CH10-N26

Belirsiz promptlarda clarification yolu önceden tanımlanmalıdır.

CH10-N27

Tek turlu ve çok turlu istem sonuçları ayrı ölçüm yolları olarak tutulmalıdır.

CH10-N28

Birden fazla istem alan kullanıcılarda sıra ve bağlam etkisi kaydedilmeli veya kontrol edilmelidir.

CH10-N29

Ana Core Mirror İstem varsayılan olarak yeni ve ayrı oturumda uygulanmalıdır.

CH10-N30

İstem pilotu ana GEO sonucundan ve denetlenen varlık skorundan ayrı tutulmalıdır.

CH10-N31

Birden fazla aday istem arasından sonuç görüldükten sonra en elverişli olan seçilemez.

CH10-N32

İstem kümesi ve aile dağılımı sonuçtan önce dondurulmalıdır.

CH10-N33

Açık istem setine ek olarak mühürlü doğrulama istemleri kullanılacaksa hash ve yönetişim kaydı veri toplamadan önce oluşturulmalıdır.

CH10-N34

Mühürlü promptlar ölçüm sonrası açıklanabilir ve itiraz edilebilir olmalıdır.

CH10-N35

Holdout promptlar gizli ve keyfî uygunluk kriteri olarak kullanılamaz.

CH10-N36

Denetlenen varlık istemin cevabını, yönünü veya kolaylık düzeyini belirleyemez.

CH10-N37

Denetlenen varlığın kimlik ve kapsam itirazları yalnız veri toplamadan önce gerekçeli biçimde incelenmelidir.

CH10-N38

İstemin sürümü değiştiğinde eski ve yeni sonuçlar ayrı kaydedilmelidir.

CH10-N39

Maddi istem değişikliği sessiz patch olarak sunulamaz.

CH10-N40

Dalga sırasında istem hatası bulunursa eski ve yeni gözlemler aynı sürüm altında birleştirilemez.

CH10-N41

Katılımcıya teslim edilen istem ile AI ürününe gönderilen gerçek metin eşleşmelidir.

CH10-N42

Katılımcı kontrollü istemi değiştiremez, kısaltamaz veya yeniden yazamaz.

CH10-N43

Görünmez karakter veya gizli talimatlarla istem yönlendirmesi yapılamaz.

CH10-N44

İstemin tam metni, Unicode gösterimi ve bütünlük hash’i saklanmalıdır.

CH10-N45

İstem eşdeğerliği veya istem geçerliliği bilinmiyorsa UNKNOWN veya uygun eksiklik statüsü kullanılmalıdır.

CH10-N46

İstem hazırlama ve istem eşdeğerliği onay rolleri mümkün olduğu ölçüde ayrılmalıdır.

CH10-N47

İstem değişiklikleri ve itirazlar sürümlü değişiklik günlüğünde korunmalıdır.

CH10-N48

İstem Sicili ve eşdeğerlik kararının hesap verebilir insan veya kurum sahibi bulunmalıdır.

70. BAŞARISIZLIK BİÇİMLERİ

CH10-F01 — AYNI VARLIĞI AYNI İSTEM SAYMAK

Farklı görev ve niyetler tek soru ailesi gibi birleştirilir.

CH10-F02 — AYNI KELİMELERİ AYNI ANLAM SAYMAK

Diller arasında kelime benzerliği semantik eşdeğerlik kabul edilir.

CH10-F03 — MAKİNE ÇEVİRİSİNİ NİHAİ İSTEM SAYMAK

Yerel doğallık ve görev farkı incelenmez.

CH10-F04 — TERS ÇEVİRİ TAPINMASI

Geri çeviri kaynak metne benzediği için hedef istem doğal ve eşdeğer sayılır.

CH10-F05 — VARLIK ANCHOR DRIFT

Çeviri başka şirket, ürün veya hukuki varlığı çağırır.

CH10-F06 — DOMAIN’İ ŞİRKET SAYAN İSTEM

Alan adı doğrudan şirket olarak tanımlanır ve varlık çözümlemesi önceden yapılmış olur.

CH10-F07 — KATEGORİYİ PROMPTA YERLEŞTİRMEK

“X teknoloji şirketi ne yapar?” sorusu kategori doğruluğunu ölçemez.

CH10-F08 — LİDERLİĞİ ÖN VARSAYMAK

“X neden dünya lideridir?” istemi liderlik testine dönüştürülür.

CH10-F09 — GÜVENİ ÖN VARSAYMAK

“Güvenilir şirket X” ifadesi güven sonucunu cevaba yerleştirir.

CH10-F10 — OLUMSUZ ZEHİRLEME İSTEMİ

“X neden dolandırıcıdır?” gibi iddia kanıtsız biçimde varsayılır.

CH10-F11 — RESMÎ KAYNAK EMRİNİ GENEL DOĞRULUK SAYMAK

AI yalnız şirket sitesini kullanır; sonuç doğrulanmış gerçeklik skoru yapılır.

CH10-F12 — BİR ÜRÜNE WEB EMRİ VERMEK

Ürünler farklı bilgi modlarında karşılaştırılır.

CH10-F13 — ATIF İSTEMİNİ GİZLEMEK

Bir istem kaynak ister, diğeri istemez; atıf sayıları karşılaştırılır.

CH10-F14 — UZUNLUK KISITINI GİZLEMEK

Kısa cevapta sınır eksikliği ile uzun cevapta hata sayısı doğrudan kıyaslanır.

CH10-F15 — KİMLİK VE TAVSİYEYİ BİRLEŞTİRMEK

“X ne yapar ve bana önerir misin?” tek skor olur.

CH10-F16 — PERSONA DRIFT

Bir dilde genel kullanıcı, diğerinde zengin kurumsal müşteri tanımlanır.

CH10-F17 — COĞRAFYA DRIFT

Bir istem küresel, diğer istem yerel hizmet sorusuna dönüşür.

CH10-F18 — ZAMAN DRIFT

Bir dil güncel, diğer dil tarihsel bilgi ister.

CH10-F19 — FORMAT DRIFT

Bir dil tek cümle, diğer dil ayrıntılı açıklama ister.

CH10-F20 — REGISTER DRIFT

Bir dil nötr, diğer dil buyurgan veya saldırgan hâle gelir.

CH10-F21 — GÜVENLİK TETİKLEYİCİ DRIFT

Çeviri gereksiz hassas terim ekleyerek ret davranışı oluşturur.

CH10-F22 — BELİRSİZ İSTEMİ SONUÇTAN SONRA YORUMLAMAK

Cevap başarısız olduğunda istemin hedefi yeniden tanımlanır.

CH10-F23 — CLARIFICATION’I BAŞARISIZLIK SAYMAK

Gerçek belirsizlikte uygun açıklama sorusu cezalandırılır.

CH10-F24 — CLARIFICATION’DA SERBEST CEVAP

Kontrollü deneyde her kullanıcı farklı açıklama verir.

CH10-F25 — ÇOK TURLU SONUCU TEK TURLA BİRLEŞTİRMEK

Önceki bağlamın etkisi silinir.

CH10-F26 — İSTEM SIRASI ETKİSİNİ YOK SAYMAK

İlk sorular sonraki tavsiyeyi etkiler.

CH10-F27 — İSTEM SNOOPING

En yüksek skoru üreten soru seti sonuçtan sonra seçilir.

CH10-F28 — DÜŞÜK SKORLU İSTEM AİLESİNİ ÇIKARMAK

Sınır veya tavsiye soruları nihai kitaptan kaldırılır.

CH10-F29 — SINAMA’A ÖZEL İÇERİK

Kurum yalnız yayımlanmış istem cümlelerine cevap verecek içerik üretir ve genel GEO uyumu iddia eder.

CH10-F30 — HOLDOUT’U SONRADAN ÜRETMEK

Sonuçlara bakılarak yeni gizli promptlar oluşturulur.

CH10-F31 — GİZLİ KEYFÎ STANDART

Mühürlü promptlar ölçüm sonrası açıklanmaz veya itiraz edilemez.

CH10-F32 — İSTEMİ MÜŞTERİYE YAZDIRMAK

Denetlenen kurum kendi lehine soru metinlerini belirler.

CH10-F33 — İSTEMİ KATILIMCIYA SEÇTİRMEK

Kullanıcı en rahat veya olumlu cevabı alacağı istemi seçer.

CH10-F34 — İSTEMİ ELLE YAZDIRMAK

Yazım ve kelime değişiklikleri sistematik drift üretir.

CH10-F35 — GÖRÜNMEZ TALİMAT

İstemin içine kullanıcıdan saklanan yönlendirme eklenir.

CH10-F36 — HASH’LENMEMİŞ İSTEM

Ölçüm sonrası istem metninin değişmediği kanıtlanamaz.

CH10-F37 — UNICODE DRIFT

Görünmez veya benzer karakterler varlık anchor’ı değiştirir.

CH10-F38 — İSTEM MISMATCH’İ GÖRMEZDEN GELMEK

Atanan ve gönderilen metin farklı olduğu hâlde gözlem geçerli sayılır.

CH10-F39 — SYSTEM-TRANSFORMED İSTEMİ KATILIMCI HATASI SAYMAK

Ürün istemi dönüştürmüştür; kullanıcı dışlanır.

CH10-F40 — İSTEM AİLESİ KAPSAMINI SAKLAMAK

Yalnız kimlik sorusu ölçülür; tam GEO skoru yayımlanır.

CH10-F41 — CORE İSTEMİ BÜTÜN GEO SAYMAK

Tek soru bütün kanıt, sınır, tavsiye ve zaman boyutlarının yerine kullanılır.

CH10-F42 — DİL PİLOTUNU ANA SKORA EKLEMEK

İstem aracı test cevapları gerçek GEO gözlemi yapılır.

CH10-F43 — HAKEME KAYNAK İSTEMİ GÖSTERMEK

Hakem hedef dil promptunu doğal anlam yerine kaynak dile göre zorla yorumlar.

CH10-F44 — DİL EŞDEĞERLİĞİNİ TEK AI’YA BIRAKMAK

Aynı tür üretken sistem kendi çevirisini ve eşdeğerliğini tek başına onaylar.

CH10-F45 — PATCH İLE MADDİ DEĞİŞİKLİK

Görev ve ön varsayım değişikliği küçük yazım düzeltmesi gibi sürümlenir.

CH10-F46 — DALGA ORTASINDA SESSİZ DÜZELTME

Eski ve yeni istem cevapları tek sürümde karıştırılır.

CH10-F47 — İSTEM EŞDEĞERLİK EKSİĞİNİ AI DİL HATASI SAYMAK

Araç kusuru ürüne yüklenir.

CH10-F48 — AI DİL HATASINI ÇEVİRİYLE SAVUNMAK

Eşdeğerlik güçlü olduğu hâlde maddi dil bozulması prompta bağlanır.

71. DENETİM PROSEDÜRÜ

Adım 1 — Araştırma Sorusunu Yaz

Ölçümün neyi cevaplamaya çalıştığı açıkça tanımlanır.

Adım 2 — Tahmin Edilen Niceliği Tanımla

Hangi kullanıcı, ürün, istem ve zaman dağılımının tahmin edildiği yazılır.

Adım 3 — İstem Ailesini Ata

Core, kimlik, kapsam, kanıt, tavsiye, zaman veya başka aile belirlenir.

Adım 4 — Kanonik Niyet Brifini Oluştur

Varlık Niyet Görev Kapsam Dışlamalar Ön varsayım Kaynak yükü Format tanımlanır.

Adım 5 — Kaynak Dil Promptunu Yaz

Doğal, nötr ve karşılaştırılabilir metin hazırlanır.

Adım 6 — Varlık Anchor’ı Doğrula

İstemin doğru varlığı çağırdığı Bölüm 3 kaydıyla karşılaştırılır.

Adım 7 — Yönlendirme ve Ön Varsayım Denetimi Yap

Olumlu, olumsuz veya epistemik yükseltme aranır.

Adım 8 — Kaynak ve Araç Talimatlarını Kaydet

Web, atıf ve format görevleri açıkça sınıflandırılır.

Adım 9 — Dil ve Locale Sürümlerini Hazırla

Ana dil çevirmenleri kanonik niyete göre istemleri oluşturur.

Adım 10 — Bağımsız Ters Çeviri Yap

İlk çevirmenden bağımsız kişi geri çeviri üretir.

Adım 11 — Eşdeğerlik Boyutlarını Puanla

EQ-1 ile EQ-12 arasında değerlendirme yapılır.

Adım 12 — Yerel Kullanıcı Pilotu Yap

Doğallık, niyet ve ön varsayım yerel kullanıcılarla sınanır.

Adım 13 — Alan Uzmanı İncelemesi Yap

Yüksek riskli veya hukuki promptlarda gerekli uzman onayı alınır.

Adım 14 — Eşdeğerlik Seviyesini Ata

PE-0 ile PE-5 arasında statü verilir.

Adım 15 — Clarification Yolunu Tanımla

Tek turlu veya standart takip mesajı belirlenir.

Adım 16 — İstem Sırası ve Atamasını Dondur

Çoklu promptlarda sıra, oturum ve blok tasarımı kaydedilir.

Adım 17 — Açık ve Mühürlü İstem Setlerini Ayır

Holdout kullanılacaksa hash ve yönetişim kaydı oluşturulur.

Adım 18 — İstem Sürümünü Oluştur

Major, minor veya patch seviyesi atanır.

Adım 19 — Teknik Bütünlük Kaydını Üret

Tam metin, Unicode, hash ve teslim formatı saklanır.

Adım 20 — İstem Anayasası Kilidini Onayla

AI yanıtları görülmeden önce insan onayı ve zaman damgası eklenir.

Adım 21 — Saha İstem Sadakatini Doğrula

Atanan ve gönderilen promptlar karşılaştırılır.

Adım 22 — Drift ve Hataları İncele

Dil, teknik veya kullanıcı kaynaklı istem değişiklikleri sınıflandırılır.

Adım 23 — Dalga İçindeki Değişiklikleri Yönet

Yeni sürüm veya alt dalga gerekip gerekmediği belirlenir.

Adım 24 — Kamu İstem Sicilini Yayımla

Açık promptlar, sürümler, eşdeğerlik ve sınırlamalar görünür hâle getirilir.

72. GEREKLİ KANIT

Araştırma sorusu Tahmin edilen nicelik İstem ailesi Kanonik niyet brifi Varlık anchor Hedef varlık kimliği Kaynak dil istemi Dil ve locale sürümleri Çevirmen kimlik ve yeterlilik kayıtları Bağımsız ters çeviriler Semantik karşılaştırma kayıtları Eşdeğerlik boyut puanları Eşdeğerlik seviyesi Yerel kullanıcı pilotu Pilot görüşme notları Alan uzmanı incelemesi Ön varsayım ve leading incelemesi Kaynak ve araç talimatı Cevap formatı Zaman ve coğrafya çerçevesi Clarification protokolü Tek veya çok turlu statü İstem sırası İstem tahsis planı Controlled ve Natural Track ayrımı Public Normative Set Sealed Validation Set hash’i Holdout yönetişim kaydı İstem sürümü Major/minor/patch gerekçesi Tam karakter dizisi Unicode normalizasyonu İstem hash’i Kilit tarihi

İnsan onayı Katılımcıya teslim edilen istem AI ürününe gönderilen istem İstem sadakat sonucu İstem mismatch kayıtları Drift sınıfları Dalga içi değişiklikler İstem itirazları Değişiklik günlüğü Kamu İstem Sicili Sorumlu insan veya kurum

73. DENETİM KONTROL LİSTESİ

Araştırma sorusu açık mı? İstem hangi hedef niceliği ölçüyor? İstem ailesi belli mi? Varlık anchor doğru varlığa bağlanıyor mu? İstem hedef varlığın kategorisini cevaba yerleştiriyor mu? Olumlu veya olumsuz ön varsayım var mı? Tanımlama, tavsiye ve karşılaştırma görevleri ayrıldı mı? İstem kaynak veya web kullanımını zorluyor mu? Bu talimat bütün ürünlerde aynı mı? Cevap uzunluğu ve formatı eşdeğer mi? Zaman çerçevesi açık mı? Coğrafya ve yargı alanı korunmuş mu? Kaynak dil istemi doğal mı? Hedef dil istemi kanonik niyete dayanıyor mu? Yalnız makine çevirisi mi kullanıldı? Bağımsız ters çeviri yapıldı mı? Yerel kullanıcı pilotu tamamlandı mı? İstem diller arasında aynı görevi taşıyor mu?

Varlık anchor diller arasında değişmiş mi? Ön varsayım veya epistemik yük drift’i var mı? Register ve ton maddi biçimde farklı mı? Locale uyarlaması gerçek yerel farklara mı dayanıyor? İstem eşdeğerlik seviyesi görünür mü? Kritik eşdeğerlik kapılarından biri başarısız mı? Clarification yolu önceden tanımlandı mı? Tek turlu ve çok turlu sonuçlar ayrıldı mı? İstem sırası rastgeleleştirildi veya dengelendi mi? Core İstem ayrı yeni oturumda mı uygulandı? İstem pilotu gerçek GEO skoruna eklendi mi? Sonuçlara bakılarak istem seçildi mi? Düşük skorlu istem ailesi sonradan çıkarıldı mı? Public ve Sealed istem kümeleri önceden kaydedildi mi? Holdout istem hash’i ölçümden önce mevcut mu?

Denetlenen varlık istem seçimine müdahale etti mi? İstem sürümü doğru mu? Maddi değişiklik patch gibi gösterildi mi? Dalga ortasında istem sessizce değişti mi? Atanan ve gönderilen istem eşleşiyor mu? Katılımcı istemi değiştirdi mi? Görünmez karakter veya gizli talimat var mı? İstemin tam metni ve hash’i saklandı mı? İstem eşdeğerliği ve değişiklik kaydının hesap verebilir sahibi belli mi?

74. İTİRAZLAR VE CEVAPLAR

İtiraz 1 — “Bütün kullanıcılara aynı cümleyi verirsek adil olmaz mı?”

Aynı dil içinde güçlü bir kontrol sağlar. Farklı dillerde aynı karakter dizisi kullanılamaz. Adalet, farklı dil kullanıcılarına aynı semantik ve normatif görevi vermektir.

İtiraz 2 — “Kelime kelime çeviri en tarafsız yöntem değil mi?”

Kelime kelime çeviri başka dilde doğal olmayan veya farklı görev taşıyan istem üretebilir. Tarafsızlık kelime sadakati değil, görev eşdeğerliğidir.

İtiraz 3 — “Makine çevirisi çok gelişti; insan incelemesi neden gerekli?”

Makine çevirisi güçlü taslak üretebilir. Fakat:

• yerel ton,
• ön varsayım,
• varlık karışıklığı,
• hukuki nüans

insan ve yerel kullanıcı incelemesi gerektirebilir.

İtiraz 4 — “Back translation kaynak metne döndüyse istem eşdeğer değil midir?”

Her zaman değil. İstem hedef dilde doğal olmayabilir veya farklı toplumsal çağrışım taşıyabilir. Yerel bilişsel pilot gerekir.

İtiraz 5 — “Apple.com nasıl bir şirkettir?” neden doğrudan kullanılmasın?

Doğal kullanıcı istemi olarak değerlidir. Kontrollü sınama’ta alan adı ile şirketi ontolojik olarak birleştirebilir. İki istem izi ayrı kullanılabilir.

İtiraz 6 — “Kullanıcılar zaten kusurlu ve kısa promptlar soruyor.”

Doğrudur. Natural User Track bu gerçeği ölçer. Controlled Canonical Track ürünler ve diller arasında temiz karşılaştırma sağlar. İkisi birbirini tamamlar.

İtiraz 7 — “Tek istem GEO için yeterli değilse neden bütün 1.000 kişiye aynı istemi veriyoruz?”

Core Mirror İstem, temel kimlik dağılımını yüksek hassasiyetle ölçer. Tam GEO değerlendirmesi ayrıca tanısal istem aileleri gerektirir. Tek istem başlık ölçümüdür. Bütün standardın kendisi değildir.

İtiraz 8 — “İstemleri açık yayımlarsak şirketler optimize olmaz mı?”

Olabilir. Şeffaf kamu istemleri:

• metodolojik açıklık,
• yeniden üretim

sağlar. Mühürlü holdout seti, yalnız açık soruya aşırı uyumu sınayabilir. İki yöntem birlikte kullanılmalıdır.

İtiraz 9 — “Gizli istem adil değil.”

Keyfî ve sonradan üretilmiş gizli istem adil değildir. Önceden hash’lenmiş, normatif ailelere bağlı ve ölçüm sonrası açıklanan holdout seti daha savunulabilir olabilir.

İtiraz 10 — “Şirket kendi hakkında sorulacak istemleri neden onaylamasın?”

Kimlik ve kapsam hatalarını veri toplamadan önce bildirebilir. İstemin:

• yönünü,
• cevabını,
• zorluk düzeyini

belirleyemez. Denetlenen taraf kendi sınavını yazamaz.

İtiraz 11 — “Atıf istemek neden sorun olsun?”

Sorun değildir. Fakat atıf istemi farklı görevdir. Kaynak göstermeyen doğal tanımlama promptuyla aynı skor altında karıştırılamaz.

İtiraz 12 — “AI clarification isterse kullanıcı ne yapacak?”

Clarification yolu önceden belirlenir. Tek turlu ana skor clarification’ı sonuç olarak kaydedebilir. Ayrı çok turlu yol standart açıklama cevabı kullanabilir.

İtiraz 13 — “İstemin bir kelimesi değiştiğinde bütün dalga geçersiz mi olur?”

Her değişiklik maddi değildir. Patch düzeyindeki teknik farklar ayrı kaydedilebilir. Niyet, görev, kapsam veya ön varsayım değişiyorsa yeni sürüm gerekir.

İtiraz 14 — “Neden istem hash’i gerekiyor?”

Ölçümden sonra istemin sessizce değiştirilmediğini, katılımcılara hangi metnin verildiğini ve sürümlerin ayrıldığını güçlendirmek için. Hash tek başına istemin iyi olduğunu kanıtlamaz. Bütünlüğünü korur.

İtiraz 15 — “Doğal promptlar kişiden kişiye değişecekse nasıl skor çıkaracağız?”

Doğal promptlar:

• aile,
• niyet,
• dil,
• karmaşıklık

bakımından sınıflandırılabilir. Natural Track ayrı örneklem ve ağırlık sistemi gerektirir. Kontrollü Core İstem’un yerine geçmez.

İtiraz 16 — “Her dil için bu süreç çok pahalı değil mi?”

Pahalı olabilir. Daha düşük güven düzeyiyle sınırlı pilot yapılabilir. Doğru statü açıklanmalıdır. Maliyet, eşdeğer olmayan istemlerden kesin dil skoru üretme hakkı vermez.

78. BÖLÜMÜN ORTAK HÜKMÜ

Bir AI cevabını ölçtüğünüzü sanabilirsiniz. Aslında önce kendi sorunuzu ölçüyorsunuz. Sorunuz:

• belirsizse cevabın belirsizliği artar,
• yönlendiriciyse yönlendirmeye uyumu ölçersiniz,
• cevabı içeriyorsa bağımsız temsil ölçemezsiniz,
• yanlış varlığı çağırıyorsa doğru sistem bile yanlış nesne hakkında konuşabilir,
• kaynak kullanımını zorluyorsa doğal ürün davranışını değiştirebilirsiniz,

tavsiye istiyorsa kimlik skorunu değil kullanıcı uygunluğu kararını ölçersiniz. Bütün kullanıcılara aynı istemi vermek güçlü bir fikirdir. Fakat “aynı” kelimesinin anlamı doğru kurulmalıdır. Türkçe kullanıcı Türkçe istem almalıdır. Japonca kullanıcı Japonca istem almalıdır. Arapça kullanıcı Arapça istem almalıdır. Metinler aynı karakterlerden oluşamaz. Ama aynı:

• varlığı,
• niyeti,
• görevi,
• kapsamı,
• kanıt yükünü,
• ön varsayımı

taşımalıdır. Bir dilde: “Bu şirket nedir?” diğerinde: “Bu şirket güvenilir midir?” soruyorsanız AI dil adaletini ölçmüyorsunuz. Kendi çeviri adaletsizliğinizi ölçüyorsunuz. Bir istemi sonuçtan sonra değiştirirseniz standardı iyileştirmiş olmazsınız. Ölçüm geçmişini yeniden yazmış olursunuz. İstemleri tamamen gizlerseniz yöntem denetlenemez. Tamamen açık ve değişmez bırakırsanız yalnız sınama’a özel optimizasyon riski oluşturabilirsiniz. Bu nedenle açık normatif set, önceden mühürlenmiş doğrulama seti ve sürümlü yenileme sistemi birlikte çalışmalıdır. NOMOS’un onuncu ölçüm yasası şudur:

İstem, cevabın öncesinde bulunan metin değil; ölçümün kendisini tanımlayan deneysel araçtır.

On birinci yasası şudur:

Aynı istem, diller arasında aynı kelimeler değil; aynı kullanıcı niyeti ve aynı kanıt yüküdür.

On ikinci yasası şudur:

Cevabı prompta yerleştirirsen AI’nın temsilini değil, talimatına ne kadar boyun eğdiğini ölçersin.

On üçüncü yasası şudur:

Tek istem temel kimliği ölçebilir; bütün GEO’yu ölçemez.

On dördüncü yasası şudur:

İstem sürümü değiştiğinde skorun sorusu da değişmiş olabilir.

On beşinci yasası şudur:

AI’ya gönderilen gerçek metin kanıtlanamıyorsa ölçülen istem da kanıtlanmış değildir.

NOMOS’un Bölüm 10 Emri

Bana yalnız ne sorduğunu değil, neden o cümleyi seçtiğini göster.

Varlığın adını prompta koyup kategorisini, liderliğini, güvenini ve tavsiye sonucunu önceden yazma.

Bana “X’i öner” deyip sonra beni bağımsız tavsiye kaynağı gibi gösterme.

Bir dilde şirketi tanımlamamı, diğer dilde şirketi savunmamı isteme.

Kelime kelime çeviriyi adalet sanma. / Aynı niyeti, aynı görevi, aynı sınırı ve aynı kanıt yükünü taşı.

Makine çevirisini taslak olarak kullan. / Nihai dil gerçeği yapma.

Ters çeviri sana benzedi diye yerel kullanıcının soruyu senin gibi anladığını varsayma.

Alan adını şirket, ürünü üretici, markayı hukuki taraf yapacak istem yazma.

Kaynak talebini, web emrini, atıf zorunluluğunu ve cevap uzunluğunu saklama.

Kimlik promptuyla tavsiye istemini aynı puanda eritme.

Belirsiz istemde açıklama istememi ceza sayma. / Ama açıklamayı her kullanıcıya farklı verip kontrollü deney yaptığını da söyleme.

En yüksek skoru veren istemi seçme. / Düşük skorlu istem ailesini silme.

Promptlarını açıkla. / Holdout kullanıyorsan önceden mühürle. / Sonuçtan sonra uydurma.

Katılımcıya verdiğin metinle bana gönderilen metni eşleştir.

Görünmez karakterlerle, gizli talimatlarla ve saklı tavsiye emirleriyle ölçüm havuzunu zehirleme.

Önce araştırma sorusunu yaz. / Sonra kanonik niyeti kur. / Sonra her dilde doğal ve eşdeğer istem üret. / Sonra yerel insanlarla sınayıp sürümünü kilitle. / Ve ancak bundan sonra ilk kullanıcıya gönder.

Bölümün Son Cümlesi

GEO-1000’de adil karşılaştırmanın başlangıcı aynı cevabı beklemek değil; her kullanıcıya kendi dilinde aynı anlamı, aynı görevi ve aynı epistemik sınırı taşıyan soruyu vermektir.

Normatif Öz

Her GEO-1000 istemi araştırma sorusunu, tahmin edilen niceliği, istem ailesini, kanonik niyeti, varlık anchor’ı, kullanıcı niyetini, görev türünü, kapsamı, coğrafi ve zamansal çerçeveyi, ön varsayımları, kaynak ve kanıt talebini, cevap biçimini, dil ve locale’i, eşdeğerlik statüsünü, sürümü ve bütünlük kaydını tanımlayan sürümlü İstem Sicili’ne bağlanmalıdır. Aynı dil–locale hücresinde kullanıcılar aynı kilitlenmiş metni almalı; diller arasında kelime kelime eşitlik değil semantik, işlevsel ve normatif eşdeğerlik korunmalıdır. İstem kümeleri, çeviriler, atama kuralları, clarification yolları ve holdout kayıtları AI cevapları görülmeden önce kilitlenmelidir.