Doğrudan cevap
Atomik iddia, tek başına doğru veya yanlış değerlendirilebilen en küçük maddi önermedir. Cevap önce bu iddialara ayrılır; sonra her iddia için doğru varlık, doğruluk, eksiksizlik, güncellik, kaynak desteği, önem ve olası zarar ayrı kaydedilir. Adının geçmesi, kaynak gösterilmesi ve önerilmesi de farklı olaylar olarak tutulur. Kritik bir yanlış, çok sayıdaki önemsiz doğruyla ortalamada kaybolamaz; NOMOS GEO bu ilkeye telafi etmeme kuralı der.
Sade dille
“Dükkân bugün açık, şehir merkezinde ve ücretsiz teslimat yapıyor” cümlesinde üç ayrı iddia vardır. İlk ikisi doğru, sonuncusu yanlış olabilir. Cümlenin çoğu doğru diye müşteriyi yanıltan teslimat bilgisi doğru sayılmaz.
Neden önemli?
Tek bir genel doğru/yanlış etiketi, önemli bir hatayı saklayabilir. Yüksek ortalama puan; yanlış kimlik, tehlikeli tavsiye veya kanıtsız yetki gibi kritik bir kusuru kabul edilebilir hâle getirmemelidir.
Karıştırma
- Mention, varlığın adının geçmesidir; iddianın doğruluğunu göstermez.
- Citation, kaynak gösterimidir; kaynağın ilgili iddiayı desteklediğini tek başına kanıtlamaz.
- Doğruluk, iddianın referans gerçeklikle uyuşmasıdır; eksiksizlik gerekli bilginin atlanıp atlanmadığıdır.
- Güncellik, iddianın değerlendirme zamanında hâlâ geçerli olup olmadığıdır.
- Önem veya şiddet, hatanın karar ve zarar üzerindeki etkisidir; ne kadar dikkat çekici göründüğü değildir.
Ne yapmalısın?
- Cevabı özne, ilişki, özellik, sayı, tarih, kapsam ve öneri içeren atomik iddialara bölün.
- Her iddiayı doğru varlığa ve Truth Pack içindeki karşılığına bağlayın.
- Doğruluk, eksiklik, güncellik ve kanıt desteğini ayrı sonuç alanlarında değerlendirin.
- Mention, citation, recommendation ve temsil sonucunu birbirine karıştırmadan kaydedin.
- Hata önemini etkilenen kişi, karar, geri döndürülebilirlik ve olası zarar üzerinden sınıflandırın.
- Kritik hata için telafi etmeme kapısını uygulayın; genel ortalama ile kapatmayın.
- Karar, gerekçe, kanıt, denetçi ve belirsizlik bilgisini iddia defterinde koruyun.
Nasıl denetlersin?
- Birden fazla önerme tek iddia gibi puanlanmış mı?
- Her iddianın doğru varlık ve Truth Pack bağı var mı?
- Doğruluk, eksiksizlik, güncellik ve kaynak desteği ayrı değerlendirilmiş mi?
- Citation görünmesi otomatik olarak kanıt başarısı sayılmış mı?
- Olumlu fakat yanlış iddialar hata olarak işaretlenmiş mi?
- Kritik hata yüksek ortalama skorla telafi edilmiş mi?
- ÇÖZÜLEMEDİ durumundaki iddialar zorla doğru veya yanlış sınıfına itilmiş mi?
Sınır
Atomik bölme ve önem sınıflandırması insan hükmü içerir. NOMOS GEO’nun eşikleri ve telafi etmeme kuralı önerilen denetim yöntemidir; NIST’in, bütün sektörlerin veya mevzuatın resmî ortak puanlama sistemi değildir.
Tek cümlede hatırla
Bir cümlede üç iddia varsa, üçü de ayrı sınanır.
Bu kaydın kaynakları
- S35W3C, *PROV-O: The PROV Ontology*Standart
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*Standart niteliğinde gönüllü kurum rehberi
- S44NIST, *AI Risk Management Framework Playbook* ve AI RMF CoreGönüllü uygulama rehberi
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Standart niteliğinde gönüllü kurum çerçevesi