Doğrudan cevap
Olasılıksal bir sistem aynı veya benzer soruya farklı zamanlarda farklı cevaplar verebilir. Bu nedenle ölçüm; tekrar sayısını, çalıştırma koşullarını, sonuç dağılımını, hata türlerini ve kapsanmayan durumları raporlar. Örneklem büyüklüğü pazarlama için seçilmiş sabit bir sayı değildir; verilecek karar, görülmek istenen hata farkı, beklenen değişkenlik ve kabul edilen belirsizliğe göre belirlenir. Güven aralığı veya başka istatistiksel özet yalnız yöntemin varsayımları karşılanıyorsa kullanılır.
Sade dille
Bir zarın adil olup olmadığını tek atışla anlayamazsınız. Altı gelmesi, zarın her zaman altı getireceğini göstermez. Çok kez atar, sonuçların nasıl dağıldığına bakar ve hâlâ ne kadar emin olamadığınızı söylersiniz.
Neden önemli?
Tek bir iyi ekran görüntüsü başarıyı, tek bir kötü cevap da sürekli başarısızlığı kanıtlamaz. Değişkenlik ve belirsizlik gizlenirse küçük örneklerden büyük sonuçlar çıkarılır ve karşılaştırmalar yanıltıcı olur.
Karıştırma
- Modelin güven sinyali, modelin kendi çıktısıdır; ölçüm sonucunun güven aralığı değildir.
- Ölçüm belirsizliği, gözlenen sonucun gerçek oranı ne kadar iyi tahmin ettiğine ilişkindir.
- Örneklem hatası, incelenen örneğin hedef evreni tam temsil etmemesinden doğabilir.
- Sistem varyasyonu, aynı koşullarda veya zaman içinde çıktıların değişmesidir.
- Kanıt belirsizliği, Truth Pack’in kendisinin eksik veya çelişkili olmasıdır.
Ne yapmalısın?
- Önce hedef evreni, karar eşiğini ve hangi hata farkını görebilmek istediğinizi tanımlayın.
- Aynı protokolle pilot tekrarlar yaparak hata oranı ve değişkenlik hakkında ilk veri toplayın.
- Örneklem büyüklüğünü istenen hassasiyet, risk, değişkenlik ve kaynakla gerekçelendirin.
- Soru, dil, ülke, model, sürüm, tarih ve tekrar koşullarını sabit veya açıkça katmanlı tutun.
- Yalnız ortalamayı değil sayı, oran, dağılım, uç değer ve kritik hata sayısını birlikte raporlayın.
- Uygun varsayımlar varsa güven aralığını yöntemi ve düzeyiyle verin; yoksa betimsel sonuçla sınırlı kalın.
- Kapsanmayan grupları, başarısız çalıştırmaları ve genelleme sınırlarını açıkça yazın.
Nasıl denetlersin?
- Tek bir çıktı sistemin sürekli davranışı gibi sunulmuş mu?
- Tekrar sayısı ve çalıştırma koşulları görülebiliyor mu?
- Örneklem büyüklüğü karar amacı ve beklenen değişkenlikle gerekçelendirilmiş mi?
- Ortalama, kritik hata ve alt grup farklarını gizliyor mu?
- Güven aralığı kullanılan veri ve varsayımlara uygun yöntemle hesaplanmış mı?
- Modelin güven sinyali ile ölçüm güveni birbirine karıştırılmış mı?
- Gözlenmeyen dil, ülke, model veya zamana aşırı genelleme yapılmış mı?
Sınır
NOMOS GEO her çalışma için tek bir minimum tekrar veya örneklem sayısı koymaz. Bağımsızlık, dağılım ve sabit sistem varsayımları üçüncü taraf üretken sistemlerde tam karşılanmayabilir; bu durumda istatistiksel iddianın gücü azaltılmalı ve yöntem uzman tarafından gözden geçirilmelidir.
Tek cümlede hatırla
Bir cevap örnektir; sonuç, örneklerin sınırlarıyla birlikte söylenir.
Bu kaydın kaynakları
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*Standart niteliğinde gönüllü kurum rehberi
- S44NIST, *AI Risk Management Framework Playbook* ve AI RMF CoreGönüllü uygulama rehberi
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Standart niteliğinde gönüllü kurum çerçevesi
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*Resmî kurum teknik el kitabı