Doğrudan cevap
GEO başarısı tek bir mention veya tek bir puanla ölçülmemelidir. Erişim, retrieval, mention, citation, recommendation, temsil doğruluğu, kanıt desteği, zaman içindeki kararlılık ve insan etkisi ayrı ölçülmeli; sonuçlar sistem, sürüm, dil, ülke, tarih ve sabit soru kümesiyle raporlanmalıdır.
Sade dille
Bir öğrenciyi yalnız sınıfa geldi diye başarılı sayamazsınız. Derse katılımı, doğru cevapları, yanlışları ve gelişimi ayrı incelersiniz. GEO'da da görünmek yalnız bir göstergedir; doğru ve kanıtlı temsil asıl sonuçtur.
Neden önemli?
Tek puan, hangi katmanın bozuk olduğunu gizler. Mention artarken citation desteği veya temsil doğruluğu düşebilir. Yalnız olumlu sayı göstermek denetimi pazarlama raporuna dönüştürür.
Karıştırma
- Sıklık ile doğruluk farklıdır.
- Citation oranı ile citation desteği farklıdır.
- Recommendation oranı ile uygun recommendation farklıdır.
- Bir test sonucu ile zaman içindeki kararlılık farklıdır.
Ne yapmalısın?
- Ölçümden önce başarı tanımını ve soru kümesini sabitleyin.
- Başlangıç ölçümü alın.
- Model, sürüm, dil, ülke, tarih ve prompt kaydını tutun.
- Ham cevapları ve kaynakları saklayın.
- Doğruluk, eksiklik, güncellik ve kanıt desteğini ayrı puanlayın.
- Değişiklik sonrası aynı koşullarda yeniden test yapın.
Nasıl denetlersin?
- Metriklerin formülü önceden yazılmış mı?
- Payda ve örneklem görünür mü?
- Başarısız ve olumsuz sonuçlar raporda yer alıyor mu?
- Tek model veya tek sorgu genellenmiş mi?
- Ham veri ile rapor sonucu yeniden hesaplanabiliyor mu?
Sınır
NOMOS ölçüleri önerilen denetim metrikleridir; bağımsız biçimde benimsenmiş resmî sektör standardı olarak sunulamaz. Ölçüm, üçüncü taraf sistemin kapalı iç işleyişini bütünüyle açıklamaz.
Tek cümlede hatırla
GEO başarısı, ne kadar göründüğünüzden çok ne kadar doğru ve kanıtlı temsil edildiğinizdir.