Doğrudan cevap
Bir GEO iddiasını sınamak için önce iddianın tam cümlesi ve ölçülen varlık kaydedilir. Ardından kapsam, başlangıç durumu, yapılan değişiklik, sabit soru kümesi, kullanılan sistem ve sürüm yazılır. Dil, ülke, tarihler, ham cevaplar, kaynaklar, değerlendirme yöntemi ve yeniden test sonucu da aynı kanıt zincirinde korunur.
Sade dille
'İyileştik' demek yetmez. Önceki not, yapılan çalışma, aynı sınavın sonraki sonucu ve notun nasıl hesaplandığı birlikte bulunmalıdır. Aksi hâlde başarı tekrar kontrol edilemez.
Neden önemli?
Kayıt zinciri olmadan değişimin nedeni, büyüklüğü ve kapsamı doğrulanamaz. Sonuç seçilmiş örneğe, değişen modele veya farklı soruya ait olabilir.
Karıştırma
- Ekran görüntüsü tek başına tam kanıt paketi değildir.
- Ölçüm sonucu ile nedensellik iddiası farklıdır.
- Bir platformdaki değişim bütün sistemlere genellenemez.
Ne yapmalısın?
- Her iddiaya benzersiz kimlik verin.
- Başlangıç ölçümünü değişiklikten önce kilitleyin.
- Yapılan değişikliği dosya ve sürüm düzeyinde kaydedin.
- Test koşullarını ve ham çıktıları saklayın.
- Değerlendirme kurallarını önceden yazın.
- Sonuç ile olası neden arasındaki belirsizliği açıklayın.
Nasıl denetlersin?
- İddia yeniden üretilebilir mi?
- Başlangıç ve sonraki ölçüm karşılaştırılabilir mi?
- Soru kümesi ve model koşulları aynı mı?
- Ham çıktı ile rapor puanı eşleşiyor mu?
- İddia, kanıtın desteklediği sınırı aşıyor mu?
Sınır
Eksiksiz kayıt, tek başına nedenselliği kanıtlamaz; fakat iddianın bağımsız biçimde incelenebilmesi için gerekli zemini kurar.
Tek cümlede hatırla
Kanıtlanabilir başarı, sonuç kadar ölçüm yolunu da saklar.
Bu kaydın kaynakları
- S01Aggarwal ve diğerleri, *GEO: Generative Engine Optimization*Araştırma
- S35W3C, *PROV-O: The PROV Ontology*Standart