Bir GEO denetimi için soru kümesi, örneklem, dil, ülke, zaman, model…

Doğrudan cevap

GEO denetimi, önceden sürümlenmiş bir soru kayıt kümesiyle yürütülür. Bu küme; varlık kimliğini, kullanıcı amacını, soru türünü, risk seviyesini, dili, ülkeyi, tarihi, modeli, ürün yüzeyini ve biliniyorsa sürümü içerir. Sorular yalnız olumlu sonuç verecek örneklerden seçilmez. Temel kimlik, kanıt, karşılaştırma, sınır, güncellik, yüksek etkili hata ve gerçek kullanıcı amaçları dengeli biçimde kapsanır. Testten sonra kapsam değişirse eski ve yeni sonuçlar ayrı sürüm olarak raporlanır.

Sade dille

Bir sınıfın başarısını yalnız en iyi üç öğrencinin en kolay sorularıyla ölçerseniz gerçek sonucu öğrenemezsiniz. Önce hangi konuların ve öğrenci gruplarının temsil edileceğini belirlersiniz; sonra aynı sınav planını herkese uygularsınız.

Neden önemli?

Sonucu gördükten sonra soru seçmek başarı oranını yapay biçimde yükseltebilir veya düşürebilir. Tek dil, tek ülke ya da tek modelde iyi görünen temsil başka koşullarda bozulabilir. Kapsam kaydı yoksa iki denetim karşılaştırılamaz.

Karıştırma

Keşif testi, bilinmeyen hata türlerini arar; kesin uygunluk sonucu üretmek zorunda değildir.
Kabul testi, önceden belirlenmiş kapılara göre bir sürümün kullanıma uygunluğunu sınar.
Regresyon testi, yapılan değişikliğin eski doğru davranışları bozup bozmadığını kontrol eder.
İzleme testi, canlı sistemde zaman içindeki değişimi takip eder.
Araştırma örneklemi, tanımlı bir evren hakkında çıkarım yapmak için yöntemsel seçim gerektirir.

Ne yapmalısın?

Önce denetimin kararını, hedef evrenini ve hangi sonucu genellemek istediğinizi yazın.
Gerçek kullanıcı amaçlarını ve kritik temsil risklerini soru kategorilerine ayırın.
Her kategori için dil, ülke, cihaz veya ürün yüzeyi gibi önemli katmanları belirleyin.
Soru metnini, sırasını, tekrar sayısını ve çalıştırma koşullarını testten önce sürümleyin.
Model adı, erişim biçimi, tarih, saat, dil ayarı, ülke ve görülebilen sürüm bilgisini kaydedin.
Eksik veya erişilemeyen katmanları sonucu gizlice başka örneklerle doldurmak yerine açıkça raporlayın.
Kapsam değişikliğinde yeni soru kayıt kümesi sürümü açın; sonuçları eski sürümle karıştırmayın.

Nasıl denetlersin?

Ölçümün hedef evreni ve karar amacı açık mı?
Sorular sonuçlar görülmeden önce dondurulmuş mu?
Kolay ve olumlu sorular seçilerek selection bias oluşturulmuş mu?
Kimlik, kanıt, sınır, güncellik ve yüksek etkili yanlışlar yeterince temsil ediliyor mu?
Dil, ülke, model, yüzey, tarih ve sürüm koşulları kaydedilmiş mi?
Tek koşuldaki sonuç kapsanmayan koşullara genellenmiş mi?
Kayıp, başarısız veya engellenmiş testler sonuçtan çıkarılarak gizlenmiş mi?

Sınır

Her GEO denetimi için geçerli tek bir soru sayısı veya örneklem büyüklüğü yoktur. Yeterlilik; kararın önemine, hata oranına, beklenen değişkenliğe, istenen hassasiyete ve kapsanacak katmanlara göre belirlenir. Sağlayıcının göstermediği sürüm bilgisi tahmin edilmemelidir.