Wie sollten Fragensatz, Stichprobe sowie Sprach-, Länder-, Zeit-, Modell- und Versionsumfang einer GEO-Prüfung ausgewählt werden?

Direkte Antwort

Führen Sie eine GEO-Prüfung gegen ein vorab definiertes, versioniertes Fragenregister aus. Das Register enthält Entitätsidentität, Nutzerabsicht, Fragetyp, Risikostufe, Sprache, Land, Datum, Modell, Produktoberfläche und bekannte Version. Wählen Sie nicht nur Beispiele mit wahrscheinlich günstigen Ergebnissen. Decken Sie Grundidentität, Belege, Vergleiche, Grenzen, Aktualität, folgenreiche Fehler und reale Nutzerabsichten ausgewogen ab. Ändert sich der Umfang nach dem Test, berichten Sie alte und neue Ergebnisse als getrennte Versionen.

Einfach erklärt

Eine Klasse lässt sich nicht beurteilen, indem nur den drei stärksten Schülern die leichtesten Fragen gestellt werden. Bestimmen Sie zuerst Fächer und Gruppen, die vertreten sein sollen, und wenden Sie dann denselben Prüfungsplan auf alle an.

Warum ist das wichtig?

Nach Sichtung des Ergebnisses ausgewählte Fragen können die Erfolgsquote künstlich erhöhen oder senken. Eine Repräsentation kann in einer Sprache, einem Land oder Modell richtig wirken und anderswo scheitern. Ohne Umfangsdatensatz sind zwei Prüfungen nicht vergleichbar.

Nicht verwechseln

Exploratives Testen sucht unbekannte Fehlertypen und muss kein formelles Konformitätsergebnis erzeugen.
Abnahmetest bestimmt anhand vordefinierter Tore, ob eine Version einsatzgeeignet ist.
Regressionstest prüft, ob eine Änderung früher richtiges Verhalten beschädigte.
Monitoring-Test verfolgt Veränderungen im Livesystem über die Zeit.
Eine Forschungsstichprobe benötigt methodische Auswahl, wenn daraus auf eine bestimmte Grundgesamtheit geschlossen wird.

Was ist zu tun?

Nennen Sie zuerst Prüfentscheidung, Zielpopulation und beabsichtigte Verallgemeinerung.
Teilen Sie reale Nutzerabsichten und kritische Repräsentationsrisiken in Fragekategorien.
Definieren Sie je Kategorie wesentliche Schichten wie Sprache, Land, Gerät oder Produktoberfläche.
Versionieren Sie Wortlaut, Reihenfolge, Wiederholungszahl und Ausführungsbedingungen vor dem Test.
Erfassen Sie Modellname, Zugangsart, Datum, Uhrzeit, Spracheinstellung, Land und sichtbare Versionsangabe.
Berichten Sie fehlende oder unerreichbare Schichten, statt sie still durch andere Beispiele zu ersetzen.
Eröffnen Sie bei Umfangsänderung eine neue Registerversion und vermischen Sie deren Ergebnisse nicht mit der alten.

Wie wird geprüft?

Sind Zielpopulation und Entscheidungszweck der Messung ausdrücklich benannt?
Wurden Fragen vor Sichtung der Ergebnisse fixiert?
Erzeugten leichte oder günstige Fragen Auswahlverzerrung?
Sind Identität, Belege, Grenzen, Aktualität und folgenreiche Fehler ausreichend vertreten?
Wurden Bedingungen für Sprache, Land, Modell, Oberfläche, Datum und Version erfasst?
Wurde ein Ergebnis aus einer Bedingung auf nicht abgedeckte Bedingungen übertragen?
Wurden fehlende, fehlgeschlagene oder blockierte Tests ohne Offenlegung entfernt?

Grenze

Es gibt keine für jede GEO-Prüfung passende Fragenzahl oder Stichprobengröße. Angemessenheit hängt von Entscheidungsbedeutung, Fehlerquote, erwarteter Streuung, gewünschter Präzision und abzudeckenden Schichten ab. Leiten Sie keine Versionsangabe ab, die der Anbieter nicht offenlegt.