Wie sollten Streuung, Unsicherheit, Stichprobengröße und…

Direkte Antwort

Ein probabilistisches System kann zu derselben oder ähnlichen Frage zu verschiedenen Zeiten anders antworten. Berichten Sie Wiederholungszahl, Ausführungsbedingungen, Ergebnisverteilung, Fehlertypen und nicht abgedeckte Fälle. Die Stichprobengröße ist keine für Marketing gewählte feste Zahl; sie richtet sich nach Entscheidung, zu erkennendem Fehlerunterschied, erwarteter Streuung und akzeptierter Unsicherheit. Verwenden Sie Konfidenzintervall oder andere statistische Zusammenfassung nur, wenn die Annahmen der Methode erfüllt sind.

Einfach erklärt

Aus einem Wurf erkennen Sie nicht, ob ein Würfel fair ist. Eine Sechs bedeutet nicht, dass immer eine Sechs fällt. Werfen Sie häufig, betrachten Sie die Verteilung und nennen Sie die verbleibende Unsicherheit.

Warum ist das wichtig?

Ein guter Screenshot belegt keinen Erfolg, und eine schlechte Antwort belegt kein ständiges Scheitern. Werden Streuung und Unsicherheit verborgen, entstehen große Schlüsse aus kleinen Stichproben und irreführende Vergleiche.

Nicht verwechseln

Ein Modellkonfidenzsignal ist die eigene Ausgabe des Modells; es ist kein Konfidenzintervall für das Messergebnis.
Messunsicherheit betrifft, wie gut das beobachtete Ergebnis die zugrunde liegende Rate schätzt.
Stichprobenfehler kann entstehen, weil die Stichprobe die Zielpopulation nicht vollständig abbildet.
Systemstreuung ist die Änderung der Ausgaben unter gleichen Bedingungen oder im Zeitverlauf.
Belegunsicherheit bedeutet, dass das Truth Pack selbst unvollständig oder widersprüchlich ist.

Was ist zu tun?

Definieren Sie Zielpopulation, Entscheidungsschwelle und zu erkennenden Fehlerunterschied.
Führen Sie Pilotwiederholungen nach demselben Protokoll aus, um erste Fehlerquoten- und Streuungsdaten zu sammeln.
Begründen Sie die Stichprobengröße durch gewünschte Präzision, Risiko, Streuung und verfügbare Mittel.
Halten Sie Frage, Sprache, Land, Modell, Version, Datum und Wiederholungsbedingungen fest oder schichten Sie sie ausdrücklich.
Berichten Sie Anzahlen, Raten, Verteilungen, Ausreißer und kritische Fehler statt nur eines Mittelwerts.
Berichten Sie bei erfüllten Annahmen ein Konfidenzintervall samt Methode und Niveau; sonst nur eine beschreibende Darstellung.
Nennen Sie nicht vertretene Gruppen, fehlgeschlagene Läufe und Grenzen der Verallgemeinerung.

Wie wird geprüft?

Wurde eine Ausgabe als dauerhaftes Systemverhalten dargestellt?
Sind Wiederholungszahl und Ausführungsbedingungen sichtbar?
Wurde die Stichprobengröße durch Entscheidungszweck und erwartete Streuung begründet?
Verdeckte der Mittelwert kritische Fehler oder Gruppenunterschiede?
Wurde das Konfidenzintervall mit einer zu Daten und Annahmen passenden Methode berechnet?
Wurden Modellkonfidenz und Messkonfidenz verwechselt?
Wurde das Ergebnis auf unbeobachtete Sprachen, Länder, Modelle oder Zeiten übertragen?

Grenze

NOMOS GEO schreibt keine einheitliche Mindestwiederholungszahl oder Stichprobengröße für jede Studie vor. Annahmen zu Unabhängigkeit, Verteilung und Systemstabilität können in generativen Drittsystemen unvollständig erfüllt sein; begrenzen Sie dann die statistische Aussage und holen Sie erforderlichenfalls methodische Fachprüfung ein.