Die bevölkerungsproportionale GEO-1000-Stichprobe

Kapitelgrenze

Abschnitt 5 hat die folgende Bestimmung eingeführt:

Die Zielnutzerpopulation jedes KI-Produkts muss separat definiert werden. Die Gesamtbevölkerung eines Landes ist nicht die produktberechtigte Nutzerpopulation in diesem Land.

Kommen wir nun zur nächsten Frage:

Aus der definierten berechtigten Nutzerpopulation für GEO-1000, wie viele Personen werden ausgewählt, aus welchem Land, welche Sprache und nach welcher Methode?

Die berechtigte Nutzerpopulation für ein KI-Produkt ist:

• 40% in Land A,
• 25% in Land B,
• 15% in Land C,
• 0.04% in einem kleinen Land

Falls verfügbar, wie sollten 1,000 gültige Beobachtungen verteilt werden? Wie werden Bruchquoten in ganze Zahlen umgewandelt? Werden Länder mit einem Bevölkerungsanteil von weniger als einer Person vollständig ausgeschlossen? Wird die Bevölkerungsgewichtung verzerrt, wenn jedem Land mindestens eine Person zugewiesen wird? Können kleine Länder in einen separaten Pool zusammengefasst werden? Wenn einige Sprachen zur Fairness überrepräsentiert beprobt werden, wie wird dann der globale Wert berechnet? Wenn das Ziel 100 gültige Beobachtungen in einem Land beträgt, wie viele Personen sollten eingeladen werden? Wer ersetzt den Teilnehmer, falls dieser die Aufgabe nicht abschließt? Kann ein Nutzer, der falsche Antworten gibt, ersetzt werden? Wenn dieselbe Person mehr als ein KI-Produkt testet, ist die Stichprobe dann immer noch unabhängig?

Selbst bei einer Rohstichprobe von 1,000 Personen, können stark ungleiche Gewichtungen die effektive statistische Information unter die von 1,000 unabhängigen, gleichgewichteten Beobachtungen senken? Dies sind nicht nur operationale Details. Das Stichprobendesign bestimmt, wie viel Einfluss jede Person auf den GEO-Score hat. Eine fehlerhafte Stichprobe:

• kann die richtigen Antworten falsch gewichten,
• kann kleine Länder symbolisch überrepräsentieren,
• kann große Bevölkerungen kleiner erscheinen lassen, als sie sind,
• kann ressourcenarme Sprachen unsichtbar machen,
• kann freiwillige Technologieanwender so darstellen, als ob sie die Weltbevölkerung wären.

Es kann angepasst werden, um die gewünschte Punktzahl nach Überprüfung der Ergebnisse zu erreichen. Die zuvor festgelegte Prüfarchitektur verlangt, dass jede Prüfung messbar ist und dass das Modell/Produkt das Datum, das Land, die Sprache, die Abfragesätze, die Wiederholungsanzahl und den Messdatensatz trägt. Dieser Abschnitt wendet die gleiche Disziplin auf die Stichprobengestaltung an. Da echte Nachweise das Anfordern von Grenzen, Kontext und Zeit erfordern; erfordert es außerdem, sichtbar zu machen, wie die Stichprobe erstellt wurde. Dieser Abschnitt:

• wie die 1,000 gültigen Beobachtungen des Hauptpopulation-Panels verteilt werden,
• wie Schichten und Zellen etabliert werden,
• wie kleine Länder verwaltet werden sollen,
• wie Brüche in ganze Zahlen umgewandelt werden
• wie Oversampling gewichtet wird,
• wie man Einladungs-, Backup- und gültige Beobachtungsziele trennt,
• wie man Design- und Analysegewichte festlegt,
• warum die effektive Stichprobengröße von der Rohanzahl abweichen kann

definiert. Dieses Kapitel behandelt noch nicht:

• Von welchem Panelanbieter die Teilnehmer ausgewählt werden.
• die vollständigen Details der Felderhebung bei freiwilliger oder Wahrscheinlichkeitsstichprobe,
• Bewertung und Benotung von Antworten,
• die endgültige Konfidenzintervall-Methode
• alle NOMOS Bewertungsformeln

sind nicht vollständig abgeschlossen. Die Aufgabe des Abschnitts 6 ist:

Transformieren Sie die definierte Zielpopulation in eine gefrorene, wiegbare und reproduzierbare GEO-1000-Probe, bevor Sie das Ergebnis sehen.

NOMOS Herausforderung

Sie richten ein globales Panel von 1,000 Personen für ein KI-Produkt ein. Die produktberechtigten Bevölkerungen von zehn Ländern sind wie folgt:

Rohe Quoten gemäß reinem Bevölkerungsanteil:

Eine halbe Person kann nicht ausgewählt werden. 0.4 Personen können nicht in ein Land geschickt werden. Wenn Sie die rohen Quoten auf die nächste ganze Zahl runden, kann die Summe 1,000 überschreiten oder unterschreiten. Wenn Sie jedem Land mindestens eine Person zuweisen, werden die Länder I und J im Vergleich zu ihrem Bevölkerungsanteil überrepräsentiert.

Wenn man einer Person das Land I gibt, erhöht sich dessen theoretischer Anteil um 2.5-fache. Wenn man einer Person das Land J gibt, erhöht sich dessen theoretischer Anteil um 10-fache. Diese extreme Repräsentation kann weitgehend korrigiert werden. Aber man kann keinen Länderwert mit nur einer Person erzeugen. Was passiert, wenn man niemandem I und J gibt?

Wenn man diese Länder als getrennte und obligatorische Schichten definiert, wird die Wahrscheinlichkeit, dass einige Personen in der Zielpopulation ausgewählt werden, null. In diesem Fall schwächt sich die Behauptung einer „wahrscheinlichkeitsbasierten Stichprobe, die die gesamte geeignete globale Population repräsentiert“, ab. Betrachten Sie nun eine gefährlichere Entscheidung. Zuerst sammeln Sie die Antworten.

Der einzige Nutzer im Land J gibt eine falsche Antwort. Dann sagen Sie: „Die Stichprobengröße dieses Landes ist sehr klein, lassen Sie uns es vom Umfang ausschließen.“ In Land A gibt es viele positive Antworten. Sie behalten es mit vollem Gewicht bei. Dies ist keine Rundung mehr. Es ist eine ergebnisorientierte Stichprobenänderung.

In einem anderen Fall erhöhen Sie die Rate ungültiger Datensätze in einer Sprachgruppe mit niedrigen Ergebnissen, indem Sie nur Ersatzteilnehmer verwenden, bis eine positive Antwort erhalten wird. Dies ist ebenfalls keine Stichprobe. Es ist ein Reaktionsauswahlmechanismus. Die erste Regelung dieses Abschnitts lautet:

Die Stichprobe muss vor der Einsicht in die KI-Antworten festgelegt werden.

Ihre zweite Bestimmung lautet:

Die Wahrscheinlichkeit, dass ein Teilnehmer ausgewählt wird, darf nicht von der Richtigkeit seiner Antwort abhängen.

Seine dritte Bestimmung besagt:

Die Sichtbarkeit des kleinen Landes und das Gewicht der Bevölkerung im globalen Score müssen separat verwaltet werden.

Seine vierte Bestimmung besagt:

Eine Überstichprobe ist möglich; eine Übergewichtung ist nicht verpflichtend.

Seine fünfte Vorschrift lautet:

1,000-Rohdaten tragen nicht immer statistische Informationen, die 1,000-Beobachtungen entsprechen.

1. ZWECK DES KAPITELS

Der Zweck dieses Abschnitts besteht darin, die anvisierten 1,000 gültigen Beobachtungen für jedes KI-Produkt und jede Messwelle in ein überprüfbares Stichprobendesign basierend auf der produktberechtigten Nutzerpopulation zu überführen. Der Abschnitt standardisiert die folgenden Unterscheidungen:

• Zielpopulation versus ausgewählte Stichprobe
• Rohquote versus ganzzahlige Zuweisung
• Hauptpopulation-Panel versus ergänzende Panels
• Länder-Sichtbarkeit versus Ländergewicht
• Schichten versus experimentelle Zelle
• Große Länder-Schichten versus kleine Länder-Pool
• Proportionale Zuweisung versus unverhältnismäßiges Oversampling
• Stichprobenanteil versus Populationsanteil
• Anzahl der Einladungen versus Ziel für gültige Beobachtungen
• Backup-Teilnehmer versus Ersatz nach Ergebnissen
• Ungültigkeit der Datenerhebung versus ungünstiges AI-Ergebnis
• Design-Gewicht vs. Ergebnis-Gewicht
• Rohstichprobengröße vs. effektive Stichprobengröße
• Länderstichprobe vs. Sprachstichprobe
• Mehrsprachiger Nutzer vs. mehr als eine Person
• Auswahl in einer Stufe vs. Auswahl in mehreren Stufen
• Natürliche Reichweite-Zuteilung vs. Gemeinsame Vergleichsbasis-Zuteilung
• Sofortige Wellen-Zuteilung und Zeitreihen-Zuteilung
• Bevölkerungsschätzung und Analyse der Länder- oder Spracherkennung
• Hauptbeobachtungen 1,000 mit Hilfsbeobachtern und Fairness-Panels

Am Ende dieses Abschnitts sollte jede Prüfung in der Lage sein, diese Fragen zu beantworten:

Warum wurden 1,000-Beobachtungen mit diesen Zahlen über dieses Land, diese Sprache und diese Nutzergruppen verteilt?

Wie wurde das Gewicht jeder Beobachtung im globalen Ergebnis bestimmt?

Wer hatte eine Nullwahrscheinlichkeit ausgewählt zu werden und warum?

Wie viele Personen wurden eingeladen, wie viele haben teilgenommen und wie viele Beobachtungen blieben gültig?

Wurden die Stichprobenergebnisse eingefroren, bevor sie angesehen wurden?

2. ZENTRALE NORMATIVE BESTIMMUNG

Die Hauptstichprobe der Bevölkerung GEO-1000 sollte auf einem geschichteten Stichprobendesign basieren, das bekannten oder vorhersagbaren Auswahlwahrscheinlichkeiten für Personen im vorab eingefrorenen produktberechtigten Bevölkerungsrahmen für jedes KI-Produkt und jede Messwelle zuweist. Das Standardziel des Hauptbevölkerungs-Panels ist:

Mindestens 1,000 gültige Beobachtungen pro KI-Produkt und Hauptmesswelle

werden aufrechterhalten. Diese Zahl:

• ist nicht die Anzahl der eingeladenen Personen,
• ist nicht die Anzahl der Konten,
• ist nicht die Anzahl der Roh-Screenshots,

Es ist nicht die Summe aller ergänzenden Panels. 1,000 ist das Ziel für gültige Produktbeobachtungen, die dem Protokoll im Hauptpopulation-Panel entsprechen. Länderspezifische Beobachter-, Sprachgerechtigkeits- und Barrierefreiheits-Panels können zusätzliche Stichproben erstellen. Diese zusätzlichen Stichproben:

• können das gesamte Feldvolumen über 1,000 erhöhen,
• können mit geeigneten Gewichten im Ergebnis der globalen Population verwendet werden,

dürfen jedoch nicht verwendet werden, um das gültige Beobachtungsziel 1,000 des Hauptpanels heimlich zu reduzieren.

3. GRUNDLEGENDES Repräsentation DER STICHPROBE

Für ein spezifisches KI-Produkt a, Messwelle w und Zielpopulationsrahmen werden die Schichten:

h∈ H_{a,w}

bezeichnet. Für jede Schicht:

• Nh: geschätzte produktgeeignete Population in der Schicht
• N: Gesamtzielpopulation
• Wh: Bevölkerungsgewicht der Schicht
• n: Zielvalide Hauptpanelbeobachtung
• qh: rohe proportionale Quote
• nh: zugewiesene ganzzahlige valide Beobachtungsziel

ist. Gesamtzielpopulation:

N= Σ_{h=1}^H N_h

Populationgewicht der Schicht:

W_h= N_h/ N

Rohe proportionale Quote:

q_h= nW_h

ist. Hauptproportionale Zuteilung unter idealen Bedingungen:

n_h≈ nW_h

sollte. Jedoch:

• qh kann gebrochen sein,
• einige Zellen können unter einer Person liegen,
• eine minimale diagnostische Stichprobe kann für Sprach- und Ländersubgruppen erforderlich sein,
• auch Risikogruppen mit kleiner Größe können untersucht werden,

Die Feldabschlussraten können variieren. Daher ist das Rohkontingent nicht direkt die endgültige Zuweisung.

4. DREI UNTERSCHIEDLICHE ZIELE DES STICHPROBEN-DESIGNS

Die gleiche Stichprobe kann möglicherweise nicht alle Ziele mit der gleichen Stärke erfüllen. Drei Ziele sollten getrennt betrachtet werden.

4.1. Globale Bevölkerungsüberschätzung

Beantwortet die Frage:

Welches repräsentative Ergebnis würde die durchschnittliche Person in der globalen Nutzerpopulation, die für das Produkt geeignet ist, sehen?

Die Gewichtung der Population hat oberste Priorität.

4.2. Untergruppen-Diagnose

Beantwortet die Frage:

Welche Verzerrungen in der Repräsentation treten in bestimmten Ländern, Sprachen, Plänen oder Nutzergruppen auf?

Es kann notwendig sein, kleine Gruppen übermäßig zu sampeln.

4.3. Geografische und sprachliche Abdeckung

Beantwortet die Frage:

In welchen Ländern und Sprachen gibt es mindestens reale Nutzerbeobachtungen?

Landesbeobachter- und Sprachgerechtigkeits-Panels werden wichtig. Diese drei Ziele können nicht unerklärlich in einer einzigen Stichprobe kombiniert werden.

5. HAUPTSTICHPROBENARCHITEKTUR

Die vorgesehene Hauptstichprobenarchitektur für GEO-1000 besteht aus vier Schichten.

5.1. Bevölkerungspanel

Jedes KI-Produkt und jede Welle hat mindestens 1,000 gültige Beobachtungen als Hauptpanel. Es liefert eine globale Populationsschätzung.

5.2. Landesbeobachter-Overlay

Bietet zusätzliche geografische Beobachtungen für kleine Länder, die im Hauptpopulationpanel nicht direkt vertreten sein können. Diese Beobachtungen können anzeigen:

• Einzelereignis,
• Zugangsstatus,
• zukünftige Forschungsbedarfe

Sie erzeugen allein keine Länderbewertung.

5.3. Sprachgerechtigkeits-Oversample

Erzeugt zusätzliche Beobachtungen für Sprachen mit geringen Ressourcen oder Sprachen, die im Hauptpanel unterrepräsentiert sind. Sie werden an die tatsächlichen Bevölkerungsgewichte im globalen Ergebnis angepasst.

5.4. Überschussstichproben für Barrierefreiheit

Es werden auch Nutzer von Assistenztechnologien und Barrierefreiheit erfasst, die im Standardpanel nicht ausreichend vertreten sind. Das Zieluniversum und das Gewicht dieser Beobachtungen werden separat aufgezeichnet.

6. WAS IST EIN STRATUM?

Ein Stratum ist ein Teil der Bevölkerung, der in Bezug auf Stichprobenzuweisung und Auswahlwahrscheinlichkeit separat verwaltet wird. Das Stratum kann eine Kombination aus einem oder mehreren der folgenden Bereiche sein:

• Land
• Region
• Sprache
• Locale
• KI-Plan
• Web oder mobil
• Kontrolliert oder Panel unter natürlichen Nutzungsbedingungen
• Barrierefreiheitsstatus
• Nutzertyp
• Zuständigkeitsbereich

Wenn jede kleine Kombination zu einem separaten Stratum gemacht wird, wird die Stichprobe fragmentiert. Zum Beispiel: Land × Sprache × Plan × Mobil/Web × Altersgruppe × Nutzertyp-Kombination kann Hunderte oder Tausende von Zellen erzeugen. 1,000-Beobachtungen liefern für die meisten dieser Zellen keine zuverlässigen Schätzungen. Daher sollte die Schichtung:

• substanziell sein,
• messbar sein,
• angemessen für die Stichprobengröße sein

muss sein.

7. EIN STRATUM IST NICHT DAS GLEICHE WIE EINE BERICHTSZELLE

Es kann separat auf einer Gruppenergebnis-Karte gezeigt werden. Es muss jedoch kein separates Stratum im Stichprobendesign sein. Zum Beispiel:

• eine kleine Sprache,
• eine bestimmte Zugänglichkeitsgruppe,
• eine bestimmte Altersgruppe

Es kann innerhalb eines breiteren Stratum in der Hauptstichprobe ausgewählt werden. Später kann es in der Analyse separat berichtet werden. Das Gegenteil ist ebenfalls möglich: Zwei Regionen können getrennt für die Stichprobeneffizienz geschichtet werden. Im öffentlichen Bericht können sie jedoch unter einem einzigen regionalen Ergebnis zusammengefasst werden. Das Schichtungsdesign und die Berichtsstruktur sollten separate Aufzeichnungen führen.

8. FOLGE DER SCHICHTUNGSERSTELLUNG

Die Kandidatenfolge für das Hauptpopulation-Panel ist wie folgt:

• KI-Produkt und Nutzeroberfläche
• Natürliche Reichweite oder Gemeinsame Vergleichsbasis Bevölkerungsrahmen
• Land oder kleiner Länderpool
• Hauptprüfsprache oder Sprachgruppe
• Materialplan/ Schnittstellen-Trennung, falls erforderlich
• Teilnehmerauswahlrahmen

Der Plan und die Schnittstelle müssen nicht für jedes Land in separate Ebenen aufgeteilt werden. Dies kann durch folgendes verwaltet werden:

• Unterebene,
• Kontingent,
• zufällige Zuordnung

Methoden.

9. SCHICHTEN VON GROSSEN UND KLEINEN LÄNDERN

Das Rohkontingent eines Landes:

q_c= nN_c/ N

liegt in dieser Form vor. Wenn das Rohkontingent groß genug ist, kann das Land direkt als separate Schicht gehalten werden. Dies kann genannt werden:

selbstrepräsentierende Länderschicht

Länder mit sehr kleinen Rohkontingenten einzeln in separate verpflichtende Schichten zu machen, kann die Stichprobeneffizienz verringern. Diese Länder können angemessen:

• regional,
• Sprachfamilie,
• Zugangssystem für Produkte,
• geografische Nähe

in kleine Länderpools aufgenommen werden.

10. KLEINER LÄNDERPOOL

Ein kleiner Länderpool:

Lassen Sie ihn repräsentiert werden als B_r= {c_1, c_2, …, c_k}

Die insgesamt für die Stichprobe geeignete Bevölkerung des Pools:

N_{B_r}= Σ_{c∈B_r} N_c

Hauptstichprobenquote:

q_{B_r}= nN_{B_r}/ N

wird wie folgt berechnet. Innerhalb des Pools kann die Länderauswahl mit einer Wahrscheinlichkeit erfolgen, die proportional zur Größe der geeigneten Bevölkerung ist. Die Wahrscheinlichkeit, dass das Land c innerhalb des Pools ausgewählt wird:

Pr(c | B_r) = N_c/ N_{B_r}

Es kann sein. Dann wird ein Teilnehmer innerhalb des gewählten Landes ausgewählt. Dieser Ansatz:

• kann verhindern, dass kleine Länder eine Nullchance haben, in der Zielbevölkerung ausgewählt zu werden,
• garantiert nicht, dass jedes Land in einer bestimmten Welle ausgewählt wird,

erhält die globale Bevölkerungsschätzung. Ein Land in dieser Welle nicht auszuwählen:

NICHT IN DER STICHPROBE DER BEVÖLKERUNG AUSGEWÄHLT

bedeutet nicht: "Das Land ist nicht Teil der Zielbevölkerung."

11. EINSCHRÄNKUNGEN DER ZUSAMMENLEGUNG KLEINER LÄNDER

Kleine Länder können nicht zufällig in denselben Pool eingeteilt werden, nur weil ihre Bevölkerung klein ist. Die Länder innerhalb des Pools sind insofern ähnlich, als sie relevant sind:

• Produktzugang,
• Nutzeroberfläche,
• Sprache oder Ortsstruktur,
• Rechtlicher Zugang,
• Geographische Region,
• Methode der Datenerhebung

Muss getragen werden. Ein Land ohne Produktzugang kann nicht in denselben Hauptpools wie ein Land mit vollem Zugang eingestuft werden. Unterschiedliche Nutzungsbedingungen können nicht unsichtbar gemacht werden.

12. KLEINER LANDPOOL ERZEUGT KEINE LÄNDERWERTUNG

Ein oder zwei aus dem Pool ausgewählte Beobachtungen können für den globalen Populationsbeitrag des Pools verwendet werden und können auf ein einzelnes Landesereignis hinweisen. Allerdings ergibt es keinen separaten statistischen Wert für ein kleines Land. Wenn ein länderbasierter Wert gewünscht wird, gibt es zusätzlich:

• Country Observer,
• länderspezifische Stichprobe,
• mehrwellen kumulative Stichprobe

kann erforderlich sein.

13. ZUORDNUNG PROPORTIONAL ZUR REINEN BEVÖLKERUNG

Reine proportionale Zuteilung: basiert auf der Formel:

q_h= nW_h

Vorteile:

• sie ist für die Hauptbevölkerungsschätzung verständlich,
• sie gewichtet große Bevölkerungen natürlich,
• sie kann Gewichtsunterschiede verringern,

sie kann ein selbstgewichtendes Design annähern. Einschränkungen:

• sie kann sehr kleine Länder und Sprachen nur in geringer Zahl erfassen,
• sie kann möglicherweise nicht ausreichen, um Untergruppenergebnisse zu liefern,
• sie kann kleine Hochrisikogruppen unsichtbar lassen,

sie kann Bruchteilsquoten und nahezu null Quoten erzeugen. Daher kann die reine proportionale Zuteilung eine starke Voreinstellung für das Hauptbevölkerungs-Panel sein. Sie ersetzt keine ergänzenden Panels.

14. UMWANDLUNG VON BRÜCHEN IN GANZE ZAHLEN

Rohe Quoten sind oft gebrochen. Die Gesamtzuweisung sollte genau n betragen. Die Methode des größten Restes kann als Standardmethode verwendet werden.

14.1. Erster Schritt

Jede rohe Quote wird abgerundet:

b_h= ⌊q_h⌋

14.2. Zweiter Schritt

Die Anzahl der nicht zugewiesenen Beobachtungen:

R= n− Σ_h b_h

wird berechnet.

14.3. Dritter Schritt

Der Bruchteil jedes Stratum:

f_h= q_h− b_h

wobei f_h der Bruchteil von q_h ist.

14.4. Vierter Schritt

Die verbleibenden R Beobachtungen werden einzeln zu den Schichten mit den höchsten f_h Werten hinzugefügt.

14.5. Gleichheitssituation

Wenn die Bruchteile der beiden Schichten gleich sind:

• Bevölkerungsgröße,
• vorgegebene feste Reihenfolge,
• registrierter Zufallssamen

Eine unabhängige Regel zur Entscheidungsfindung im Gleichstand sollte verwendet werden, unabhängig vom Ergebnis. Ein Land darf nicht basierend auf den Ergebnissen ausgewählt werden.

15. SYNTHETISCHE GANZZAHLENZUWEISUNG

SYNTHETISCHE ANZEIGE

Geeignete Populationen zu Beginn des Abschnitts:

Wenn Länder als separate Schichten geschützt sind, abrunden:

Eine Beobachtung bleibt übrig. Sie wird H hinzugefügt, da der höchste Bruchteil 0.5 im Land H ist. Endgültige Zuordnung:

Auch wenn dieses Design I und J als separate deterministische Schichten definiert, kann es ein Problem für die vollständige Zieluniversumsinferenz darstellen, wenn es keine Chance zur Auswahl gibt. Eine genauere Lösung ist ein kleiner Länderpool.

16. SYNTHETISCHE ZUTEILUNG MIT KLEINEM LÄNDERPOOL

Länder H, I und J:

B_small= {H, I, J}

sollten im Pool zusammengefasst werden. Pool-Bevölkerung:

1,500,000+400,000+100,000=2,000,000

Pool-Quote:

1,000× 2,000,000/ 1,000,000,000= 2

ergibt sich. Hauptzuteilung:

Auswahlgewichte der Länder innerhalb des Pools:

Zwei Hauptpopulationen werden gemäß diesen Wahrscheinlichkeiten ausgewählt. In derselben Welle:

• können beide Beobachtungen von H stammen,
• einer aus H und einer aus I,
• selten aus J

Dies kann vorkommen. Das Design macht J nicht in jeder Welle sichtbar, verringert jedoch nicht die Wahrscheinlichkeit, dass J ausgewählt wird, auf null. Wenn J beobachtet werden muss, wird es separat dem Country Observer Panel hinzugefügt. Eine Beobachtung durch einen Country Observer gibt J kein Gewicht von eins in 1,000 in der Hauptzuweisung; J behält sein tatsächliches Bevölkerungsgewicht im Hauptpanel.

17. MINIMALE ZELLENZUWEISUNG

Reine proportionale Quote ist möglicherweise nicht ausreichend, um eine Diagnostikanalyse für einige Untergruppen durchzuführen. Zum Beispiel könnte die Rohquote für eine Sprachzelle 8 betragen. Mit acht Beobachtungen kann kein zuverlässiger Sprachscore erstellt werden. In diesem Fall gibt es drei Optionen:

• Den Sprachscore nicht zu veröffentlichen
• Die Zelle mit ähnlichen Gruppen zusammenzuführen
• Die Zelle überproportional zu beproben

Die minimale Zellzuweisung muss vor den Ergebnissen definiert werden.

18. KANDIDATEN-REPORTING-BANDS

KANDIDATEN-MELDEGRUPPEN — KANDIDATEN-MELDERBANDS

Die unten aufgeführten Schwellenwerte sind keine endgültigen wissenschaftlichen Entscheidungen. Sie sollten durch Pilot- und externe Überprüfungen kalibriert werden.

1–29 Gültige Beobachtung

Einzelereignis und Entdeckung Länder- oder Sprachrate wird nicht veröffentlicht

NUR BEOBACHTUNGSZWECK

30–99 Gültige Beobachtungen

Explorative Level-Schätzung Breite Unsicherheit Es wird kein endgültiges Konformitätsurteil fällt

ERKUNDUNGSARBEIT

100–199 Gültige Beobachtungen

Erste Untergruppenschätzung Die Unsicherheit sollte sichtbar sein

VORLÄUFIG

200 und darüber hinaus gültige Beobachtungen

Stärkere Untergruppenschätzung Kandidat Designeffekt und Gewichte werden erneut bewertet

STANDARD-SCHÄTZUNGSKANDIDAT

Diese Bands:

• Fehlerquote,
• erwartete Genauigkeit,
• Gewichtsvariabilität,
• design Effekt

kann nicht automatisch als ausreichend betrachtet werden, ohne berücksichtigt zu werden.

19. ÜBERABTASTUNG

Ein Land, eine Sprache oder eine Nutzergruppe kann mehr Beobachtungen haben als ihr Bevölkerungsanteil. Dies wird als Überabtastung bezeichnet. Ihre Zwecke:

• die Sensitivität von Untergruppen zu erhöhen,
• eine ressourcenarme Sprache sichtbar zu machen,
• eine hochriskante kleine Gruppe zu untersuchen,
• den Coverage des Ländebeobachters zu erweitern,
• die Zugänglichkeitsnutzer angemessen zu vertreten

sind möglich. Überabtastung ist nicht falsch. Was falsch ist:

Es ist, den Stichprobenanteil der überabgetasteten Gruppe zu verwenden, als ob er der tatsächliche Bevölkerungsanteil wäre.

20. BEVÖLKERUNGSTEIL UND STICHPROBENTEIL

Bevölkerungsanteil für Schicht h:

W_h= N_h/ N

Stichprobenanteil:

S_h= n_h/ n

ist in der Form. Bei rein proportionaler Zuteilung:

S_h≈ W_h

okay. Bei übermäßiger Stichprobenziehung:

S_h> W_h

Es ist möglich. Bei einer kleinen Stichprobe:

S_h< W_h

Es ist möglich. Die weltweite Bevölkerungsschätzung sollte Wh-Werte anstelle von Sh beibehalten.

21. GRUNDLAGEN-ENTWURFSLAST

Bei einfacher geschichteter Stichprobenerhebung kann das Grundgewicht jeder Beobachtung innerhalb der Schicht h als:

d_i= N_h/ n_h

Das normalisierte Schichtgewicht kann geschrieben werden als:

a_h= W_h/ S_h

Das normalisierte Beobachtungsgewicht kann sein:

w_i= W_h/ n_h

Es wird sichergestellt, dass die Summe eins ergibt:

Σ_i w_i= 1

Die gewichtete Schätzung des binären Übergangs kann berechnet werden als:

θ̂ = Σ_i w_iY_i

Hier:

Yi=1: Antwort, die das Übergangskriterium erfüllt

Yi=0: Antwort, die es nicht erfüllt

Es ist möglich. Das finale NOMOS-System muss nicht nur binäre Ergebnisse verwenden. Die gleiche Gewichtungslogik kann auch auf mehrdimensionale Antworten angewendet werden.

22. BEISPIEL ÜBERMÄSSIGER STICHPROBENNAHME

SYNTHETISCHES BEISPIEL

In der geeigneten Population von Land B:

• Sprache X: 80 Prozent
• Sprache Y: 20 Prozent

Sei es so. Im Population Panel gibt es 250 Beobachtungen für Land B. Reine Zuweisung:

• Sprache X: 200
• Sprache Y: 50

Lassen Sie 50 zusätzliche Beobachtungen zur Sprachfairness für Sprache Y durchführen. Gesammelte Beobachtungen:

• Sprache X: 200
• Sprache Y: 100

Der Anteil von Sprache Y in der Rohstichprobe:

100/300 = 33.3%

Es war. Der tatsächliche Bevölkerungsanteil beträgt 20%. Im globalen Bevölkerungsbericht kann Sprache Y kein 33.3%-Gewicht erhalten. Innerhalb der Schicht normalisierte Gewichte:

• Gesamtgewicht für Sprache X: 80%
• Gesamtgewicht für Sprache Y: 20%

wird beibehalten. Jede der 100-Beobachtungen in Sprache Y erhält ein geringeres individuelles Gewicht als eine einzelne Beobachtung in Sprache X. Im Gegensatz dazu werden alle 100-Beobachtungen im separaten Diagnosebericht von Sprache Y verwendet. Dieser Ansatz: erhöht die Sichtbarkeit der Untergruppe, verzerrt die globale Bevölkerungsschätzung nicht.

23. ZUORDNUNG VON MEHRSPRACHIGEN NUTZERN

Eine Person kann für mehr als eine Sprachzelle geeignet sein. Einer der bevorzugten Ansätze für das Haupt-Populationspanel besteht darin, dem Nutzer eine vordefinierte Hauptprüfungsprache zuzuweisen. Die Hauptprüfungsprache kann gemäß diesen Feldern bestimmt werden:

• Tägliche KI-Nutzungssprache
• Mutter- oder Heimatsprache
• Markt und Gebietsschema
• Kompetenz in der natürlichen Nutzung des Prompts
• Panelausgleich

Wenn der Nutzer auch in anderen Sprachen getestet wird, werden diese Beobachtungen:

• gepaartes mehrsprachiges Panel,
• Language Fairness Panel

ebenfalls entsprechend gekennzeichnet. Es ist verboten, dass dieselbe Person in allen Sprachen eine vollständige Bevölkerungsgewichtung erhält.

24. SPRACHENZUWEISUNG INNERHALB DES LANDES

Sei die geeignete Population für Sprachgruppen l im Land c: N_{c,l}. Wenn die Landquote: n_c beträgt, dann die rohe Sprachquote:

q_{c,l}= n_c× N_{c,l}/ Σ_l N_{c,l}

kann wie folgt berechnet werden. Wenn sich jedoch Sprachgruppen überschneiden:

Σ_l N_{c,l}> N_c

kann möglich sein. In diesem Fall führt die Verwendung eines direkten Anteils zu einer doppelten Zählung. Lösungsmöglichkeiten:

• Hauptprüfung Sprachklassifikation,
• Menschliches Gewicht aufteilen,
• mehrsprachiges gemeinsames Modell,
• getrenntes Übereinstimmungs-Sprachpanel

kann verwendet werden. Die verwendete Methode sollte dokumentiert werden.

25. ZUORDNUNG VON PLAN UND BENUTZERSCHNITTSTELLE INNERHALB DER BEVÖLKERUNG

Kostenlose und bezahlte Nutzer oder Web- und Mobile-Oberflächen können sich unterschiedlich verhalten. Die Aufteilung jeder Länder-Sprach-Zelle separat in Plan- und Interface-Ebenen kann jedoch die Stichprobe zu stark fragmentieren. Drei Ansätze können verwendet werden.

25.1. Unterzuordnung proportional zur Bevölkerung

Wenn die tatsächliche Nutzungsverteilung bekannt ist, erfolgt die Zuweisung gemäß Plan und Schnittstellenanteilen.

25.2. Ausgeglichene experimentelle Zuweisung

Gleiches oder höheres Sampling wird durchgeführt, um den Unterschied zwischen Plan oder Schnittstelle zu vergleichen. Bei globaler Schätzung wird es auf die tatsächlichen Nutzungsanteile neu gewichtet.

25.3. Separate Produktoberflächenwerte

Freie Web-, kostenpflichtige Web- und mobile Produkte werden als separate Prüfobjekte gemeldet. Ein kombinierte Ergebnis kann ebenfalls erstellt werden. Der zu verwendende Ansatz sollte vor der Messung definiert werden.

26. EINLADUNGSNUMMER UND GÜLTIGES BEOBACHTUNGSZIEL

Wenn das gültige Beobachtungsziel für eine Schicht nh beträgt, ist es normalerweise nicht ausreichend, genau nh Personen einzuladen. Denn:

• einige Personen nehmen nicht teil,
• einige schließen die Aufgabe nicht ab,
• einige Datensätze bleiben außerhalb des Protokolls,

einige Evidenzpakete werden ungültig. Lassen Sie die erwartete Abschlussquote für die Schicht rh sein und die erwartete Gültigkeitsrate vh. Das Einladungsziel beträgt ungefähr:

m_h= ⌈n_h/ (r_h× v_h)⌉

kann wie folgt berechnet werden. Beispiel:

• Ziel für gültige Beobachtungen: 100
• Erwartete Abschlussquote: 80 Prozent
• Erwartete Gültigkeitsrate: 90 Prozent

m_h= ⌈100/ (0.80× 0.90)⌉ = 139

Personen können eingeladen werden. Dies ist keine Garantie. Während das Feld voranschreitet, kann das vordefinierte Backup-System verwendet werden.

27. GRENZE DER EINLADUNGSINFLATION

Nur mehr Personen einzuladen löst das Stichprobenbias nicht. Frühe Teilnehmer können systematisch anders sein als späte Teilnehmer. Nur die ersten 1,000 Abschlusse zu berücksichtigen:

• Zeitzone,
• Technologieinteresse,
• Verbindungsqualität,
• Arbeitsplan

kann Voreingenommenheit in Bezug auf Einladung und Auswahlreihenfolge erzeugen:

• sollte randomisiert werden,
• muss innerhalb des Stratum aufgezeichnet werden,

sollte während des gesamten Befragungszeitraums verwaltet werden.

28. ALTERNATIVES TEILNEHMER-SYSTEM

Für jedes Stratum sollte vor der Einsicht der Ergebnisse eine geordnete Sicherungsliste erstellt werden. Ein Sicherungsteilnehmer kann nur aus folgenden Gründen aktiviert werden:

• Keine Antwort auf die Einladung
• Fehler beim Abschluss der Aufgabe
• Technisches oder ethisches Eignungsproblem
• Verstoß gegen das Nachfrageprotokoll
• Ungültigkeit des Evidenzpakets
• Neuregistrierung derselben Person

Der Sicherungsbenutzer darf aus folgendem Grund nicht eingreifen:

Die KI-Antwort des vorherigen Nutzers lieferte ein falsches, negatives oder unerwünschtes Ergebnis.

Eine falsche KI-Antwort ist das gültige Systemergebnis. Sie kann kein Grund für eine Teilnehmeränderung sein.

29. FÜHRT ZU ERBLINDUNG BEI DER GÜLTIGKEITSENTSCHEIDUNG

Die Person, die entscheidet, ob die Beobachtung so weit wie möglich dem Protokoll entspricht:

• muss die Antwort bewerten, ohne zu wissen, ob sie richtig oder falsch ist,
• oder ob es positiv oder negativ für die Marke ist.

Zuerst:

• Erfassung und Protokollgültigkeit
• Dann die substanziellen Reaktionsbewertung

muss erledigt werden. Andernfalls können negative Antworten leichter als „ungültig“ erklärt werden.

30. RESERVIERUNGSVORGANG INNERHALB DER SCHICHT

Der Ersatzteilnehmer sollte nach Möglichkeit vom Gleichen sein:

• Land,
• Sprache,
• Produktoberfläche
• Plan,
• Bedingung des Panels

Schicht. Wenn keine Reserve in derselben Schicht verbleibt, wird die vordefinierte Eskalation angewendet:

• Zusätzliche Zufallsauswahl innerhalb derselben Schicht
• Vordefinierter Pool der oberen Schicht
• Zuweisung unvollständig lassen und Bereichewarnung
• Neue Analyseverson

Nachdem das Ergebnis gesehen wurde, kann ein Nutzer aus einem anderen Land zu holen und die Lücke zu schließen, nicht stillschweigend erfolgen.

31. WAS PASSIERT, WENN EINE SCHICHT ZU KURZ IST?

Es kann unter das Schichtziel fallen. Beispiel:

• Ziel: 100
• Gültige Beobachtung: 72

Korrekte Optionen:

• Das Feldfenster auf ein vordefiniertes Ausmaß erweitern
• Die Backup-Liste verwenden
• Die Zelle mit einer ähnlichen und vordefinierten oberen Schicht zusammenführen
• Melden Sie das Ergebnis mit großer Unsicherheit
• Veröffentlichen Sie das Zellenergebnis nicht
• Berechnen Sie das globale Gewicht mit einer geeigneten Methode neu

Falsche Option: Entfernen Sie die Schicht mit niedriger Punktzahl vollständig aus der Analyse.

32. NACHERGEBNIS-QUOTENÄNDERUNG

Die folgenden Änderungen sind ergebnisorientierte Probenmanipulationen:

• Senkung der Zielquote des Landes mit niedriger Punktzahl
• Erhöhung der Quote der Sprache mit hoher Punktzahl
• Ungültigmachung von Nutzern, die negative Antworten geben
• Neudefinition des Small-Country-Pools basierend auf den Ergebnissen
• Ausschluss eines Plans mit kritischen Fehlern
• Hinzufügen neuer Nutzer, bis der gewünschte Durchschnitt erreicht ist

Jede Änderung der Materialquote:

• neue Zuweisungsversion,
• Begründung,
• Datum,
• Entscheidungsträger
• Erhaltung des vorherigen Ergebnisses

soll damit durchgeführt werden.

33. MEHRSTUFIGE STICHPROBE

Mehrstufige Stichproben können verwendet werden, wenn kein direkter Zugang zu allen Personen möglich ist. Beispiel:

• Auswahl der Regionen- oder Länderauswahlpool
• Länderauswahl
• Auswahl des Panels oder lokalen Forschungspartners
• Nutzerauswahl
• KI-Produkt- oder Aufgabenverteilung

Die Gesamtauswahlwahrscheinlichkeit für einen einzelnen Nutzer ist das Produkt der bedingten Wahrscheinlichkeiten in jeder Stufe:

π_i= π_r× π_{c|r}× π_{f|c}× π_{i|f}

Hier:

• r: Region oder kleiner Länderpool
• c: Land
• f: Stichprobenrahmen oder Panel
• i: Person

Grundlegendes Designgewicht:

d_i= 1/π_i

Wenn Auswahlwahrscheinlichkeiten nicht erfasst werden können, kann das Design nicht als vollständig wahrscheinlichkeitbasiertes Sample dargestellt werden. [K04; K07]

34. ZUTEILUNG IN FREIWILLIGEN UND NICHT-WAHRSCHEINLICHKEITSPANELEN

Ein wirklich wahrscheinlichkeitbasiertes Weltpanel ist möglicherweise nicht immer möglich. Ein freiwilliges oder professionelles Online-Panel kann verwendet werden. In diesem Fall können Länder- und Sprachquoten weiterhin gemäß der produktberechtigten Bevölkerung festgelegt werden. Allerdings:

• die tatsächliche Auswahlwahrscheinlichkeit des Teilnehmers kann unbekannt sein,
• Selbstselektion kann auftreten,

Gewichtung kann nur Anpassungen auf Basis beobachteter Variablen vornehmen. Der korrekte Status:

Nicht-wahrscheinlichkeitliches Nutzerpanel, geschichtet und kalibriert auf die Bevölkerung

kann sein. Die folgende Aussage darf nicht verwendet werden: „1,000 Menschen werden völlig zufällig aus der Weltbevölkerung ausgewählt.“

35. GEWICHTSARCHITEKTUR

Das endgültige Beobachtungsgewicht kann aus mehreren Komponenten bestehen:

w_i= d_i× a_i^{NR}× g_i^{CAL}

Hier:

• di: Basis-Designgewicht
• aiNR: Anpassung für Nichtreaktion
• giCAL: Kalibrierungskoeffizient

35.1. Designgewicht

Es ist der Kehrwert der Auswahlwahrscheinlichkeit der Teilnehmenden im Stichprobendesign.

35.2. Nichtreaktionsanpassung

Für ausgewählte Personen mit ähnlichen Merkmalen:

• wie viele geantwortet haben,
• wie viele eine gültige Beobachtung geliefert haben

kann berücksichtigt werden. Für die Stichprobenreaktionsklasse r:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

Hier:

• Sr: ausgewählte geeignete Stichprobe
• Rr: diejenigen, die geantwortet oder eine gültige Beobachtung geliefert haben

kann sein. Nichtantwortanpassung: löst das unbeobachtete Verzerrungsproblem nicht vollständig, sollte zusammen mit seinen Annahmen erklärt werden.

35.3. Kalibrierungsgewicht

Die Stichprobe, zu bekannten Bevölkerungsgesamtsummen:

• Land,
• Sprache,
• Alter,
• Plan,
• Nutzeroberfläche.

Kalibrierung kann über diese Dimensionen angewendet werden, jedoch nur dort, wo verlässliche externe Gesamtsummen vorliegen.

36. GEWICHTSNORMALISIERUNG

Gewichte:

• an die Gesamtbevölkerung,
• an die gesamte Stichprobengröße,
• auf einzelne

kann normalisiert werden. Die in der Score-Formel verwendete Normalisierung sollte erklärt werden. Einzeln normalisierte Gewichte:

w̃_i= w_i/ Σ_j w_j

werden erhalten. Gewichtete Schätzung:

θ̂ = Σ_i w̃_iY_i

wird wie folgt berechnet.

37. GEWICHTSBESCHNEIDUNG

Einige Teilnehmer können sehr hohe Gewichte erhalten, weil sie sehr kleine und unterrepräsentierte Gruppen repräsentieren. Diese Situation:

• kann die geschätzte Varianz erhöhen,
• die Einflussnahme einer einzelnen Beobachtung,
• und die Schwankung der Werte

kann zunehmen. Gewichte können auf einem oberen Limit beschnitten werden. Das Beschneiden kann jedoch: Verzerrungen in der Populationsdarstellung erzeugen, kleine Gruppen wieder unsichtbar machen. Daher sollte die Gewichtsbescheidung:

• vor den Ergebnissen definiert werden,
• zusammen mit den unbeschnittenen Ergebnissen gezeigt werden,

und eine Sensitivitätsanalyse enthalten.

38. EFFEKTIVE STICHPROBENGRÖßE

Auch wenn die Rohzahl der Beobachtungen n beträgt, kann die tatsächliche Informationsmenge geringer sein, wenn die Gewichte stark variieren. Kish effektive Stichprobengröße:

n_eff= (Σ_i w_i)^2/ Σ_i w_i^2 [K08]

kann wie folgt gezeigt werden. Bei gleichen Gewichten:

neff≈n

erhalten wir. Wenn die Gewichte sehr unausgeglichen sind: neff<n. Eine GEO-1000-Studie:

• 1,000 gültige Beobachtungen,
• können 620 effektive Stichprobengröße

tragen. Für die Öffentlichkeit: Die Angabe „1,000 Personen wurden gemessen.“ kann aufgrund der Präzision stark erscheinen. Im Hauptbericht sollten mindestens:

• Rohzahl der gültigen Beobachtungen,
• effektive Stichprobengröße,
• Gewichtsvariabilität

bestimmt werden.

39. GEWICHT-DESIGN-EFFEKT

Ungefähre Designwirkung aufgrund von Gewichten:

DEFF_w≈ 1+ CV(w)^2

kann gezeigt werden. Hier:

CV(w) = sd(w) / mean(w)

Dies ist der Variationskoeffizient der Gewichte und stellt nur eine ungefähre Repräsentation ihrer Wirkung dar. Die gesamte Designwirkung kann auch variieren mit:

• Clusterbildung,
• Stratifizierung,
• wiederholten Messungen,
• gepaarten Nutzern

Diese Effekte müssen separat geschätzt werden.

40. CLUSTERBILDUNG

Dasselbe:

• Aus dem Forschungspanel,
• aus dem Land,
• aus der Sprachgemeinschaft,
• vom Gerät oder der Institution,
• vom Nutzer

Beobachtungen können einander ähneln. In diesem Fall sind 1,000 Beobachtungen nicht 1,000 vollständig unabhängige Informationseinheiten. Clusterbildung:

• im Stichproben-Design,
• bei der Varianzberechnung,
• bei der effektiven Stichprobengröße

sollte berücksichtigt werden.

41. TEST VON MEHR ALS EINEM KI-Produkt DURCH DEN GLEICHEN NUTZER

Wenn ein Nutzer mehrere KI-Produkte testet, kann der Unterschied zwischen den Modellen an derselben Person gemessen werden. Vorteil: Nutzermerkmale können kontrolliert werden, gepaarter Vergleich kann gestärkt werden. Einschränkung:

• Produktbeobachtungen sind nicht unabhängig,
• die Reihenfolge der Aufgaben kann andere Antworten beeinflussen,
• ein Nutzer kann die im ersten System gesehene Antwort auf das nächste System übertragen,

Nutzer, die auf alle Produkte zugreifen können, können sich von der Gesamtpopulation unterscheiden. Daher Produkte:

• sollte in zufälliger Reihenfolge zugewiesen werden,
• die Weitergabe vorheriger Antworten sollte verhindert werden,
• das gepaarte Design sollte aufgezeichnet werden,

Die Analyse sollte die Abhängigkeit schützen. Jedes KI-Produkt sollte erneut sein eigenes Ziel von 1,000 gültigen Produktbeobachtungen haben. Wenn dieselben 1,000 Menschen zehn Produkte testen:

• 1,000 einzigartige Menschen,
• 10,000 Produktbeobachtungen

können gebildet werden. Diese beiden Zahlen sind nicht gleich.

42. AUSGEWOGENES MISSING-BLOCK-DESIGN

Nicht alle Nutzer müssen auf alle KI-Produkte zugreifen. Zum Beispiel, wenn es zehn KI-Produkte gibt, kann jedem Teilnehmer drei Produkte zugewiesen werden. Wenn die Zuweisungen auf ausgeglichene Weise erfolgen:

• jede Produkt 1,000 Beobachtungen,
• jedes Produktpaar ausreichende gemeinsame Nutzer,
• breitere Teilnahme der Bevölkerung

kann erreicht werden. Als Kandidat für diesen Ansatz:

Ausgewogenes unvollständiges Blockdesign

kann verwendet werden. Seine Vorteile:

• reduziert die Belastung der Teilnehmer,
• verringert das Risiko, nur starke KI-Nutzer auszuwählen,

bietet eine passende Vergleichbarkeit über Modelle hinweg. Das genaue Design wird in den Abschnitten 8 und 9 näher erläutert.

43. Natürliche Reichweite VERTEILUNG

Jedes KI-Produkt erhält eine separate Zuteilung gemäß seiner eigenen Natürliche Reichweite-Population. Daher dasselbe Land:

• 200 für ein Produkt,
• 0 für ein anderes Produkt,
• 50 für ein drittes Produkt

kann beobachtet werden. Dieser Unterschied ist keine Ungerechtigkeit. Es ist so, dass die tatsächlichen Zugangsuniversen der Produkte unterschiedlich sind. Da Natürliche Reichweite-Werte zu unterschiedlichen Populationen gehören, sollten sie nicht allein für eine direkte Rangliste verwendet werden.

44. Gemeinsame Vergleichsbasis VERTEILUNG

Ein gemeinsames Zugangsuniversum wird für den Vergleich zwischen Produkten erstellt. Die gemeinsame Population:

U_CS= ⋂_{a∈A} U_a

kann auf diese Weise betrachtet werden. Jedes Produkt wird mit denselben Gemeinsame Vergleichsbasis-Populationsgewichten gemessen. Dieser Ansatz:

• bietet einen fairen Produktvergleich,
• gleicher Länder- und Sprachboden

stellt sicher. Er zeigt jedoch nicht den natürlichen globalen Zugangsunterschied der Produkte. Daher sollten Natürliche Reichweite- und Gemeinsame Vergleichsbasis-Ergebnisse zusammen berichtet werden.

45. VERWALTUNG DER STICHPROBE ÜBER WELLE

Es können zwei verschiedene Ziele über mehrere Messwellen bestehen.

45.1. Aktuelles Querschnittsergebnis

In jeder Welle wird ein aktueller produktberechtigter Bevölkerungsrahmen verwendet. Dieser Wert beantwortet die Frage: "Was passiert gerade im tatsächlichen globalen Zugangsuniversum?"

45.2. Festgelegtes Rahmen-Trendergebnis

Die Bevölkerungsgewichte aus der anfänglichen Welle bleiben erhalten. Dieser Wert beantwortet die Frage: "Wie hat sich die Repräsentation in derselben Referenzbevölkerung im Laufe der Zeit verändert?"

45.3. Trennung von zwei Ergebnissen

Wenn das Produkt auf neue Länder ausgeweitet wird, kann der aktuelle Wert sinken. Dieser Rückgang:

• liegt an der Verschlechterung des Produkts,
• durch die Aufnahme neuer und schwieriger Bevölkerungsgruppen

kann darauf zurückzuführen sein. Ein Trend mit festem Rahmen kann gleichzeitig eine Verbesserung zeigen. Daher:

• Momentaufnahme des aktuellen Rahmens
• Trend mit festem Rahmen

Sie sind separate Ergebnisse.

46. PANELERNEUERUNG UND -TRANSFORMATION

Unter den Wellen:

• die gleichen Nutzer,
• völlig neue Nutzer,
• teilweise erneuertes Panel

nutzbar.

46.1. Vollständiges Abschnittspanel

In jeder Welle werden neue Nutzer ausgewählt. Es kann für die Schätzung der Population stark sein. Es misst keine individuellen Veränderungen.

46.2. Längsschnittpanel

Die gleichen Nutzer werden erneut gemessen. Zeigt individuelle Nutzer- und Produktveränderungen. Das Panel kann Abnutzungs- und Lerneffekte erzeugen.

46.3. Rotierendes Panel

Ein Teil der Teilnehmer wird beibehalten, während ein Teil erneuert wird. Bietet sowohl Trend- als auch frische Bevölkerungsrepräsentation. Die verwendete Panelstruktur sollte auf der Ergebnisübersicht sichtbar sein.

47. SAMPLE LOCK

Die folgenden Datensätze sollten vor Beginn jeder Welle festgeschrieben werden:

• KI-Produkt
• Nutzeroberfläche
• Zielpopulation-Version
• Natürliche Reichweite Länder
• Gemeinsame Vergleichsbasis Länder
• Schichten
• Kleine Länderpools
• Rohquoten
• Ganzzahlige Zuweisungen
• Sprachzuweisungen
• Oversampling-Plan
• Einladungsziele
• Reservelisten
• Auswahlmethode
• Gewichtungsformel
• Regel zur Ergebnisblindheit
• Eskaltation bei Unterdeckung
• Analyseplan
• Decodierungsmethode
• Zufallssamen, falls verwendet
• Verantwortliche menschliche Genehmigung

In diese Datei:

NOMOS Stichproben-Zuweisungssperre

kann den Namen erhalten.

48. ÄNDERUNGEN NACH MUSTERSPERRUNG ERLAUBT

Die folgenden Ereignisse können eine neue Version erfordern:

• Beendigung des Produktzugangs im Land
• Ernstes Sicherheitsproblem im Feld
• Materieller Fehler in den Populationsdaten
• Panelanbieter kann in ein bestimmtes Land nicht liefern
• Änderung der Anforderungen an die Forschungsethik
• Kritischer Fehler im Messinstrument

Änderung:

• muss gerechtfertigt,
• datiert,
• genehmigt,
• durchgeführt werden, wobei die alte Version erhalten bleibt.

Die Stärke oder Schwäche der Ergebnisse ist kein Grund für eine Änderung.

49. MUSTERQUALITÄTSSTATUS

Eine Musterwelle kann einen der folgenden Stati tragen:

SQ-0— NICHT ENTWORFEN

Es gibt kein dokumentiertes Stichprobendesign.

SQ-1— BEQUEMLICHKEITSBEOBACHTUNG

Es handelt sich um eine Bequemlichkeits- oder freiwillige Beobachtung. Eine Verallgemeinerung auf die Gesamtbevölkerung ist nicht möglich.

SQ-2— QUOTENKONTROLLIERT

Es gibt Länder- und Sprachquoten. Die Auswahlwahrscheinlichkeiten sind nicht vollständig bekannt.

SQ-3— GEWICHTETES PANEL

Es gibt ein stratifiziertes Panel und eine Bevölkerungs-Kalibrierung. Abdeckungs- und Selbstselektionseinschränkungen bestehen weiterhin.

SQ-4— WAHRSCHEINLICHKEITSBASIERT ODER HYBRID

Bekannte Auswahlwahrscheinlichkeiten oder ein starkes Hybriddesign sind vorhanden.

SQ-5— REPLIZIERT UND KALIBRIERT

Das Design wurde in verschiedenen Wellen und externen Anwendungen repliziert; Bias- und Varianzverhalten wurden kalibriert. Diese Stati können die Vertrauensklasse des öffentlichen Scores beeinflussen.

50. SYNTHETISCHE END-TO-END GEO-1000 ZUWEISUNG

SYNTHETISCHE METHODOLOGIE-DEMONSTRATION / Die folgenden Länder, Bevölkerungen, Sprachen, KI-Produkte und Berechnungen sind vollständig fiktiv. Für das synthetische Orion KI-Produkt sei die geeignete Bevölkerung für Natürliche Reichweite 1 Milliarden Menschen. Hauptziel des Bevölkerungspanels:

n=1,000

50.1. Länder- und Kleines-Länder-Pool-Zuweisung

50.2. Sprachzuweisung in Land B

Berechtigte Bevölkerung in Land B:

• Sprache X: 80 Prozent
• Sprache Y: 20 Prozent

Bevölkerungspanel-Zuweisung:

• Sprache X: 200
• Sprache Y: 50

Zusätzliche Zuweisung zur Sprachgerechtigkeit: Sprache Y: 50 Feldziel in Land B:

• Sprache X: 200
• Sprache Y: 100
• Gesamt: 300

Allerdings, die globalen Bevölkerungsgewichtungen des Bevölkerungspanels:

• Sprache X: 80% von Land B
• Sprache Y: 20% von Land B

bleiben wie sie sind.

50.3. Länderbeobachter-Anhang

Es gibt zwei Wahrscheinlichkeitsbeobachtungen für H, I und J im kleinen Länderpool im Bevölkerungs-Panel. Das Länderbeobachter-Panel:

H: 1

I: 1

J: 1

kann Beobachtungen anvisieren. Diese drei Beobachtungen:

• erhöhen die geografische Abdeckung,
• zeigen individuelle Ländereignisse,

erzeugen keine Länderbewertung.

50.4. Barrierefreiheits-Ergänzung

Wenn festgestellt wird, dass das Hauptpanel die Zugänglichkeitsnutzer unzureichend abdeckt, können zusätzliche Beobachtungen von 40 durchgeführt werden. Diese Nutzer: werden entsprechend relevanter Bevölkerungsgruppen kalibriert und erzeugen ein separates Ergebnis des Accessibility Panels.

50.5. Gesamtfeldvolumen

Der Name GEO-1000 ist weiterhin gültig. Weil:

1,000 ist das gültige Beobachtungsziel für das Hauptbevölkerungs-Panel.

Ergänzende Gerechtigkeits- und Abdeckungspanels können dem hinzugefügt werden.

50.6. Einladungsvolumen

Im Bevölkerungs-Panel im Durchschnitt:

• Abschluss: 82 Prozent
• Gültigkeit: 92 Prozent

Es sei zu erwarten. Erforderliche Einladung:

⌈1,000/ (0.82× 0.92)⌉ = 1,326

kann sein. Mit ergänzenden Panels können die gesamten Einladungen 1,500 überschreiten. Daher:

GEO-1000 ist nicht nur eine Methode, Einladungen an 1,000 Personen zu senden.

50.7. Feldergebnis

Auf dem Bevölkerungs-Panel:

• 1,326 Personen wurden eingeladen,
• 1,080 Aufgaben abgeschlossen,
• 1,012 Datensätze wurden protokollmäßig als gültig befunden,
• die ersten 1,000 wurden gemäß einer vordefinierten Zufalls-/Backup-Reihenfolge in die Hauptanalyse einbezogen

In Ordnung. Die verbleibenden 12 gültigen Datensätze:

• Backup-Überprüfung,
• Sensitivitätsanalyse,
• erneut prüfen

Es kann gespeichert werden. Es kann nicht entschieden werden, welches 1,000 anhand der Ergebnisse ausgewählt wird.

51. NORMATIVER ZUORDNUNGSALGORITHMUS

Die Standardabfolge der Operationen für ein GEO-1000 Hauptpanel ist wie folgt:

Schritt 1— Produkt- und Wellen-ID festschreiben

Festlegen, welches KI-Produkt, welche Oberfläche und welches Datum gemessen werden.

Schritt 2— Zielpopulation-Version festschreiben

Der produktberechtigte Bevölkerungsrahmen aus Abschnitt 5 wird verwendet.

Schritt 3— Hauptziel der aktuellen Beobachtung definieren

Standard-Kandidatenziel:

n=1,000

Schritt 4— Materialschichten definieren

Land, Sprache und gegebenenfalls Plan-/Schnittstellenschichten werden definiert.

Schritt 5— Kleine Länderpools einrichten

Länder, die nahezu null Zuteilungen generieren, werden in die entsprechenden Pools aufgenommen.

Schritt 6— Rohproportionale Quoten berechnen

qh=nWh

Schritt 7— Ganzzahlige Zuteilung durchführen

Die Methode des größten Rests oder eine vorher deklarierte äquivalente Methode wird angewendet.

Schritt 8— Oversampling-Plan hinzufügen

Ergänzungen für Länderbeobachter, Sprachfairness und Zugänglichkeit werden separat gespeichert.

Schritt 9— Einladungs- und Backup-Zahlen berechnen

Erwartete Abschluss- und Validitätsraten werden verwendet.

Schritt 10— Auswahlreihenfolge randomisieren

Primär- und Backup-Listen werden eingefroren.

Schritt 11— Gewichtungsformel speichern

Design-, Antwort- und Kalibrierungsgewichte werden definiert.

Schritt 12— Stichprobe-Sperre bestätigen

Ein Versions- und Integritätsprotokoll wird erstellt, bevor KI-Antworten angezeigt werden.

52. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH06-N01

Die GEO-1000 Stichprobenzuweisung muss erstellt und versioniert werden, bevor KI-Antworten angezeigt werden können.

CH06-N02

Das Hauptzielpanel für die Bevölkerung sollte als mindestens 1,000 gültige Beobachtungen pro KI-Produkt und Hauptmesswelle definiert werden; wenn ein anderes Ziel verwendet wird, muss die Begründung erklärt werden.

CH06-N03

Die eingeladene Person, die Person, die die Aufgabe ausführt, und die gültigen Beobachtungsnummern müssen voneinander unterschieden werden.

CH06-N04

Die Hauptzuweisung sollte auf der produktberechtigten Bevölkerung basieren, die in Abschnitt 5 definiert ist.

CH06-N05

Länder- oder Sprachquoten sollten auf der Grundlage des Anteils der relevanten produktberechtigten Bevölkerung berechnet werden, nicht auf der Gesamtbevölkerung.

CH06-N06

Die Methode zur Umrechnung von rohen Bruchquoten in ganze Zahlen muss im Voraus festgelegt werden.

CH06-N07

Die Auflösung von Rundungsbindungen muss unabhängig von den Ergebnissen sein.

CH06-N08

Kleine Länder mit einer positiven Zielbevölkerung sollten nicht als separate Null-Wahrscheinlichkeits-Deterministikschichten belassen werden; es sollte eine geeignete Zusammenführungs- oder probabilistische Auswahlmethode verwendet werden.

CH06-N09

Kleine Landespools sollten in Bezug auf Produktzugang und finanzielle Bevölkerungsmerkmale gerechtfertigt sein.

CH06-N10

Beobachtungen von Country Observer sollten ebenfalls aufgezeichnet werden, ohne das Hauptbevölkerungsgewicht zu ändern.

CH06-N11

Eine Beobachtung des Länderbeobachters kann nicht als Länderbewertung dargestellt werden.

CH06-N12

Übersampelte Länder, Sprachen oder Nutzergruppen sollten in der globalen Schätzung wieder auf die tatsächlichen Zielpopulation-Gewichte zurückgeführt werden.

CH06-N13

Die Stichprobenquote kann nicht wie die Populationsquote verwendet werden.

CH06-N14

Die gleiche Person kann in der globalen menschlichen Bevölkerung aufgrund unterschiedlicher Sprachen, Konten, Sitzungen oder Produkte nicht dupliziert werden.

CH06-N15

Ungültige Beobachtungen sollten klassifiziert werden, ohne den Grund für die Ungültigkeit auf dem Inhalt der Ergebnisse zu basieren.

CH06-N16

Falsche, negative, ablehnende oder kritische KI-Antworten können nicht der Grund für die Änderung eines Teilnehmers sein.

CH06-N17

Backup-Teilnehmerlisten müssen innerhalb des Stratum erstellt werden, bevor die Ergebnisse gesehen werden.

CH06-N18

Lücken in Schichten können nicht stillschweigend von einem anderen Land oder einer anderen Sprache geschlossen werden.

CH06-N19

Änderungen nach dem Ergebnis in der Quote, Schicht, kleinen Länder-Pool oder Gewichtung erfordern eine neue Analyseversion.

CH06-N20

Alle Komponenten der Gewichtungen und die Methode der Normalisierung müssen veröffentlicht werden.

CH06-N21

Die Annahmen der Non-Response-Anpassung müssen erklärt werden.

CH06-N22

Wenn Gewichtstrimmen verwendet wird, müssen das ungetrimmte Ergebnis und die Sensitivitätsanalyse aufbewahrt werden.

CH06-N23

Der Hauptbericht sollte die angemessene effektive Stichprobengröße zusammen mit der Rohzahl der Beobachtungen zeigen.

CH06-N24

Clustering, Wiederholung und gepaarte Nutzereabhängigkeiten sollten bei der Berechnung der Varianz berücksichtigt werden.

CH06-N25

Das Design, bei dem dieselbe Person mehrere KI-Produkte testet, kann nicht als vollständig unabhängige Nutzerstichprobe dargestellt werden.

CH06-N26

Jedes KI-Produkt muss separat sein eigenes Ziel von 1,000 gültigen Produktbeobachtungen erreichen.

CH06-N27

Die Zuweisungen Natürliche Reichweite und Gemeinsame Vergleichsbasis müssen separate Stichprobenaufzeichnungen führen.

CH06-N28

Ergebnisse der aktuellen und der festen Welle dürfen nicht ohne Erklärung kombiniert werden.

CH06-N29

Wenn die Stichprobe für eine Untergruppe nicht ausreicht, sollte der korrekte Status INSUFFICIENT SAMPLE, EXPLORATORY oder NOT ESTIMATED sein.

CH06-N30

Die Rohstichprobengröße kann nicht als endgültiger Präzisionsindikator verwendet werden, wobei Gewichtungen und Designeffekt ignoriert werden.

CH06-N31

Designgewichte können in einem Freiwilligen- oder Nicht-Wahrscheinlichkeitspanel nicht beansprucht werden, als ob Auswahlwahrscheinlichkeiten bekannt wären.

CH06-N32

Die Stichprobe darf nachträglich nicht so verändert werden, dass niedrig bewertete Gruppen ausgeschlossen oder hoch bewertete Gruppen vergrößert werden.

CH06-N33

Beobachtungen aus dem Hauptbevölkerungs-Panel und ergänzenden Panels sollten in Bezug auf Zweck und Gewichtung getrennt gekennzeichnet werden.

CH06-N34

Das Proben-Lock muss einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

53. FORMEN DES VERSAGENS

CH06-F01— QUOTE NACH ERGEBNIS FESTLEGEN

Die Anzahl der Länder und Sprachen wird nach der Ansicht der KI-Antworten bestimmt.

CH06-F02— BACKUP VERWENDEN, BIS DIE BESTE ANTWORT VORLIEGT

Negative Antworten werden durch einen neuen Nutzer ersetzt, auch wenn sie gültig sind.

CH06-F03— 1,000-EINLADUNGEN ALS 1,000-GÜLTIGE BEOBACHTUNGEN ZÄHLEN

Nichtabschluss und Ungültigkeit werden verborgen.

CH06-F04— LAND MIT REINER RUNDRUNG AUF NULL ZURÜCKSETZEN

Die Auswahlwahrscheinlichkeit eines Landes mit positiver Zielpopulation bleibt bei null.

CH06-F05— EINER PERSON JE LAND ZUWEISEN UND ES DAS BEVÖLKERUNGSVERHÄLTNIS NENNEN

Die durch die Mindestquote verursachte Unverhältnismäßigkeit ist verborgen.

CH06-F06— BERÜCKSICHTIGUNG der Beobachtung des Länderbeobachters ALS BEVÖLKERUNGSBEOBACHTUNG

Die zusätzliche Beobachtung eines kleinen Landes erhält volles Gewicht im Hauptpanel von 1,000 Personen.

CH06-F07— EINRICHTUNG DES KLEINEN LÄNDERPOOLS AUF BASIS DER ERGEBNISSE

Ein Land, das niedrige Werte produziert, wird in einen anderen Pool verschoben oder aus der Abdeckung ausgeschlossen.

CH06-F08— ZUSAMMENFÜHRUNG INKOMPATIBLER LÄNDER IN DEN GLEICHEN POOL

Länder, die sich in Produktzugang, Sprache oder Rechtsprechung unterscheiden, werden allein deshalb zusammengeführt, weil sie klein sind.

CH06-F09— ÜBERGEWICHTUNG ÜBERMÄSSIGER STICHPROBEN

Bestimmt das globale Ergebnis mit einem Stichprobenanteil, der höher ist als der Anteil der Sprache oder der Bevölkerung des Landes.

CH06-F10— MULTIPLIKATION VON MEHRSPRACHIGEN INDIVIDUEN

Eine Person wird in jeder Sprachzelle als separate Bevölkerungseinheit gezählt.

CH06-F11— BERÜCKSICHTIGUNG DES STICHPROBENANTEILS ALS BEVÖLKERUNGSANTEIL

Rohantwortzahlen werden direkt in die globale Punktzahl umgewandelt.

CH06-F12— ANORDNUNG DER EINLADUNGSREIHENFOLGE NACH LEICHTIGKEIT

Nutzer, die zuerst und schnell antworten, bestimmen das Panel.

CH06-F13— VERWENDUNG VON STRATUM-AUSSCHUSSRESERVEN

Fehlende Länder- oder Sprachbeobachtungen werden stillschweigend mit Teilnehmern aus einer anderen Gruppe ergänzt.

CH06-F14— VERKNÜPFUNG VON UNGÜLTIGKEIT MIT ANTWORTINHALT

Falsche KI-Antwort wird technisch als ungültig erklärt.

CH06-F15— ERSATZ VON ABLEHNUNGEN DURCH EINEN NEUEN NUTZER

Systemablehnung wird aus dem Nenner entfernt, obwohl sie das tatsächliche Nutzerergebnis ist.

CH06-F16— VERSTECKEN DER GEWICHTSFORMEL

Die öffentliche Punktzahl zeigt nicht, mit welcher Bevölkerung und welchen Stichprobengewichten sie erstellt wurde.

CH06-F17— GEWICHTE BESCHNEIDEN, UM KLEINE GRUPPEN ZU LÖSCHEN

Kleine Gruppen mit hohen Gewichten werden beschnitten, weil das Ergebnis nicht gut aussieht.

CH06-F18— DAS EFFEKTIVE SAMPLE VERSTECKEN

Selbst wenn 1,000 Rohdaten aufgrund von Gewichten auf 500–600 Datenpunkte sinken, wird es als „1,000-Personen-Präzision“ präsentiert.

CH06-F19— CLUSTERUNG ALS UNABHÄNGIGKEIT BETRACHTEN

Beobachtungen derselben Panel-, Institutions- oder Nutzergruppe werden als vollständig unabhängig betrachtet.

CH06-F20— DIE GLEICHEN 1,000 PERSONEN ALS ZEHNTAUSEND UNABHÄNGIGE PERSONEN BETRACHTEN

Zehn Beobachtungen eines KI-Produkts werden beschrieben, als wäre die Population zehnmal so groß.

CH06-F21— Gemeinsame Vergleichsbasis ALS Natürliche Reichweite BETRACHTEN

Die übliche Vergleichsstichprobe wird so präsentiert, als ob sie die tatsächliche globale Reichweite des Produkts darstellen würde.

CH06-F22— DIREKTE RANGFOLGE Natürliche Reichweite ERGEBNISSE

Produktergebnisse in verschiedenen Zielpopulationen werden so verglichen, als kämen sie aus demselben Universum.

CH06-F23— VERBERGUNG VON POPULATIONSÄNDERUNGEN IN WELLEN

Auch wenn neue Länder oder Nutzergruppen in die Bewertung einbezogen werden, wird der Trend nur als Änderung der Produktqualität interpretiert.

CH06-F24— ERZEUGUNG DEFINITER BEWERTUNGEN AUS UNGENÜGENDEN STICHPROBEN FÜR EINE UNTERGRUPPE

Einige Dutzend Beobachtungen werden als definitive Bewertungen für ein Land oder eine Sprache veröffentlicht.

CH06-F25— VERSTEKTE ÄNDERUNG DER STICHPROBENSPERRE

Quoten-, Gewichtungs- oder Pooldefinitionen werden ohne Versionsaufzeichnung aktualisiert.

CH06-F26— BLINDES MULTIPLIZIEREN VON EIGNUNGSRATEN

Die berechtigte Bevölkerung und die Quotenkalkulationen ignorieren die Merkmale der abhängigen Bevölkerung.

CH06-F27— ERSETZEN DES HAUPTPANEELS DURCH DAS KOMPLEMENTÄR-PANEL

Sprachliche Fairness oder Beobachtungen durch Länderedakteure werden verwendet, um das Hauptziel der Bevölkerung von 1,000 zu reduzieren.

CH06-F28— LÖSCHEN VON NIEDRIG-BEWERTETEN ZELLEN, WENN DAS PANEL KURZ IST

Unvollständige Stichproben werden ausgeschlossen, da sie in Bezug auf die Ergebnisse nachteilig sind.

CH06-F29— VERWENDUNG VON GEWICHTUNG ALS WISSENSCHAFTLICHE SCHMACK

Es wird behauptet, dass das Repräsentationsproblem nur durch das Hinzufügen von Gewicht gelöst wird, ohne die Auswahl- und Abdeckungsfehler zu erklären.

CH06-F30— DENKEN, DASS GEO-1000 GENAU 1,000 PERSONEN BEFRAGT WERDEN SOLLTE

Einladung, ergänzende Panels, Ungültigkeit, Wiederholung und effektive Stichprobenstruktur werden ignoriert.

54. PRÜFUNGSVERFAHREN

Schritt 1— Zweck der Stichprobe aufzeichnen

Die globale Bevölkerungsschätzung wird in Untergruppen nach Diagnose, Landesbereich, Sprachgerechtigkeit, Zugänglichkeit und Produktvergleichszwecken unterteilt.

Schritt 2— Zielbevölkerungs-Version überprüfen

Die Bevölkerungsdatei und das Datumsprotokoll in Abschnitt 5 werden überprüft.

Schritt 3— Hauptziel der aktuellen Beobachtung definieren

Das Standardziel GEO-1000 oder eine begründete Alternative wird festgelegt.

Schritt 4— Schichten festlegen

Unterschiede in Land, Sprache und Materialbenutzeroberfläche werden bestimmt.

Schritt 5— Kleine Länderpools identifizieren

Für jeden Pool werden:

• Ländern,
• Bevölkerung,
• Begründung für Ähnlichkeit,
• internes Auswahlverfahren

aufgezeichnet.

Schritt 6— Rohquoten berechnen

qh=nWh

Die Formel oder eine gerechtfertigte Alternative wird verwendet.

Schritt 7— Ganzzahlzuweisung anwenden

Rundungs- und Stichentscheidungsregeln werden festgehalten.

Schritt 8— Komplementäres Oversampling hinzufügen

Ziele für Länderbeobachter, Sprachgerechtigkeit und Barrierefreiheit werden separat definiert.

Schritt 9— Einladungs- und Reservierungsvolumen berechnen

Abschluss- und Gültigkeitserwartungen werden verwendet.

Schritt 10— Auswahl einfrieren und Reservierungsreihenfolge festlegen

Teilnehmer werden ausgewählt oder geordnet, bevor die Ergebnisse bekannt sind.

Schritt 11— Designgewichte berechnen

Auswahlwahrscheinlichkeiten und Schichtgewichte werden festgehalten.

Schritt 12— Verfahren zum Schweigen und Nichtantworten definieren

Eine zuvor angekündigte Antwort wird in die Schichtlücke geschrieben.

Schritt 13— Erstellen des Stichproben-Locks

Dokumenten-ID, Version, Datum und Integritätsaufzeichnung werden hinzugefügt.

Schritt 14— Überprüfung des Validitätsflusses nach dem Feld

Es wird überprüft, dass Gültigkeitsentscheidungen unabhängig von der Genauigkeit der Antworten getroffen werden.

Schritt 15— Generieren der endgültigen Gewichte

Das Design ist in Antwort- und Kalibrierungskomponenten getrennt.

Schritt 16— Berechnen der effektiven Stichprobengröße

Der Unterschied zwischen der Rohzahl und dem Informationsvolumen wird angegeben.

Schritt 17— Vergleich von Zuweisung und Ist-Werten

Geplante und tatsächliche Beobachtungszahlen werden zellenweise angezeigt.

Schritt 18— Überprüfung post-Resultat Änderungen

Quota-, Pool-, Gewicht- und Umfangsänderungen werden überprüft.

55. ERFORDERLICHE BELEGE

KI-Produktidentität; Messwelle; Ziel-Populations-Version; Populationspanel-Ziel; Länderbeobachter-Ziel; Sprachgerechtigkeits-Ziel; Zugänglichkeits-Panel-Ziel; Schichtliste; Schichtpopulationen; Populationsgewichte; Rohquoten; Rundungsmethode; Bruchallokation und Restdatensätze; Entscheidungsregel bei Gleichstand; Klein-Länder-Pools; Auswahlwahrscheinlichkeiten innerhalb des Pools; Länder- und Sprachzuweisungen; Plan- und Schnittstellenzuweisungen; Überstichproben-Begründungen; Einladungsziele; Annahmen zur Fertigstellung; Annahmen zur Gültigkeit; Primäre und Reserve-Teilnehmerlisten; Auswahl- oder Randomisierungsdatensatz; Nichtantwort-Datensätze; Gründe für ungültige Beobachtungen; Gültigkeitsentscheidungsdaten; Designgewichte; Nichtreaktionsanpassungen; Kalibrationskoeffizienten; Gewichtsbeschneidungspolitik; rohe und effektive Stichprobengrößen; Clustering und abgeglichene Nutzeraufzeichnungen; Natürliche Reichweite-Zuweisung; und Gemeinsame Vergleichsbasis-Zuweisung.

Feste und aktuelle Rahmengewicht Vergleiche von geplanter und tatsächlicher Zuweisung Mustersperre Änderungsprotokoll Zuständige Person oder Institution

56. PRÜFLISTE FÜR AUDITS

Ist das Hauptziel für gültige Beobachtungen geöffnet? Sind die Ziel 1,000 Einladungen oder gültige Beobachtungen? Wurde die Stichprobe eingefroren, bevor die KI-Antworten angezeigt wurden? Welcher Populationsrahmen wurde verwendet? Auf welcher Grundlage wurden die Schichten festgelegt? Werden rohe Länder- und Sprachquoten angezeigt? Ist die Methode zur Umrechnung von Bruchteilen in ganze Zahlen klar? War die Abbruchregel vorher festgelegt? Ist die Auswahlwahrscheinlichkeit für kleine Länder null? Sind die Pools kleiner Länder logisch konsistent? Wurden Beobachtungen von Country Observer in die Gewichtung der Hauptpopulation einbezogen? Wurde aus einer Country Observer-Beobachtung ein Länderwert erstellt? Wenn Sprach- und Zugänglichkeitsgruppen überproportional beprobt wurden, wurden sie dann neu gewichtet? Wurde dieselbe Person als mehr als eine Populationseinheit gezählt? Sind die Zahlen für Einladungen, Abschlüsse und gültige Beobachtungen separat aufgeführt?

Wurden Sicherungslisten im Voraus erstellt? Wurde ein Teilnehmer aufgrund einer falschen oder negativen KI-Antwort ersetzt? Wurde die Gültigkeitsentscheidung vor der Materialgenauigkeitsbewertung getroffen? Wurde die Tabellenlücke stillschweigend aus einem anderen Land geschlossen? Hat sich das Kontingent oder der Pool nach den Ergebnissen geändert? Können die Designgewichte reproduziert werden? Sind die Annahmen der Nonresponse-Einstellung klar? Wurde das Gewicht beschnitten und dessen Effekt gezeigt? Werden Roh- und Effektstichprobengrößen zusammen angegeben? Hat derselbe Nutzer mehr als ein KI-Produkt getestet? Wurde diese Abhängigkeit in der Analyse beibehalten? Hat jedes KI-Produkt 1,000 Produktbeobachtungen separat erreicht? Wurden die Proben Natürliche Reichweite und Gemeinsame Vergleichsbasis getrennt? Hat sich der Populationsrahmen zwischen den Wellen geändert?

Wurden feste und aktuelle gerahmte Trends getrennt? Wurden unzureichende Untergruppenproben veröffentlicht, als ob sie endgültige Ergebnisse wären? Ist der Status der Probenqualität korrekt? Haben ergänzende Panels das Hauptpanel ersetzt? Gibt es einen klar verantwortlichen Eigentümer der Probenregistrierung?

57. EINWÄNDE UND ANTWORTEN

Einwand 1— „Warum geben wir jedem Land nicht direkt Personen entsprechend dem Bevölkerungsverhältnis?“

Dies ist eine starke Annahme in Ländern mit großer und mittlerer Bevölkerung. In sehr kleinen Ländern kann die Rohquote unter eine Person fallen. In diesem Fall:

• Pool kleiner Länder,
• wahrscheinlichkeitsbasierte Länderauswahl,
• separates Beobachtergremium

kann genauer sein.

Einwand 2— „Wäre es nicht fairer, jedem Land mindestens eine Person zuzuordnen?“

Es könnte nützlich im Hinblick auf die geografische Abdeckung sein. In Bezug auf die Bevölkerungsabschätzung ist es unverhältnismäßig. Die korrekte Lösung besteht darin, diese eine Person separat als Country Observer-Beobachtung zu kennzeichnen.

Einwand 3— „Schließt ein Land, das im Hauptgremium null Personen erhält, nicht vollständig aus?“

Es kann ein Problem sein, wenn ein Land als eigenständige deterministische Schicht eine Nullquote erhält. Eine positive Auswahlwahrscheinlichkeit kann im Pool der kleinen Länder vergeben werden. Zusätzlich kann das Beobachterpanel die Beobachtbarkeit des Landes aufrechterhalten.

Einwand 4— „Löscht das Zusammenfassen kleiner Länder kulturelle Unterschiede aus?“

Es kann gelöscht werden, wenn es zur Generierung einer Länderbewertung verwendet wird. Für die hauptsächliche globale Schätzung verwaltet der Pool die Auswahlwahrscheinlichkeit. Die Länderkennung wird im Beobachtungsdatensatz erhalten. Separates Beobachter- und länderspezifisches Sampling kann durchgeführt werden.

Einwand 5— „Warum schließen wir Beobachterbenutzer nicht innerhalb des 1,000 ein?“

Sie können einbezogen werden. Aber dann ist die Stichprobe von 1,000 Personen nicht mehr proportional zur reinen Bevölkerung. Eine Gewichtung wäre erforderlich, und die effektive Stichprobengröße der Haupteinschätzung könnte abnehmen. In der Gründungsarchitektur werden 1,000 Beobachtungen dem Bevölkerungs-Panel zugeordnet; Beobachtungen des Länderbeobachters werden diesem hinzugefügt.

Einwand 6— „Werden die Gesamtkosten vor Ort nicht sehr hoch?“

Das könnte sein. Der Standard sollte keine künstliche Genauigkeit erzeugen, indem er die Kosten verschleiert. Mit einem geringeren Budget:

• weniger KI-Produkte,
• weniger Sprachen,
• kleineres Pilotprojekt,
• größere Unsicherheit

kann benutzt werden. Der korrekte Status sollte klar geschrieben sein.

Einwand 7— „Warum sammeln wir 1,093 oder mehr Beobachtungen, wenn der Name GEO-1000 existiert?“

1,000 ist das gültige Beobachtungsziel für das Hauptbevölkerungs-Panel. Justice- und Coverage-Panels können zum Hauptziel hinzugefügt werden. Dies beeinträchtigt den Namen des Standards nicht. Es macht das tatsächliche Gesamtvolumen des Messfeldes sichtbar.

Einwand 8— „Warum würde eine Überstichprobe einer Sprache das globale Ergebnis verzerren?“

Eine überstichprobenartig erfasste Sprache erscheint groß, weil sie in den Rohantworten enthalten ist. Wenn sie auf das Bevölkerungsgewicht zurückgeführt wird, wird das globale Ergebnis nicht verzerrt. Das separate Sprachergebnis wird präziser.

Einwand 9— „Die Gewichte sind sehr komplex; ist nicht der rohe Durchschnitt leichter zu verstehen?“

Der rohe Mittelwert kann sinnvoll sein, wenn er proportional zur Stichprobenbevölkerung ist. Übermäßiges Sampling, Nichtreaktionen oder Unterschiede in der Abdeckung können dazu führen, dass der rohe Mittelwert die falsche Frage beantwortet. Komplexität kann nicht verborgen werden, wenn sie aus dem Stichproben-Design entsteht.

Einwand 10— „Wenn es 1,000 gültige Beobachtungen gibt, warum sollte die effektive Stichprobe kleiner sein?“

Weil einige Beobachtungen sehr hohes Gewicht haben können, während andere sehr geringes Gewicht haben können. Aufzeichnungen vom gleichen Panel oder Nutzer können einander ähneln. Die Rohzahl ist die Anzahl der physischen Aufzeichnungen. Die effektive Stichprobe nähert sich dem Umfang der statistischen Informationen.

Einwand 11— „Wäre es nicht fairer, wenn dieselben Personen alle KI-Produkte testen?“

Verringert Nutzerunterschiede. Allerdings:

• kann es den Zugang zum Produktuniversum einschränken,
• kann es die Aufgabenlast erhöhen,

kann es Kontamination zwischen den Antworten erzeugen. Es kann mit einem passenden oder balancierten unvollständigen Blockdesign verwaltet werden.

Einwand 12— „Wenn eine Ebene das Ziel nicht erreicht, kann der globale Score niemals veröffentlicht werden?“

Nicht in jedem Fall. Der Mangel wird bewertet in Bezug auf:

• Bevölkerungsgewicht,
• Risiko,
• der Grund für Unzulänglichkeit,
• verbleibende Abdeckung

betrachtet. Die Punktzahl:

• mit eingegrenzter Abdeckung,
• mit großer Unsicherheit,
• Mit der Warnung UNGENÜGENDE ABDECKUNG

kann es veröffentlicht werden. Der Mangel kann nicht verborgen werden.

Berufung 13— „Wenn sich Bevölkerungsdaten ändern, müssen wir dann alle Quoten in jeder Welle erneuern?“

Eine Erneuerung kann für die aktuelle Momentanpunktzahl erforderlich sein. Feste Anfangsgewichte können auch zur Trendverfolgung beibehalten werden. Die beiden Ergebnisse sollten getrennt veröffentlicht werden.

Berufung 14— „Wenn wir kein probabilistisches Weltpanel erstellen können, kann NOMOS dann nicht angewendet werden?“

Es ist anwendbar. Allerdings muss der Status der Probequalität korrekt erfasst werden. Ein Panel von Freiwilligen, das an die Bevölkerung kalibriert ist, kann wertvoll sein. Es kann nicht als vollständig probabilistische Stichprobe dargestellt werden.

GEMEINSAME BESTIMMUNG VON KAPITEL 60

Die Macht von GEO-1000 ergibt sich nicht ausschließlich aus der Zahl 1,000. Von 1,000 Personen:

• aus welcher Bevölkerung sie stammten,
• mit welcher Wahrscheinlichkeit sie ausgewählt wurden,
• welches Land und welche Sprache sie repräsentierten,
• wie oft dieselbe Person gezählt wurde,
• welche Beobachtungen als gültig angesehen wurden,
• wie kleine Länder behandelt wurden,
• wie überproportional ausgewählte Gruppen gewichtet wurden,
• wie viele Personen die Aufgabe nicht abgeschlossen haben,
• wer basierend auf den Ergebnissen ersetzt wurde

Die Autorität einer Stichprobe ergibt sich aus diesen Designentscheidungen. Eine fehlerhafte Stichprobe kann 100,000-Antworten erzeugen und dennoch über die falsche Population sprechen. Eine solide Stichprobe kann weniger Antworten enthalten und dennoch eine verlässlichere Schlussfolgerung innerhalb klar definierter Grenzen stützen. Die Bevölkerung eines großen Landes sollte ein erhebliches Gewicht in der globalen menschlichen Erfahrung haben, aber es dürfen keine Nutzer erfunden werden, wenn das Produkt nicht verfügbar ist. Das globale Gewicht eines kleinen Landes sollte klein bleiben, aber das Land muss nicht unsichtbar sein. Eine Sprache kann einen kleinen Anteil der Weltbevölkerung ausmachen und dennoch einen schwerwiegenden, messbaren Fehler aufweisen. Eine Person kann drei Sprachen und fünf Produkte verwenden; das erzeugt jedoch nicht fünfzehn Personen. Eine KI-Antwort kann falsch sein, ohne dass der Teilnehmer ungültig wird. Die falsche Antwort ist das, was die Prüfung zu messen versucht.

Das Ersetzen durch einen neuen Nutzer reinigt die Messung nicht. Es löscht die Realität. Gewichtung verwandelt das falsche Panel nicht auf wundersame Weise in die Weltbevölkerung. Eine korrekt gestaltete Überstichprobe kann jedoch Untergruppen sichtbar machen, ohne die globale Schätzung zu verzerren. Daher lautet das sechste Messgesetz von NOMOS:

Eine Stichprobe sollte nicht erstellt werden, um das Ergebnis zu produzieren, sondern um das Ergebnis fair zu beobachten.

Sein siebtes Gesetz lautet wie folgt:

Die Sichtbarkeit eines kleinen Landes muss sein Bevölkerungsgewicht nicht vergrößern.

Sein achtes Gesetz lautet wie folgt:

Überschüssige Beobachtung bedeutet nicht überschüssiges Bevölkerungsgewicht.

Das neunte Gesetz lautet wie folgt:

Eine falsche KI-Antwort ist kein Datenfehler; wenn sie unter dem gültigen Protokoll beobachtet wird, handelt es sich um ein Aufsichtsproblem.

Das zehnte Gesetz lautet:

Das Vertrauen in tausend Beobachtungen kommt nicht von der Zahl tausend; es kommt von der Reproduzierbarkeit der Auswahl und Gewichtung.

Reihenfolge von Kapitel 6 von NOMOS

Sag mir nicht einfach: 'Wir haben 1,000 Leute gefragt.'

Zeigen Sie, aus welchen Milliarden von Menschen diese 1,000 ausgewählt wurden und mit welcher Wahrscheinlichkeit.

Ignoriere ein Land nicht, nur weil es nur für eine halbe Person steht. / Aber beanspruche auch nicht, das ganze Land gemessen zu haben, nur weil du eine Person beprobt hast.

Wählen Sie kleine Länder probabilistisch aus dem entsprechenden Pool aus. / Falls Sichtbarkeit erforderlich ist, richten Sie ein separates Beobachterpanel ein.

Sie können Sprachen mit geringen Ressourcen überstichproben. / Aber machen Sie sie im globalen Score nicht größer als ihre Bevölkerung.

Vermeiden Sie es, eine Person so sehr zu vervielfachen wie Konten, Sprachen, Sitzungen und KI-Produkte.

Verwenden Sie das Backup, wenn der Teilnehmer nicht antwortet. / Ändern Sie Ihren Nutzer nicht, wenn die KI eine falsche Antwort gibt.

Entscheiden Sie über die Gültigkeit, ohne die Richtigkeit Ihrer Antwort zu sehen.

Wenn das Kontingent fehlt, erklären Sie es. / Bringen Sie keine Person aus einem anderen Land, um die Lücke zu füllen.

Ändern Sie den Anteil, das Gewicht, den Länderauswahlpool oder das Stichprobenziel nicht, nachdem Sie das Ergebnis gesehen haben.

Zeigen Sie die Rohzahl an. / Zeigen Sie die effektive Stichprobe an. / Zeigen Sie, wer schwer und wer leicht gewichtet wurde.

Festschreiben Sie zuerst die Population. / Dann richten Sie die Schichten ein. / Dann berechnen Sie die Quoten. / Dann wählen Sie die Ersatzteile aus. / Dann schreiben Sie die Gewichte. / Und erst danach senden Sie die erste Aufforderung.

Der abschließende Satz des Kapitels

GEO-1000 ist keine Methode, tausend Antworten zusammenzustellen; es ist ein Protokoll, um die Repräsentation jeder Person in der Zielpopulation messbar unter der Wahrscheinlichkeit der Auswahl und korrekten Gewichtung richtig zu machen.

Normativer Kern

Für jedes KI-Produkt und jede Hauptmesswelle SOLLTE das GEO-1000-Bevölkerungs-Panel mindestens 1,000 gültige Produktbeobachtungen anvisieren, es sei denn, ein anderes Ziel wird ausdrücklich gerechtfertigt. Die Stichprobenzuweisung MUSS entworfen, versioniert und festgeschrieben werden, bevor KI-Antworten beobachtet werden. Die primäre Zuweisung MUSS auf der produktberechtigten Zielpopulation basieren, nicht auf der rohen Wohnbevölkerung, Einladungszahlen, Konten, Sitzungen oder bequemer Verfügbarkeit. Bruchteilige Zuweisungen MÜSSEN unter Verwendung einer vorab erklärten, reproduzierbaren und ergebnisunabhängigen Methode in Ganzzahlquoten umgewandelt werden. Populationen mit positiver Zielpopulationsmasse DÜRFEN NICHT deterministisch mit einer Selektionswahrscheinlichkeit von null versehen werden, wenn die Prüfung Rückschlüsse auf die gesamte Zielpopulation beansprucht. Kleine Populationen KÖNNEN durch gerechtfertigte zusammengefasste Schichten und wahrscheinlichkeitsproportionale Auswahl vertreten werden. Beobachtungen von Länderbeobachtern, Sprachfairness und Barrierefreiheit KÖNNEN das Hauptpanel ergänzen, MÜSSEN jedoch separat gekennzeichnet und angemessen neu gewichtet bleiben. Überrepräsentierte Gruppen DÜRFEN ihren Rohstichprobenanteil NICHT als Populationsgewicht erhalten. Der Ersatz von Teilnehmern MUSS ausschließlich auf vorab festgelegte Rekrutierungs- oder protokollgültige Bedingungen basieren. Falsche, negative, verweigerte oder kritische KI-Ausgaben DÜRFEN keinen Ersatz auslösen. Personen, Konten, Sitzungen, Sprachen und KI-Produktbeobachtungen MÜSSEN getrennte Einheiten bleiben. Designgewichte, Nichtantwortanpassungen, Kalibrierung, Trimmung, Clusterbildung, gepaarte Beobachtungen und effektive Stichprobengröße MÜSSEN dokumentiert werden. Jede nachträgliche Änderung von Quoten, Schichten, Pools, Gewichten, Ausschlüssen oder Stichprobenzielen MUSS eine neue Analyseversion erstellen und den ursprünglichen Datensatz erhalten.