Auswahl und Gewichtung der Teilnehmenden sowie Stichprobenverzerrung

Kapitelgrenze

Kapitel 5 definierte die Zielnutzerpopulation. Kapitel 6 wandelte diese Population in ein Stichprobendesign um, das über Länder, Sprachen und Nutzeroberflächen verteilt ist. Kapitel 7 etablierte ergänzende Beobachtungssysteme für kleine Länder und ressourcenarme Sprachen, die das Hauptpopulationpanel möglicherweise unsichtbar lassen könnte. Nun müssen die Zahlen im Stichprobenplan in reale Personen umgesetzt werden:

Wo werden diese Teilnehmer gefunden, wie werden sie ausgewählt, unter welchen Bedingungen werden sie in das Panel aufgenommen und mit welchen Verzerrungen werden sie in den GEO-Score eingehen?

Aus einem Online-Panel einer Forschungsorganisation? Aus einem offenen Aufruf in sozialen Medien? Von Universitäten? Aus der eigenen Nutzerliste des Kunden? Von lokalen Forschungspartnern? Nur von Personen, die häufig KI-Produkte nutzen? Von denen, die das Produkt zum ersten Mal nutzen? Von den Kunden der Marke? Von Mitarbeitern der Konkurrenz? Von Abonnenten des kostenpflichtigen Plans? Wie wird überprüft, dass eine Person tatsächlich in diesem Land lebt? Wie oft wird dieselbe Person gezählt, wenn sie mehrere Konten nutzt? Wie viel wird der Teilnehmer bezahlt? Wird die Bezahlung dazu führen, dass die Aufgabe schnell erledigt oder ein bestimmtes Ergebnis eingereicht wird? Wird die Beobachtung beibehalten, wenn der Teilnehmer eine falsche KI-Antwort hochlädt? Oder wird er durch einen neuen Nutzer ersetzt, indem gesagt wird: 'Die Aufgabe wurde falsch erledigt.'? Tausend gültige Screenshots könnten gesammelt worden sein. Aber die Teilnehmer:

• 60% sind intensive KI-Nutzer,
• 20% sind Technikstudenten,
• 10% sind Kunden der geprüften Marke,
• 5% sind Unternehmensmitarbeiter,
• der Rest sind allgemeine Nutzer

Welche Bevölkerung wird also durch das Ergebnis repräsentiert? Kann die demografische Gewichtung den Unterschied vollständig ausgleichen? Die Anpassung von Alters-, Geschlechts-, Länder- und Sprachstatistiken korrigiert nicht notwendigerweise nicht gemessene Unterschiede im technologischen Interesse, Markenbewusstsein, Zugang zu kostenpflichtigen Plänen oder Nutzungsmustern von KI. Gewichtung ist wertvoll, aber sie kann nicht jeden Fehler bei der Teilnehmerauswahl beseitigen. Dieses Kapitel wendet die frühere Anforderung an—dass jede Auditkontrolle anhand von Modell, Datum, Land, Sprache, Abfrageumfang, Wiederholungsanzahl und Messaufzeichnung überprüfbar sein muss—auf die Auswahl der tatsächlichen Teilnehmer an. Es bewahrt auch die zentrale Forderung von NOMOS: Nachweis, Grenze, Kontext und Zeit. Dieses Kapitel:

• Quellen der Teilnehmerauswahl,
• die Unterscheidung zwischen probabilistischen und nicht-probabilistischen Panels,
• Berechtigungs- und Identitätsprüfung,
• Land-, Sprach- und Produktzugangskontrolle,
• Einzigartigkeit der Teilnehmer,
• Belohnung und Umleitungsrisiko,
• Panel-Konditionierung,
• Aufgabenverteilung,
• Nichtantwort und Panel-Fluktuation,
• betrügerische oder automatisierte Teilnahme,
• Auswahl- und Abdeckungsfehler,
• die Macht und Begrenzung der Gewichtung,
• Status der Stichprobenqualität

definiert. Dieses Kapitel behandelt noch nicht:

• alle technischen Bereiche des KI-Produktregisters,
• das vollständige Übersetzungs- und Versionssystem von Prompts,
• Die detaillierte Architektur der NOMOS Capture-Infrastruktur,
• atomare Aussageentscheidung,
• die endgültige Punkteformel

ist nicht vollständig definiert. Die Schlüsselfrage von Abschnitt 8 lautet:

Wenn wir tausend gültige Datensätze sammeln, wie beweisen wir, zu welchen realen Personen diese Datensätze gehören und welche menschliche Population sie darstellen können?

NOMOS Herausforderung

Sie kaufen 1,000 Personen von einem Online-Forschungs-Panel. Der Panelanbieter sagt Ihnen: „1,000 Teilnehmer bereit gemäß Ihren Länder- und Altersquoten.“ Die Teilnehmer führen die Aufgabe aus. Sie laden Screenshots hoch. Rohdaten:

90 Prozent genaue Repräsentation.

In Ihrem Bericht schreiben Sie: „90% der Nutzer weltweit werden genau repräsentiert.“ Die tatsächliche Verteilung der Teilnehmer ist jedoch wie folgt:

Starke KI-Nutzer:

• bessere Prompt-Gewohnheiten,
• mehr bezahlte Konten,
• neuere Produktoberflächen,
• Personalisierungswissen,
• höhere Vertrautheit mit Technologie

kann haben. Selbst wenn denselben festgeschriebenen Prompt verwendet wird:

• Kontoplan,
• Schnittstelle,
• vorherige Nutzung,
• Produktzugang

kann unterschiedlich sein. Lassen Sie die Durchlaufquoten der synthetischen Gruppe wie folgt sein:

Das Roh-Ergebnis des Panels:

0.10(72)+0.30(84)+0.60(96)=90

das ist:

90 Prozent

Mit Ziel-Populationsgewichten ist das Ergebnis jedoch:

0.50(72)+0.30(84)+0.20(96)=80.4

Dementsprechend erzeugen dieselben 1,000 Antworten zwei verschiedene Ergebnisse:

• Rohpanel-Ergebnis: 90 Prozent
• Ziel-Populations-Ergebnis: 80.4 Prozent

Stellen Sie sich nun vor, dass Sie es gewichtet haben. Jede der 100 Personen in der Gruppe mit niedrigem Nutzungsgrad erhält ein hohes Gewicht. Jede der 600 Personen in der Gruppe mit hohem Nutzungsgrad erhält ein geringes Gewicht. Die Rohstichprobengröße beträgt weiterhin 1,000. Die effektive Stichprobengröße sinkt jedoch auf ungefähr 349. Sie haben also möglicherweise 1,000 Dateien gesammelt. Statistisch gesehen haben Sie möglicherweise nicht das Informationsvolumen von 1,000 gleichwertigen und unabhängigen Personen. Nun eine schwierigere Frage: In der Gruppe mit niedrigem Nutzungsgrad, Personen, die noch nie in das Panel aufgenommen wurden:

• wenig verbunden,
• Nutzung von unterstützender Technologie,
• Lebensort in einer kleinen Stadt,
• keinen spezifischen Gerät

Wenn es Menschen gibt, kann Gewichtung sie zurückbringen? Nein. Eine Beobachtung einer Person, die überhaupt nicht im Stichprobenrahmen enthalten ist, kann durch Gewichtung nicht erzeugt werden. Jetzt sendet das geprüfte Unternehmen Verbindungen zu seinen eigenen Kunden: 'Bitte nehmen Sie an der Umfrage teil.' Die treuen Kunden des Unternehmens nehmen mit hoher Rate teil. Menschen, die die Konkurrenz kennen, aber das Unternehmen nicht nutzen, nehmen weniger teil. Alters- und Landesgewichte können korrekt sein. Der Bias durch Markentreue kann weiterhin bestehen. Nun ein weiteres Problem: Dem Teilnehmer wird gesagt: 'Sie erhalten eine Prämie, wenn Sie eine korrekte und qualitativ hochwertige KI-Antwort hochladen.' Der Teilnehmer überarbeitet die Antwort. Sie wählen das beste Ergebnis. Sie schneiden den Screenshot zu. Dies ist nicht mehr die natürliche Reaktion des KI-Produkts. Es ist die ausgewählte Reaktion, die vom Belohnungssystem erstellt wurde. Die erste Regel dieses Abschnitts lautet:

Die Anzahl der Teilnehmer ist nicht die repräsentative Kraft der Teilnehmer.

Ihre zweite Bestimmung lautet:

Zufällige Zuweisung ist keine zufällige Populationsauswahl.

Seine dritte Bestimmung besagt:

Gewichtung kann beobachtetes Ungleichgewicht verringern; sie kann keine unbeobachtete Person erzeugen.

Seine vierte Bestimmung besagt:

Die Teilnahme einer Person am Panel, ihr Verbleib bei der Aufgabe oder ihr Ersatz darf nicht vom Inhalt der KI-Antwort abhängen.

Seine fünfte Vorschrift lautet:

Die Belohnung sollte für die ehrliche Durchführung des Protokolls gegeben werden, nicht für die Wahl einer positiven oder gewünschten Antwort.

1. ZWECK DES KAPITELS

Der Zweck dieses Abschnitts ist es, die gesamte Auswahlkette von der Zielpopulation bis zur tatsächlichen Nutzerbeobachtung sichtbar, unvoreingenommen und überprüfbar zu machen. Der Abschnitt unterscheidet normativ:

• Zielpopulation und Stichprobenrahmen
• Stichprobenrahmen versus Teilnehmerquelle
• Ausgewählte Person versus eingeladene Person
• Die eingeladene Person und die Person, die zustimmt teilzunehmen
• Der Teilnehmer und die Person, die die Aufgabe abschließt
• Die Person, die die Aufgabe abschließt und die gültige Beobachtung
• Mensch und Konto
• Mensch und Gerät
• Mensch und Sitzung
• Probabilistisches Panel und Freiwilligenpanel
• Zufällige Auswahl innerhalb des Panels und zufällige Auswahl aus der Bevölkerung
• Quotencompliance und echte Repräsentation
• Demografisches Gleichgewicht und verhaltensbezogenes Gleichgewicht
• Persönliche Vertrautheit und Eignung für die Zielpopulation
• Kunde, Mitarbeiter und allgemeiner Nutzer
• Teilnehmerbelohnung und Ergebnisanreiz
• Aufgabengeschwindigkeit und Aufgabenintegrität
• Ungültige Beobachtung mit Nichtreaktion
• Bevölkerungsveränderung mit Panelverlust
• Gefälschter Teilnehmer und echte Beobachtung niedriger Qualität
• Datenbetrug und falsche KI-Antwort
• Bias-Korrektur mit Gewichtung
• Erstellung von Nachweisen mit Kalibrierung
• Rohstichprobengröße vs. effektive Stichprobengröße
• Teilnehmerprivatsphäre und Prüfungsnachweis
• Allgemeines Bevölkerungspanel und Expert:innen- oder Kundenpanel

Am Ende dieses Abschnitts sollte jedes GEO-1000-Audit in der Lage sein, die folgenden Fragen zu beantworten:

Aus welcher Quelle und nach welcher Regel wurden die Teilnehmer ausgewählt?

Wer hatte keine Chance, dem Panel beizutreten?

Wer nahm eher teil und warum?

Welche bekannten Unterschiede werden durch die Gewichtungen korrigiert, und welche nicht?

Wurde eine ungültige oder gefälschte Teilnahmeentscheidung getroffen, ohne den Inhalt der KI-Antwort zu sehen?

Hat die Belohnung der Teilnehmer ihr Verhalten und die Wahl der Antworten beeinflusst?

2. ZENTRALE NORMATIVE BESTIMMUNG

Jede GEO-1000 Beobachtung muss eine rückverfolgbare Kette der Teilnehmersauswahl von der Zielpopulation bis zu einem gültigen analytischen Datensatz aufweisen; Auswahl, Einladung, Annahme, Aufgabenverteilung, Abschluss, Überprüfung, Ausschluss und Gewichtungsentscheidungen müssen unabhängig vom positiven oder negativen Inhalt der KI-Antwort sein. [K04–K06] Ein Teilnehmerpanel nur:

• Land,
• impliziert keine Eignung in Bezug auf Alter,
• Sprache

Es kann nicht als für die Populationsdarstellung geeignet betrachtet werden, nur weil es die Quoten erfüllt. Das Panel sollte außerdem die folgenden Informationen enthalten, soweit sie relevant sind:

• Teilnehmerquelle
• Auswahlmechanismus
• Methode der Teilnahme am Panel
• Teilnahmekriterien
• Eindeutige menschliche Verifizierung
• Länder- und Sprachüberprüfung
• Verifizierung des Zugangs zum KI-Produkt
• Konto- und Planinformationen
• Gerät und Schnittstelle
• Häufigkeit der KI-Nutzung
• Markenbekanntheit
• Beziehung zur geprüften Einheit
• Anreizstruktur
• Methode der Aufgabenverteilung
• Nichtbeantwortung
• Ungültigkeit
• Wiederholung und Panel-Konditionierung
• Gewichtung
• Fehlende Abdeckung
• Datenschutz und Einwilligung

Die Messung einiger dieser Informationen kann den Teilnehmer beeinflussen. Daher ist auch die Reihenfolge der Datenerhebung Teil des Protokolls.

3. TEILNEHMER-AUSWAHLKETTE

Die Kette von der Zielpopulation bis zur endgültigen Beobachtung besteht aus den folgenden Stufen:

U→F→S→I→E→A→C→V

Hier:

• U: Zielnutzerpopulation
• F: in den Stichprobenrahmen einbezogene Personen
• S: ausgewählte Personen
• I: eingeladene Personen
• E: Personen, deren Berechtigung bestätigt wurde und die in die Studie aufgenommen wurden
• A: den Aufgaben zugewiesene Personen
• C: Personen, die die Aufgabe abschließen
• V: Personen, die gültige analytische Beobachtungen liefern

Bei jedem Übergang können Personen verloren gehen oder neue Verzerrungen entstehen. Zum Beispiel:

• Diejenigen in der Zielpopulation, die nicht im Panel sind
• Diejenigen im Panel, die nicht eingeladen werden
• Diejenigen, die eingeladen werden, aber nicht annehmen
• Diejenigen, die annehmen, aber die Aufgabe nicht abschließen
• Diejenigen, die abschließen, aber ungültige Aufzeichnungen liefern

sind nicht die gleichen Personen. Daher können nur die letzten 1,000 gültigen Beobachtungen nicht berichtet werden. Der gesamte Auswahltrichter muss sichtbar sein.

4. TEILNEHMERQUELLEN

GEO-1000 muss nicht an eine einzelne Teilnehmerquelle gebunden sein. Jede Quelle trägt ihre eigenen Verzerrungen und Reichweiten.

4.1. Wahrscheinlichkeits-Populationspanel

Teilnehmer haben eine bekannte und ungleich null Wahrscheinlichkeit, aus einer definierten Population ausgewählt zu werden. Quellen:

• Haushalt,
• Adresse,
• Population oder berechtigter Datensatz,
• Wahrscheinlichkeits-Telefon- oder Mehrstufen-Auswahl

kann sein. Vorteile:

• Designgewicht kann festgelegt werden,
• Populationsschlussfolgerungen sind stärker,

Auswahlprozess kann transparenter sein. Einschränkungen:

• kann auf globaler Ebene teuer sein,
• In einigen Ländern gibt es möglicherweise keinen geeigneten Rahmen,
• Es kann auch notwendig sein, die Teilpopulation zu finden, die Zugang zu KI-Produkten hat.

Wieder wird es keine Antwort geben. Probabilistische Auswahl ist nicht automatisch eine perfekte Repräsentation.

4.2. Professionelles Freiwilligen-Forschungs-Panel

Teilnehmer haben sich zuvor freiwillig für das Forschungs-Panel registriert. Vorteile:

• es ist schnell,
• kann auf mehrere Länder zugreifen,
• kann Profil- und Sprachkenntnisse bereitstellen,

Wiederholungsmessungen können durchgeführt werden. Einschränkungen:

• Teilnehmer sind forschungsaffin,
• das Niveau der Technologieanwendung kann hoch sein,
• starke Panelnutzer können vorhanden sein,
• Wahrscheinlichkeiten des Eintritts in die Population können unbekannt sein,

die gleiche Person kann in mehr als einem Panel registriert sein. Dieses Panel:

kann nicht als probabilistische Stichprobe der Weltbevölkerung dargestellt werden

Es darf nicht als Wahrscheinlichkeitsstichprobe der Weltbevölkerung repräsentiert werden.

4.3. Offener Online-Aufruf

Die Teilnahme erfolgt über soziale Medien, eine Webseite oder ein offenes Registrierungsformular. Vorteile:

• weite Sichtbarkeit,
• geringe Kosten,
• Zugang zu kleinen Ländern und Sprachgemeinschaften

kann bereitgestellt werden. Einschränkungen:

• starke Selbstselektion,
• Konzentration von Markenfans oder -kritikern,
• falsche und wiederholte Teilnahme,
• Überrepräsentation von Technologie-Enthusiasten

kann entstehen. Ein offener Aufruf kann viel besser geeignet sein als das Hauptpopulationpanel für:

• Entdeckung,
• Country Observer,
• Sprachliche Fairness,
• Replikationsherausforderung

Diese Quellen können für diese Zwecke besser geeignet sein.

4.4. Universitäts- oder Institutionen-gebundenes Panel

Teilnehmer:

• werden über Universitäten ausgewählt,
• öffentliche Institution,
• Forschungszentren,
• Berufsorganisationen

Vorteile:

• lokaler Zugang,
• Sprachkenntnisse,
• ethische Aufsicht,
• Erreichen von unterversorgten Gemeinschaften

kann bereitgestellt werden. Einschränkungen:

• intensive Teilnahme von Studierenden oder Fachkräften,
• Institutionseffekt,
• Alters- und Bildungsbias,
• Druck zur Unternehmensbeteiligung

kann entstehen.

4.5. Kunden- oder Nutzerliste

Die tatsächlichen Kunden oder Nutzer der geprüften Einrichtung werden ausgewählt. Diese Quelle:

• Kundenerfahrung,
• Eignung für den Service,
• Markenbekanntheit

Es ist wertvoll für die Messung. Es handelt sich nicht um ein allgemeines Bevölkerungs-Panel. Kunden:

• kann die Marke besser kennenlernen,
• kann eine positivere oder negativere Erfahrung machen,

kann eher die entsprechende Anfrage stellen. Das Kundenpanel sollte separat definiert werden.

4.6. Von der geprüften Institution vorgeschlagene Teilnehmer

Unternehmen:

• Mitarbeiter,
• Kunde,
• Partner,
• Follower

kann vorschlagen. Diese Nutzer können ohne Erklärung nicht im Hauptunabhängigen Bevölkerungs-Panel aufgenommen werden. Separat:

VON DER EINHEIT BENANNTES PANEL

sollte gekennzeichnet werden. Wenn die Institution Teilnehmer auswählt, ist das Ergebnis keine unabhängige Bevölkerungsmessung.

4.7. Multi-Quellen-Hybrid-Panel

Es ist die Kombination mehrerer Quellen. Beispiel:

• wahrscheinlichkeitsbasiertes nationales Panel,
• professionelles Online-Panel,
• kleiner lokaler Partner eines Landes,
• Sprachgerechtigkeits-Community

kann zusammen verwendet werden. Ein hybrides Panel kann die Abdeckung erhöhen. Unter den Ressourcen:

• wiederholen Einzelpersonen,
• Auswahlwahrscheinlichkeiten,
• Anreize,
• Aufgabenerfahrung,
• Nutzerprofil

sollten ebenfalls modelliert werden.

5. INTEGRITÄTSSTATUS DER TEILNEHMERAUSWAHL

Die Qualität der Teilnehmerauswahl eines Panels kann mit den folgenden Status eingeordnet werden.

PSI-0— UNBEKANNTE AUSWAHL

Es ist nicht ausreichend bekannt, wo und wie die Teilnehmer ausgewählt wurden. Eine Generalisierung auf die gesamte Population ist nicht möglich.

PSI-1— BEQUEMLICHKEITS- ODER OFFENE FREIWILLIGENPROBE

Es handelt sich um eine Bequemlichkeits- oder offene Freiwilligenstichprobe. Sie kann für Exploration und Ereigniserkennung genutzt werden.

PSI-2— QUOTENKONTROLLIERTES OPT-IN

Es gibt Länder-, Sprach- oder demografische Quoten. Die Wahrscheinlichkeit des Eintritts in die Population ist unbekannt.

PSI-3— KALIBRIERTES MULTI-QUELLEN-PANEL

Es gibt mehrere Quellen, vordefinierte Quoten und Populationskalibrierung. Nicht gemessene Selektionsverzerrungen können bestehen bleiben.

PSI-4— WAHRSCHIENLICHKEITS- ODER STARKES HYBRID-DESIGN

Es besteht eine bekannte Selektionswahrscheinlichkeit oder ein starkes Wahrscheinlichkeits–Nicht-Wahrscheinlichkeits-Hybriddesign.

PSI-5— REPLIZIERTE UND EXTERN AUDITIERTE SELEKTION

Selektionsdesign:

• mit verschiedenen Anbietern,
• in unterschiedlichen Wellen,
• unter unabhängiger Prüfung

wiederholtes und voreingenommenes Verhalten wurde untersucht. Diese Status garantieren nicht die Genauigkeit des Ergebnisses. Es zeigt das Vertrauensniveau an, das sich aus der Teilnehmerauswahl ergibt.

6. ZUFÄLLIGE AUSWAHL INNERHALB DES PANELS UND ZUFÄLLIGE AUSWAHL AUS DER BEVÖLKERUNG

Es kann 100,000 registrierte Nutzer in einem Freiwilligenpanel geben. Aus diesem Panel können 1,000 Personen zufällig ausgewählt werden. Auswahl:

ist zufällig innerhalb des Panels.

Das Panel selbst ist jedoch nicht zufällig aus der Weltbevölkerung gebildet. Daher kann man nicht sagen: „1,000 Personen zufällig aus der Weltbevölkerung.“ Der korrekte Ausdruck lautet:

„1,000 Teilnehmer zufällig innerhalb eines vorregistrierten Freiwilligenpanels ausgewählt und an die Zielpopulation kalibriert.“

Zufälligkeit sollte auf die Phase beschränkt werden, in der sie angewendet wird.

7. TEILNEHMER-BERECHTIGUNGSNACHWEIS

Jeder Teilnehmer muss die folgenden Bedingungen in dem jeweils relevanten Umfang erfüllen, bevor er in das Hauptpanel aufgenommen wird:

• Altersberechtigung
• Freiwillige Zustimmung
• Eignung von Land und Region
• Sprachkenntnisse
• Zugang zum KI-Produkt
• Korrekt gewählter Plan oder Nutzeroberfläche
• Notwendiges Gerät und technischer Zugang
• Einzigartiger menschlicher Status
• Unabhängigkeit der Aufgabe
• Offenlegung von Interessen oder Beziehungen
• Forschungssicherheit
• Genehmigung zur Erhebung von Daten und Nachweisen

Die Konformitätsentscheidung kann nach der Generierung der KI-Antwort nicht rückwirkend geändert werden.

8. LÄNDERÜBERPRÜFUNG

Die Frage „Zu welchem Land gehört der Teilnehmer?“ hat keine eindeutige Antwort. Die folgenden Felder sollten getrennt werden:

• Übliches Wohnsitzland
• Physisches Land zum Zeitpunkt der Messung
• Land oder Marktregion des KI-Kontos
• Zahlungs- oder Planland
• Staatsbürgerschaft
• Zielland des Prompts
• Locale

Die Staatsbürgerschaft ist möglicherweise nicht die Hauptvariable für die meisten GEO-Messungen. Was meistens wichtig ist:

Es ist der tatsächliche geografische und produktbezogene Zustand, in dem der Nutzer das Produkt erlebt.

8.1. Reisender Nutzer

Der Teilnehmer kann sich in einem anderen Land als seinem üblichen Wohnsitzland befinden. Diese Person:

• Wohnsitzende Bevölkerung,
• Messungsstandort,
• Reisender

Sollte einen separaten Status haben.

8.2. VPN oder Standortwechsler

Nutzung von VPN:

• Datenschutz
• Institutionelles Netzwerk,
• Normaler Nutzergebrauch

Könnte der Grund sein. Es sollte nicht als automatische Betrugsware betrachtet werden. Es erschwert jedoch die Überprüfung der Länderebene. Es könnte eine Regel im Hauptpanel des kontrollierten Landes geben, um VPN-Nutzung zu deaktivieren oder zu protokollieren. Standortwechsel, die zur Umgehung von Beschränkungen verwendet werden, sind für das Hauptpanel Natürliche Reichweite nicht geeignet.

8.3. Länderverifizierungsstufen

GV-0— Unverifiziert

Nur Selbsterklärung verfügbar.

GV-1— Panel-verifiziert

Der Panelanbieter hat eine bestehende Länderregistrierung.

GV-2— Sitzungs-konsistent

Erklärung, Gebietsschema und Sitzungszeichen sind konsistent.

GV-3— Multi-Signal-verifiziert

Datenschutzfreundlich kompatibel mit mehreren Signalen.

GV-4— Unabhängig geprüft

Die Länderüberprüfungsmethode hat die externe Qualitätskontrolle bestanden. Die Erfassung einer genauen Straßenadresse oder sensibler Koordinaten ist keine Standardanforderung. Die Länderüberprüfung sollte unter dem Prinzip der Datenminimierung durchgeführt werden.

9. SPRACHKENNTNISSE UND NATÜRLICHE ANWENDUNG

Das Sprachwissen eines Teilnehmers kann sich allein auf die Aussage stützen: "Ja, ich weiß." Dies kann eine risikoarme Erstregistrierung sein. In einem Hochsicherheits-Sprachpanel zusätzlich:

• Aussage über die natürliche Nutzung,
• kurzer Verständnis-Check,
• Panel-Historie,
• Bewertung durch einen lokalen Gutachter,
• neutrialer Test vor der Aufgabe

können verwendet werden. Der Sprachtest sollte nicht zu einer schweren akademischen Prüfung werden, die nur hochgebildete Personen auswählt. Das Ziel:

Dass der Teilnehmer die Prompt und die Antwort wie ein echter Nutzer versteht.

10. ÜBERPRÜFUNG DES ZUGRIFFS AUF KI-ProduktE

Teilnehmer:

• sollte in der Lage sein, auf das richtige KI-Produkt zuzugreifen,
• die richtige Nutzeroberfläche,
• die richtigen Plan- oder Kontobedingungen

sollte zugreifen können. Die folgenden Situationen sollten separat aufgezeichnet werden:

• Kostenloser Plan
• Bezahlter Einzelplan
• Unternehmensplan
• Schulungsplan
• Web
• Mobil
• Desktop
• Eingebettetes Produkt
• Sichtbares Modell
• Web-/Abruffunktion

Ein Teilnehmer kann nicht das Konto eines anderen verwenden. Passwortweitergabe darf nicht verlangt werden. Der Nachweis des Produktzugangs muss überprüft werden, ohne die Identität des Kontos öffentlich preiszugeben.

11. BEZIEHUNG ZWISCHEN TEILNEHMER UND GEPRÜFTEM UNTERNEHMEN

Die Beziehung des Teilnehmers zu der überwachten Organisation kann das Verhalten bei der Antwortaufzeichnung oder die Markenbekanntheit beeinflussen. Beziehungsstatus:

ALLGEMEINE ÖFFENTLICHKEIT

AKTIVER KUNDE

EHEMALIGER KUNDE

POTENZIELLER KUNDE

MITARBEITER

EHEMALIGER MITARBEITER

AUFTRAGNEHMER

PARTNER

INVESTOR

WETTBEWERBER / AFFILIATES

KI-PROVIDER / AFFILIATES

FORSCHER

UNBEKANNT

Direkte Mitarbeiter- und Entscheidungsträgerbeziehungen in der Hauptprobe der Allgemeinbevölkerung:

• können ausgeschlossen werden,
• können in eine separate Ebene gestellt werden,

kann mit einem niedrigen tatsächlichen Populationsgewicht geschützt werden. Das automatische Ausschließen aller verwandten Personen kann ebenfalls falsch sein. Wenn sie Teil der tatsächlichen Kunden- oder Mitarbeiterpopulation sind, können sie separat und explizit gemessen werden.

12. MARKENBEKANNTHEIT

Geprüfte Teilnehmerentität:

• hat noch nie davon gehört,
• kennt den Namen,
• kennt das Produkt,
• ist Kunde,
• kann eine stark positive oder negative Meinung haben.

Diese Information:

• kann das Verhalten der Teilnehmer beeinflussen,
• Panel unter natürlichen Nutzungsbedingungen,
• schnelle Reaktion

erwünscht. Wenn die Bekanntheit vor der Aufforderung gemessen wird, kann sie den Nutzer auf die Marke vorbereiten. Daher die Reihenfolge der Präferenz:

• Vorhandene Panelinformationen
• Separate Frage nach der Aufgabe
• Falls nötig, eine neutrale Vor-Messung, die die Marke nicht lenkt

kann durchgeführt werden. Vertrautheit sollte im Hauptbeispiel sichtbar sein; sie sollte nicht als Gewichtungsvariable ausgewählt werden, nachdem die Ergebnisse gesehen wurden.

13. VERTRAUTHEIT MIT DER NUTZUNG VON KI

Teilnehmer:

• Erstbenutzer,
• gelegentlicher Nutzer,
• regelmäßiger Nutzer,
• intensiver oder professioneller Nutzer

Einzelpersonen können sein. Häufigkeit der KI-Nutzung:

• Produktzugang,
• Art des Plans,
• Schnittstellenkenntnisse,
• Personalisierung,
• Wahrscheinlichkeit, die Aufgabe korrekt zu erledigen

kann betroffen sein. Die Auswahl nur erfahrener KI-Nutzer kann jedoch Protokollfehler reduzieren. Aber es kann die Schätzung der natürlichen Bevölkerung verzerren. Die richtige Lösung:

• den Nutzungsgrad messen,
• vergleiche es mit der Zielbevölkerung,
• schichten oder gewichten, falls notwendig,

und die gültige reale Erfahrung des unerfahrenen Nutzers bewahren.

14. EINZIGARTIGE MENSCHLICHE REGEL

Die Bevölkerungseinheit von GEO-1000 ist ein Mensch. Derselbe Mensch:

• in mehreren Panels,
• mit mehreren E-Mail-Konten,
• mit mehreren KI-Konten,
• von verschiedenen Geräten

kann teilnehmen. Einzigartigkeitsprüfungen müssen datenschutzfreundlich durchgeführt werden. Signale, die verwendet werden können:

• Anonyme Teilnehmeridentität
• Kryptographische oder hash-basierte Überprüfung
• Geräte- und Sitzungskonformität
• Zahlungs- oder Anreizaufzeichnung
• Zeit- und Aufgabenmuster
• Dasselbe Screenshot- oder Antwortdatei
• Sichere Nachprüfung über mehrere Panelanbieter

Kein einzelnes Signal muss für einen automatischen Ausschluss ausreichend sein. Insbesondere:

• Familien, die sich ein gemeinsames Gerät teilen,
• Institutionelles Netzwerk,
• Barrierefreiheits-Tools,
• Nutzer von gemeinsam genutzten Geräten mit niedrigem Einkommen

könnten fälschlicherweise als gefälscht betrachtet werden. Verdächtige Aufzeichnungen sollten einer menschlichen Überprüfung und einem Berufungsverfahren unterzogen werden.

15. TEILNEHMERBELohnung

Die Zahlung oder Belohnung, die dem Teilnehmer gewährt wird, kann sein Datenverhalten beeinflussen.

15.1. Zahlung unabhängig vom Ergebnis

Bevorzugte Methode:

Eine feste und vorher bekannt gegebene Zahlung für die Durchführung der Aufgabe gemäß dem Protokoll.

Zahlung:

• darf nicht davon abhängen, dass die Antwort positiv ist,
• in die Kategorien gezwungen werden von wahr,
• lang,
• der Marke günstig,
• oder von Zitaten begleitet.

Die Auswahl muss unabhängig von all diesen Ergebnissen bleiben.

15.2. Qualitätsbonus

Wenn ein Qualitätsbonus verwendet werden soll, dürfen nur folgende Punkte:

• vollständige Nachweise,
• korrekter Prompt,
• korrektes Produkt,
• rechtzeitige Lieferung,
• Reinigung persönlicher Daten

an Protokollbedingungen gebunden werden. Er darf nicht an den Inhalt der KI-Antwort gebunden werden.

15.3. Geschwindigkeitsanreiz

Bonus ausschließlich für Geschwindigkeit:

• Eile,
• unvollständige Erfassung,
• falsches Produkt,
• Abschneiden der Antwort

kann das Risiko erhöhen. Innerhalb des vorgegebenen Zeitfensters sollte eine angemessene Zeit zugestanden werden.

15.4. Zahlung nach Land

Die Vergütung kann je nach lokalen Gebühren und Lebensbedingungen variieren. Diese Situation:

• kann die Teilnahmewahrscheinlichkeit beeinflussen,
• die Zusammensetzung des Panels

und sollte zusammen mit dem Vergütungsansatz und den Ländervergleichen dokumentiert werden.

15.5. Zwang und übermäßige Anreize

Die Belohnung sollte keinen Druck erzeugen, dem die Person nicht vernünftigerweise widerstehen kann. Insbesondere:

• niedriges Einkommen,
• Student,
• abhängige Mitarbeiter,
• vulnerable Gruppen

sollten in ihrer Freiwilligkeit geschützt werden.

16. EINLADUNGSTEXT UND VORORIENTIERUNG

Beim Einladen eines Teilnehmers kann der Zweck der Forschung ihn auf ein bestimmtes Ergebnis vorbereiten. Eine falsche Einladung: „Wir testen, wie KI-Systeme Apple falsch interpretieren.“ Diese Aussage kann den Teilnehmer dazu bringen, nach Fehlern zu suchen. Eine andere falsche Einladung: „Hilf uns, den KI-Erfolg unserer Marke zu beweisen.“ Diese Aussage erzeugt die Erwartung eines positiven Ergebnisses. Bevorzugte neutrale Einladung: „Studie zur standardisierten Nutzererfahrung und Beobachtung der Repräsentation in spezifischen KI-Produkten.“ Die geprüfte Einheit kann später aufgrund der Natur der Aufgabe sichtbar werden. Das gewünschte Ergebnis sollte jedoch nicht offengelegt werden.

17. AUFGABENZUWEISUNG

Teilnehmer:

• KI-Produkt,
• Prompt,
• Sprache,
• Welle,
• Sitzungsbedingung,
• Aufgabenreihenfolge

soll im Voraus mit einer vordefinierten Methode zugewiesen werden. Die Teilnehmer:

• bevorzugtes KI-Produkt,
• den Plan, den er/sie am besten kennt,
• die Sprache mit hoher Wahrscheinlichkeit einer positiven Reaktion

wenn sie selbst wählen dürfen, kann eine Zuweisungsverzerrung auftreten.

17.1. Zufällige Zuweisung innerhalb der Ebene

Nachdem das Land, die Sprache und der Produktzugang überprüft wurden, können Aufgaben innerhalb der Ebene zufällig zugewiesen werden.

17.2. Block-Zuweisung

Blöcke können verwendet werden, um kostenlose/bezahlt Pläne, mobil/web oder AI-Nutzungsfrequenz auszugleichen.

17.3. Produktreihenfolge

Wenn eine Person mehr als ein Produkt testet, sollte die Reihenfolge zufällig sein. Die Antwort auf das erste Produkt kann die Bewertung der nächsten Antwort oder des nächsten Aufgabenverhaltens beeinflussen.

17.4. Reihenfolge der Eingaben

Wenn ein Teilnehmer mehr als einen Prompt erhält:

• lernen,
• neue Informationen über die Marke erwerben,
• die vorherige Antwort auf die nächste Frage übertragen

Risiko entsteht. Die Reihenfolge der Aufforderungen sollte aufgezeichnet und gegebenenfalls ausgeglichen werden.

18. PANEL-KONDITIONIERUNG

Nutzer, die häufig an Forschungspanels teilnehmen, können die Erwartungen der Aufgabe erlernen. Eine Person, die wiederholt am gleichen Test teilnimmt:

• kann sich an die richtige Antwort erinnern,
• kann die Bildschirmaufnahme sorgfältiger auswählen,
• kann die Website der geprüften Einheit im Voraus überprüfen,

welche Fehler gesucht werden, kann erlernt werden. Diese Situation wird genannt:

Panel-Konditionierung

Panel-Konditionierung kann die tatsächliche natürliche Nutzererfahrung verändern.

18.1. Quellen der Konditionierung

Frühere GEO-Wellen Wiederholung derselben Einheit Gleiches Aufforderungs-Archiv Peer-Review-Schulung Aufgabenteilung in Teilnehmergemeinschaften Frühere Zahlungen und Qualitätsfeedback

18.2. Kontrollmaßnahmen bei Konditionierung

Neuer und wiederkehrender Teilnehmerstatus Erstteilnahmedatum Frühere Exposition gegenüber derselben Einheit Frühere Exposition gegenüber derselben Aufgabenfamilie Rotierendes Panel Aufgabenreihenfolge Zufälligkeit Vorgesehene Ruhezeit Neue Nutzeruntergruppe Vergleich der Ergebnisse von konditionierten und neuen Nutzern Die Wiederverwendung desselben Teilnehmers ist nicht verboten. Sie ist wertvoll für longitudinale Messungen. Kann nicht als natürliches Querschnittspanel präsentiert werden.

19. AUFGABENKONTAMINATION UND TEILNEHMERKOMMUNIKATION

Teilnehmer:

• Prompts,
• Antworten,
• Screenshots,
• erwartete Ergebnisse

können miteinander geteilt werden. Diese Situation kann unabhängige Beobachtungen stören. Kontrollen:

• Dauer der Welle begrenzen
• Aufgaben randomisieren
• Pflicht, Ergebnisse nicht mit Teilnehmern zu teilen
• Suche nach wiederholten Antworten und visuellen Darstellungen
• Ungewöhnliche Text- und Zeitähnlichkeiten prüfen
• Überwachung von Warnungen durch Community- oder Panelanbieter

Teilnehmerkommunikation ist nicht automatisch Betrug. Ihre materielle Auswirkung sollte untersucht werden.

20. ARTEN DER NICHT-REAKTION

Nicht-Reaktion ist kein einzelnes Ereignis.

20.1. Nicht-Reagieren auf Einladungen

Der Teilnehmer reagiert überhaupt nicht auf die Forschungseinladung.

20.2. Ablehnung der Teilnahme

Die Person sieht die Einladung und entscheidet sich, nicht teilzunehmen.

20.3. Nicht-Beginnen der Aufgabe nach Qualifikation

Die Person wird als geeignet befunden, beginnt die Aufgabe jedoch nicht.

20.4. Aufgabenunterbrechung

Der Teilnehmer bricht die Aufgabe in der Mitte ab.

20.5. Belege nicht hochladen

Möglicherweise wurde eine AI-Antwort erhalten, aber der erforderliche Nachweis wird nicht hochgeladen.

20.6. Ungültiger Abschluss

Die Aufgabe ist abgeschlossen, aber:

• falsche Prompt,
• falsches Produkt,
• ausgewählte Antwort,
• fehlender Screenshot

sind Gründe für Ungültigkeit. Die Verhältnisse dieser Stufen sollten separat gemeldet werden.

21. ANTWORTFUNNEL

Für Schicht h:

• nhsel: ausgewählte Person
• nhinv: eingeladene Person
• nhcon: Person, die zugestimmt hat teilzunehmen
• nhsta: Person, die die Aufgabe begonnen hat
• nhcom: Person, die abgeschlossen hat
• nhval: gültige Beobachtung

Lassen Sie uns sein. Grundraten:

RR_h^invite= n_h^con/n_h^inv; RR_h^complete= n_h^com/n_h^sta; RR_h^valid= n_h^val/n_h^com

Es kann dargestellt werden als. Jede dieser Raten zeigt ein anderes Problem an. Nur die endgültige gültige Zahl anzugeben, verschleiert das Feldbias.

22. NICHT-ANTWORT-BIAS

Menschen, die nicht reagieren, können sich von denen unterscheiden, die reagieren. Beispiel: Ein Nutzer mit geringer Internetverbindung kann eine Aufgabe nicht abschließen. Ein Nutzer mit kostenlosem Plan kann nicht auf das Produkt zugreifen. Ein unerfahrener Nutzer findet die Anweisungen schwierig. Ein intensiver KI-Nutzer schließt schneller ab. In bestimmten Ländern bleiben die Zahlungen niedrig. Ein Nutzer mit negativer Markenerfahrung ist möglicherweise eher bereit, teilzunehmen. Selbst wenn die Nicht-Antwort-Rate hoch ist, kann das Bias gering sein. Selbst wenn die Nicht-Antwort-Rate niedrig ist, kann eine kleine fehlende Gruppe finanziell bedeutend sein. Daher nicht nur die Rate allein:

Welche Merkmale unterscheiden sich zwischen Befragten und Nichtbefragten

sollte untersucht werden.

23. NICHT-ANTWORT GEWICHTE

Wenn eine Nicht-Antwort-Einstellung verwendet wird, sollten die Klassen bestimmt werden, bevor die Ergebnisse gesehen werden. Potenzielle Variablen:

• Land
• Sprache
• Alter
• Häufigkeit der KI-Nutzung
• Plan
• Benutzeroberfläche
• Panelquelle
• Barrierefreiheit
• Markenbekanntheit

Nicht-Antwort Koeffizient:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

kann berechnet werden als. Diese Anpassung beruht jedoch nur auf der Annahme innerhalb derselben Klasse: dass die Befragten die Nicht-Befragten ausreichend repräsentieren. Sie löst keine nicht gemessenen Unterschiede.

24. MECHANISMEN FEHLENDER DATEN

Fehlende Daten können konzeptionell in drei Klassen betrachtet werden.

24.1. Zufällige Fehlstellen

Fehlende Daten stehen nicht wesentlich in Zusammenhang mit dem Ergebnis und den Nutzermerkmalen. In Wirklichkeit kann dies selten vorkommen.

24.2. Fehlstellen erklärt durch beobachtete Merkmale

Fehlende Werte:

• Land,
• impliziert keine Eignung in Bezug auf Alter,
• Plan,
• Sprache

sind in bekannten Bereichen wie.. verwandt. Gewichtung kann teilweise helfen.

24.3. Fehlende Werte in Verbindung mit nicht beobachteten Merkmalen

Zum Beispiel:

• Misstrauen gegenüber dem KI-Produkt,
• geringe digitale Fähigkeiten,
• Markenablehnung,
• Datenschutzbedenken

wenn nicht gemessen, kann die Gewichtung die Defizienz nicht vollständig korrigieren. In diesem Fall ist eine Sensitivitätsanalyse erforderlich.

25. PANELAUSFALL UND TRENNUNG ZWISCHEN DEN WELLEN

In longitudinalen oder rotierenden Panels, bei denen dieselben Nutzer erneut gemessen werden, nehmen einige Personen an der folgenden Welle nicht teil. Dies ist Panelverlust. Diejenigen, die im Panel verbleiben:

• disziplinierter,
• mehr belohnungsorientiert,
• erfahrener,
• mehr an Forschung gewöhnt

können sein. Die Veränderung der Werte über die Zeit kann teilweise auf die Zusammensetzung des Panels zurückzuführen sein.

25.1. Protokoll des Panelabbaus

In jeder Welle:

• wieder eingeladen,
• teilgenommen,
• ausgestiegen,
• neu hinzugefügt

Nutzerzahlen sollten angezeigt werden.

25.2. Panel-Abbrechergewicht

Die verbleibenden Teilnehmer können gemäß der Ausstiegswahrscheinlichkeit gewichtet werden. Diese Methode beseitigt die Verzerrung durch unbeobachteten Panel-Ausstieg nicht vollständig.

25.3. Panel aktualisieren

Neue Nutzer können hinzugefügt werden, um die verlorenen Nutzer zu ersetzen. Ergebnisse für neue und zurückkehrende Nutzer sollten separat berichtet werden.

26. TEILNEHMERBETRUG UND AUTOMATISIERUNG

Es besteht ein Risiko von Betrug, wenn GEO-1000 ein incentiviertes und globales Panel ist. Mögliche Verhaltensweisen:

• eine Person, die mit mehreren Konten teilnimmt
• Verwendung von automatischen Bots
• Hochladen eines Screenshots einer anderen Person
• Bilder bearbeiten
• Hochladen der gleichen Antwort im Namen verschiedener Nutzer
• Angabe des falschen Landes oder der falschen Sprache
• Konto teilen
• Eine andere Person die Aufgabe erledigen lassen
• Erneutes Beitreten bei Panel-Anbietern
• Erstellen von Massentask-Farmen

Dieses Risiko lässt nicht alle Teilnehmer mit geringem Einkommen oder schnellen Teilnehmern als verdächtig erscheinen. Betrugserkennung:

• Debatten,
• mehrere Signale,
• proportionale menschliche Überprüfung

sollten darauf basieren.

27. BETRUGS- UND INTEGRITÄTSSTATUSE

FI-0— NICHT BEWERTET

Der Datensatz wurde in Bezug auf Integrität nicht bewertet.

FI-1— KEINE ERHEBLICHE ANOMALIE

Es wurden keine klaren Anzeichen für Betrug gefunden. Dies ist keine absolute Garantie für Genauigkeit.

FI-2— ÜBERPRÜFUNG ERFORDERLICH

Es gibt ein oder mehrere verdächtige Signal(e).

FI-3— DOPPELUNG ODER ZUSAMMENSPRUCH VERDACHTET

Es besteht der Verdacht auf wiederholte Person, visuelle Erscheinung, Reaktion oder Koordination.

FI-4— PROTOKOLLMANIPULATION BESTÄTIGT

Der Teilnehmer hat das Protokoll absichtlich verändert.

FI-5— ERFUNDENE BEOBACHTUNG BESTÄTIGT

Die Beobachtung ist keine echte KI-Nutzererfahrung. FI-2 ist kein automatischer Ausschluss. Überprüfung erforderlich.

28. BETRUGSSIGNALEN

Gleicher Screenshot-Hash Gleiche seltene Dateispur Unmögliche Abschlusszeit Mehrfache Identitätswiederholungen vom gleichen Gerät oder Sitzung Materialkonflikt in Land, Gebiet und Produktzugang Unstimmigkeit zwischen Antworttext und Bild Spur der Bildbearbeitung Dieselbe Person in Primär- und Backup-Liste Dieselbe anonyme Person bei mehreren Panel-Anbietern Serielle und mechanische Erledigung von Aufgaben Gleiches ungewöhnliches Fehlermuster Ein Signal allein kann kein schlüssiger Beweis für Betrug sein.

29. FAIRNESS BEI DER BETRUGSERKENNUNG

Die folgenden Nutzer könnten fälschlicherweise als betrügerisch markiert werden:

• Familien, die ein gemeinsames Gerät nutzen
• Mitarbeiter, die ein institutionelles Netzwerk nutzen
• Teilnehmer von Universitätslaboren
• Datenschutzbewusste Personen, die VPNs verwenden
• Menschen mit Behinderungen, die Bildschirmleser oder Automatisierungshilfen einsetzen
• Personen, die aufgrund niedriger Bandbreite ähnliche komprimierte Bilder hochladen

Daher:

• automatische Kennzeichnung,
• menschliche Überprüfung,
• Teilnehmerbeschreibung, falls notwendig,
• Berufung

müssen zusammenarbeiten.

30. DIE GÜLTIGKEIT DES TEILNEHMERS SOLLTE VON DER GENAUIGKEIT DER KI-ANTWORT GETRENNT WERDEN

Der Datensatz eines Teilnehmers kann konform zum Protokoll sein. Die KI-Antwort kann falsch sein. Dies ist eine gültige Beobachtung. Die KI-Antwort eines anderen Teilnehmers kann korrekt sein. Dennoch hat der Nutzer:

• hat die Antwort dreimal aktualisiert,
• hat nur die beste Antwort hochgeladen,
• kann den Prompt geändert haben

Dies ist eine ungültige Beobachtung. Daher:

Die korrekte KI-Antwort bedeutet nicht gültige Daten. / Eine falsche KI-Antwort bedeutet nicht ungültige Daten.

Die Gültigkeitsbewertung sollte vor der inhaltlichen Bewertung erfolgen und so blind wie möglich durchgeführt werden.

31. INTERESSENKONFLIKT UND TEILNEHMERQUELLE

Ein Teilnehmer oder Panelanbieter kann von den folgenden Ergebnissen profitieren:

• Das geprüfte Unternehmen erhält eine hohe Punktzahl
• Das KI-Produkt erscheint überlegen
• Ein Wettbewerber erhält eine niedrige Punktzahl
• Verkauf von mehr Audit-Aufträgen
• Auszeichnung oder Beschäftigungsverhältnis

Daher:

• Teilnehmerbeziehungen,
• Panelanbietervereinbarung,
• ergebnisunabhängiger Lohn,
• Kundeneingriff

sollte erklärt werden. Geprüfte Institution:

• welche Nutzer einzuladen sind,
• wer als ungültig betrachtet wird,
• Wer durch einen Ersatz ersetzt wird

kann nicht entscheiden.

32. WIRKUNG DES PANELANBIETERS

Nutzer von zwei Panelanbietern im selben Land können unterschiedlich sein. Ein Anbieter:

• Technologiebegeisterte,
• Studenten,
• intensive Forschungsteilnehmer

können in Bezug auf Fürsorge eine höhere Rate aufweisen. Der Panelanbieter sollte in der Analyse als Cluster- oder Quellenvariable beibehalten werden. Wenn möglich:

• anbieterbasierte Ergebnisse,
• Quelleneffekt,
• Anbieter vergleich innerhalb desselben Landes

sollten untersucht werden. Ein globales Panel mit einem einzigen Anbieter kann nicht als die Weltbevölkerung selbst dargestellt werden.

33. WIEDERHOLUNG EINZELNER IM MULTI-QUELLEN-PANEL

Dasselbe Individuum:

• ezwei professionelle Panels,
• bei einem offenen Aufruf,
• auf der Universitätsliste

kann gefunden werden. Ein Multi-Quellen-Panel kann die Anzahl der Datensätze erhöhen, ohne die Einzigartigkeit zu steigern. Prüfung auf Doppelungen über Quellen hinweg:

• datenschutzfreundlich,
• ohne zentrale Identitätsfreigabe erforderlich,
• unter Berücksichtigung von Widersprüchen bei Nichtübereinstimmungen

sollte auf eine Weise eingerichtet werden.

34. BEISPIEL FÜR BIAS-KARTE

GEO-1000 sollte die folgenden Verzerrungsarten getrennt überwachen.

SB-1— Abdeckungs-Bias

Einige Segmente der Zielpopulation sind nicht im Stichprobenrahmen enthalten.

SB-2— Selektions-Bias

Die Wahrscheinlichkeit, dass Einzelpersonen im Rahmen für das Panel ausgewählt werden, entspricht nicht dem beabsichtigten Design.

SB-3— Selbstselektions-Bias

Freiwillige für die Studie unterscheiden sich systematisch von der Gesamtbevölkerung.

SB-4— Einladungs- und Leitungsbias

Der Einladungstext oder die Quelle zieht Menschen mit einer bestimmten Sichtweise an.

SB-5— Nonresponse-Bias (Nichtbeantwortungs-Bias)

Menschen, die nicht teilnehmen oder nicht abschließen, unterscheiden sich in Bezug auf die Ergebnisse.

SB-6— Panel-Ausschuss-Bias

Nutzer, die zwischen den Wellen verbleiben, unterscheiden sich von denen, die ausscheiden.

SB-7— Anreiz-Bias

Zahlung oder Belohnung beeinflusst die Geschwindigkeit, das Auswahlverhalten oder die Antwort der Teilnehmer.

SB-8— Panel-Konditionierung

Der Teilnehmer lernt das erwartete Verhalten aus früheren Studien.

SB-9— Aufgabenverteilungs-Bias

Teilnehmer wählen das Produkt, die Sprache oder die Hinweise selbst oder werden ungleich verteilt.

SB-10— Bias bei Länder- und Sprachklassifizierung

Der Teilnehmer wird der falschen Länder- oder Sprachzelle zugewiesen.

SB-11— Produkt-, Plan- und Schnittstellen-Bias

Nur bestimmte Plan- oder Gerätebenutzer bestimmen das Panel.

SB-12— Markenbekanntheits-Bias

Kunden, Fans, Kritiker oder Mitarbeiter sind überrepräsentiert.

SB-13— Betrugs- und Wiederholungs-Bias

Die gleiche Person oder automatische Teilnahme gewinnt zu viel Einfluss auf das Ergebnis.

SB-14— Validitätsausschluss-Bias

Negative KI-Antworten werden häufiger als ungültig betrachtet.

SB-15— Gewichtungs-Bias

Nach Ergebnis ausgewählte Variablen oder übermäßige Gewichtung des Modellwerts ändern sich in der gewünschten Richtung.

SB-16— Überlebensstichproben-Bias

Nur Nutzer, die die Aufgabe erfolgreich abschließen können, werden wie die tatsächliche Produktpopulation dargestellt.

35. ZWECK DER GEWICHTUNG

Die Gewichtung kann den folgenden Zwecken dienen:

• Korrektur ungleicher Auswahlwahrscheinlichkeiten
• Rückführung von Überstichproben auf den tatsächlichen Bevölkerungsanteil
• Reduzierung von Unterschieden in den Rücklaufquoten
• Kalibrierung der Stichprobe auf bekannte Zielwerte
• Kombination mehrerer Panelquellen

Gewichtung kann den folgenden Zwecken nicht dienen:

• Erstellung einer Person, die im Stichprobenrahmen nicht existiert
• Präzise Korrektur nicht gemessener Variablen
• Wahrmachung einer falschen oder fehlerhaften Beobachtung
• Erzielung des gewünschten Ergebnisses nach der Auswertung
• Umwandlung einer einzelnen kleinen Zelle in einen verlässlichen Länderscore
• Automatische Umwandlung eines Nicht-Wahrscheinlichkeitspanels in eine Wahrscheinlichkeitsstichprobe

36. SCHWERGEWICHT ARCHITEKTUR

Das endgültige Gewicht kann wie folgt gezeigt werden:

w_i= d_i× a_i^{NR}× g_i^{CAL}× p_i^{SRC}

Hier:

• di: Grunddesign oder Ausgangsgewicht
• aiNR: Antwort-Einstellung
• giCAL: Bevölkerungs-Kalibrierung
• piSRC: Panelquelle oder Anpassung unwahrscheinlicher Stichproben

Im probabilistischen Panel:

d_i= 1/π_i

Es ist möglich. Das wahre πi ist im Nicht-Probabilitäts-Panel unbekannt. In diesem Fall wird nicht das Designgewicht, sondern das modellbasierte oder kalibrierte Gewicht verwendet. Diese Unterscheidung sollte im Bericht beibehalten werden.

37. GEWICHTE KÖNNEN NICHT VOM ERGEBNIS ABHÄNGEN

Die folgenden Variablen dürfen nicht zur Erstellung von Gewichten verwendet werden:

• Ob die KI-Antwort korrekt ist oder nicht
• Ob die Marke genannt wird oder nicht
• Ob ein Zitat vorhanden ist
• Ob eine Empfehlung ausgesprochen wird
• Ob ein kritischer Fehler auftritt
• Ob der geprüfte Organisation das Ergebnis gefällt

Gewichtungsvariablen:

• Bevor das Ergebnis gesehen wird,
• Weil es mit der Zielpopulation und dem Auswahlsystem zusammenhängt

Es sollte ausgewählt werden. Wenn das Antwortresultat das Gewicht bestimmt, formt sich die Punktzahl selbst.

38. KALIBRIERUNGSVARIABLEN

Mögliche Kalibrierungsbereiche:

• Land
• Region
• Sprache
• Alter
• Geschlecht, falls notwendig und ethisch
• Ausbildung
• Städtische/ländliche Siedlung
• Art des Internetzugangs
• Gerät
• Häufigkeit der KI-Nutzung
• Kostenloser/bezahlt Plan
• Benutzeroberfläche
• Barrierefreiheitsstatus

Zuverlässige Zielgesamtsummen sind möglicherweise nicht für jede Variable verfügbar. Zu viele Kalibrierungsvariablen:

• können eine übermäßige Gewichtungsvariabilität erzeugen,
• niedrige effektive Stichprobengröße,
• Modellüberanpassung

Es sollte eingefroren werden, bevor die Ergebnisse des Kalibrierungssatzes gesehen werden.

39. GEWICHTSVERTEILUNG

Die Stichprobe vor und nach der Gewichtung sollte mit der Zielpopulation verglichen werden. Für jedes Feld:

• Zielanteil
• Roher Stichprobenanteil
• Gewichteter Anteil
• Verbleibender Unterschied

soll angezeigt werden. Die Gewichtung wird nur auf die Anzahl der Ergebnisse angewendet und die Balancetabelle kann nicht gespeichert werden.

40. GEWICHTSDIAGNOSEN

Der Hauptbericht sollte die folgenden Felder enthalten, soweit sie relevant sind:

• Minimales Gewicht
• Maximales Gewicht
• Mediangewicht
• Gewichtsvariationskoeffizient
• Gewichtsverhältnis
• Anzahl der abgeschnittenen Gewichte
• Rohstichprobengröße
• Effektive Stichprobengröße
• Designeffekt
• Ungewichtetes Ergebnis
• Hauptgewichtetes Ergebnis
• Alternative plausible Gewichtungsergebnisse

Gewichtete Einzelzahl ist kein vollständiger Kontrollsatz ohne Gewichtskennungen.

41. SYNTHETISCHE GEWICHTSANZEIGE

ANZEIGE DER SYNTHETISCHEN METHODOLOGIE / Die unten stehenden Teilnehmer, Raten und Werte sind hypothetisch. Zielpopulation und Panelverteilung:

Synthetische Bestehensraten:

Rohresultat:

900/1000=90%

41.1. Kalibrierungskoeffizienten

Geringe Nutzung:

0.50/0.10=5

Mittlere Nutzung:

0.30/0.30=1

Hohe Nutzung:

0.20/0.60 = 1/3

Gewichtete Antwort:

72(5) + 252(1) + 576(1/3) = 804

Gewichtssumme:

100(5) + 300(1) + 600(1/3) = 1,000

Gewichtetes Ergebnis:

804/1000=80.4%

41.2. Effektive Stichprobengröße

n_eff= [100(5)+300(1)+600(1/3)]² / [100(5 ²)+300(1 ²)+600(1/3)²] ≈ 349

Ergebnisübersicht:

• Roh gültige Beobachtungen: 1,000
• Rohwert: 90 Prozent
• Gewichteter Wert: 80.4 Prozent
• Effektive Stichprobe: ungefähr 349
• Hauptgrund: Überrepräsentation von intensiven KI-Nutzern

Korrekte Interpretation:

Das Panel enthält 1,000 gültige Beobachtungen; jedoch ist infolge der Kalibrierung der Zielpopulation die Schätzung auf 80.4% gefallen, und aufgrund der Gewichtungsvariabilität beträgt die effektive Stichprobengröße ungefähr 349.

Falscher Kommentar: „Die globale Genauigkeit wurde mit 90% bei 1,000 Personen nachgewiesen.“

42. WAS KANN VERGEWICHTUNG NICHT KORRIGIEREN?

Die folgenden Gruppen sollten überhaupt nicht im synthetischen Panel vorhanden sein:

• Menschen, die Bildschirmlesegeräte verwenden
• Nutzer in ländlichen Gebieten mit geringer Bandbreite
• Menschen, die das KI-Produkt zum ersten Mal verwenden
• Kleine Sprachgemeinschaft

Die Gewichtung ändert nur das Gewicht der Nutzer im Panel. Die nicht beobachtete Gruppe:

• KI, deine Antwort,
• Zugangsprobleme aufdecken,
• Fehlerverteilung

kann nicht erzeugt werden. Daher:

Null Abdeckung bedeutet null Information.

Gewichtetes Ergebnis: es kann eine Vorhersage näher an der Zielpopulation sein, nicht eine vollständige Beobachtung der Zielpopulation.

43. SENSITIVITÄTSANALYSE

Die Abhängigkeit des gewichteten Ergebnisses von einem einzelnen Gewichtungsmodell sollte untersucht werden. Kandidatenergebnisse:

• Rohes ungewichtetes Ergebnis
• Designfokussiertes Ergebnis
• Demografisch kalibriertes Ergebnis
• Kalibrierung unter Hinzufügung der KI-Nutzung
• Gewichtetes beschnittenes Ergebnis
• An den Effekt des Panel-Anbieters angepasstes Ergebnis

Wenn sich die Ergebnisse wesentlich ändern:

Warnung vor Gewichtungsempfindlichkeit

sollte gegeben werden. Ein einzelnes „richtiges“ Gewichtsergebnis kann nicht als absolute Wahrheit präsentiert werden.

44. NEIGUNGSANPASSUNG IM NONPROBABILITY-PANEL

Die Tendenz von Mitgliedern eines Non-Probability-Panels, dem Panel beizutreten, kann gemäß der Zielpopulation modelliert werden. Die Wahrscheinlichkeit, dass eine Person im Panel ist:

p̂_i= Pr(i ∈ panel | X_i)

kann geschätzt werden. Das Kandidaten-Inverse-Propensity-Gewicht:

w_i^P= 1/p̂_i

kann verwendet werden. Diese Methode:

• verwendet nur die gemessenen Xi-Variablen,
• ist von einem falsch spezifizierten Modell betroffen,
• nicht beobachtete Selektion wird nicht gelöst,

benötigt starke Zielreferenzdaten. Daher sollte das Ergebnis:

wie folgt bezeichnet werden:

Modellkalibrierte Nicht-Probabilitäts-Panel-Schätzung

45. SCHÄTZUNGEN FÜR KLEINE RÄUME UND MODELLBASIERTE SCHÄTZUNGEN

Direktes Sampling kann in einigen Länder- oder Sprachzellen unzureichend sein. Modellbasierte Methoden können Informationen von benachbarten oder ähnlichen Gruppen übernehmen. Das bedeutet, dass das Ergebnis:

• direkt beobachtete Länderbewertung,
• Rohbenutzerrate

nicht zutrifft. Der korrekte Status:

MODELLGESTÜTZTE SCHÄTZUNG

SCHÄTZUNG FÜR KLEINE GEBIETE

NICHT DIREKT BEOBACHTET

muss. Modellbasierte Vorhersage macht ein Land ohne Beobachtung durch den Länderkontrolleur nicht zu einem beobachteten Land.

46. TEILNEHMERDATENSCHUTZ UND VERIFIZIERBARKEIT

GEO-1000 erfordert einen Nachweis für jede Beobachtung. Dies bedeutet nicht, dass die Identität des Teilnehmers öffentlich gemacht wird. Ein Screenshot kann die folgenden Informationen enthalten:

• Name
• E-Mail
• Profilbild
• Vorheriger Chat
• Kontenplan
• Name der Institution
• Sensiblen personenbezogene Informationen

NOMOS-Erfassung oder gleichwertiges System:

• soll keine unnötigen persönlichen Felder erfassen,
• soll automatische oder kontrollierte Schwärzung durchführen,
• Rohbeweise müssen in einem sicheren Repository aufbewahrt werden.

Nur anonyme und überprüfbare Aufzeichnungen sollten der Öffentlichkeit präsentiert werden.

46.1. Öffentliches Evidenzmittel-Manifest

Öffentlicher Datensatz:

• Beobachter-ID,
• Land/Sprachzelle,
• KI-Produkt,
• Zeit,
• Nachweis-Hash,
• Verifizierungsstatus

kann getragen werden. Vollständiger Screenshot:

• bearbeitet,
• eingeschränkter Zugang,
• offen für unabhängigen Prüfer

kann sein. Die Existenz von tausend Evidenzstücken erfordert nicht die öffentliche Offenlegung der Identitäten von tausend Personen.

46.2. Sensibles Risiko eines kleinen Landes

Wenn es nur einen Teilnehmer im kleinen Land gibt:

• Gerät,
• Zeit,
• Sprache,
• Plan

Wenn sie zusammengetragen werden, kann es einfacher werden, die Person wiederzuerkennen. Der Detaillierungsgrad in öffentlichen Berichten sollte reduziert werden. Die Integrität der Nachweise kann in einem zugangsbeschränkten System erhalten bleiben.

47. TEILNEHMER EINVERSTÄNDNIS

Der Teilnehmer sollte mindestens Folgendes wissen:

• Welche Aufgabe sie ausführen werden
• Welche Daten und Screenshots gesammelt werden
• Welche persönlichen Informationen nicht gesammelt werden
• Wie lange die Daten gespeichert werden
• Wer Zugriff haben wird
• Wie das Ergebnis veröffentlicht wird
• Wie die Belohnung vergeben wird
• Dass die Teilnahme freiwillig ist
• Recht auf Widerruf oder Einspruch
• Konto-Passwort wird nicht angefordert
• Es wird nicht erwartet, dass die Nutzungsbedingungen des KI-Produkts verletzt werden

Zustimmung sollte nicht in einem langen und unverständlichen Text versteckt werden. [K06; K22]

48. TEILNEHMER_SICHERHEIT

Vom Teilnehmer:

• persönliche Gesundheits-, Rechts- oder Finanzinformationen an KI weiterzugeben,
• echte Kundendaten zu verwenden,
• geschäftsgeheime Informationen des Arbeitgebers zu teilen,
• die Kontosicherheit zu schwächen,
• Nutzungslimits zu überschreiten,
• das Gesetz oder die Produktbedingungen zu verletzen

kann nicht verlangt werden. Testaufforderungen sollten möglichst einen öffentlichen und nicht-personenbezogenen Kontext enthalten.

49. DER TEILNEHMER TRÄGT MENSCHLICHE VIELFALT, KEINE QUALITÄT

Unerfahrener Nutzer:

• kann die Aufgabe langsamer erledigen,
• schwieriger,
• mit mehr Unterstützung

Diese Person ist nicht automatisch ein Teilnehmer von geringer Qualität. Sie sind ein echter Teil der Zielpopulation. Wenn das Forschungsdesign so komplex ist, dass nur Personen mit hohen digitalen Fähigkeiten es abschließen können: Das Problem liegt möglicherweise nicht beim Teilnehmer, sondern beim Messinstrument. Das Protokoll:

• sollte verständlich sein,
• zugänglich,
• sprachlich natürlich,
• technische Belastung begrenzt

muss sein.

50. ÖFFENTLICHE RESULTATKARTE DER TEILNEHMERAUSWAHL

Der öffentliche Kandidatenbericht sollte die folgenden Bereiche enthalten:

Panelressourcen

Wahrscheinlichkeit Panelanteil Professionelles Freiwilligenpanel Anteil Offene Ausschreibung Anteil Universität/Institution Anteil Kunden- oder angeschlossenes Panel Anteil

Teilnahme-Funnel

Person im Rahmen Ausgewählt Eingeladen Akzeptiert Gestartet Abgeschlossen Gültige Beobachtung produzierend

Eignung und Integrität

Landesprüfungsstufen Sprachprüfungsstufen Wiederholungspersonenrate Verdächtige Registrierungsrate Überprüfte Betrugsrate Ungültige Beobachtungsrate

Panelzusammensetzung

KI-Nutzungsfrequenz Plan und Schnittstelle Markenbekanntheit Kunden-/Mitarbeiterbeziehung Neue und zurückkehrende Panelnutzer Zugänglichkeitsabdeckung

Gewicht Diagnosen

Folgendes kann veröffentlicht werden, ohne die Identität der Teilnehmer preiszugeben: Roh- und gewichtete Werte; minimale und maximale Gewichte; der Variationskoeffizient der Gewichte; effektive Stichprobengröße; Sensitivität gegenüber Gewichtung; und Abdeckungswarnungen.

51. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH08-N01

Jede gültige GEO-1000-Beobachtung muss eine nachvollziehbare Teilnehmerauswahlkette von der Zielpopulation zur analytischen Aufzeichnung aufweisen.

CH08-N02

Eine zufällige Auswahl innerhalb des Panels kann nicht als zufällige Auswahl aus der Zielweltbevölkerung dargestellt werden.

CH08-N03

Die Quelle der Teilnehmer, die Auswahlmethode und der Status des Panels sollten im öffentlichen Methodenprotokoll erläutert werden.

CH08-N04

Es kann nicht als ein unwahrscheinliches oder freiwilliges Panel-Stichprobenset der Bevölkerung definiert werden.

CH08-N05

Von der geprüften Institution vorgeschlagene Teilnehmer dürfen ohne Erklärung nicht im Haupt unabhängigen Bevölkerungspanel aufgenommen werden.

CH08-N06

Beziehungen zu Kunden, Mitarbeitern, Partnern, Wettbewerbern und KI-Anbietern sollten separat aufgezeichnet werden.

CH08-N07

Die Teilnahmeberechtigung muss überprüft werden, bevor die KI-Antwort angezeigt wird.

CH08-N08

Land, Sprache, Produkt, Plan und Schnittstellenberechtigung müssen vor der Zuweisung der entsprechenden Aufgabe bestimmt werden.

CH08-N09

Die gleiche Person darf aufgrund mehrerer Konten, Geräte, Sprachen, Panels oder KI-Produkte nicht als Bevölkerungseinheit dupliziert werden.

CH08-N10

Eine Überprüfung der eindeutigen Person muss gemäß den Grundsätzen der Datenminimierung und des Datenschutzes durchgeführt werden.

CH08-N11

Ein einzelnes technisches Signal allein kann nicht als ausreichend für eine automatische endgültige Entscheidung betrachtet werden, dass ein Teilnehmer gefälscht ist.

CH08-N12

Die Belohnung eines Teilnehmers darf nicht an die AI-Antwort gekoppelt sein, dass sie positiv, korrekt, lang, mit Referenzen versehen oder vorteilhaft für die Marke ist.

CH08-N13

Der Qualitätsbonus kann nur an die vorher festgelegte Protokollintegrität gebunden sein.

CH08-N14

Der Einladungs- und Informationstext darf den Teilnehmer nicht anleiten, ein positives oder negatives Ergebnis zu erzielen.

CH08-N15

Das KI-Produkt sollte zugewiesen oder randomisiert werden, bevor die Aufforderung und die Aufgabenfolge-Ergebnisse gesehen werden.

CH08-N16

Die Auswahl von Produkt und Aufforderung basierend auf den Präferenzen der Teilnehmer darf in der Hauptpopulation nicht unerklärt verwendet werden.

CH08-N17

Panelkonditionierung, vorherige Testexposition und wiederholte Teilnahme müssen aufgezeichnet werden.

CH08-N18

Die Ergebnisse von neuen und konditionierten Teilnehmern sollten bei Bedarf getrennt analysiert werden.

CH08-N19

Die Aufnahme eines Teilnehmers in das Panel, dessen Beibehaltung, Ausschluss oder Ersatz durch eine Ersatzperson darf nicht auf dem Inhalt der KI-Antwort basieren.

CH08-N20

Fehlerhafte, negative, ablehnende oder kritische KI-Ausgaben sollten gemäß einem gültigen Protokoll aufbewahrt werden.

CH08-N21

Die Gültigkeit der Teilnehmer sollte so weit wie möglich blind bewertet werden und bevor die sachliche Genauigkeit der Antwort beurteilt wird.

CH08-N22

Einladung, Annahme, Beginn, Abschluss und gültige Beobachtungsraten sollten separat berichtet werden.

CH08-N23

Die Antwortumgebung sollte nur auf vordefinierten und relevanten Variablen basieren.

CH08-N24

Gewichtung kann nicht dazu führen, dass Nutzer, die nicht im Stichprobenrahmen enthalten sind, vertreten werden.

CH08-N25

Gewichtsvariablen dürfen nicht vom KI-Antwortergebnis, der Punktzahl oder dem kommerziellen Interesse der regulierten Institution abhängen.

CH08-N26

Nicht-probabilistische Panelgewichte dürfen nicht als Designgewichte dargestellt werden.

CH08-N27

Kalibrierungsvariablen und Zielsummen müssen freigegeben werden, bevor die Ergebnisse gesehen werden.

CH08-N28

Ungewichtete und hauptsächlich gewichtete Ergebnisse müssen zusammen gespeichert werden.

CH08-N29

Die Gewichtung von Diagnosen und die effektive Stichprobengröße sollten im Hauptbericht sichtbar sein.

CH08-N30

Wenn Gewichtstrimmen verwendet wird, müssen das ungetrimmte Ergebnis und die Sensitivitätsanalyse aufbewahrt werden.

CH08-N31

Effekte des Panelanbieters und der Teilnehmerquelle sollten als separate Variablen gehalten werden.

CH08-N32

In einem Multi-Quellen-Panel sollten wiederholte Personenüberprüfungen zwischen den Quellen durchgeführt werden.

CH08-N33

Betrugserkennung sollte mehrere Signale, eine proportionale menschliche Überprüfung und ein Beschwerdeverfahren umfassen.

CH08-N34

Die Nutzung eines VPN, eines geteilten Geräts, eines institutionellen Netzwerks oder unterstützender Technologie sollte nicht automatisch als Betrug angesehen werden.

CH08-N35

Modellbasierte Schätzungen für kleine Bereiche können nicht direkt wie eine beobachtete Länder- oder Sprachpunktzahl präsentiert werden.

CH08-N36

Teilnehmer-Screenshots und Nachweise müssen persönliche Datenminimierung, Schwärzung und Zugangskontrolle aufweisen.

CH08-N37

Kontopasswörter, private Chatverläufe oder unnötige sensible Informationen dürfen von den Teilnehmern nicht angefordert werden.

CH08-N38

Teilnehmer dürfen nicht gebeten werden, Produkt-, Alters-, Identitäts-, Länder- oder Kontobeschränkungen zu umgehen.

CH08-N39

Kinder oder Nutzer, die besonderen Schutz benötigen, dürfen nicht ohne separate ethische und Sicherheitsprotokolle im Panel angemeldet werden.

CH08-N40

Aufzeichnungen über die Teilnehmersauswahl und Gewichtung müssen einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

52. FORMEN DES VERSAGENS

CH08-F01— ZUFÄLLIGE TEILNEHMER IM PANEL ALS ZUFÄLLIGE DER WELT ZÄHLEN

Die zufällige Auswahl innerhalb des freiwilligen Panels wird so präsentiert, als ob es sich um eine zufällige Auswahl aus der Weltbevölkerung handelt.

CH08-F02— EINHALTUNG VON QUOTEN ALS REPRÄSENTATIV ZÄHLEN

Es wird behauptet, dass alle Verhaltens- und Technologie-Biases gelöst sind, weil Alters- und Länderquoten erfüllt werden.

CH08-F03— KUNDEN ALS ALLGEMEINE BEVÖLKERUNG ZÄHLEN

Die Nutzerliste der überwachten Institution wird verwendet, als wäre sie ein weltweites Nutzerpanel.

CH08-F04— VERSTECKEN VON MITARBEITERN UND PARTNERN

Nutzer, die mit der Institution verbunden sind, werden als unabhängige allgemeine Teilnehmer angezeigt.

CH08-F05— ZÄHLEN EINES EINZELNEN PANEL-ANBIETERS ALS GLOBAL

Auswirkungen des Anbieters und das Verhalten des registrierten Panels werden nicht untersucht.

CH08-F06— ZÄHLEN EINER OFFENEN EINLADUNG ALS WAHRSCHEINLICHE STICPROBE

Selbstselektion wird beibehalten.

CH08-F07— BESTIMMUNG DES LANDES NUR NACH IP

Reisen, VPN, institutionelles Netzwerk und Unterschiede in der Kontoregion werden ignoriert.

CH08-F08— ZÄHLEN DER STAATSANGEHÖRIGKEIT ALS NUTZUNGS-LAND

Der tatsächliche geografische Zustand der Produkterfahrung wird falsch klassifiziert.

CH08-F09— ANNEHMEN EINER SPRACHENANGABE ALS DEFINITIV OHNE TEST

Der Teilnehmer wird in der Sprachzelle gehalten, obwohl er die Prompt oder die Antwort nicht versteht.

CH08-F10— DEN SPRACHTEST IN EINE ELITEAUSWAHL VERWANDELN

Nur hochgebildete Personen bleiben im Panel.

CH08-F11— DIE ANZAHL DER KONTEN ALS PERSONEN ZÄHLEN

Eine Person erhöht das Bevölkerungsgewicht mit mehreren Konten.

CH08-F12— EIN GEMEINSAMES KONTO ALS EINE PERSON ZÄHLEN

Ein von mehreren Personen genutztes Konto wird als einzelner Nutzer interpretiert.

CH08-F13— ZAHLUNG ABHÄNGIG VOM ERGEBNIS

Ein Bonus wird für eine positive, richtige oder referenzierte Antwort vergeben.

CH08-F14— DAS PROTOKOLL MIT GESCHWINDIGKEITSBONUS BRECHEN

Der Teilnehmer macht einen Screenshot oder hetzt durch die Aufgabe, bevor er die Antwort beendet.

CH08-F15— ERKLÄRUNG DES ERGEBNISSES IN DER EINLADUNG

Der Teilnehmer wird gebeten, einen Fehler oder Erfolg zu finden.

CH08-F16— DEN TEILNEHMER DAS PRODUKT WÄHLEN LASSEN

Nutzer, die nur das KI-Produkt auswählen, auf das sie zugreifen können oder das ihnen gefällt, bestimmen das Panel.

CH08-F17— DAS AUSWIRKEN DER REIHENFOLGE DER AUFFORDERUNGEN VERSTECKEN

Frühere Antworten beeinflussen nachfolgende Aufgaben.

CH08-F18— PANELBEDINGUNGEN ALS NATÜRLICHE NUTZUNG BETRACHTEN

Ein Nutzer, der denselben Test mehrmals sieht, wird als neuer Nutzer dargestellt.

CH08-F19— ERGEBNISWEITERGABE IGNORIEREN

Teilnehmer übertrugen Aufgaben und Antworten aneinander.

CH08-F20— NICHT-ANTWORTEN ALS FEHLENDE DATEN ZÄHLEN

Der systematische Unterschied von Nicht-Teilnehmern wird nicht untersucht.

CH08-F21— ZÄHLUNG DES PANELVERLUSTS ALS VERBESSERUNG DER ERGEBNISSE

Die Punktzahlen steigen, weil schwache oder unerfahrene Nutzer in nachfolgenden Wellen aussteigen.

CH08-F22— NEGATIVE ANTWORTEN NICHT ANERKENNEN

Der Teilnehmer wird ersetzt, weil die KI eine falsche Antwort gegeben hat.

CH08-F23— KORREKTE ANTWORT BESTÄTIGEN

Selbst wenn der Teilnehmer die Antwort aktualisiert hat, wird der Eintrag behalten, weil das Ergebnis korrekt ist.

CH08-F24— ÜBERBLICKUNG VON BOTS UND WIEDERHOLTER TEILNAHME

Die gleiche Person oder Automatisierung erzeugt eine große Anzahl von Beobachtungen.

CH08-F25— MASSENAUSSCHLUSS MIT EINEM EINZELNEN SIGNAL

VPN, Gerät oder Geschwindigkeit führt dazu, dass echte Nutzer als falsch angesehen werden.

CH08-F26— DURCHFÜHRUNG EINER BETRUGSPRÜFUNG BASIEREND AUF ERGEBNISSEN

Datensätze mit niedriger Punktzahl werden häufiger überprüft.

CH08-F27— ERSTELLUNG EINER STARK UNGESICHTETEN GRUPPE

Es wird behauptet, dass Nutzer, die nicht in der Stichprobe enthalten sind, repräsentiert werden.

CH08-F28— AUSWAHL DER NACH-ERGEBNIS-KALIBRIERUNG

Gewichtsvariablen, die den am besten geeigneten Score liefern, werden danach ausgewählt.

CH08-F29— ZÄHLUNG DES ROH-PANEL-ANTEILS ALS POPULATIONSTEIL

Schwere KI-Nutzer bestimmen das globale Ergebnis anhand roher Zahlen.

CH08-F30— ZÄHLUNG UNGEWÖHNLICHER GEWICHTE ALS DESIGN-GEWICHT

Die genaue Bevölkerungsableitung wird durchgeführt, auch wenn die tatsächliche Auswahlwahrscheinlichkeit unbekannt ist.

CH08-F31— DAS UNGEWICHTETE ERGEBNIS VERBORGEN HALTEN

Die Wirkung des Gewichtungsmodells ist nicht sichtbar.

CH08-F32— DAS EFFEKTIVE SAMPLE VERSTECKEN

Obwohl 1,000-Rohdatensätze 300–400-Informationseinheiten enthalten, wird volle Präzision behauptet.

CH08-F33— ENTFERNUNG SCHWACHER GRUPPEN DURCH GEWICHTSANPASSUNG

Kleinere Gruppen mit hohem Gewicht werden entfernt, da sie das Ergebnis herabsetzen.

CH08-F34— ZÄHLEN MODELLBASIERTER GESCHÄTZTER PUNKTE

Ein Land ohne Beispiel erhält eine feste Bewertung.

CH08-F35— OFFENLEGUNG DER IDENTITÄT FÜR NACHWEISE

Screenshots werden mit persönlichen Informationen öffentlich veröffentlicht.

CH08-F36— WIEDERERKENNBARE MACHUNG EINES TEILNEHMERS AUS EINEM KLEINEN LAND

Land, Zeit, Gerät und Planinformationen machen eine einzelne Person erkennbar.

CH08-F37— FRAGEN DES TEILNEHMERS NACH PASSWORT ODER PRIVATEM CHAT

Das Sammeln von Nachweisen verletzt die Kontosicherheit.

CH08-F38— ZÄHLUNG GERINGER DIGITALER FÄHIGKEIT ALS UNANGEMESSENHEIT

Tatsächliche Zielbenutzer werden aus dem Panel entfernt.

CH08-F39— STÖRUNG DER FREIWILLIGKEIT DURCH BELONUNG

Der Teilnehmer steht unter Druck, dem er vernünftigerweise nicht widerstehen kann.

CH08-F40— ÜBERLASSEN SIE DIE WAHL DES TEILNEHMERS DEM KUNDEN

Die geprüfte Einheit wählt die Personen aus, die das Ergebnis des Panels bestimmen können.

53. PRÜFUNGSVERFAHREN

Schritt 1— Teilnehmerquellen kartieren

Jedes Panel wird separat nach Partner-, Open-Call- und Kundenquelle aufgezeichnet.

Schritt 2— Auswahlstatus zuweisen

Für jede Quelle wird ein geeigneter Status zwischen PSI-0 und PSI-5 bestimmt.

Schritt 3— Abdeckung mit Zielpopulation vergleichen

Bestimmen Sie, welche Zielnutzer im Panel nicht vertreten sind.

Schritt 4— Wahrscheinlichkeit oder Modell der Teilnehmerauswahl speichern

Bekannte Wahrscheinlichkeit, Quote oder freiwillige Auswahl wird erklärt.

Schritt 5— Konformitätsregeln einfrieren

Alter, Land, Sprache, Produkt, Plan, Schnittstelle, Einzigartigkeit, Extraktionsbeziehung und Bedingungen werden versioniert.

Schritt 6— Einladungstext überprüfen

Es wird bewertet, ob es positive oder negative Anleitungen gibt.

Schritt 7— Belohnungsstruktur untersuchen

Es wird bestätigt, dass die Belohnung völlig unabhängig vom Ergebnis ist.

Schritt 8— Land, Sprache und Produktzugang der Teilnehmer überprüfen

Datenschutzsichere Überprüfungsstufen werden zugewiesen.

Schritt 9— Einzigartige menschliche Überprüfung durchführen

Interne und externe Wiederholungen werden untersucht.

Schritt 10— Beziehungen und Vertrautheitsbereiche aufzeichnen

Kunden-, Mitarbeiter-, Wettbewerber-, KI-Anbieter- und Markenvertrautheit werden bestimmt.

Schritt 11— Aufgaben nach Zuweisungsplan verteilen

Produkt-, Eingabeaufforderungs-, Warteschlangen- und Wellenzuweisungen werden überprüft.

Schritt 12— Panel-Konditionierung aufzeichnen

Neue, wiederholte und zuvor teilnehmende Nutzer am gleichen Test werden getrennt.

Schritt 13— Teilnahme-Trichter einrichten

Einladungs-, Annahme-, Start-, Abschluss- und Gültigkeitszahlen werden berechnet.

Schritt 14— Gültigkeitsprüfung blind durchführen

Die Protokollgültigkeit wird bestimmt, ohne dass die KI-Antwortbewertung so weit wie möglich sichtbar ist.

Schritt 15— Betrugssignale überprüfen

Mehrere Signale und menschliche Bewertungen werden verwendet.

Schritt 16— Meine Nicht-Antworten und Panelverluste analysieren

Die bekannten Merkmale derjenigen, die teilnehmen, und derjenigen, die nicht teilnehmen, werden verglichen.

Schritt 17— Erzeugen von Design- und Kalibrierungsgewichten

Probabilistische und nicht-probabilistische Quellen werden mit separaten Methoden behandelt.

Schritt 18— Berechnen der Gewichtsdaten

Gewichtsverteilung, Design-Effekt, effektive Stichprobe und Trimm-Effekt werden berechnet.

Schritt 19— Durchführung der Sensitivitätsanalyse

Roh-, Haupt-, stark gewichtete und alternative vernünftige Ergebnisse werden verglichen.

Schritt 20— Erstellen des Datenschutz- und Nachweis-Manifests

Vollständiger Nachweis befindet sich in einem sicheren Archiv; anonyme Beweisidentitäten werden in einem öffentlichen Verzeichnis geführt.

Schritt 21— Veröffentlichung der öffentlichen Wahlkarte

Panelquellen, Teilnahme-Trichter, Verzerrungen und Gewichtungseffekt werden sichtbar gemacht.

54. ERFORDERLICHE BELEGE

Zielgruppen-Aufzeichnung; Stichprobenrahmen; Panel-Anbieter; Teilnehmerquellen; Auswahlstatus; Wahrscheinlichkeits- oder Nicht-Wahrscheinlichkeits-Panelklasse; Panel-Registrierungsmethode; Einladungstext; Zulassungsregeln für Teilnehmer; Teilnehmerländerüberprüfung; Sprachkenntnisnachweis; Zugriff auf KI-Produkt-Aufzeichnung; Plan- und Nutzeroberfläche; eindeutige Personenverifizierung; Quellübergreifende Duplikatsprüfungen; Markenbekanntheit; Häufigkeit der KI-Nutzung; Beziehung zur geprüften Einheit; Beziehung zum KI-Anbieter; Teilnehmervergütung; Bonusbedingungen; Aufgabenvergabe-Methode; Zufallsauswahl- und Blockierungsaufzeichnung; Produkt- und Aufforderungsreihenfolge; Panel-Konditionierung; vorherige Pilotteilnahme; Anzahl Eingeladener; Anzahl Zustimmender; Anzahl derjenigen, die mit der Aufgabe beginnen; Anzahl derjenigen, die sie abschließen; Anzahl der gültigen Beobachtungen; Gründe für Nichtantworten; Panel-Abwanderung; Gründe für Ungültigkeit; und Betrugsindikatoren.

Überprüfungs- und Einwandaufzeichnungen Designgewichte Nicht-Antwort-Einstellungen Kalibrierungsvariablen Propensitätsmodell, falls vorhanden Gewichtszuschnittaufzeichnung Effektive Stichprobengröße Sensitivitätsergebnisse Panelanbieter-Effekt Ungewichtete und gewichtete Werte Zustimmungserklärung Aufbewahrungs- und Zugriffsrichtlinie für Daten Regeln zur Schwärzung Öffentliche Evidenzführung Verantwortliche Person oder Institution

55. PRÜFLISTE FÜR AUDITS

Aus welchen Quellen stammten die Teilnehmer? War jede Quelle probabilistisch, freiwillig oder ein offener Aufruf? Wurde die Zufälligkeit innerhalb des Panels wie die Zufälligkeit in der Weltbevölkerung dargestellt? Intervenierte die betreuende Institution bei der Teilnehmerauswahl? Sind Kunden- und Mitarbeiterteilnehmer getrennt? Wurden Beziehungen zu KI-Anbietern oder Wettbewerbern dokumentiert? Wie wurde die Ländereignung überprüft? Entspricht die Sprachkompetenz dem tatsächlichen Gebrauch? Wurde das richtige KI-Produkt, der richtige Tarifplan und die richtige Schnittstelle verwendet? An wie vielen Konten oder Panels hat dieselbe Person teilgenommen? Wurde eine Überprüfung zwischen den Quellen durchgeführt? Führte der Einladungstext das Ergebnis? Hängt die Belohnung vom Inhalt der KI-Antwort ab? Haben Geschwindigkeitsanreize die Protokollqualität verringert? War die Aufgabenverteilung zufällig oder regelbasiert? Hat der Teilnehmer das Produkt oder die Prompt selbst ausgewählt?

Waren die Reihenfolgen von Produkt und Prompt ausbalanciert? Wurde die Panel-Konditionierung aufgezeichnet? Haben die Teilnehmer die Ergebnisse der Aufgaben geteilt? Ist der Einladungs–Akzeptanz–Start–Abschluss–Gültigkeits-Funnel sichtbar? Unterscheiden sich Nicht-Antworter in bekannten Merkmalen? Beeinflusst Panel-Abwanderung den Zeitverlauf? Wurde die Gültigkeitsentscheidung getroffen, bevor die KI-Antwort bewertet wurde? Wurden negative oder kritische Antworten häufiger als ungültig betrachtet? Trägt die Betrugserkennung mehrere Signale? Führten VPN oder gemeinsame Geräte automatisch zum Ausschluss? Wurde dem Teilnehmer ein Einspruchsweg gegeben? Wurden Gewichtungsvariablen vor dem Ergebnis definiert? Wurden unwahrscheinliche Panelgewichte korrekt gekennzeichnet? Sind die Zielsummen zuverlässig? Werden ungewichtete und gewichtete Ergebnisse zusammen präsentiert? Ist die effektive Stichprobengröße klar? Wurde die Auswirkung des Gewichtungs-Trimmings gezeigt?

Wurden Gruppen, die nie beobachtet wurden, als weitgehend vertreten repräsentiert? Wurden modellbasierte Vorhersagen so präsentiert, als wären sie direkte Beobachtungen? Gibt es persönliche Details in Teilnehmer-Screenshots? Können Nutzer aus kleinen Ländern wieder identifiziert werden? Wurden Kontopasswörter oder private Chats angefragt? Ist die Zustimmung der Teilnehmer klar und verständlich? Gibt es einen klar verantwortlichen Eigentümer für die Wahl der Teilnehmer und die Gewichtungsaufzeichnungen?

56. EINWÄNDE UND ANTWORTEN

Einwand 1— "Wenn wir ein professionelles Forschungspanel nutzen, warum sprechen wir dann immer noch über Voreingenommenheit?"

Ein professionelles Panel kann die Datenqualität und das Feldmanagement stärken. Panelmitglieder sind außerdem:

• freiwillig
• an Forschung gewöhnt,
• unterschiedlich in der Nutzung von Technologie

Es ist möglich. Professionalität beseitigt keine Voreingenommenheit. Sie macht das Messen und Verwalten einfacher.

Einwand 2— „Wenn die Alters- und Länderquoten erfüllt sind, warum sollte das Gremium dann nicht als repräsentativ angesehen werden?“

Teilnehmer:

• Häufigkeit der KI-Nutzung,
• Gerät,
• Plan,
• Markenbewusstsein,
• digitale Kompetenz

Es kann in Bezug auf die Wartung unterschiedlich sein. Quoten gleichen nur die Bereiche aus, die sie abdecken.

Einwand 3— „Können Gewichtungen diese Unterschiede nicht korrigieren?“

Sie können teilweise Unterschiede korrigieren, für die gemessene und verlässliche Zielwerte existieren. Sie können Unterschiede, die nie beobachtet oder gemessen werden, nicht definitiv korrigieren.

Einwand 4— „Die Klienten der Institution sind echte Nutzer; warum sollten sie nicht im Hauptpanel enthalten sein?“

Sie können berücksichtigt werden. Allerdings sollten sie mit dem tatsächlichen Anteil und dem Beziehungsstatus berücksichtigt werden, den sie in der Gesamtbevölkerung haben. Die gesamte Kundenliste ist kein Panel der Gesamtbevölkerung.

Einwand 5— „Warum wäre es ein Problem, wenn der Teilnehmer die Marke kennt?“

Es muss kein Problem sein. Sie sind Teil der natürlichen Nutzerpopulation. Wenn die Vertrautheit unausgewogen ist, kann das Ergebnis variieren. Daher wird es aufgezeichnet und bei Bedarf analysiert.

Einwand 6— „Schwere KI-Nutzer führen die Aufgabe genauer aus; wäre es nicht besser, sie auszuwählen?“

Es könnte einfacher für Protokolltests sein. Wenn wir jedoch die tatsächliche Erfahrung der Bevölkerung messen wollen, sind auch unerfahrene Nutzer wichtig. Wenn die Aufgabe zu komplex ist, sollte das Messinstrument korrigiert werden. Die Bevölkerung sollte nicht vereinfacht werden.

Einwand 7— 'Wenn der Teilnehmer die Antwort missverstanden hat, warum sollten wir die Beobachtung behalten?'

Die Aufgabe des Teilnehmers besteht nicht darin, die Antwort zu bewerten, sondern sie korrekt zu erfassen. Wenn das Erfassungsprotokoll korrekt angewendet wird, bleibt die KI-Antwort erhalten. Die Beurteilung des Materials liegt in der Verantwortung der Schiedsrichter.

Einwand 8— „Sollte nicht ein strenger automatischer Filter verwendet werden, um gefälschte Teilnahme zu verhindern?“

Automatisches Filtern ist nützlich. Wenn es die einzige endgültige Entscheidung wird, könnte es echte Nutzer unfair ausschließen. Mehrere Signale und ein angemessenes menschliches Überprüfungsverfahren sind erforderlich.

Einwand 9— 'Wenn wir keine tausend Screenshots veröffentlichen, kann die Methode als bewiesen gelten?'

Vollbildbilder:

• persönliche Informationen,
• Kontosicherheit,
• Neudefinition

kann ein Risiko bergen. Für die Öffentlichkeit:

• bearbeitete Beispiele,
• Beobachtungsmanifest,
• Integritätshashes,
• ein unabhängiger Prüfungszugang

kann bereitgestellt werden. Nachweisbarkeit ist keine Identitätsfreigabe.

Einwand 10— "Wenn der gewichtete Wert sehr unterschiedlich vom Rohwert ist, welcher ist korrekt?"

Zwei Ergebnisse beantworten unterschiedliche Fragen. Die Rohpunktzahl ist das Ergebnis der Personen im Panel. Die gewichtete Punktzahl ist die Schätzung für die Zielpopulation. Ein großer Unterschied zeigt, dass die Zusammensetzung des Panels wichtig ist. Beide sollten veröffentlicht werden.

Einwand 11— „Wenn die effektive Stichprobe auf 349 gesunken ist, war es dann verschwendet, 1,000 Beobachtungen zu sammeln?“

Die überabgetasteten Gruppen könnten die Analyse der Untergruppen gestärkt haben. Allerdings kann die Sensitivität der globalen Prognose niedriger sein als die Rohzahl von 1,000. Diese Tatsache sollte nicht verborgen werden.

Einwand 12— „Kann das Nicht-Wahrscheinlichkeits-Panel überhaupt nicht verwendet werden?“

Es kann verwendet werden. Im Speziellen:

• Pilot,
• Sprache mit geringen Ressourcen,
• kleines Land,
• Schnelle Entdeckung

Es ist wertvoll für. Es sollte mit dem korrekten Status und den Einschränkungen veröffentlicht werden.

Einspruch 13— „Ist es nicht zuverlässiger, alle Teilnehmer aus neuen Personen auszuwählen?“

Es kann stark für die Querschnittsbevölkerungsschätzung sein. Wiederholte Nutzer sind wertvoll für die Messung longitudinaler Veränderungen. Neue und wiederholte Panelrollen sollten getrennt gehalten werden.

Einwand 14— „Erhöht das Sammeln von Daten von so vielen Teilnehmern nicht das Datenschutzrisiko?“

Es kann. Deshalb:

• Datenminimierung
• anonyme Identität
• Bearbeitung,
• Zugangskontrolle
• Lagerdauer

sind verpflichtende Teile des Protokolls. Unnötige Informationen sollten nicht gesammelt werden.

ALLGEMEINE VORSCHRIFT DES ABSCHNITTS 59

Die einfachste Zahl in einer GEO-Studie:

1,000

Es ist möglich. Die schwerste Frage ist diese:

Welcher 1,000?

Zwei Panels mit denselben Länder- und Altersquoten können völlig unterschiedliche Ergebnisse liefern. In einem:

• intensive KI-Nutzer,
• Abonnenten eines kostenpflichtigen Plans,
• Technologiearbeiter

sind die Mehrheit. Im anderen:

• seltene Nutzer,
• Mobile-Nutzer,
• Menschen mit geringen digitalen Fähigkeiten

Es ist offensichtlicher. Beide sind 1,000 Personen. Es ist nicht die gleiche Population. Wenn Sie verbergen, woher die Teilnehmer kommen, und nur das gewichtete Ergebnis veröffentlichen, verwandeln Sie Gewichtung in einen Schleier des Vertrauens anstatt in eine Kontrollmethode. Sie können eine Person, die in einer Stichprobe nicht vorhanden ist, nicht gewichten. Sie können die Antwort eines Nutzers nicht ändern, weil sie falsch ist. Eine falsche Antwort ist kein Fehler der Forschung. Es ist das Ereignis, das die Forschung zu messen versucht. Wenn ein Teilnehmer das Protokoll trotz der richtigen Antwort falsch befolgt hat, können Sie den Datensatz nicht erhalten. Eine richtige Antwort macht eine gefälschte Beobachtung nicht real. Sie können einer Person mehr bezahlen. Aber nicht, um die Antwort zu erhalten, die Sie wollen. Sie können entsprechend den Lebensbedingungen eines Landes bezahlen. Aber Sie können die Bereitschaft des Teilnehmers nicht kaufen. Tausend Screenshots können als Nachweis dienen. Sie sind nicht verpflichtet, die Identität von tausend Personen der Öffentlichkeit preiszugeben.

Die Integrität von Evidenzmitteln und die Privatsphäre des Menschen können gemeinsam geschützt werden. Daher lautet das achte Messgesetz von NOMOS wie folgt:

Die Aussagekraft der Stichprobe wird nicht nur davon bestimmt, aus wie vielen Personen sie besteht, sondern auch davon, warum und wie diese Personen ausgewählt wurden.

Das neunte Gesetz lautet wie folgt:

Gewichtung stellt die beobachtete Bevölkerung wieder ins Gleichgewicht; sie erzeugt nicht den nicht beobachteten Menschen.

Das zehnte Gesetz lautet:

Eine falsche KI-Antwort kann gültige Daten sein; eine richtige KI-Antwort kann ungültige Daten sein.

Das elfte Gesetz lautet wie folgt:

Die Belohnung des Teilnehmers sollte nicht für das Finden des gewünschten Ergebnisses erfolgen, sondern für den Nachweis des beobachteten Ergebnisses, ohne es zu verändern.

Das zwölfte Gesetz lautet wie folgt:

Beweisbarkeit erfordert nicht, dass der Teilnehmer seine Privatsphäre aufgibt.

NOMOS’ Kapitel 8 Gebot

Bringe mir nicht allein tausend Menschen. / Zeige mir, aus welcher Welt diese tausend Menschen kommen.

Behandle ein freiwilliges Panel nicht als zufällige Bevölkerungsstichprobe, eine Kundenliste nicht als allgemeine Öffentlichkeit und einen Mitarbeiter nicht als unabhängigen Nutzer.

Denke nicht, dass alle Unterschiede, die du nicht gemessen hast, sich verbessert haben, nur weil die Länder- und Altersquoten erfüllt wurden.

Multipliziere eine Person nicht mit der Anzahl ihrer Konten, Geräte, Sprachen oder Panelmitgliedschaften.

Stecke diejenigen, die die Marke lieben, diejenigen, die die Marke hassen, und diejenigen, die die Marke überhaupt nicht kennen, nicht in dieselbe unsichtbare Box.

Bezahle den Teilnehmer nicht dafür, die richtige Antwort zu finden, sondern dafür, die erste passende Antwort, die er sieht, zu speichern, ohne sie zu ändern.

Ändere den Nutzer nicht, wenn die KI eine falsche Antwort gibt. / Überprüfe nicht, ob die Antwort korrekt ist, wenn der Nutzer das Protokoll bricht.

Lass eine Person, die nicht im Panel ist, nicht so gewichtet erscheinen, als würde sie existieren.

Verstecke das Rohresultat nicht. / Erkläre nicht nur das gewichtete Ergebnis als die Wahrheit. / Zeige die effektive Stichprobe. / Zeige ihre Sensitivität.

Erklären Sie niemanden, der ein VPN benutzt, zum Fake, niemanden, der ein gemeinsam genutztes Gerät benutzt, zum Bot, oder jemandem, der assistive Technologie benutzt, zur Automatisierung.

Untersuchen Sie Betrug. / Aber machen Sie die Untersuchung selbst nicht zu einem neuen Ausschlussbias.

Machen Sie einen Screenshot. / Schützen Sie den Namen der Person, das Konto und das Privatleben.

Definieren Sie zuerst die Population. / Dann zeigen Sie das Rahmenwerk. / Dann erklären Sie, wen Sie ausgewählt haben, wer nicht gekommen ist, wer es nicht abschließen konnte und warum jemand ausgeschlossen wurde. / Und erst danach entscheiden Sie, wie stark Ihr Ergebnis für die Menschheit sprechen kann.

Der abschließende Satz des Kapitels

In GEO-1000 ist ein Teilnehmer mehr als eine Person, die eine Antwort trägt. Ein Teilnehmer ist eine menschliche Stichprobeinheit, deren Fähigkeit, andere in der Zielpopulation zu vertreten, durch den Auswahlpfad, Gewichtung, Unabhängigkeit und Datenschutzmaßnahmen gerechtfertigt sein muss.

Normativer Kern

Jede GEO-1000-Beobachtung MUSS einen prüfbaren Teilnehmerauswahlpfad von der Zielpopulation und dem Stichprobenrahmen über Auswahl, Einladung, Einwilligung, Zuordnung, Abschluss, Protokollvalidierung, Ausschluss bis hin zur endgültigen Gewichtung beibehalten. Die zufällige Auswahl innerhalb des Panels DARF NICHT als zufällige Auswahl aus der globalen Zielpopulation repräsentiert werden, es sei denn, der Mechanismus zur Einbeziehung der gesamten Population unterstützt diese Behauptung. Die Teilnehmerrekrutierung, Zuordnung, Vergütung, Validierung, Ersetzung, Ausschluss und Gewichtung MÜSSEN unabhängig davon bleiben, ob die KI-Antwort positiv, negativ, korrekt, inkorrekt, abgelehnt, kritisch oder kommerziell günstig ist. Personen, Konten, Geräte, Sitzungen, Sprachen, Panelmitgliedschaften und KI-Produktbeobachtungen MÜSSEN als eigenständige Einheiten erhalten bleiben. Wahrscheinlichkeits-, Opt-in-, Open-Call-, vom Kunden bereitgestellte, institutionelle und hybride Teilnehmerquellen MÜSSEN separat identifiziert werden. Gewichtung KANN Ungleichgewichte verringern, DARF jedoch nicht so repräsentiert werden, dass sie Beobachtungen für Populationen erzeugt, die im Stichprobenrahmen fehlen, oder nicht gemessene Auswahl mit Sicherheit korrigiert. Ungewichtete Ergebnisse, gewichtete Ergebnisse, Gewichtungsdiagnosen, Abdeckungslücken, Nichtantworten, effektive Stichprobengröße und Sensitivitätsanalysen MÜSSEN sichtbar bleiben. Entscheidungen über Betrug und Duplikation MÜSSEN eine verhältnismäßige Überprüfung mit mehreren Signalen verwenden und DÜRFEN die Nutzung von VPNs, geteilten Geräten, institutionellen Netzwerken oder Barrierefreiheits-Tools NICHT automatisch als Fälschung behandeln. Nachweise von Teilnehmern MÜSSEN überprüfbar bleiben, ohne unnötig Identität, Kontodaten, private Gespräche oder genauen Standort offenzulegen. Jede Entscheidung über die Auswahl und Gewichtung von Teilnehmenden MUSS versioniert und einem verantwortlichen Menschen oder einer Organisation zuordenbar sein.