Eine einzelne Antwort ist kein GEO-Score

Kapitelgrenze

Dieser Abschnitt beantwortet nur die folgende Frage:

Warum ist eine einzige generative Systemantwort nicht der GEO-Score und welche Urteile können aus einer einzigen Antwort abgeleitet werden?

Dieses Kapitel:

• die Stichprobenquoten der Länder,
• wie Sprachen gewichtet werden,
• wie das Truth Pack eingerichtet wird,
• wie Schiedsrichter atomare Aussagen bewerten,
• die endgültigen NOMOS Punktformeln,
• die Angemessenheit und Abzeichenentscheidung

Dieses Kapitel definiert diese Angelegenheiten nicht im Detail; spätere Kapitel behandeln sie separat. Kapitel 1 hat eine grundlegendere Aufgabe:

Die epistemische Grenze zwischen Beobachtung und Generalisierung zu etablieren.

Jegliche Stichproben-, Bewertungs- und Konformitätsstudien, die vor der Festlegung dieser Grenze durchgeführt werden, basieren auf einem falschen Fundament.

BESTIMMUNGSSTAND IN DIESEM ABSCHNITT

Nicht alle Sätze in diesem Buch haben die gleiche normative Kraft. Die folgenden Stände werden verwendet:

NORMATIV — NORMATIV

Eine Bestimmung, die als verbindlich für Konformität und methodische Integrität angesehen wird. Beispiel: Eine einzelne Antwort kann nicht als allgemeine GEO-Bewertung verwendet werden.

KANDIDAT — KANDIDATENBESTIMMUNG

Eine empfohlene Methode, die nach Pilotstudie, externer Anwendung oder statistischer Validierung finalisiert werden soll. Beispiel: 1,000 gültige Beobachtungen pro KI-Produkt, pro Hauptmesswelle, werden als angenommene Mindeststichprobe empfohlen.

HYPOTHESE

Es ist eine Erwartung, die mit Daten getestet werden muss. Beispiel: Es könnte einen Unterschied in der Materialdarstellung zwischen einem Kontrolliertes Panel unter bereinigten Bedingungen und einem Panel unter natürlichen Nutzungsbedingungen geben.

SYNTHETISCH

Es ist eine Methodenrepräsentation, die keinen echten Nutzer, keine echte KI-Ausgabe oder reale Unternehmensleistung darstellt.

OFFENE FRAGE

Es ist ein Thema, das aufgrund unzureichender Nachweise oder einer Entscheidung der Governance noch nicht abgeschlossen ist. Diese Status können nicht stillschweigend ineinander übergehen. Eine Kandidatenschwelle wird nicht einfach deshalb zu einer bewiesenen normativen Tatsache, weil sie im Buch steht. Eine synthetische Repräsentation wird nicht zu einer Beobachtung in der realen Welt. Eine Hypothese kann nicht veröffentlicht werden, ohne dass sie gemessen wurde.

NOMOS Herausforderung

Sie haben einem künstlichen Intelligenzsystem eine Frage über Ihre Marke gestellt. Das System gab eine richtige Antwort. Sie haben einen Screenshot gemacht. Sie haben ihn in Ihre Präsentation aufgenommen. Dann haben Sie den folgenden Satz gesagt: „Künstliche Intelligenz kennt uns korrekt.“ Was genau haben Sie gemessen? Die Antwort, die alle Nutzer sehen würden? Das typische Verhalten des Systems?

Ein globaler Vertreter? Genauigkeit in allen Sprachen? Stabilität über die Zeit? Oder nur:

Die einzige Ausgabe, die ein bestimmter Nutzer auf einem bestimmten Konto, bei einem bestimmten KI-Produkt und auf einer bestimmten Nutzeroberfläche als Antwort auf einen bestimmten Prompt zu einer bestimmten Zeit erhalten hat?

Eine einzelne Antwort ist nicht wertlos. Eine einzelne Antwort kann wahr sein. Eine einzelne Antwort kann wichtig sein. Eine einzelne Antwort kann einen ernsten Fehler aufdecken. Eine einzelne Antwort kann die echte Erfahrung einer bestimmten Person zeigen. Eine einzelne Antwort kann jedoch keinen Beweis für ein Urteil liefern, das größer ist, als sie tragen kann.

Eine einzelne Antwort kann Folgendes zeigen:

Diese Ausgabe wurde mindestens einmal unter dokumentierten Bedingungen erzeugt.

Eine einzelne Antwort allein kann Folgendes nicht zeigen:

• Dass die meisten Nutzer dieselbe Antwort gesehen haben
• Dass dasselbe Ergebnis in anderen Ländern auftrat
• Dass dieselbe Genauigkeit in anderen Sprachen aufrechterhalten wird
• Dass dieselbe Antwort in anderen Konten und Plänen erstellt wurde
• Dass die Antwort über die Zeit stabil ist
• Dass andere KI-Produkte dieselbe Repräsentation erzeugt haben
• Dass die GEO-Intervention dieses Ergebnis verursacht hat
• Dass die Antwort das Nutzerverhalten beeinflusst
• Dass die Antwort Leads, Verkäufe oder nachhaltigen Wert generiert
• Dass der allgemeine GEO-Score des Unternehmens hoch ist

Die erste Prämisse dieses Abschnitts lautet:

Eine Antwort ist eine Beobachtung. / Sie ist keine Verteilung von Beobachtungen. / Eine Verteilung ist keine Kausalität. / Kausalität allein ist kein nachhaltiger Wert.

1. ZWECK DES KAPITELS

Dieser Abschnitt zielt darauf ab, den kleinsten, aber häufigsten Schlussfolgerungsfehler bei der GEO-Messung zu beseitigen:

Das Zählen eines einzelnen Outputs eines generativen Systems als allgemeines Systemverhalten, Bevölkerungserfahrung, Markenbekanntheit oder GEO-Score.

Dieser Abschnitt normalisiert die folgenden Unterscheidungen:

• Einzelner Output versus Populationsausgabe
• Existenz eines Ereignisses versus Häufigkeit eines Ereignisses
• Beobachtung versus Stichprobe
• Nutzer versus Sitzung
• Wiederholung versus unabhängige Beobachtung
• KI-Modell versus dem Nutzer präsentiertes KI-Produkt
• Rohantwort versus Analyse-Einheit
• Sofortiges Ergebnis versus zeitliche Stabilität
• Screenshot versus vollständiges Evidenzpaket
• Systemablehnung versus ungültige Datenerhebung
• Kritisches singuläres Ereignis und Prävalenzrate
• Synthetischer Datensatz und echte Nutzerbeobachtung
• Gemessene Rate und Übereinstimmungsentscheidung

Bevor diese Unterscheidungen getroffen werden können:

• GEO-1000 Beispiel,
• Länder- und Sprachgewichte,
• atomare Aussagebewertung,
• NOMOS Score,
• Konformitätsentscheidung

kann nicht festgelegt werden.

2. ZENTRALE NORMATIVE BESTIMMUNG

Der GEO-Score einer Entität in generativen Systemen kann nicht aus einer einzelnen Antwort, einem einzelnen Screenshot, einem einzelnen Nutzer, einem einzelnen Konto, einer einzelnen Sitzung, einer einzelnen Sprache, einem einzelnen Land oder einer einzelnen Zeitpunktermessung generiert werden. Ein bevölkerungsrepräsentativer Anspruch erfordert mindestens Folgendes:

• Vordefiniertes Prüfungselement
• Vordefinierte Zielpopulation
• Spezifiziertes Stichprobendesign
• festgeschriebenes Prompt oder Prompt-Familie
• Definiertes KI-Produkt und Nutzeroberfläche
• Mehrere gültige Beobachtungen
• Bekannte Abhängigkeitsstruktur
• Länder-, Sprach- und Zeitaufzeichnungen
• Unveränderte Rohantworten
• Evidenzpakete
• Vordefinierte Bewertungsregeln
• Unsicherheitsangabe
• Verantwortliche menschliche Zuständigkeit

Die Anwesenheit dieser Elemente bedeutet nicht automatisch, dass die Messung korrekt ist. Ihre Abwesenheit kann jedoch die Verallgemeinerung auf eine große Population untragbar machen.

3. FÜNF GETRENNTE MEINEINHEITEN DER MESSUNG

Ein häufiger grundlegender Fehler bei GEO-Prüfungen besteht darin, die verschiedenen Maßeinheiten zu verwechseln. Die folgenden fünf Einheiten sollten klar unterschieden werden.

3.1. Beobachtungseinheit

Die Beobachtungseinheit ist die einzelne generative Systemausgabe, die unter bestimmten Bedingungen erhalten wird. Eine Beobachtung kann durch die folgende Kombination definiert werden:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Hier:

• Ei: die geprüfte Einheit
• Ai: KI-Produkt und Nutzeroberfläche
• UI: anonymen Beitragenden oder Nutzereinheit
• Ci: Land oder geografische Schicht
• Li: Sprache und Gebietsschema
• Si: Sitzung und Personalisierungsbedingung
• Pi: Prompt-ID und Version
• Ti: Zeit und Messwelle
• Ri: Rohantwort
• Ki: Beweis- und Verifizierungsaufzeichnung

Wenn sich eines dieser Elemente wesentlich ändert, kann eine neue Beobachtung auftreten. Zum Beispiel derselbe Nutzer:

• wenn er denselben Prompt in einem anderen KI-Produkt stellt,
• wenn er in einer anderen Sprache fragt,
• wenn er in einer anderen Messwelle fragt,
• wenn er getrennt in der personalisierten und sauberen Sitzung fragt,

können separate Beobachtungen entstehen. Diese Beobachtungen werden nicht automatisch als unabhängig voneinander betrachtet, da sie vom selben Nutzer stammen.

3.2. Stichprobeeinheit

Die Stichprobeneinheit ist die Person, das Konto, die Sitzung oder eine andere Zugriffseinheit, die aus der Zielpopulation ausgewählt wird. In den meisten GEO-1000-Anwendungen kann die Stichprobeneinheit ein geeigneter realer Nutzer sein. Jedoch gemäß dem Forschungsdesign:

• Nutzer,
• Nutzer–Produkt-Paar,
• Konto,
• Sitzung,
• Forschungs-Panelmitglied

kann als Wahleinheit verwendet werden. Das Versäumnis, die Stichprobeneinheit klar zu definieren, kann zu den folgenden Arten von Falschzählungen führen:

• Zählen von zehn Wiederholungen einer Person als zehn Personen
• Zählen eines Gemeinschaftskontos als mehrere unabhängige Nutzer
• Die Ergebnisse von zehn KI-Produkten desselben Nutzers so zu bewerten, als ob sie zehn unabhängige Populationserhebungen wären
• Die Clusterung in einem einzigen Forschungspanel zu ignorieren

3.3. Analyse-Einheit

Die Analyse-Einheit ist die Entität, auf die die Genauigkeits- oder Repräsentativitätsbewertung angewendet wird. Diese Einheit:

• genaue Antwort,
• separater Absatz innerhalb der Antwort,
• materielle Aussage,
• atomare Behauptung,
• Zitation,
• Empfehlungsfrage

Es ist möglich. Ein Nutzer sieht eine einzelne Antwort. Diese Antwort kann jedoch gleichzeitig enthalten:

• fünf richtige Angaben,
• drei nicht belegte Angaben,
• eine veraltete Angabe,
• ein kritischer Fehler

Daher muss die vom Teilnehmer gesehene Antwort keine einzelne, unteilbare Einheit von Wahrheit/Falschheit in der Analyse sein. Der Übergangsstatus der gesamten Antwort und die Wahrheitswerte der darin enthaltenen atomaren Angaben können separat verwaltet werden. Die Methode der atomaren Angaben wird in einem späteren Kapitel des Buches definiert.

3.4. Universum der Schlussfolgerung

Das Inferenzuniversum ist die Zielpopulation, auf die das Messergebnis generalisiert werden soll. Dieses Universum kann nicht stillschweigend als „jeder auf der Welt“ akzeptiert werden. Für ein spezifisches KI-Produkt kann das Zieluniversum durch Bedingungen wie folgende eingeschränkt werden:

• Offizieller und legitimer Zugang zum Produkt
• Die geeignete Altersanforderung zu erfüllen
• Das Produkt in der entsprechenden Sprache verwenden zu können
• Auf die angegebene Web- oder mobile Schnittstelle zugreifen zu können
• Während des festgelegten Messzeitraums aktiv sein zu können

Selbst für dasselbe KI-Produkt:

• Kontrolliertes Panel unter bereinigten Bedingungen,
• Panel unter natürlichen Nutzungsbedingungen,
• kostenloser Plan,
• kostenpflichtiger Plan,
• Web,
• mobil

kann verschiedene Inferenz-Universen erstellen. Der veröffentlichte Satz ist unvollständig, wenn nicht angegeben ist, auf welches Universum eine Stichprobe verallgemeinert wird.

3.5. Geschätzte Menge — Schätzgröße

Eine Studie sammelt nicht nur Daten. Sie versucht, eine spezifische Menge zu schätzen. Die primäre Schätzgröße von GEO-1000 kann in ihrer allgemeinsten Form wie folgt ausgedrückt werden:

Die Wahrscheinlichkeit, dass ein geeigneter Nutzer aus der definierten Zielpopulation unter der angegebenen Messwelle auf einem bestimmten KI-Produkt und einer Nutzeroberfläche eine Repräsentation sieht, die das Akzeptanzkriterium erfüllt, wenn ein festgeschriebener Prompt unter definierten Sitzungsbedingungen verwendet wird.

Mathematisch:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Hier:

• E: geprüfte Einheit
• A: KI-Produkt und Nutzeroberfläche
• P: Prompt-Version
• S: Sitzungsbedingung
• W: Messwelle
• T: Zielpopulation

Yi=1: die Antwort erfüllt das Übergangskriterium, das später definiert wird

Diese Definition setzt eine wichtige Grenze:

Der GEO-Score ist nicht das abstrakte und zeitlose „Wissen“ eines Modells; er ist eine Vorhersage der Wahrscheinlichkeit beobachteter Repräsentationen unter definierten Nutzerbedingungen.

Die endgültige Übergangsregel und die Score-Formel werden in den späteren Abschnitten des Buches aufgeführt.

4. DIE EINSCHRÄNKUNG DES SATZES „SO HAT DAS MODELL REAGIERT“

Nutzer greifen oft nicht direkt auf ein nacktes Basismodell zu. Das für den Nutzer sichtbare Ergebnis kann aus einer Kombination der folgenden Komponenten bestehen:

• Basis- oder Leitmodell
• Produktoberfläche
• Abruf- oder Webzugang
• Zitationsschicht
• Sicherheits- und Richtlinienebene
• Systemanweisungen
• Kontenplan
• Personalisierung
• Speicher
• Vorheriges Gespräch
• Sprache und Gebietsschema
• Land
• Zeit
• Produktaktualisierungen des Anbieters

Aus diesem Grund lautet der bevorzugte Ausdruck in der Hauptprüfung, die über die Nutzeroberfläche durchgeführt wird, wie folgt:

"Das angegebene KI-Produkt und die folgende Ausgabe wurden auf der Nutzeroberfläche beobachtet."

Der folgende Ausdruck kann ohne die notwendige technische Kontrolle breiter gefasst sein: „Das Modell denkt so.“ Der innerhalb eines Produkts auftauchende Modellname kann aufgezeichnet werden. Das Ergebnis sollte jedoch als Verhalten der gesamten Nutzeroberfläche und nicht nur der Modellgewichte bewertet werden.

5. WAS IST EINE GÜLTIGE BEOBACHTUNG?

Das Vorhandensein einer Antwort bedeutet nicht automatisch, dass es sich um eine gültige Beobachtung handelt, die in die GEO-Messung eingegeben werden kann.

5.1. Mindestbedingungen für die Gültigkeit

Eine Beobachtung muss gemäß dem relevanten Protokoll mindestens die folgenden Elemente enthalten:

• Vorhandensein eines korrekten Audits
• Zugeordnetes KI-Produkt und Nutzeroberfläche
• Korrekte Prompt-ID und Version
• Korrekte Sprache und Gebietsschema
• Definierte Sitzungsbedingung
• Erfasstes Land oder geografische Ebene
• UTC Zeitstempel und Messwelle
• Vollständige Rohantwort
• Erste nicht ausgewählte geeignete Ausgabe
• Erforderlicher Screenshot oder gleichwertiger Nachweis
• Anonyme Beobachtungs-ID
• Protokollabweichungsaufzeichnung

Ihr detailliertes technisches Schema wird im späteren Abschnitt NOMOS Capture definiert.

5.2. Beobachtungsstatus

Jeder Datensatz muss mit einem der folgenden Status gekennzeichnet sein:

GÜLTIG — GÜLTIG

Erfüllt die erforderlichen Bedingungen des Protokolls.

BEDINGT GÜLTIG — BEDINGT GÜLTIG

Es gibt einen begrenzten Mangel; für welche Analysen er verwendet werden kann, ist klar angegeben.

UNGÜLTIG — UNGÜLTIG

Kann aufgrund eines Protokollverstoßes nicht in der Hauptschätzung oder der Punktezählung verwendet werden.

UNBEKANNT — UNBEKANNT

Es gibt nicht genug Aufzeichnungen für eine Gültigkeitsentscheidung. Eine UNBEKANNTE Beobachtung kann nicht stillschweigend als GÜLTIG akzeptiert werden.

5.3. Der Unterschied zwischen einem gültigen Systemergebnis und einer ungültigen Datenerfassung

Diese Unterscheidung ist obligatorisch. Ein KI-Produkt:

• kann sich weigern zu antworten,
• kann eine Fehlermeldung anzeigen,
• kann abbrechen, ohne eine Antwort zu erzeugen,
• kann ein Verbindungsproblem haben,

kann sagen, dass es die Aufgabe nicht abschließen kann. Wenn der Teilnehmer das gesamte Protokoll korrekt angewendet hat, können dies gültige Systemergebnisse sein. Sie dürfen nicht stillschweigend aus dem Datensatz entfernt werden. Im Gegensatz dazu:

• der Teilnehmer die Antwort verkürzt,
• das Prompt ändert,
• regeneriert, um die beste Antwort auszuwählen,
• Bearbeiten des Screenshots,
• Verwendung des falschen KI-Produkts

Datensammlung kann Ungültigkeit erzeugen. Das erste ist das tatsächliche Verhalten des Systems. Das zweite ist die Störung des Messprozesses. Die beiden können nicht in dieselbe Kategorie eingeordnet werden.

6. WAS KANN EINE EINZELNE ANTWORT BEWEISEN?

Eine einzelne Beobachtung ist begrenzt. Aber sie ist nicht bedeutungslos.

6.1. Dass ein spezifisches Ergebnis mindestens einmal aufgetreten ist

Ein gültiger Datensatz kann diesen Satz unterstützen: „Auf dem angegebenen KI-Produkt und der Nutzeroberfläche, unter den angegebenen Zeiten und Bedingungen, wurde dieses Ergebnis mindestens einmal beobachtet.“ Dieser Satz zeigt die Existenz des Ereignisses. Er zeigt nicht seine Häufigkeit.

6.2. Die tatsächliche Exposition eines bestimmten Nutzers

Ein Nutzer wird fälschlicherweise für:

• eine Unternehmensidentität,
• Gesundheitsinformationen,
• rechtliche Beratung,
• Preis,
• Lizenz,
• Ratschläge

gehalten. Wenn gesehen, ist dies eine echte Nutzererfahrung. Auch wenn sie nicht die gesamte Bevölkerung repräsentiert, ist sie aus Sicht des betroffenen Nutzers relevant.

6.3. Die Möglichkeit eines bestimmten Fehlers

Eine einzelne Ausgabe kann anzeigen: „Dieser Fehler kann unter diesen Systembedingungen auftreten.“ Es wird jedoch nicht angezeigt: „Dieser Fehler ist typisch.“

6.4. Generierung einer neuen Forschungshypothese

Ein einzelner Fehler kann eine Frage erzeugen, die in größerem Maßstab getestet wird. Beispiel: „Ist diese Verwechslung der Identität nur in einer einzelnen Sitzung aufgetreten, oder gibt es ein systematisches Muster in derselben Sprache und im selben Land?“

6.5. Einleitung einer Überprüfung kritischer Vorfälle

Einzelantwort:

• vorhersehbarer schwerwiegender menschlicher Schaden,
• gefälschte berufliche Autorität,
• falsche Notfallmedizinische Anweisungen,
• wesentlicher Rechtsfehler,
• ernsthafte Sicherheitsberatung,
• schwere Verwechslung der Identität mit einer anderen Einrichtung

kann ausreichen, um eine Vorfallüberprüfung einzuleiten. Die Einleitung einer kritischen Vorfalluntersuchung ist nicht derselbe Prozess wie die Ankündigung eines Bevölkerungsverhältnisses.

6.6. Widerlegung der Behauptung „Das ist nie passiert“

Angenommen, eine Organisation sagt: ‚Das System hat uns nie dem falschen Land zugeordnet.‘ Eine einzige verifizierte Gegenbeobachtung kann diese absolute Behauptung widerlegen. Eine einzelne Beobachtung unterstützt nicht ‚Es passiert die ganze Zeit‘, aber sie kann ‚Es ist noch nie passiert‘ widerlegen.

7. WAS KANN EINE EINZELNE ANTWORT NICHT BEWEISEN?

7.1. Typisches Systemverhalten

Eine einzelne Antwort ist nicht ausreichend, um zu schließen: ‚Das System reagiert normalerweise auf diese Weise.‘

7.2. Bevölkerungsprävalenz

Eine einzelne Antwort unterstützt das Ergebnis nicht: '95% der Nutzer sehen dieselbe Repräsentation.'

7.3. Zeitliche Stabilität

Heutige Antwort:

• morgen,
• eine Woche später,
• Nach dem Produktupdate

kann es möglicherweise nicht gleich bleiben. Es handelt sich nicht um eine Messung der Stabilität über eine einzelne Welle.

7.4. Ländergültigkeit

Eine Antwort eines Nutzers in der Türkei zeigt nicht, was Nutzer in China, Deutschland oder San Marino sehen würden.

7.5. Sprachübergreifende Gültigkeit

Eine englische Ausgabe:

• Türkisch,
• Japanisch,
• Arabisch,
• Deutsch

darstellen nicht die Genauigkeit der Ausgaben.

7.6. Cross-AI-Produktgültigkeit

Das Ergebnis in einem KI-Produkt kann nicht auf andere KI-Produkte verallgemeinert werden. Verschiedene Produkte und Schnittstellen desselben Anbieters können sich ebenfalls unterschiedlich verhalten.

7.7. Interventionswirkung

Eine einzelne positive Ausgabe nach einer GEO-Änderung beweist nicht die Aussage: „Dieses Ergebnis wurde durch unsere Intervention erstellt.“ Basislinie, Vergleich und alternative Erklärungen sind erforderlich.

7.8. Empfehlung Stabilität

Die bloße Anwesenheit eines Nutzers, der eine Option betrachtet, reicht nicht aus, um zu schließen: „Das System empfiehlt jetzt diese Marke.“

7.9. Kommerzieller Einfluss

Eine positive Reaktion:

• zeigt, dass der Nutzer die Antwort gesehen hat,
• die Marke recherchiert hat,
• die Sie kommuniziert haben,
• gekauft hat,
• zufrieden war

zeigt allein nicht an.

7.10. GEO-Bewertung

Eine einzelne Antwort schätzt nicht die repräsentative Verteilung der definierten Zielpopulation. Daher kann sie keine Gesamt-GEO-Bewertung erzeugen.

8. EXISTENZ DES EREIGNISSES UND HÄUFIGKEIT DES EREIGNISSES

Dies ist eine der wichtigsten Unterscheidungen in diesem Abschnitt.

8.1. Existenz des Ereignisses

Beantwortet die Frage: "Ist diese Repräsentation oder dieser Fehler mindestens einmal aufgetreten?" Eine einzelne gültige Beobachtung kann ausreichend sein. Repräsentation:

I(E) = 1(wenn das Ereignis mindestens einmal beobachtet wurde); andernfalls I(E) = 0

Das 0 hier bedeutet nicht: "Das Ereignis ist unmöglich." Es zeigt nur an, dass es in der aktuellen Messung nicht beobachtet wurde.

8.2. Häufigkeit des Ereignisses

Es beantwortet die Frage: "Wie oft tritt das Ereignis in der definierten Zielpopulation auf?" In einer einfachen Stichprobe kann die Rohquote wie folgt berechnet werden:

p̂ = Anzahl der gültigen Datensätze, in denen das Ereignis beobachtet wurde / Gesamte Anzahl der gültigen Datensätze

Allerdings in realen GEO-1000-Studien:

• Populationsgewichte,
• Länder- und Sprachschichten,
• abgeglichene Nutzer,
• Panelcluster,
• Nonresponse,
• ungültige Aufzeichnungen,
• design Effekt

sollte berücksichtigt werden. Daher ist die Rohquote nicht immer die endgültige Populationsschätzung.

8.3. Inzidenz und Prävalenz können nicht ineinander umgerechnet werden

Ein Ereignis mag einmal beobachtet worden sein, kann aber sehr selten sein. Ein Ereignis kann häufig sein, wird aber in einer kleinen Pilotstudie überhaupt nicht beobachtet. Die folgenden zwei Sätze sind unterschiedlich:

• "Dieser Fehler wurde einmal beobachtet."
• "Dieser Fehler wurde bei 12% der Nutzer beobachtet."

Der zweite Satz erfordert einen definierten Nenner und eine Stichprobe.

9. DAS STATISTISCHE ERSCHEINUNGSBILD DES EINZELBEOBACHTUNGS-BIAS

Wir haben einmal einer KI ein Produkt eine Frage gestellt. Die Antwort erfüllte das Erfolgskriterium. Rohquote:

p̂ = 1/1= 1= 100%

Es scheint 100 Prozent zu sein. Aber diese 100 Prozent bedeuten nicht, dass jedes Mitglied der Zielpopulation dasselbe Ergebnis sehen wird. Nur zur Veranschaulichung zeigt die folgende Tabelle ungefähre 95 Prozent Wilson-Konfidenzintervalle unter unabhängigen Bernoulli-Beobachtungen und ungewichteter einfacher Zufallsstichprobe: [K09]

Diese Tabelle ist synthetisch und illustrativ. Sie beweist nicht:

• Dass diese Intervalle für alle Stichprobenplanungen von GEO-1000 gültig sind
• Dass 1,000-Beobachtungen für alle Sprach- und Landesuntergruppen ausreichend sind
• Clustering und Gewichtung unwirksam sind
• Dass 95 Prozent Rohgenauigkeit automatisch die Angemessenheit bedeuten

Was sie tatsächlich zeigt, ist:

Mit abnehmender Anzahl an Beobachtungen nimmt die Unsicherheit über den Bevölkerungsanteil zu.

100 Prozent, die in einer Beobachtung gesehen werden, können mit einem sehr breiten möglichen Bevölkerungsbereich vereinbar sein.

10. WARUM „1,000“ KEINE MAGISCHE ZAHL IST?

GRUNDREGEL FÜR KANDIDATEN — GRUNDLEGENDES PRINZIP FÜR KANDIDATEN

GEO-1000 trägt diesen grundlegenden Vorschlag:

Für jedes überwachte KI-Produkt und jede Hauptmesswelle wird standardmäßig eine Mindestanzahl von 1,000 gültigen Nutzerbeobachtungen angestrebt.

Diese Bestimmung ist noch nicht das endgültige wissenschaftliche Minimum. Sie wird auf Grundlage von Pilot- und externen Anwendungsergebnissen neu bewertet.

10.1. Warum ist es ein starker Anfang?

Unter der Annahme einer einfachen Zufallsstichprobe, wenn die tatsächliche Rate etwa 50% beträgt, liegt die theoretische 95% Fehlermarge für 1,000 Beobachtungen bei ungefähr ±3.1 Punkten. Dies kann eine sinnvolle Ausgangspräzision auf Gesamtebene des Produkts bieten.

10.2. Warum löst es nicht jedes Problem?

1,000 Beobachtungen:

• in Dutzende von Ländern,
• in viele Sprachen,
• für kostenlose und kostenpflichtige Pläne,
• für Web- und mobile Oberflächen,
• für kontrollierte und natürliche Panels

Wenn sie aufgeteilt werden, schrumpfen die Unterzellen. Zum Beispiel, wenn es nur 50 Beobachtungen für jede der 20 Sprachen gibt, kann die sprachbasierte Unsicherheit viel höher sein als die Gesamtbewertung des Modells.

10.3. Designeffekt

Beobachtungen:

• aus demselben Forschungspanel,
• aus demselben Land,
• vom selben Nutzer,
• aus einem passenden Design

vorhanden sind, kann die einfache Annahme einer unabhängigen Stichprobe möglicherweise nicht zutreffen. Die tatsächliche Unsicherheit kann größer sein.

10.4. Der Ansatz von NOMOS

1,000 Beobachtungen dienen als:

• der Gründungsreferenzpunkt des Protokolls,
• defaultmäßiges Startminimum auf Modellebene,
• Kandidaten-Schwelle, die mit dem Pilotprojekt kalibriert werden soll

NOMOS behauptet nicht, dass 1,000-Beobachtungen automatisch für jedes Land, jede Sprache und jede Nutzungsbedingung ausreichend sind.

11. UNABHÄNGIGE BEOBACHTUNG IST NICHT DAS GLEICHE WIE WIEDERHOLTE BEOBACHTUNG

Ein Nutzer kann dieselbe Frage zehnmal stellen. Dieser Prozess kann wertvoll sein. Er erzeugt jedoch nicht zehn unabhängige Nutzer.

11.1. Gleicher Nutzer–Gleiche Sitzung Wiederholung

Kann messen:

• Varianz bei der Antworterneuerung,
• Stabilität innerhalb der Sitzung,

Wahrscheinlichkeit alternativer Antworten. Es misst nicht allein die Bevölkerungshäufigkeit.

11.2. Gleicher Nutzer–Neue Sitzung Wiederholung

Es kann den vorherigen Chat-Kontext reduzieren. Allerdings:

• gleiches Konto,
• gleiches Abonnement,
• gleiches Land,
• gleiche Personalisierung,
• gleicher Nutzer

kann weiterhin statistische Abhängigkeiten zwischen Beobachtungen erzeugen.

11.3. Ein einzelner Nutzer testet mehrere KI-Produkte

Dieses Design kann bei modellübergreifenden Vergleichsanalysen helfen. Allerdings sind die Beobachtungen auf Nutzerebene abhängig. Diese Abhängigkeit sollte bei der Aufzeichnung und Analyse erhalten bleiben.

11.4. Verschiedene Nutzer, die dasselbe Konto verwenden

Es können verschiedene Personen existieren. Dennoch:

• Kontoverlauf,
• Personalisierung,
• Plan,
• Speicher

können geteilt werden. Diese Aufzeichnungen können nicht automatisch als unabhängig betrachtet werden.

11.5. Normative Unabhängigkeitsregelung

Beobachtungen sollten so gestaltet sein, dass sie so unabhängig wie möglich sind; bekannte Abhängigkeiten von Nutzer, Konto, Sitzung, Panel, Land, Gerät und Wiederholungen sollten erfasst und bei der Analyse berücksichtigt werden.

Unabhängigkeit sollte nicht auf ein Binärsystem reduziert werden:

• ja,
• nein

Wo nötig, verwenden Sie einen der folgenden Abhängigkeitsstatus:

UNABHÄNGIG

GEPAART

GEPUNKTET

INNERHALB_DES_BENUTZERS_WIEDERHOLT

ABHÄNGIG

UNBEKANNT

12. ERSTES GEEIGNETES AUSGABEPRINZIP

Im Hauptbevölkerungs-Panel besteht die Aufgabe des Teilnehmers nicht darin, die positivste Antwort zu finden. Der Teilnehmer muss die erste geeignete, unter der vordefinierten Bedingung erzeugte vollständige Ausgabe aufzeichnen. Der Teilnehmer:

• darf die Antwort nicht aktualisieren,
• darf eine neue Antwort nicht anfordern,
• darf nicht die positive auswählen,
• darf nicht nur den guten Teil zuschneiden,

darf die Antwort nicht umschreiben. Reproduktionsverhalten kann auch separat untersucht werden. Jedoch: "Wir haben die gleiche Frage fünfmal gestellt und die beste Antwort ausgewählt." ist nicht die Bewertung der Hauptpopulation. Dies ist der Test der ausgewählten besten Ausgabe. Er sollte mit einem separaten Namen und einer separaten Methode berichtet werden.

13. EINZELNES KRITISCHES EREIGNIS AUSNAHME

Eine einzelne Antwort kann den Populationswert nicht bestimmen. Dies bedeutet jedoch nicht, dass eine einzelne Antwort niemals einen signifikanten Einfluss auf eine Entscheidung haben kann. NOMOS legt zwei getrennte Bewertungswege fest.

13.1. Pfad der Bevölkerungsrepräsentation

Es wird die Frage gestellt: „Wie häufig tritt dieses Ergebnis in der Zielpopulation auf?“ Erfordert eine große und gültige Stichprobe.

13.2. Pfad kritischer Ereignisse

Es wird die Frage gestellt: „Wie groß ist der vorhersehbare Schaden, wenn dieses Ergebnis einmal eintritt?“ Ein einzelnes bestätigtes Ergebnis kann eine Überprüfung auslösen. Zum Beispiel:

• Vergabe einer nicht vorhandenen Gesundheitserlaubnis
• Erstellen einer gefährlichen Notfall-Gesundheitsüberweisung
• Meldung einer falschen rechtlichen Befugnis
• Entfernen der Sicherheitsbarriere
• Verwechslung eines Unternehmens mit einer anderen rechtlichen Einheit
• Wiederholung einer manipulativen Anweisung, die vor Menschen verborgen ist, als wäre sie ein Rat

Es kann ein einzelner Kandidat für ein Kritisches Ereignis sein.

13.3. Trennung von Punktzahl und Konformitätsentscheidung

Ein Kritisches Ereignis kann allgemein eine einzelne Beobachtung sein. Zum Beispiel:

1/1000=0.1%

Diese Rate mag klein erscheinen. Wenn jedoch der potenzielle Schaden des Ereignisses schwerwiegend ist, kann es eine irreparable Lücke in der Konformitätsentscheidung erzeugen. Daher:

Die Bevölkerungsbewertung misst die Häufigkeit des Ereignisses; Die Überprüfung kritischer Ereignisse misst die Auswirkungen des Ereignisses auf Schaden und Integrität.

Hohe durchschnittliche Genauigkeit kann schwere Einzelfehler nicht automatisch ausschließen. Die endgültigen Bedingungen für die kritische Klassifizierung werden in späteren Kapiteln des Buches definiert.

14. LEITER DER BEOBACHTUNGSANSPRÜCHE

In diesem Abschnitt werden normativ nur die ersten vier Beobachtungsebenen getrennt. Auf höheren Ebenen:

• bevölkerungsgewichtete Punktzahl,
• Multi-Modell-Punktzahl,
• zeitliche Stabilität,
• Interventionswirkung,
• nachhaltiger Wert

wird in den nachfolgenden Abschnitten definiert.

O-0— NICHT GETESTET

Das relevante KI-Produkt oder der Zustand wurde nicht gemessen. Richtiger Status:

NICHT GETESTET

Unvertretbarer Satz: "Es ist angemessen, weil das Problem nicht beobachtet wurde."

O-1— EINZELEREIGNISBEOBACHTUNG

Es gibt ein gültiges Ergebnis. Vertretbare Formulierung: „Unter den angegebenen Bedingungen wurde dieses Ergebnis einmal beobachtet.“ Unhaltbarer Satz: „Das System stellt die Existenz auf diese Weise dar.“

O-2— NUTZER- ODER SITZUNTERWIEDERHOLUNG

Mehrere Ergebnisse existieren für denselben Nutzer, dasselbe Konto oder dieselbe Sitzungsfamilie. Vertretbare Formulierung: „Unter den angegebenen Nutzer- und Sitzungsbedingungen trat dieses Ergebnis in sieben von zehn Wiederholungen auf.“ Unhaltbarer Satz: „Sieben von zehn unabhängigen Nutzern sahen dieses Ergebnis.“

O-3— MULTI-NUTZER EINZELZELLENMESSUNG

Dasselbe:

• KI-Produkt,
• Nutzeroberfläche,
• Land,
• Sprache,
• Panelbedingung,
• Prompt-Version,
• Messwelle

enthält mehrere geeignete Nutzerbeobachtungen. Vertretbare Formulierung: „78% von den 200 gültigen Beobachtungen in der kontrollierten türkischen/ Türkei-Zelle erfüllten das angegebene Übergangskriterium.“ Dieses Ergebnis kann nicht automatisch auf andere Länder, Sprachen oder Nutzeroberflächen verallgemeinert werden.

O-4— MEHRZELLIGES GESCHICHTETES MESSVERFAHREN

Vordefinierte Proben existieren aus verschiedenen Ländern, Sprachen oder Nutzerzellen. Auf dieser Ebene:

• Zellenergebnisse,
• gewichtetes Ergebnis,
• Umfang,
• Unsicherheit

berichtbar. Detaillierte Regeln für Populationsgewichte und Untergruppenfairness werden in späteren Kapiteln des Buches definiert.

15. SYNTHETISCHE APPLE.COM DEMONSTRATION

SYNTHETISCHE METHODOLOGIE DEMONSTRATION / Die unten aufgeführten Nutzer, KI-Produkte, Antworten, Bewertungen und Ergebnisse sind fiktiv. Sie spiegeln nicht die tatsächliche Leistung von Apple Inc. oder das Verhalten eines realen KI-Produkts wider.

15.1. Szenario A — Einzelne positive Antwort

Ein synthetischer Nutzer stellt dem synthetischen KI-Produkt A folgende Frage: ‚Was für ein Unternehmen ist Apple.com?‘ Synthetische Antwort: ‚Apple ist ein in den USA ansässiges Technologieunternehmen, das Unterhaltungselektronik, Software und digitale Dienste entwickelt.‘ Vorläufige Bewertung:

• Die Identität der Einheit ist korrekt
• Die Hauptkategorie ist korrekt
• Keine offensichtlichen kritischen Fehler
• Grundlegende Repräsentation ist akzeptabel

Rohresultat:

1/1=100%

Falsche öffentliche Aussage: „AI Product A repräsentiert Apple mit 100% Genauigkeit.“ Richtige öffentliche Aussage: „In der synthetischen Stichprobe erfüllte die angegebene Einzelbeobachtung das Übergangskriterium. Die Prävalenz in der Bevölkerung und die Produktzuverlässigkeit wurden nicht bestimmt.“

15.2. Szenario B — Entdeckung mit zehn Beobachtungen

Zehn unabhängige synthetische Nutzer verwenden dieselbe Version der semantischen Aufforderung. Synthetisches Ergebnis:

• 7 Antworten bestanden
• 1 Antwort ist teilweise korrekt
• 1-Antwort enthält veraltete Informationen
• 1-Antwort weist die falsche Hauptaktivität zu

Roh-Bestehensquote:

7/10=70%

Unter einer einfachen, idealisierten Annahme unabhängiger Probenahmen ist das ungefähre 95-Prozent-Wilson-Intervall notwendigerweise breit. Das Ergebnis bleibt explorativ, da es auf Folgendem basiert:

• kleiner Stichprobe,
• einer einzelnen Zelle,
• einer einzelnen Welle

Korrekt Status:

EXPLORATIV — Nicht ausreichend für den öffentlich zugänglichen globalen NOMOS-Score.

15.3. Szenario C — 1,000 Beobachtete synthetische Welle

Gehen Sie synthetisch davon aus, dass die folgenden Bedingungen erfüllt sind:

• KI-Produkt A
• 1,000 gültige Beobachtungen
• Vordefinierte Zielpopulation
• festgeschriebene Eingabeauffassungsversion
• Definierte Länder- und Sprachebenen
• Unveränderte anfängliche geeignete Antwort
• Vollständige Evidenzaufzeichnungen
• Vordefinierte Schiedsregeln

Synthetisches Ergebnis:

Einfache Rohbestehensrate:

918/1000=91.8%

Ungefähres 95%-Wilson-Intervall unter der idealisierten ungewichteten Annahme: ist. Diese Zahl allein ist jedoch noch nicht die endgültige NOMOS-GEO-Bewertung. Denn es müssen noch zusätzliche Faktoren bewertet werden:

• Länder- und Sprachgewichte
• Designeffekt
• Niedrigstes Sprachergebnis
• Ungültige Beobachtungsrate
• Übereinstimmung zwischen Bewertern
• Überprüfung kritischer Fehlerkandidaten
• Ungetestete Nutzergruppen
• Zeit- und Nutzungsoberflächenbegrenzung der Messung

Sechs Kandidaten für kritische Fehler müssen ebenfalls einer separaten Vorfallprüfung unterzogen werden. Korrekte Meldung: ‚Die Rohergebnis-Quote in der synthetischen Welle beträgt 91.8 Prozent. Dieses Ergebnis beschreibt die Beobachtungen, bevor Populationsgewichte und Designeffekte angewendet werden. Da sechs Kandidaten für kritische Fehler identifiziert wurden, erfordert die Konformitätsentscheidung eine separate Prüfung.‘ Falsche Meldung: ‚Der GEO-Score von Apple NOMOS beträgt 91.8 und ist konform.‘ Synthetische Daten können auf diese Weise nicht einem echten Unternehmen oder einem echten System zugeordnet werden.

16. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

N-01

Ein einzelner Output eines generativen Systems kann nicht als allgemeiner GEO-Score verwendet werden.

N-02

Eine einzelne Ausgabe, die allein beobachtet wird:

• KI-Produkt- und Nutzeroberfläche,
• Land,
• Sprache,
• Prompt,
• Sitzung,
• Zeit

muss zusammen mit seinen Bedingungen gemeldet werden.

N-03

Einzelausgabe:

• typisch,
• kontinuierlich
• global
• gehört allen Nutzern

kann nicht als Verhalten dargestellt werden.

N-04

Wiederholungen vom selben Nutzer, Konto oder derselben Sitzung können nicht als unabhängige Bevölkerungsbeobachtungen gezählt werden, ohne die Abhängigkeit offenzulegen.

N-05

Im Hauptbevölkerungs-Panel muss der Teilnehmer die zuerst geeignete vordefinierte Ausgabe aufzeichnen; eine Reproduktion darf keine positive Antwort wählen.

N-06

Systemablehnung, Fehlermeldung oder Unfähigkeit zu antworten sollten als gültiges Systemergebnis aufgezeichnet werden, wenn das Protokoll korrekt angewendet wurde.

N-07

Gekürzt, modifiziert, manuell neu geschrieben oder Antworten, deren Prompt-Kontext nicht überprüft werden kann, dürfen nicht in die Hauptpunktzahlberechnung einbezogen werden.

N-08

Es ist verboten, nur positive Screenshots auszuwählen und die Verteilung der Ergebnisse zurückzuhalten.

N-09

Synthetische Beobachtungen können nicht in den Bewertungen für echte Nutzer oder echte Systeme verwendet werden.

N-10

Ein Bevölkerungsanteil sollte nicht ohne Abdeckung, Nenner und angemessene Unsicherheitserklärung veröffentlicht werden.

N-11

Die Wahrscheinlichkeit eines kritischen Fehlers kann nicht stillschweigend innerhalb des Gesamtdurchschnitts ausgeglichen werden.

N-12

Das Beobachtungsergebnis kann nur auf das eindeutig definierte Inferenzuniversum angewendet werden; es kann nicht auf nicht gemessene Länder, Sprachen, Produkte oder Zeiträume verallgemeinert werden.

N-13

Messung, Bewertung oder öffentliche Aussage müssen einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

N-14

UNBEKANNT, NICHT GETESTET oder UNGÜLTIG dürfen nicht stillschweigend in ein positives Ergebnis umgewandelt werden.

17. KANDIDAT GEO-1000 HAUPTREGEL

CANDIDATE-001

Für jedes zu prüfende KI-Produkt und für jede Hauptmesswelle der Bevölkerung sollte standardmäßig eine Mindestanzahl von 1,000 gültigen Nutzerbeobachtungen angestrebt werden.

Dieser Kandidatensatz:

• Genauigkeit der allgemeinen Produktprognose,
• Kosten,
• Anwendbarkeit,
• Fairness nach Ländern und Sprachen

Dies schafft ein anfängliches Gleichgewicht zwischen diesen Überlegungen. Es garantiert jedoch nicht eine ausreichende Abdeckung von:

• allen Länderwerten,
• allen Sprachwerten,
• allen Nutzeruntergruppen

Stattdessen muss die Angemessenheit durch Folgendes getestet werden:

• Pilotversuche,
• unabhängige Wiederholungen,
• Design-Effekt,
• Subgruppensensitivität

Diese Bewertungen bestimmen den endgültigen normativen Status.

18. FORMEN DES VERSAGENS

F-01— Ausgewählter Screenshot

Nur die positivste Antwort wird unter zahlreichen Ergebnissen veröffentlicht.

F-02— Behandlung eines einzelnen Nutzers als die Population

Die Erfahrung einer Person wird auf das gesamte Zieluniversum verallgemeinert.

F-03— Wiederholungen desselben Nutzers als neue Personen zählen

Wiederholungen, die von derselben Person oder demselben Konto erzeugt werden, werden als unabhängige Teilnehmer gemeldet.

F-04— Die Antwort erneuern und die beste auswählen

Anfängliche oder negative Antworten werden verworfen; die geeignetste Antwort wird als Messergebnis gespeichert.

F-05— Prompt Drift

Teilnehmer ändern das Wort, den Ton oder den Umfang des Prompts; die Ergebnisse werden zusammengeführt, als stammten sie aus demselben Experiment.

F-06— Kontextkontamination

Frühere Gespräche beeinflussen die Antwort; die Aufzeichnung wird als saubere Sitzung präsentiert.

F-07— Verbergen der Personalisierung

Speicher, spezielle Anweisungen oder Nutzerhistorie sind sichtbar; das Ergebnis wird als allgemeine Nutzerantwort berichtet.

F-08— Verwechslung von Modell und Produkt

Nur der allgemeine Modell- oder Anbietername wird angegeben; das tatsächliche Produkt, die Schnittstelle und der Werkzeugzustand werden nicht aufgezeichnet.

F-09— Entfernen von Fehlern und Irrtümern aus dem Nenner

Gelöscht, um die Ergebnisse positiv erscheinen zu lassen, wenn das System nicht auf Datensätze reagiert.

F-10— Ungültige Erfassung als Systemfehler zählen

Als Teilnehmerfehler, fehlende Nachweise oder falsches Ergebnis des KI-Produkts gemeldet.

F-11— Eine einzelne Sprache und ein Land globalisieren

Das Ergebnis eines einzelnen Gebiets wird global angewendet.

F-12— Verwendung synthetischer Daten als echte Daten

Zu Demonstrationszwecken erstellte Datensätze werden zur tatsächlichen Leistung hinzugefügt.

F-13— Ein kritisches Ereignis im Durchschnitt verlieren

Schwere Gesundheits-, Rechts-, Lizenz- oder Sicherheitsfehler werden innerhalb eines hohen Durchschnitts unsichtbar gemacht.

F-14— Wirkung einer Intervention aus einem einzelnen Erfolg ableiten

Die einzelne positive Antwort nach der GEO-Intervention wird als ursächliche Wirkung der Studie betrachtet.

F-15— Das gesamte System anhand eines einzigen Fehlers beurteilen

Ein Fehler wird so verallgemeinert, als ob das KI-Produkt für alle Nutzer immer falsch und falsch ist.

F-16— Die Zielgruppe danach definieren

Nachdem das Ergebnis gesehen wurde, wird die Nutzergruppe mit hohem Erfolg zur "tatsächlichen Zielpopulation" erklärt.

19. PRÜFUNGSVERFAHREN

Ein Prüfer sollte bei der Bewertung der Gültigkeit einer einzelnen Beobachtung oder eines frühen GEO-Anspruchs die untenstehende Reihenfolge einhalten.

Schritt 1– Erfassen Sie den öffentlichen Aussage

Die vollständige vorgeschlagene Strafe wird festgelegt. Beispiel: "ChatGPT kennt unser Unternehmen korrekt."

Schritt 2– Feststellen Sie das Ausmaß des Anspruchs

Der Satz kann eine Behauptung aufstellen über:

• Einzelereignis,
• Prävalenz,
• Stabilität,
• globale Konsequenz,
• Kausalität,
• kommerzieller Einfluss

Die anwendbare Ebene muss identifiziert werden.

Schritt 3— Zählen der unterstützenden Beobachtungen

Wie viele echte Nutzer? Wie viele Konten? Wie viele unabhängige Sitzungen? Wie viele Wiederholungen? Wie viele KI-Produkte? Wie viele Sprachen und Länder?

Schritt 4— Überprüfen der Beobachtungsbedingungen

Sind das KI-Produkt, die Nutzeroberfläche, die Prompt, die Sitzung, das Land, die Sprache und die Zeit alle aufgezeichnet?

Schritt 5— Überprüfen der Evidenzintegrität

Gibt es eine vollständige Antwort? Gibt es einen vollständigen Screenshot? Wurde die Antwort ausgewählt oder aktualisiert? Wurde die Datei geändert? Ist der Datensatz synthetisch?

Schritt 6— Bestimmen der Abhängigkeitsstruktur

Gibt es Wiederholungen desselben Nutzers? Wurde ein gemeinsames Konto verwendet? Gibt es ein gespiegeltes Modelldesign? Gibt es Clustering vom selben Panel?

Schritt 7– Trenne den Datenerfassungsfehler vom gültigen Systemergebnis

Ist die Ablehnung oder der Systemfehler das eigentliche Ergebnis? Oder hat der Teilnehmer gegen das Protokoll verstoßen?

Schritt 8– Vergleichen Sie die Behauptung mit dem Niveau der Nachweise

Wird eine einzelne Beobachtung für eine Population oder globale Schlussfolgerung verwendet?

Schritt 9– Öffnen Sie den kritischen Pfad

Wenn eine einzelne Reaktion einen vorhersehbaren schweren Schaden verursacht, wird eine separate Vorfalluntersuchung eingeleitet.

Schritt 10– Begrenze die Entscheidung

Die öffentliche Strafe wird nur auf das Niveau reduziert, das die Nachweise tragen.

20. NOTWENDIGE NACHWEISE

Für eine Beobachtung oder Behauptung im Rahmen dieses Abschnitts sollten die folgenden Aufzeichnungen, soweit sie relevant sind, eingeholt werden:

• Identität der geprüften Einheit
• Vollständig offengelegte GEO-Behauptung für die Öffentlichkeit
• Anzahl der Beobachtungen
• Anzahl der einzigartigen Teilnehmer
• KI-Produkt und Nutzeroberfläche
• Sichtbares Modell oder Version, falls verfügbar
• Plattform- oder Kontotyp
• Land und Gebietsschema
• Prompt-ID, Version und vollständiger Text
• Sitzungs- und Personalisierungsstatus
• UTC Zeitstempel
• Messwelle
• Vollständige Rohantwort
• Screenshot oder gleichwertiger Nachweis
• Reproduktions- oder Antwortauswahlstatus
• Gültigkeitsstatus der Beobachtung
• Abhängigkeits- und Übereinstimmungsaufzeichnung
• Synthetischer oder realer Status
• Ungültiges Beobachtungsprotokoll
• Aufzeichnung kritischer Ereignisse
• Ergebnisbereich
• Unsicherheitsangabe
• Verantwortliche Person oder Institution

Nicht alle diese Aufzeichnungen müssen in allen Details für jede Beobachtung mit geringem Risiko erforderlich sein. Wenn jedoch eine breite GEO-Punktzahl oder Konformitätsklausel der Öffentlichkeit zugänglich gemacht werden soll, dürfen wichtige Felder nicht leer bleiben.

21. PRÜFLISTE FÜR AUDITS

Wurde die geprüfte Einheit vollständig identifiziert? Wurden das KI-Produkt und die Nutzeroberfläche erfasst? Wurde der Prompt vor der Messung festgeschrieben? Wurde der Prompt vom Teilnehmer geändert? Sind die Sitzungs- und Personalisierungsbedingungen bekannt? Sind die Angaben zum Land und zur Region des Nutzers erfasst? Wird die vollständige Antwort aufbewahrt? Ist es die erste angemessene Ausgabe oder die beste ausgewählte Ausgabe? Gibt es einen vollständigen Evidenznachweis? Wurden die tatsächliche Anzahl der Nutzer und die Anzahl der Beobachtungen getrennt? Wurden wiederholte und passende Beobachtungen unabhängig gezählt? Wurden Verweigerungen und Systemfehler im Nenner ordnungsgemäß berücksichtigt? Wurden ungültige Aufzeichnungen aufbewahrt und begründet? Wurden synthetische und echte Daten getrennt? Wird eine einzelne Antwort als Populationsresultat präsentiert?

Gilt die Aussage nur für das gemessene Produkt, Land, Sprache und Zeit? Wurde die Wahrscheinlichkeit eines kritischen Fehlers separat bewertet? Trägt das Ergebnis eine Aussage über Vertrauen oder Unsicherheit? Werden ungetestete Bereiche eindeutig dargestellt? Übersteigt die öffentliche Aussage das Niveau der tatsächlichen Beobachtung? Wenn eine der sachlichen Fragen unbeantwortet ist, weist das Ergebnis nur ein eingeschränktes Vertrauen auf. Wenn mehr als eine unbeantwortet ist, sollte es nicht für die Gesamt-GEO-Bewertung verwendet werden.

22. EINWÄNDE UND ANTWORTEN

Einwand 1— „Der echte Nutzer sieht bereits nur eine Antwort.“

Das ist korrekt. Die einzelne Antwort, die der einzelne Nutzer sieht, ist die reale Erfahrung dieser Person. Daher werden einzelne Ereignisse aufgezeichnet. Die individuelle Erfahrung ist jedoch nicht dasselbe wie die Erfahrung der gesamten Bevölkerung. NOMOS hält beide Fakten gemeinsam fest:

Die Erfahrung eines einzelnen Nutzers ist real. / Ein einzelner Nutzer ist nicht die gesamte Bevölkerung.

Einwand 2— „Wenn das System jedes Mal die gleiche Antwort gibt, reicht dann nicht eine Antwort aus?“

Die Behauptung, dass das System jedes Mal die gleiche Antwort gibt, erfordert ebenfalls eine Messung. Zusätzlich:

• Zeit,
• Abruf,
• Land,
• Sprache,
• Plan,
• Personalisierung,
• Nutzeroberfläche

können variieren. Selbst ein als deterministisch angenommenes System kann nicht über definierte Bedingungen hinaus verallgemeinert werden.

Einwand 3— „Warum genau 1,000?“

Die Zahl 1,000 ist keine magische Schwelle der Sicherheit. GEO-1000 dient als grundlegender Referenzpunkt, der ausgleicht:

• ein erhebliches Nutzeraufkommen,
• eine breit angelegte Produktschätzung,
• durchführbare Kosten,
• öffentliche Verständlichkeit.

einzeln Gruppen könnten mehr Beobachtungen benötigen. Pilotstudien müssen die Schwelle überprüfen oder anpassen.

Einwand 4— „Lasst dieselben 1,000 Personen alle KI-Produkte testen.“

Diese Methode kann nützlich für gepaarte Vergleiche zwischen Modellen sein. Allerdings kann die Auswahl nur intensiver KI-Nutzer, die Zugang zu allen Produkten haben, die Zielpopulation verzerren. Außerdem sind Beobachtungen derselben Person abhängig. Vollständig gepaarte, teilweise gepaarte und ausgewogene Designs werden später verglichen.

Einwand 5— „Ist ein Screenshot nicht bereits ausreichender Beweis?“

Screenshots sind wichtig. Allein zeigen sie jedoch nicht immer Folgendes:

• Echtzeit
• Land
• Plan
• vorheriges Gespräch
• Personalisierung
• Antwortaktualisierung
• Dateiänderung
• vollständige Antwort

Aus diesem Grund ist ein Screenshot ein wichtiger Bestandteil des Evidenzpakets. Er ist nicht das Ganze.

Einwand 6— „Warum schließen wir ein nicht reagierendes System in die Bewertung ein?“

Die tatsächliche Erfahrung des Nutzers kann sein, keine Antwort zu erhalten. Eine Ablehnung oder ein Fehler:

• technisch
• Sicherheit,
• Politik,
• Zugang

kann das Ergebnis sein. Wenn das Protokoll korrekt angewendet wurde, sollte das Ereignis aufgezeichnet werden. Die Nichtreaktion des Systems aufgrund eines technischen Fehlers des Teilnehmers wird separat klassifiziert.

Einwand 7— „Warum sollte ein einziger schwerwiegender Fehler die gesamte Inspektion beeinflussen?“

Ein einzelner Fehler beweist nicht, dass die Mehrheit der Bevölkerung denselben Fehler gemacht hat. Allerdings kann der potenzielle Schaden eines einzelnen Fehlers schwerwiegend sein. Daher:

• Punktfrequenz,
• Kritische Entscheidungsgefährdung und Integrität

werden separat bewertet. Der Durchschnitt kann menschlichen Schaden nicht automatisch auslöschen.

Einwand 8— „Wenn wir mit einer einzigen Antwort nichts sagen können, welchen Wert haben dann frühe Tests?“

Einzel- und Kleinproben-Tests:

• Hypothesen generieren,
• Arten von Fehlern entdecken,
• Testaufforderungen,
• das Aufnahmesystem testen,
• Schiedsrichter kalibrieren,

kann kritische Ereignisse aufdecken. Falsch ist, kein exploratives Testen durchzuführen. Falsch ist, das Ergebnis des explorativen Testens als Populationswert zu präsentieren.

GEMEINSAMES PRINZIP VON KAPITEL 24

Dieses Kapitel wurde geschrieben, um ein einzelnes Missverständnis zu beseitigen: „Ich habe eine KI gefragt, eine Antwort erhalten; hier ist mein GEO-Ergebnis.“ Nein. Sie haben noch kein allgemeines GEO-Ergebnis. Was Sie haben, ist eine Beobachtung. Diese Beobachtung:

• ist real,
• ist bedeutend,
• sogar kritisch

kann sein. Es ist jedoch immer noch eine einzelne Beobachtung. Für einen GEO-Score ist das Vorhandensein von:

• Nutzern,
• KI-Produkten,
• Ländern,
• Sprachen,
• Sitzungen,
• Zeiten

Das, was gemessen werden muss, ist die Verteilung der Repräsentation über KI-Produkte, Länder, Sprachen, Sitzungen und Zeit. Ein einzelner Screenshot ist keine Verteilung. Zehn automatisierte Wiederholungen sind nicht zehn unabhängige Personen. Ebenso repräsentieren tausend Antworten aus einer schlechten Stichprobe nicht die Weltbevölkerung. Selbst eine bevölkerungsproportionale Stichprobe kann ohne sprachliche Fairness unvollständig sein. Ein hoher Durchschnitt kann kritische Fehler nicht auslöschen. Das erste Messgesetz von NOMOS lautet daher:

Eine einzelne Antwort ist ein Ereignis. / Mehrere Antworten sind ein Muster. / Eine definierte Stichprobe ist eine Schätzung der Population. / Wiederholung über die Zeit ist ein Maß für Stabilität. / Aber keines davon allein ist Kausalität oder nachhaltiger Wert.

Bestellung von Abschnitt 1 von NOMOS

Bringen Sie mir nicht einen Screenshot und sprechen dann für das gesamte System.

Machen Sie nicht die Antwort eines Nutzers zur Antwort der gesamten Weltbevölkerung.

Verwandeln Sie keine Duplikate desselben Kontos in unabhängige Menschen.

Aktualisieren Sie die Antwort nicht und zeigen Sie das Bevorzugte, als ob es die echte Verteilung wäre.

Entfernen Sie keine Ablehnungen, Fehler und Unbekannten aus dem Nenner.

Verallgemeinern Sie nicht eine Sprache auf die ganze Welt, ein Land auf alle Länder oder ein KI-Produkt auf alle generativen Systeme.

Machen Sie keinen einzelnen Erfolg zum Nachweis eines Interventions-effects oder einen einzelnen Fehler zum unveränderlichen Charakter des gesamten Systems.

Verdrängen Sie keinen einzelnen schweren Fehler im Durchschnitt.

Zuerst zeichne das Ereignis auf. / Dann messe das Muster. / Dann definiere die Zielpopulation. / Dann zeige Abhängigkeit und Unsicherheit. / Und sprich nur im Umfang der vorliegenden Nachweise.

Der abschließende Satz des Kapitels

Die Repräsentation einer Entität in Künstlichen-Intelligenz-Systemen ist keine einzelne Antwort. KI-Produkte sind eine Verteilung, die über Nutzer, Länder, Sprachen, Sitzungen und Zeiten gemessen werden sollte.

Normativer Kern

Eine einzelne Ausgabe eines generativen Systems KANN feststellen, dass eine bestimmte Antwort unter aufgezeichneten Bedingungen aufgetreten ist. Ein einzelnes Ergebnis DARF NICHT verwendet werden, um Folgendes abzuleiten: - Bevölkerungsprävalenz, - typisches Produktverhalten, - zeitliche Stabilität, - sprachübergreifende Konsistenz, - länderübergreifende Konsistenz, - produktübergreifende Konsistenz, - Interventionseffekt, - Sicherheit der Empfehlung, - kommerzielle Auswirkungen, - Konformität, - oder einen GEO-Score. Alle weitergehenden Behauptungen MÜSSEN durch eine vordefinierte Zielpopulation, ein gültiges Mehrfachbeobachtungsdesign, aufgezeichnete Abhängigkeitsstrukturen, ein Evidenzbündel, Bewertungsregel, Umfangserklärung und eine Offenlegung der Unsicherheit unterstützt werden. eine einzelne Ausgabe mit hohem Schadenspotenzial KANN eine separate Überprüfung kritischer Vorfälle auslösen, ohne als Nachweis für die Bevölkerungsprävalenz behandelt zu werden.