Repräsentation ist eine Verteilung

Kapitelgrenze

Abschnitt 1 hat die folgende Bestimmung eingeführt:

Eine einzelne Antwort ist nicht die GEO-Punktzahl. Eine einzelne Antwort ist eine einzelne Beobachtung, die unter aufgezeichneten Bedingungen aufgetreten ist.

Dieser Abschnitt beantwortet die nächste Frage:

Wenn eine einzelne Antwort nicht die GEO-Punktzahl ist, was ist dann das eigentliche Objekt, das wir messen wollen?

Die Antwort ist:

Die Repräsentation eines Objekts in generativen Systemen ist eine multidimensionale Verteilung, die sich über KI-Produkte, Nutzer, Länder, Sprachen, Sitzungsbedingungen, Prompts und Zeiten bildet.

Dieses Kapitel:

• die Repräsentationsverteilung,
• die grundlegenden Dimensionen der Verteilung,
• der Unterschied zwischen dem Mittelwert und der Verteilung,
• die Ungleichheit in Untergruppen,
• die Stabilität,
• die Abdeckung und das Problem fehlender Beobachtungen,
• das Risiko seltener schwerwiegender Fehler,
• die konzeptionelle Struktur der öffentlich verfügbaren Ergebnisübersicht

definiert. Dieses Kapitel behandelt noch nicht:

• wie viele Teilnehmer jedem Land zugewiesen werden.
• wie der Stichprobenrahmen erstellt wird,
• wie die Aufforderungsübersetzungen validiert werden,
• wie atomare Aussagen bewertet werden,
• die exakte Formel des endgültigen NOMOS-Scores,
• Konformitätsschwellen

Dieses Kapitel regelt diese Angelegenheiten nicht normativ; spätere Kapitel behandeln sie separat. Bevor die Bewertungsformel definiert wird, definiert Kapitel 2 die Realität, die der Score darstellen soll.

NOMOS Herausforderung

Betrachten Sie zwei KI-Produkte. Jedes erhält denselben globalen Durchschnittsscore:

90 / 100

Die Sprachresultate des ersten Produkts sind wie folgt:

• Englisch: 90
• Türkisch: 91
• Deutsch: 89
• Japanisch: 90
• Arabisch: 90

Die Sprachresultate des zweiten Produkts sind wie folgt:

• Englisch: 99
• Türkisch: 98
• Deutsch: 97
• Japanisch: 86
• Arabisch: 70

Der einfache Durchschnitt beider Produkte beträgt 90. Haben sie die gleiche GEO-Qualität? Nein. Das erste Produkt erzeugt eine ähnliche Repräsentation in verschiedenen Sprachen. Das zweite Produkt erzeugt eine hervorragende Repräsentation in einigen Sprachen, aber eine ernsthaft schwache Repräsentation in einer anderen Sprache. Ein einfacher Durchschnitt verschleiert diesen Unterschied. Betrachten wir nun zwei andere Produkte. 95% der Antworten beider erfüllt die Bestehensanforderungen. Der verbleibende 5% im ersten Produkt besteht aus:

• geringen Umfangsmängeln,
• begrenzten Erklärungsmängeln,
• einige UNBEKANNTE

Ergebnissen. Der verbleibende 5% im zweiten Produkt besteht aus:

• falscher Gesundheitsbehörde,
• nicht vorhandener Lizenz,
• falsche rechtliche Identität,
• unangemessener Beratung

existiert. Die rohe Genauigkeitsrate für beide beträgt erneut 95 Prozent. Haben sie dasselbe Repräsentationsrisiko? Nein. Betrachten Sie nun ein drittes Paar. Der Durchschnitt von beiden über die drei Messwellen beträgt 90. Das erste:

• Welle 1: 90
• Welle 2: 91
• Welle 3: 89

Der zweite:

• Welle 1: 98
• Welle 2: 90
• Welle 3: 82

Haben sie über die Zeit hinweg die gleiche Konsistenz? Nein. In diesem Fall geht es nicht nur um: 'Was ist der Durchschnitt?' Wir müssen auch Folgendes wissen: Wie sind die Ergebnisse verteilt? Wer ist gut vertreten, wer ist schlecht vertreten? Welche Sprachen und Länder fallen zurück? Wie schwerwiegend sind die Fehler? Wie stark ändert sich das Ergebnis über die Zeit? Welche Bereiche wurden nie gemessen? Mit welchen Gewichtungen wurde der Durchschnitt erstellt? Wie viele verschiedene Realitäten stehen hinter demselben Durchschnitt? Die erste Schlussfolgerung dieses Abschnitts lautet:

Der gleiche Durchschnitt ist nicht die gleiche Repräsentation.

Ihre zweite Bestimmung lautet:

Ein GEO-Score kann eine Zusammenfassung der Verteilung sein; er kann die Verteilung nicht ersetzen.

1. ZWECK DES KAPITELS

Dieser Abschnitt definiert, wie die Repräsentation von Entitäten in generativen Systemen verstanden werden sollte, bevor sie auf eine einzelne Zahl reduziert wird. Seine Hauptziele sind:

• Zu zeigen, dass Repräsentation keine zeitlose und singuläre „KI-Perspektive“ ist
• Die Bedingungen zu definieren, von denen das Repräsentationsergebnis abhängt
• Zu erklären, dass das binäre Wahr-Falsch allein nicht ausreicht
• Durchschnittliche Genauigkeit von Untergruppenungleichheit zu trennen
• Das hohe Fehlerrisiko, das in hohen Durchschnittswerten verborgen ist, sichtbar zu machen
• Zu zeigen, dass Stabilität und Genauigkeit nicht dasselbe Konzept sind
• Zu verhindern, dass ungemessene Bereiche innerhalb der Verteilung mit positiven Annahmen gefüllt werden
• Die Struktur eines zukünftigen NOMOS-Scores vorzubereiten, der singulär ist, aber nicht dazu verdammt, singulär zu sein

Am Ende dieses Abschnitts sollte der Leser in der Lage sein, die folgende Frage zu beantworten:

Warum ist das Ergebnis des GEO einer Entität nicht nur auf die durchschnittliche Genauigkeitsrate beschränkt?

2. ZENTRALE NORMATIVE BESTIMMUNG

Die Repräsentation einer Entität in generativen Systemen ist die bedingte Verteilung verschiedener Antworten und Repräsentationsergebnisse, die unter definierten Bedingungen auftreten können.

Diese Verteilung:

• sie ist nicht der abstrakte 'Gedanke' eines einzelnen Modells,
• sie ist nicht die gemeinsame Ansicht aller künstlichen Intelligenzsysteme,
• sie ist nicht nur die Wiederholungsrate der Website,
• sie ist nicht nur die Häufigkeit, mit der der Name der Marke erwähnt wird,
• sie ist nicht nur die durchschnittliche Genauigkeit,

sie ist nicht nur die Empfehlungsrate. Die Verteilungsdarstellung zeigt innerhalb eines bestimmten Protokolls Folgendes:

Welche Nutzer welche Art von Repräsentation auf welchem KI-Produkt und auf welcher Nutzeroberfläche, in welcher Sprache, in welchem Land, mit welchem Prompt, unter welchen Sitzungsbedingungen und zu welcher Zeit sehen.

Daher hängt das Ergebnis einer Verteilung immer von den folgenden Fragen ab: Welche Einheit? Welches KI-Produkt? Welche Nutzeroberfläche? Welche Zielpopulation? Welches Land? Welche Sprache und Regionaleinstellung? Welcher Prompt? Welche Sitzungsbedingung? Welche Messwelle? Welches Wahrheits-Paket? Welche Bewertungsregel? Wenn sich eines dieser Felder ändert, kann sich auch die Verteilung ändern.

3. WAS BEDEUTET DAS WORT "DISTRIBUTION"?

In diesem Buch bezieht sich das Wort Verteilung nicht auf eine verborgene oder metaphysische Sichtweise, die angenommen wird, innerhalb eines künstlichen Intelligenzsystems zu existieren. Es behauptet nicht: NOMOS: "Dies ist die echte Verteilung des Unternehmens im Geist des Modells." Die Verteilung hier ist operativ und beobachtbar.

Es ist das Muster verschiedener Repräsentationsergebnisse, die unter einem definierten Protokoll innerhalb der Zielpopulation und der Messbedingungen erzielt werden können.

Man sollte zwischen zwei Verteilungen unterscheiden.

3.1. Zielrepräsentationsverteilung

Es ist die Verteilung, die die Messung zu prognostizieren versucht, aber nicht vollständig direkt beobachtet werden kann. Sie wird repräsentiert als:

P_E(Y | A, C, L, S, P, T, U)

Hier:

• E: geprüfte Einheit
• Y: Repräsentationsergebnis
• A: KI-Produkt und Nutzeroberfläche
• C: Land oder geografische Bedingung
• L: Sprache und Gebietsschema
• S: Sitzungs- und Personalisierungsbedingung
• P: Prompt
• T: Zeit oder Messwelle
• U: Zielnutzeruniversum

Dieser Ausdruck fragt: „Im definierten Zielnutzeruniversum, unter den angegebenen Bedingungen, welche Repräsentationsergebnisse treten mit welchen Wahrscheinlichkeiten auf?“ Nicht alle Elemente der Zielverteilung können gemessen werden. Sie werden durch Stichproben geschätzt.

3.2. Beobachtete empirische Verteilung

Es ist die Verteilung der gültigen Beobachtungen, die in einer realen oder synthetischen Messung gewonnen wurden. Ihre Repräsentation:

P̂_E

kann verwendet werden. Die empirische Verteilung ist nicht die Zielverteilung selbst. Sie ist eine Schätzung, die durch ihre Stichprobe, Gewichtung und das Messdesign erstellt wird. Die Größenordnung des Unterschieds kann abhängen von:

• Stichprobendesign
• Teilnehmerauswahl
• Abdeckung von Ländern und Sprachen
• Ungültige Beobachtungsrate
• Nichtbeantwortung
• Fehler des Gutachters
• Messwelle
• Auswahl der Prompt
• Produkt- und Schnittstellenbedingungen
• Gewichtung
• Clusterbildung und Abhängigkeit

Daher kann eine empirische Verteilung nicht als "die absolute und unveränderliche Wahrheit der künstlichen Intelligenz" veröffentlicht werden. Der korrekte Ausdruck sollte sein: "Die für die spezifizierte Zielpopulation und Messbedingungen erhaltene Schätzung."

4. REPRÄSENTATIONSRAUM

Die Repräsentation einer Entität erfolgt nicht in einer einzelnen Dimension. Jede Beobachtung existiert in einem multidimensionalen Zustandsraum. Die grundlegende Repräsentation:

X_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i)

Hier:

• Ei: Entität
• Ai: KI-Produkt und Nutzeroberfläche
• Ui: Nutzer oder Stichprobeneinheit
• Ci: Land und geografische Ebene
• Li: Sprache und Gebietsschema
• Si: Sitzung, Plan und Personalisierungsbedingung
• Pi: Prompt oder Prompt-Familie
• Ti: Zeit und Messwelle

Generierte Antwort:

R_i

kann gezeigt werden. Der repräsentative Zustand, der sich aus der Bewertung der Antwort ergibt, ist:

Y_i= g(R_i, V_E, J)

und kann betrachtet werden als. Hier:

• VE: verifiziertes Truth Pack für die Entität verwendet
• J: Bewertungs- und Beurteilungsregeln
• g: Bewertungsprozess, der die Antwort in repräsentative Ergebnisse umwandelt

Die Bedeutung dieser Repräsentation ist wie folgt: Dieselbe Antwort kann nicht eigenständig bewertet werden, ohne anzugeben, welche Entität, welches Truth Pack und welche Bewertungsregel zugrunde gelegt wurden.

5. REPRÄSENTATIVES ERGEBNIS IST KEIN EINZELNER WERT

Nur die Gesamtheit einer Antwort:

• in die Kategorien gezwungen werden von wahr,
• ist falsch

Die Vergabe eines Labels ist oft unzureichend. Folgende Situationen können in derselben Antwort gemeinsam auftreten:

• Korrekte Identität
• Korrekte Hauptkategorie
• Unvollständige Serviceabdeckung
• Veraltete Anzahl von Mitarbeitern
• Nicht unterstützte Führungsbehauptung
• Korrektes Zitat
• Unangemessene Empfehlung
• Nicht-kritischer Grenzwertmangel

Daher kann das Repräsentationsergebnis als Ergebnisvektor betrachtet werden. Kandidatenrepräsentation:

Y_i= (y_i^id, y_i^cat, y_i^fact, y_i^scope, y_i^time, y_i^evidence, y_i^recommendation, y_i^harm)

Hier:

• yiid: Identitätsgenauigkeit
• yicat: Genauigkeit von Kategorie und Rolle
• yifact: Genauigkeit von sachlichen Angelegenheiten
• yiscope: Erhaltung von Umfang und Grenzen
• yitime: zeitliche Gültigkeit
• yievidence: Übereinstimmung von Aussage und Nachweis
• yirecommendation: Empfehlung und Nutzergeeignetheit
• yiharm: Schadensklasse von Fehler oder Fehlinformation

Die genauen Bewertungsregeln für diese Felder werden in späteren Abschnitten definiert. Das Leitprinzip hier lautet:

Eine repräsentative Antwort sollte nicht nur danach bewertet werden, ob sie korrekte Informationen enthält, sondern auch, über wen, was, innerhalb welcher Grenzen, mit welchen Nachweisen und für wen sie angemessen vermittelt wird.

6. GRUNDLEGENDE REPRÄSENTATIONSZUSTÄNDE

Der Status jeder atomaren Behauptung und der endgültigen Antwort muss nicht derselbe sein. Dieser Abschnitt trennt konzeptionell die folgenden Grundzustände.

6.1. UNTERSTÜTZT

Die Behauptung wird durch ausreichende Nachweise innerhalb des definierten Umfangs und Zeitrahmens gestützt.

6.2. WIDERSPRUCHLICH

Die Behauptung steht im Widerspruch zu verlässlichen und relevanten Aufzeichnungen.

6.3. NICHT UNTERSTÜTZT

Es gibt nicht genügend Unterstützung für die Behauptung. Es wurde nicht nachgewiesen, dass die Behauptung notwendigerweise falsch ist. Es gibt jedoch nicht genügend Aufzeichnungen, um sie als wahr anzunehmen.

6.4. VERALTET — NICHT MEHR AKTUELL

Die Aussage könnte in der Vergangenheit wahr gewesen sein. Zum Messzeitpunkt ist sie nicht mehr gültig oder ihre aktuelle Genauigkeit kann nicht überprüft werden.

6.5. TEILS UNTERSTÜTZT — TEILS UNTERSTÜTZT

Nur ein bestimmter Umfang, eine bestimmte Population, ein bestimmtes Land, Produkt oder Zeitraum der Behauptung wird unterstützt. Die Antwort könnte das Unterstützungslimit überschritten haben.

6.6. NICHT IM UMFANG — NICHT IM UMFANG

Die Behauptung bezieht sich nicht auf die geprüfte Einheit oder das Truth Pack. Sie könnte von einer anderen Einheit, einem anderen Produkt, Land oder Service stammen.

6.7. EINHEITSVERSCHMELZUNG — EINHEITSZUSAMMENFÜHRUNG

System:

• drei verschiedene Unternehmen,
• die Marke und die juristische Einheit,
• eine Person und die Institution,
• ein alte und neue Einheit,
• hat verschiedene Organisationen mit demselben Namen verwechselt

miteinander. Dieser Fehler ist nicht nur ein sachlicher Irrtum. Es ist die Verfälschung des Repräsentationsobjekts.

6.8. WESENTLICHE AUSLASSUNG — FEHLENDE INFORMATION

Die Sätze in der Antwort können korrekt sein. Wesentliche Informationen, die die Entscheidung des Nutzers ändern würden, wurden jedoch weggelassen. Beispiel: Der Service wird nur in bestimmten Ländern angeboten. Die Lizenz ist auf eine bestimmte Gerichtsbarkeit beschränkt. Der Preis versteht sich ohne Steuern. Das Ergebnis basiert auf Daten des Erstanbieters. Das Produkt ist für bestimmte Nutzer nicht geeignet. Das Weglassen kann zu einer falschen Schlussfolgerung führen, selbst wenn kein direkt falscher Satz vorhanden ist.

6.9. ABLEHNUNG — REJEKTIERUNG

Das System hat die Antwort verweigert. Ablehnung:

• angemessen,
• unnötig,
• inkonsistent,
• sicherheitsbedingt,
• technisch

kann auftreten. Ret wird nicht automatisch als fehlgeschlagen oder erfolgreich betrachtet. Es wird separat klassifiziert.

6.10. KEIN ERGEBNIS

Das System hat aus technischen oder betrieblichen Gründen keine nutzbare Antwort erzeugt. Es ist nicht dasselbe wie Ret.

6.11. UNBEKANNT

Die verfügbaren Aufzeichnungen reichen nicht für eine zuverlässige Klassifizierung aus. UNBEKANNT kann nicht in ein positives Ergebnis umgewandelt werden.

7. HAUPTMERKMALE DER VERTEILUNG

Eine Verteilungsdarstellung kann nicht nur durch den Mittelwert erklärt werden. Mindestens sollten die folgenden Merkmale bewertet werden.

7.1. Zentrale Tendenz

Fasst die allgemeine Genauigkeit oder das Übergangsniveau der Antworten zusammen. Beispielhafte Messgrößen:

• Mittelwert
• Gewichteter Mittelwert
• Median
• Bestehensquote

Die zentrale Tendenz ist wichtig. Sie zeigt jedoch nur das Zentrum der Verteilung.

7.2. Streuung und Variabilität

Gibt an, wie stark die Ergebnisse um das Zentrum verteilt sind. Von zwei Systemen mit demselben Mittelwert kann das eine unter den Nutzern konsistent sein, während das andere sehr variabel ist. Variabilität:

• Nutzern,
• Ländern,
• Sprachen,
• Sitzungen,
• Messwellen

können auch unter ihnen untersucht werden.

7.3. Form der Verteilung

Sind die Ergebnisse um einen einzigen zentralen Punkt gruppiert? Oder sind sie in zwei oder mehr Cluster unterteilt? Zum Beispiel:

• Wenn die Hälfte der Nutzer sehr genaue
• und die andere Hälfte sehr ungenaue

Ergebnisse sieht, kann der Durchschnitt mittel sein. Die typische Nutzererfahrung ist jedoch nicht „mittlere Genauigkeit“. Es sind zwei getrennte polarisierte Erfahrungen.

7.4. Unterschiede zwischen Untergruppen

Sehen bestimmte Sprach-, Länder- oder Nutzergruppen systematisch unterschiedliche Ergebnisse? Der globale Durchschnitt kann diesen Unterschied verschleiern.

7.5. Tail-Risiko

Gibt es seltene, aber schwere Fehler? Seltene Ereignisse können einen geringen Effekt auf den Durchschnitt haben. Ihr Einfluss auf den menschlichen Schaden kann erheblich sein.

7.6. Abdeckung

Wie viel des Zielbenutzeruniversums wurde tatsächlich gemessen? Eine hohe Punktzahl kann zusammen mit geringer Abdeckung auftreten.

7.7. Fehlende und unbekannte Masse

Welcher Anteil der Antworten ist:

UNBEKANNT,

NICHT GETESTET,

Ablehnung, technische Nicht-Antwort oder ein ungültiger Datensatz?

7.8. Zeitliche Stabilität

Inwieweit bleibt die Verteilung über verschiedene Messwellen hinweg erhalten?

8. KANDIDAT NOMOS REPRÄSENTATIVE VERTEILUNGS-SIGNATUR

KANDIDATENKONZEPT

Es wird empfohlen, dass das Ergebnis eines GEO zuerst durch die folgende Verteilungssignatur und nicht durch eine einzelne Zahl definiert wird:

RDS(E) = (μ, κ, σ, Δ, τ, ρ, u)

Diese Repräsentation wird Repräsentationsverteilungssignatur genannt, das heißt:

Repräsentationsverteilungssignatur

Komponenten:

μ — Allgemeines Repräsentationsniveau

Gesamtgenauigkeit oder Übergangsvorhersage unter definierten Gewichten und Umfang.

κ — Abdeckung

Das Ausmaß, in dem der Zielbenutzer, das Land, die Sprache, das KI-Produkt und das Zeituniversum ausreichend gemessen werden.

σ — Variabilität

Streuung unter Nutzern und experimentellen Zellen.

Δ — Ungleichheit in Untergruppen

Der materielle Unterschied zwischen Sprache, Land, Produkt oder anderen signifikanten Gruppen.

τ — Risiko für Ausreißer und kritische Fehler

Die Rate und Art seltener schwerwiegender Fehler.

ρ — Zeitliche Stabilität

Die Widerstandsfähigkeit der Verteilung über Wellen.

u — Unbekannte und ungelöste Masse

UNBEKANNT ist der Anteil der Verteilung, der ungelöst oder unzureichend bewertet bleibt. Diese Signatur ist noch keine endgültige Bewertungsformel. Die folgenden Elemente erfordern eine weitere Entwicklung:

• definierte Definition,
• Schätzung,
• Gewichtung,
• öffentliche Präsentation

Sie werden durch Pilotstudien und spätere Kapitel finalisiert. Das Gründungsprinzip lautet:

Das GEO-Ergebnis sollte nicht nur die Frage beantworten 'wie genau?', sondern auch 'für wen, wie konsistent, wie gerecht, wie umfassend und wie riskant?'

9. DURCHSCHNITTLICHES WASCHEN

Wenn eine Institution nur einen hohen globalen Durchschnitt zeigt und die materiellen Mängel der Verteilung verschweigt, wird dies genannt:

Durchschnittliches Waschen

Durchschnittliches Waschen kann auf folgende Weise erfolgen:

• Die schwächste Sprache verbergen
• Kleine Länder vom Bericht ausschließen
• Kritische Fehler in die allgemeine Fehlerquote einmischen
• Entfernen der UNBEKANNT-Ergebnisse aus dem Nenner
• Nur gut performende KI-Produkte einbeziehen
• Die schwache Messwelle ausschließen
• Die Bevölkerung außerhalb des Geltungsbereichs unsichtbar machen
• Gewichte nach Sichtung der Ergebnisse ändern

Der Durchschnitt kann mathematisch korrekt berechnet werden. Dennoch kann die Repräsentation, die er der Öffentlichkeit bietet, irreführend sein. Daher:

Eine mathematisch korrekte Berechnung eines Durchschnitts bedeutet nicht, dass sie für Entscheidungen ausreichend ist.

10. VERSCHIEDENE REALITÄTEN DES GLEICHEN DURCHSCHNITTS

Der Durchschnitt könnte in allen folgenden synthetischen Verteilungen 90 betragen.

10.1. Homogene Verteilung

Alle großen Untergruppen liegen im Bereich von 88–92. Diese Verteilung ist relativ ausgewogen.

10.2. Polarisierte Verteilung

Die Hälfte der Nutzer sieht Ergebnisse nahe bei 100, während die andere Hälfte Ergebnisse nahe bei 80 sieht. Der Durchschnitt beträgt 90. Das Nutzererlebnis ist jedoch nicht gleich.

10.3. Linguistisch fragmentierte Verteilung

Die Ergebnisse sind für Sprachen mit hoher Bevölkerungszahl oder hohen Ressourcen sehr gut, aber für Sprachen mit geringen Ressourcen deutlich schwach. Der globale Durchschnitt mag gut aussehen. Die Sprachgerechtigkeit ist schwach.

10.4. Länderbasierte fragmentierte Verteilung

Selbst innerhalb derselben Sprache können die Ergebnisse aufgrund unterschiedlicher Länder, Regionen, Produktzugänge oder Nutzergruppen variieren.

10.5. Zeitlich flüchtige Verteilung

Sehr hohe Ergebnisse treten in einer Welle auf, sehr niedrige Ergebnisse in einer anderen Welle. Selbst wenn der Durchschnitt hoch ist, ist es schwierig, zuverlässige Nutzererwartungen zu bilden.

10.6. Verteilung mit Tail-Risiko

Die meisten Antworten sind korrekt. Ein kleiner Teil enthält jedoch ernsthafte gesundheitliche, rechtliche, lizenzrechtliche oder sicherheitsrelevante Fehler.

10.7. Hohe Verteilung unbekannter Masse

Die meisten bewertbaren Antworten sind korrekt. Ein erheblicher Teil der Zielpopulation oder der Antworten ist jedoch:

• testet,
• ungestestet,

UNBEKANNT

oder nicht schlüssig. Die Veröffentlichung einer hohen Rate basierend nur auf den bewertbaren Antworten kann den Umfang verschleiern.

11. UNGLEICHHEIT IN UNTERGRUPPEN

Ein globaler Wert repräsentiert möglicherweise nicht die Erfahrung in Untergruppen. Wichtige Untergruppen können beinhalten:

• KI-Produkt und Nutzeroberfläche
• Land
• Sprache
• Locale
• Plan
• Web oder mobil
• Kontrolliertes oder natürliches Panel
• Zeitwelle
• Nutzerintention
• Gerätefamilie

Nicht alle diese Gruppen haben möglicherweise dieselbe Bedeutung in jeder Prüfung. Wesentliche Gruppen sollten bestimmt werden, wenn der Umfang festgelegt ist.

11.1. Sprache ist nicht dasselbe wie Land

Türkischsprachig:

• Nutzer in der Türkei,
• Nutzer in Deutschland,
• Nutzer in einem anderen Land

Sie können dieselbe Sprache verwenden. Allerdings:

• Produktzugang,
• Preis,
• Ressourcen,
• lokale Benutzeroberfläche,
• rechtlicher Kontext,
• Personalisierung

können unterschiedlich sein. Daher können nicht alle Unterschiede ausschließlich durch Sprache oder Land erklärt werden.

11.2. Intersektionale Zellen

Einige materielle Unterschiede werden erst sichtbar, wenn mehrere Bereiche zusammen untersucht werden. Beispiel: Deutschland × Türkisch × Mobil × Kostenloser Tarif × Panel unter natürlichen Nutzungsbedingungen könnte an sich eine experimentelle Zelle sein. Wenn sich jedoch die Zellen vervielfachen, nimmt die Stichprobengröße ab. Daher kann für jede kleine Zelle kein endgültiger Wert veröffentlicht werden. Messdesign: sollte aussagekräftige Untergruppen erhalten und keine statistische falsche Genauigkeit erzeugen.

11.3. Untergruppenbasis

KANDIDATENKONZEPT

Zusätzlich zum globalen Durchschnitt wird empfohlen, das Ergebnis der schwächsten ausreichend beprobten Untergruppe oder der unteren 10%-Gruppe gesondert zu melden. Dies kann bezeichnet werden als:

Repräsentationsbasis

oder:

Sprache/Land Boden

Wenn jedoch die "niedrigste Punktzahl" von einer kleinen und instabilen Zelle stammt, kann dies zu falschen Ergebnissen führen. Daher sollte die Basismetrik zusammen mit Folgendem definiert werden:

• Mindestprobe
• Konfidenzintervall
• Zellqualität

Die genaue Regel wird in den folgenden Abschnitten festgelegt.

12. ES IST TEIL DER BEREICHSVERTEILUNG

Eine Verteilung besteht nicht nur aus beobachteten Antworten. Was nie beobachtet wurde, bestimmt ebenfalls die Bedeutung des Ergebnisses. Zum Beispiel wurden Englisch und Türkisch getestet; Japanisch und Arabisch nicht. Die Web-Oberfläche wurde getestet; die mobile Oberfläche und der kostenpflichtige Plan nicht. Starke Ergebnisse in Englisch und Türkisch rechtfertigen nicht die Aussage: ‚Die Repräsentation ist in allen Sprachen und Nutzeroberflächen stark.‘ Die vertretbare Schlussfolgerung lautet: ‚Messungen wurden auf den angegebenen englischen und türkischen Web-Oberflächen durchgeführt. Andere Sprachen und mobile Oberflächen wurden nicht getestet.‘

12.1. Abdeckungskarte

Jede GEO-Verteilung sollte die folgende Karte in dem Umfang enthalten, der relevant ist:

• Zieluniversum
• Stichprobenrahmen
• Abgedeckte Länder
• Nicht abgedeckte Länder
• Abgedeckte Sprachen
• Nicht abgedeckte Sprachen
• Überwachte KI-Produkte
• Nicht überwachte Produkte
• Überwachte Nutzeroberflächen
• Nicht überwachte Oberflächen
• Messwellen
• Außerhalb des Umfangs liegende Prompt-Familien

12.2. Abdeckungsrate

KANDIDATENKONZEPT

Eine Abdeckungsmetrik kann entwickelt werden, um zu zeigen, welcher Anteil des Zieluniversums mit ausreichender Messung repräsentiert wird. Allerdings gilt für die Abdeckung:

• nur die Anzahl der Länder,
• nur die Anzahl der Sprachen,
• nur das Bevölkerungsverhältnis

kann nicht gemessen werden. Zum Beispiel könnten 150 Länder abgedeckt sein. Allerdings könnten 95% der Teilnehmer nur aus fünf Ländern stammen. Oder 90% der Bevölkerung könnten abgedeckt sein, aber kleine Sprachen könnten vollständig ausgeschlossen sein. Daher sollte die Bevölkerungsabdeckung getrennt von der Beobachterabdeckung nach Ländern/Sprachen gezeigt werden.

13. FEHLENDE BEOBACHTUNG UND NICHT-ANTWORT

Fehlende Daten sind nicht nur ein technisches Problem. Ihre Verteilung kann systematisch verzerrt sein. Die Gründe für das Fehlen einer Beobachtung können umfassen:

• Teilnehmer hat die Aufgabe nicht abgeschlossen
• Produkt ist im Land nicht zugänglich
• Rechenbeschränkungen
• Technischer Fehler
• Systemabweisung
• Ungültiger Screenshot
• Teilnehmer ändert seine Prompt
• Produkt funktioniert in einer bestimmten Sprache nicht
• Schiedsrichter, die keine verlässlichen Entscheidungen treffen können

Jeder dieser Gründe erfordert einen eigenen Status.

13.1. Fehlende Daten sind möglicherweise nicht zufällig

Zum Beispiel, wenn in Ländern mit schlechter Verbindungsqualität nicht mehr Aufgaben erledigt werden können, kann die Verwendung nur erfolgreicher Aufzeichnungen das globale Ergebnis zugunsten wohlhabender Nutzer mit starken Verbindungen verschieben. Wenn die Rate von UNBEKANNT steigt, weil Antworten in einer bestimmten Sprache schwer zu bewerten sind, kann die aus nur bekannten Antworten berechnete Punktzahl Sprachungerechtigkeiten verschleiern. Daher:

Die Rate der fehlenden Daten und der Verteilungsbericht des Grundes für fehlende Daten sollten Teil des Berichts sein.

13.2. Nenner — Integrität des Nenners

Ein Bericht sollte die Frage klar beantworten: „90 Prozent von genau was sind 90 Prozent?“ Mögliche Nenner:

• Zugewiesene Teilnehmer
• Aufgabeninitiatoren
• Aufgabenerlediger
• Protokollkonforme Aufzeichnungen
• Gültige Systemergebnisse
• Antworten mit Entscheidungen des Schiedsrichters
• Spezifische Sprach- oder Länderspalte

Der Nenner sollte nach dem Betrachten des Ergebnisses nicht geändert werden. Zum Beispiel:

• 1,000 Aufgaben zugewiesen,
• 900 abgeschlossen,
• 800 gültig,
• 720 bestanden

Also:

720/800=90%

Dies ist die Bestehensrate unter gültigen Aufzeichnungen. Die beobachtete Bestehensrate über die gesamte zugewiesene Stichprobe ist stattdessen:

720/1000=72%

beantwortet eine andere Frage. Beide Raten können verwendet werden. Sie können nicht im gleichen Sinn präsentiert werden.

14. GENAUIGKEIT UND KONSISTENZ SIND NICHT DAS GLEICHE

Eine Verteilung kann eine hohe Genauigkeit haben. Sie kann jedoch im Laufe der Zeit oder zwischen Nutzern inkonsistent sein. Eine andere Verteilung kann eine geringe Genauigkeit haben. Sie kann jedoch konsequent falsch sein. Deshalb sollten vier Situationen unterschieden werden.

„Konsistent zu sein“ ist nicht automatisch positiv. Das System kann sehr konsistent sein, wenn es jedem Nutzer denselben Fehler liefert.

14.1. Inter-Nutzer-Konsistenz

Sehen verschiedene Nutzer in derselben Zelle eine ähnliche materielle Repräsentation?

14.2. Inter-Sitzungs-Konsistenz

Sieht derselbe oder der gematchte Nutzer ähnliche Ergebnisse in neuen Sitzungen?

14.3. Inter-Wellen-Konsistenz

Erzeugt dasselbe Protokoll eine ähnliche Verteilung an verschiedenen Tagen oder Zeitperioden?

14.4. Konsistenz nach dem Produktupdate

Wenn es eine wesentliche Veränderung im KI-Produkt gibt, setzt sich die vorherige Verteilung fort?

15. DENSELBEN SATZ ZU PRODUZIEREN IST KEINE STABILITÄT

Stabilität: Es bedeutet nicht, "jedem Nutzer wortwörtlich die gleiche Antwort zu geben." Ein KI-Produkt kann verschiedene Ausdrücke, Reihenfolgen und Beispiele verwenden. Solange sie die materielle Bedeutung bewahren, können sie akzeptable Variationen sein. Der wichtige Unterschied ist:

Formale Variabilität

Wortwahl Satzreihenfolge Länge Tonbeispiel Verwendung von Liste oder Absatz Wenn die materielle Wahrheit erhalten bleibt, muss es kein Fehler sein.

Semantische Variabilität

Änderung der Unternehmensidentität Differenzierung der Hauptkategorie Ausweitung oder Einschränkung des Tätigkeitsbereichs Änderung der Lizenz oder Kompetenz Änderung von Preis und Geografie Empfehlung an einen Nutzer, aber keine Empfehlung an einen ähnlichen Nutzer ohne Erklärung Wenn sich die materielle Repräsentation ändert, kann ein Stabilitätsproblem bestehen. Daher ist das bevorzugte Konzept:

Bedingte semantische Stabilität

Es sollte sein. Es wird erwartet, dass die fundamentale Realität unter äquivalenten materiellen Bedingungen erhalten bleibt. Eine Änderung der Empfehlung aufgrund unterschiedlicher Nutzerbedürfnisse kann ein angemessenes kontextuelles Verhalten sein.

16. KONTEXTSENSITIVITÄT UND WILLKÜRLICHE VARIABILITÄT

Es ist nicht immer korrekt, dass ein System allen Nutzern dieselbe Empfehlung gibt. Zum Beispiel:

• Nutzer mit niedrigem Budget
• Nur Nutzer, die Dienstleistungen in einem bestimmten Land suchen
• Nutzer, die eine andere Lizenz benötigen
• Nutzer, die individuelle statt unternehmerische Dienstleistungen suchen

können für dieselbe Einheit unterschiedliche Konformitätsergebnisse erhalten. Dieser Unterschied:

• kann auf die Nutzerbedingung zurückzuführen sein,
• die Leistungsumfang,
• oder das tatsächliche Limit

und kann kontextabhängig und genau sein. Wenn sich das Ergebnis jedoch ohne Grund unter gleichen Nutzerbedingungen ändert, kann dies willkürliche Schwankungen sein. Daher möchte NOMOS nicht: „Die gleiche Antwort für alle Nutzer.“ Es möchte:

Eine Antwort, die unter gleichwertigen materiellen Bedingungen konsistent und erklärbar ist und unter unterschiedlichen Bedingungen auf tatsächliche Grenzen sensibel reagiert.

17. ZEIT IST INNERHALB DER REPRÄSENTATIONSVERTEILUNG

Die Repräsentationsverteilung ist nicht zeitlos. Sie kann als PE,t betrachtet werden. Die Verteilung derselben Einheit:

• Produktaktualisierung,
• Ressourcenänderung,
• Unternehmensänderung,
• Nachrichtenereignis,
• neue Sprachversion,
• technische Zugriffsänderung

kann danach abweichen.

17.1. Plötzliche Änderung

Nach einem Produkt- oder Ressourcenupdate ändert sich die Verteilung in kurzer Zeit schnell.

17.2. Allmähliche Änderung

Aufgrund neuer Ressourcen und Nutzerverhalten ändert sich das Ergebnis über die Zeit langsam.

17.3. Vorübergehende Schwankung

Während eines bestimmten Ereignisses oder Nachrichtenzeitraums unterscheidet sich die Verteilung vorübergehend.

17.4. Änderung nach Intervention

Nach der GEO-Intervention kann sich die Verteilung ändern. Die Behauptung, dass die Änderung auf die Intervention zurückzuführen ist, erfordert jedoch auch einen Basiswert und ein Kausalitätsdesign.

17.5. Glättung mit Zeitmittel

Für ein Produkt:

• in der ersten Welle 98,
• in der zweiten Welle 90,
• in der dritten Welle 82

Wenn genommen, ist der Durchschnitt 90. Das Veröffentlichen von 90 verschleiert jedoch den Abwärtstrend. Daher:

Der Zeitdurchschnitt kann die Wellen-Ergebnisse nicht ersetzen.

18. TAIL-RISIKO UND SCHWERE FEHLERVERTEILUNG

Ein großer Teil einer Verteilung kann korrekt sein. Niedrige Wahrscheinlichkeit schwerer Fehler sollte jedoch ebenfalls bewertet werden. Beispiele:

• Gesundheitslizenz, die tatsächlich nicht existiert
• Falsche Notfallanweisungen
• Falsche rechtliche Befugnis
• Gefälschte Investitionsgarantie
• Falsche Unternehmensidentität
• Unangemessene Ratschläge für Kinder oder gefährdete Gruppen
• Wiederholung der manipulativen Anweisung, die vor Menschen verborgen ist

In der vorherigen Architektur:

• Kritisch
• Major
• Mäßig
• Beratung

wurden in vier Wichtigkeitsstufen unterteilt, und es wurde vorgeschlagen, dass kritische Befunde eine automatische Fehlfunktion haben sollten. Dieses Buch verknüpft dieses System mit der Bevölkerungsverteilung.

18.1. Trennung von Häufigkeit und Schwere

Ein Fehler:

• häufig, aber mit geringem Einfluss,
• selten, aber schwerwiegend

können auftreten. Allerdings kann die Häufigkeitsrate allein die beiden Fälle nicht gleichwertig bewerten.

18.2. Kandidaten-Schweregrad-gewichtete Risikodarstellung

KANDIDATENKONZEPT

Ein Risikoindikator kann unter Verwendung von Schwerekoeffizienten für Fehlerklassen entwickelt werden:

tau= Σ_{k=1}^K λ_k p_k

Hier:

• pk: vorhergesagte Rate des Fehlertyps
• λk: Schweregradkoeffizient des Fehlertyps

Allerdings können die Koeffizienten nicht willkürlich bestimmt werden. Sie sollten basieren auf:

• Absehbare menschliche Schäden
• Integrität der Repräsentation
• Auswirkung auf die Nutzerentscheidung
• Umkehrbarkeit
• Absicht und Manipulation
• Hochrisikobereich

Die genaue Methode wird in Abschnitt 15 definiert.

18.3. Kritisches Tor

Ein hoher Gesamtdurchschnitt kann einen überprüften Kandidaten für einen kritischen Fehler nicht automatisch löschen. Das korrekte öffentliche Protokoll sollte beide Ergebnisse zusammen zeigen: „Die geschätzte Gesamtrepräsentation ist hoch.“ und: „Das angegebene kritische Ereignis oder die Ereignisse beeinflussen ebenfalls die Konformitätsentscheidung.“

19. ABLEHNUNG UND FEHLER BEI DER VERTEILUNG

Ein nicht reagierendes System ist ebenfalls Teil der Nutzererfahrung. Nicht alle Ablehnungen sind jedoch gleich.

19.1. Angemessene Ablehnung

Das System kann vorsichtig agieren, wenn die Nachweise unzureichend sind oder wenn es keine sichere Antwort geben kann. Dies kann in einigen Kontexten das richtige Verhalten sein.

19.2. Unnötige Ablehnung

Es kann inkonsistent darauf verzichten, auf öffentlich verfügbare und risikoarme Informationen zu reagieren.

19.3. Technisches Nichtreagieren

Das System kann aufgrund eines technischen Fehlers keine Antwort erzeugen.

19.4. Ablehnung außerhalb des Umfangs

Die Prompt kann falsch sein oder außerhalb des Aufgabenprotokolls liegen.

19.5. Bewahrung von Ablehnungen in Verteilungen

Ablehnungen:

• Erfolg,
• Fehlschlag,

UNBEKANNT

sollten nicht in eine einzige Kategorie gezwungen werden. Ihre Funktion und Begründung sollten bewertet werden. Das Entfernen von Ablehnungen aus dem Nenner kann nur unter erfolgreichen Antworten eine hohe Genauigkeitsrate ergeben und die tatsächliche Nutzererfahrung verschleiern.

20. WIE KÖNNEN VERTEILUNGEN VERGLICHEN WERDEN?

Allein der Vergleich der Ergebniszahlen reicht nicht aus, um die Verteilung von zwei KI-Produkten zu vergleichen. Damit der Vergleich fair ist, sollten die folgenden Bereiche so gleich wie möglich sein oder explizit modelliert werden:

• Auditierte Einheit
• Zielpopulation
• Prompt-Version
• Sprachen
• Länder
• Messwelle
• Sitzungsbedingungen
• Nutzeroberfläche
• Planverteilung
• Beurteilungsregel
• Realitätspaket
• Gültigkeitsregeln
• Gewichte

Zwei mit materiell unterschiedlichen Protokollen erzielte Ergebnisse können nicht direkt für ein Ranking verwendet werden.

20.1. Vergleich auf gemeinsamer Basis

Alle verglichenen KI-Produkte:

• sind offiziell zugänglich,
• unterstützen dieselbe Sprache und Nutzungsbedingungen

können in einem gemeinsamen Universum verglichen werden. Dies ermöglicht einen saubereren Vergleich zwischen Systemen.

20.2. Natürliche Zugriffsverteilung

Jedes KI-Produkt kann in seinem eigenen realen Nutzerzugriffs-Universum gemessen werden. Dieses Ergebnis zeigt die tatsächliche globale Wirkung des Produkts. Da die Zielpopulationen jedoch unterschiedlich sein können, erfordert ein direktes Leistungsranking Vorsicht.

20.3. Verschiedene Oberflächen desselben Anbieters

Web-, Mobile- oder Unternehmensprodukte oder verschiedene Pläne, selbst wenn sie zum gleichen Anbieter gehören, können separate Verteilungen erzeugen. Wenn sie zu einem einzigen Ergebnis kombiniert werden sollen, sollte die Kombinations- und Gewichtungsmethode erklärt werden.

21. GEWICHTUNG ÄNDERT DIE BEDEUTUNG DER VERTEILUNG

Ein globaler Durchschnitt hängt vom Gewicht ab, mit dem Beobachtungen kombiniert werden. Mögliche Gewichte:

• Gleich nach Land
• Nach Länderbevölkerung
• Geeignete KI-Nutzerpopulation
• Sprachbenutzer
• Tatsächliche Produktexposition
• Gleiches KI-Produkt
• Marktanteil
• Zielmarkt der Kunden

Jede Methode beantwortet eine andere Frage.

21.1. Gleiches Ländergewicht

San Marino und Indien können dasselbe Gewicht erhalten. Dieser Ansatz kann die Frage der 'Durchschnittlichen Ländererfahrung' behandeln. Er stellt nicht die durchschnittliche Nutzererfahrung in der Weltbevölkerung dar.

21.2. Bevölkerungsgewicht

Größere Länder haben mehr Einfluss. Dieser Ansatz kann die Erfahrung der globalen Bevölkerung näherungsweise darstellen. Er kann kleine Länder und Sprachen unsichtbar machen.

21.3. Sprachfairnessgewicht

Er kann auch sicherstellen, dass Sprachen mit geringen Ressourcen sichtbar bleiben. Es ist nicht dasselbe wie der globale Bevölkerungsscore.

21.4. Gewicht der Produktexposition

Die Gewichtung von KI-Produkten nach der tatsächlichen Nutzerexposition kann berücksichtigt werden. Sie erfordert zuverlässige und unabhängige Nutzungsdaten.

21.5. Prinzip der normativen Gewichtung

Gewichte sollten definiert werden, bevor die Ergebnisse gesehen werden, öffentlich bekannt gemacht und die Frage, die sie beantworten, spezifiziert werden.

Es ist verboten, ein Gewichtungssystem zu wählen, das den positiven Wert erhöht, nachdem das Ergebnis gesehen wurde. Neben einer einzigen globalen Punktzahl können auch alternative aussagekräftige gewichtete Ergebnisse veröffentlicht werden.

22. PUNKTVERTEILUNG IST VERLUSTBEHAFTE KOMPRESSION

Es ist möglich, aus einer Verteilung eine einzelne Zahl zu erzeugen. Eine einzelne Zahl trägt jedoch nicht alle Informationen der Verteilung. Daher ist die Punktzahl:

Eine verlustbehaftete Zusammenfassung der Verteilung

zu akzeptieren. Eine Punktzahl kann die folgenden Informationen verlieren:

• Schwächste Sprache
• Schwächstes Land
• Kritische Fehlertypen
• Unbekannte Masse
• Zeitliche Schwankung
• Polarisierung
• Produkt- und Planabweichung
• Außerhalb des Geltungsbereichs liegende Bevölkerung
• Ablehnungsverteilung
• Mehrdeutigkeit des Beurteilers

Die Punktzahl ist nützlich, weil:

• vergleichende Darstellungen erleichtert,
• die öffentliche Kommunikation vereinfacht,
• die Überwachung von Veränderungen ermöglicht,

die Managemententscheidung unterstützt. Die Einfachheit der Punktzahl darf jedoch nicht zur Eliminierung der Verteilung führen.

23. MINDESTÖFFENTLICHE ERGEBNISKARTE

KANDIDATENANFORDERUNG — KANDIDATENVERPFLICHTUNG

Wenn eine globale Punktzahl NOMOS der Öffentlichkeit präsentiert werden soll, wird empfohlen, dass mindestens die folgenden Ergebnisse daneben gezeigt werden:

Die Hauptbewertung sollte nicht als alleinstehendes Werbelabel verwendet werden. Der kanonische Eintrag muss mit dieser Ergebnis-Karte verknüpft sein.

24. SYNTHETISCHE APPLE.COM VERTEILUNGSANZEIGE

DEMONSTRATION DER SYNTHETISCHEN METHODE / Die unten aufgeführten KI-Produkte, Nutzer, Sprachen, Zahlen und Ergebnisse sind vollständig fiktiv. Sie stellen nicht die tatsächliche Leistung von Apple Inc. oder einem realen KI-Produkt dar. Betrachten wir zwei synthetische KI-Produkte:

• Produkt A
• Produkt B

Für jedes Produkt:

• fünf Sprachen,
• 200 gültige synthetische Beobachtungen pro Sprache,
• eine Gesamtzahl von 1,000 Beobachtungen

werden angenommen. Diese gleichmäßige Sprachverteilung dient nur zur Demonstration der Methode. Sie stellt nicht die tatsächliche Bevölkerungssgewichtung GEO-1000 dar.

24.1. Sprachbasierte Bestehensraten

Der Durchschnitt der beiden Produkte ist derselbe. Ihre Verteilungen sind jedoch unterschiedlich.

Produkt A

Die Sprachergebnisse liegen nah beieinander. Der Unterschied zwischen der höchsten und niedrigsten Sprache beträgt 2 Punkte. Das Sprachminimum liegt bei 89%.

Produkt B

Erzielt sehr hohe Ergebnisse in drei Sprachen. Es gibt einen Rückgang in Japanisch und besonders in Arabisch. Der Unterschied zwischen der höchsten und niedrigsten Sprache beträgt 29 Punkte. Das Sprachminimum liegt bei 70%. Hinweis: „Beide erzielten 90“ zu sagen, verschleiert den wesentlichen Unterschied.

24.2. Verteilung des Antwortstatus

Die Bestehensquote der beiden Produkte liegt erneut bei 90%. Allerdings: Bei Produkt B ist die Anzahl der Kandidaten für kritische Fehler 14-mal höher. Bei Produkt B ist die unbekannte und unklare Masse höher. Ein größerer Teil der Ausfälle bei Produkt A ist auf teilweise fehlende Unterstützung zurückzuführen. Der Fehlerstau bei Produkt B ist höher. Dieselbe Bestehensquote führt nicht unbedingt zu demselben Fitnessergebnis.

24.3. Zeitwellen

Produkt A ist relativ stabil. Produkt B zeigt einen deutlichen Rückgang. Die Veröffentlichung nur des Durchschnitts der drei Wellen verschleiert die Verschlechterung bei Produkt B.

24.4. Synthetisches Ergebnis

Es könnte möglich sein, für Produkt A und Produkt B denselben Hauptwert zu veröffentlichen:

90

Aber NOMOS-Ergebnisblätter können nicht gleich sein.

Produkt A — Synthetisches Verteilungssignatur

Gesamtergebnis: hoch Sprachungleichheit: niedrig Kritischer Fehleranteil: niedrig, aber nicht null Unbekannte Masse: niedrig Zeitstabilität: hoch

Produkt B — Synthetische Verteilungssignatur

Gesamtergebnis: hoch Sprachungleichheit: hoch Kritischer Fehleranteil: erheblich Unbekannte Masse: höher Zeitstabilität: niedrig und abnehmend Daher lautet die synthetische Schlussfolgerung von Abschnitt 2 wie folgt:

Dass Produkt A und Produkt B denselben Durchschnittswert haben, zeigt nicht an, dass sie dieselbe Repräsentationsqualität besitzen.

25. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH02-N01

Ein GEO-Ergebnis kann nicht nur durch einen einzelnen Durchschnitt oder eine einzige Bestehensquote definiert werden.

CH02-N02

Jedes Verteilungsergebnis:

• die geprüfte Einheit,
• Zielpopulation,
• KI-Produkt- und Nutzeroberfläche,
• Land und Sprache,
• Die Prompt,
• die Wohnsitzbedingung,
• zur Zeit

sollte verbunden sein.

CH02-N03

Der globale Durchschnitt alleine kann Ungleichheiten innerhalb materieller Untergruppen nicht ausgleichen.

CH02-N04

Kritische und andere Fehlerergebnisse mit hoher Schwere sollten getrennt von der Gesamtfehlerrate gemeldet werden.

CH02-N05

UNKNOWN, keine Ergebnisse, abgelehnt, ungültig und NICHT GETESTET sollten voneinander unterschieden werden.

CH02-N06

Nicht gemessenes Land, Sprache, Produkt, Nutzeroberfläche oder Zeitraum kann nicht als Teil der positiven Verteilung angezeigt werden.

CH02-N07

Gewichte und Aggregationsregeln sollten vor der Ansicht der Ergebnisse definiert werden.

CH02-N08

Gewichtsänderungen nach Ergebnis sollten eine neue Analyseversion erstellen, und frühere Ergebnisse sollten erhalten bleiben.

CH02-N09

Verteilungen, die auf materiell unterschiedlichen Zielpopulationen, Nachfrage, Produkt, Zeit oder Bewertungskriterien basieren, können ohne Erklärung nicht direkt verglichen werden.

CH02-N10

Formale Sprachvariabilität kann nicht automatisch als Repräsentationsfehler gezählt werden.

CH02-N11

Materialidentität, Umfang, Zeit, Kompetenz oder Variabilität von Empfehlungen können ohne Rechtfertigung nicht als Stilunterschied klassifiziert werden.

CH02-N12

Allein hohe Stabilität ist kein Nachweis für Qualität; auch kontinuierlich falsche Ergebnisse sollten aufgezeichnet werden.

CH02-N13

Ein hoher Durchschnitt sollte, wenn er mit geringer Abdeckung einhergeht, öffentliche Ergebnisse mit Abdeckungsbegrenzung haben.

CH02-N14

Teilgruppenergebnisse sollten unter unzureichender Stichprobenerhebung und großer Unsicherheit nicht als endgültige Urteile über Länder oder Sprachen veröffentlicht werden.

CH02-N15

Ablehnungs- und technische Ausfallraten sollten als Teil der echten Nutzererfahrung beibehalten werden.

CH02-N16

Die einzige öffentlich zugängliche Punktzahl sollte mit der kanonischen Verteilungs- und Umfangsaufzeichnung verknüpft sein.

CH02-N17

Synthetische Verteilungen können nicht mit der Leistung eines echten KI-Produkts oder einer echten Einheit kombiniert werden.

CH02-N18

Der Verteilungsbericht sollte einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

26. FORMEN DES VERSAGENS

CH02-F01— DURCHSCHNITTLICHES DENKEN

Hoher globaler Durchschnitt wird angezeigt; Sprache, Land oder kritische Fehlerkorruption wird gespeichert.

CH02-F02— UNTERGRUPPE LÖSCHEN

Leistungsarme Gruppen werden aus dem Bericht entfernt oder als 'unbedeutend' erklärt.

CH02-F03— UMFANGSKARTE

Ergebnisse mit engem Umfang werden für die ganze Welt, alle Sprachen oder alle Produkte verwendet.

CH02-F04— SCHWEREGRADNORMALISIERUNG

Geringfügige Mängel und schwerwiegende Gesundheits- oder Lizenzierungsfehler werden innerhalb derselben Fehleranzahl kombiniert.

CH02-F05— VERSCHLEIERUNG DES VERFALLS MIT DEM ZEITLICHEN DURCHSCHNITT

Rückgang oder Schwankung wird nur mit dem Periodendurchschnitt unsichtbar gemacht.

CH02-F06— ANBETUNG DER STABILITÄT

Eine konsistente Antwort wird automatisch als korrekt angenommen.

CH02-F07— WORTWÖRTLICH GLEICHE ANTWORT-FALLZIE

Wörtliche Textübereinstimmung wird als Maß für Konsistenz verwendet, anstatt für semantische Korrektheit.

CH02-F08— KONTEXTUELLE DIFFERENZ ALS FEHLER ZÄHLEN

Unterschiede in angemessenen Empfehlungen basierend auf den tatsächlichen Bedürfnissen der Nutzer werden als willkürliche Variabilität markiert.

CH02-F09— WILLKÜRLICHE VARIABILITÄT ALS PERSONALISIERUNG ZÄHLEN

Materielle Widersprüche unter gleichen Nutzerbedingungen werden ohne Erklärung als „Personalisierung“ verteidigt.

CH02-F10— DEN NENNER ÄNDERN

Der Übergang nach dem Ergebnis wird unter abgeschlossenen, gültigen oder ausgewerteten Beobachtungsnennern vorgenommen, um das positive Ergebnis zu erhöhen.

CH02-F11— GEWICHTUNG NACH ERGEBNIS

Das Land, die Sprache oder Modellkoeffizienten, die die höchste Punktzahl ergeben, werden anschließend ausgewählt.

CH02-F12— INKONSISTENTE ZELLEN ZUSAMMENFÜHREN

Verschiedene Prompt-, Produkt-, Zeit- oder Panelbedingungen werden als eine einzige Verteilung dargestellt.

CH02-F13— LÖSCHEN VON ABLEHNUNGEN

Systemaufzeichnungen, die nicht reagiert haben, werden entfernt, um nur unter denen, die eine Antwort gegeben haben, hohe Genauigkeit zu erzeugen.

CH02-F14— DEFINITIVE BEWERTUNG AUS KLEINER ZELLE

Ein Länder- oder Sprachscore wird von einem oder mehreren Nutzern erstellt.

CH02-F15— DAS KRISETAIL VERSTECKEN

Seltene schwere Fehler gehen innerhalb der gesamten Bestehensrate verloren.

CH02-F16— EINZELSCOREBERICHT

Es wird nur der Hauptscore veröffentlicht, ohne den Umfang, Ungleichheit, Stabilität, Unsicherheit und schwere Fehler zu zeigen.

CH02-F17— ZÄHLUNG DER VERTEILUNG ALS „GLAUBE DER KI“

Beobachtete Oberflächenresultate der Nutzer werden dargestellt, als ob sie die unveränderliche und intrinsische Sichtweise der künstlichen Intelligenz wären.

CH02-F18— DAS ZÄHLEN DES UNMESSBAREN ALS NULLVARIANZ

Ungetestete Bereiche werden als glatt und stabil betrachtet.

27. PRÜFUNGSVERFAHREN

Ob ein GEO-Bericht die Verteilung ehrlich darstellt, sollte mit den folgenden Schritten geprüft werden.

Schritt 1– Erfassen Sie den öffentlichen Aussage

Beispiel: „Die globale NOMOS-Punktzahl der Marke beträgt 92.“ Der vollständige Satz und die Oberfläche, auf der er gefunden wird, werden aufgezeichnet.

Schritt 2— Zielverteilung definieren

Für welche Punktzahl:

• Nutzerschaft,
• KI-Produkten,
• Ländern,
• Sprachen,
• Zeitraum

wird sie angewendet?

Schritt 3— Messzellen extrahieren

Jede Materialkombination wird bestimmt:

• Produkt
• Land
• Sprache
• Panel
• Aufforderung
• Welle
• Nutzeroberfläche

Schritt 4— Nenner neu aufbauen

Zugewiesene Aufgaben, abgeschlossene Aufgaben, gültige Datensätze, beurteilte Datensätze und bestandene Antworten müssen als separate Zählungen gemeldet werden.

Schritt 5— Ergebnisstatus extrahieren

Nicht nur die Bestehensquote:

• teilweise,
• nicht unterstützt,
• widersprüchlich,
• alt,
• Kritisch

UNBEKANNT,

ablehnt, unklare Verteilung wird untersucht.

Schritt 6— Gewichte überprüfen

Gewichte:

• sind sie vordefiniert,
• welche Frage beantworten sie,

haben sie sich nach dem Ergebnis geändert?

Schritt 7— Untergruppenunterschiede untersuchen

Die beste Gruppe, die schwächste ausreichende Gruppe, Sprachunterschied, Länderunterschied, Produktunterschied und Panelunterschied werden bewertet.

Schritt 8— Umfang und Mängel überprüfen

Welche Bereiche wurden nicht gemessen? Welche Zellen sind unzureichend? Was sind die Gründe für die Defizienz? Könnten die fehlenden Daten systematisch sein?

Schritt 9— Bestimmung untersuchen

Die Veränderung zwischen Waves Sessions Users Interfaces wird bewertet.

Schritt 10— Warteschlangenrisiko prüfen

Kritische und andere schwerwiegende Fehler:

• Anzahl,
• deren Rate,
• Typ,
• Nutzereffekt

wird getrennt in Bezug auf bewertet

Schritt 11— Vergleichen Sie die öffentliche Zusammenfassung mit der Verteilung

Übermittelt die einzelne Zahl oder der Satz, der der Öffentlichkeit veröffentlicht wurde, genau die Richtung und das Risiko der vollständigen Verteilung?

Schritt 12— Ergebnis begrenzen

Die öffentliche Aussage ist nur auf das Niveau begrenzt, das durch die Verteilung und den Umfang getragen wird.

28. NOTWENDIGE NACHWEISE

Soweit relevant für eine repräsentative Verteilung oder einen globalen GEO-Score, sollten die folgenden Datensätze durchsucht werden:

• Geprüfter Eintrag des Unternehmens
• Definition der Zielpopulation
• Stichprobenrahmen
• KI-Produkt- und Nutzeroberflächen
• Länder- und Sprachzellen
• Prompt und Versionen
• Sitzungs- und Panel-Bedingungen
• Messwellen
• Zugewiesene Aufgabennummern
• Abgeschlossene Aufgaben
• Gültige und ungültige Datensätze
• Rohantworten
• Verteilung des Ergebnisstatus
• Entscheidungsaufzeichnungen
• Datensätze mit kritischen Fehlern
• Abgelehnte und unklare Datensätze
• UNKNOWN-Datensätze
• Gewichte
• Interessengruppen
• Ergebnisse von Untergruppen
• Stabilitätsergebnisse
• Außerhalb des Geltungsbereichs liegende Bereiche
• Berechnungen von Vertrauen oder Unsicherheit
• Öffentliches Berichtskartensystem
• Verantwortliche Person oder Institution
• Protokoll- und Analyseversion
• Änderungshistorie

29. PRÜFLISTE FÜR AUDITS

Ist die Zielpopulation der Verteilung klar? Sind die geprüften KI-Produkte und Nutzeroberflächen spezifiziert? Sind Land, Sprache, Prompt- und Zeitrahmen sichtbar? Werden die zur Berechnung der zusammengesetzten Punktzahl verwendeten Gewichtungen offengelegt? Ist der Nenner vollständig definiert? Werden ungültige Datensätze separat gemeldet? Werden Verweigerungen und unklare Ergebnisse aufbewahrt? Sind UNKNOWN und NICHT GETESTET unterschiedlich? Sind Teilergebnisse sichtbar? Wurden kleine Zellen mit übermäßiger Sicherheit interpretiert? Wurde die schwächste Materialgruppe beibehalten? Werden kritische Fehler separat gemeldet? Werden Messwellen separat angezeigt? Verschleiert der Durchschnitt Rückgänge oder Schwankungen? Wird ein rein formaler Unterschied von einem wesentlichen Bedeutungsunterschied unterschieden? Wurde kontextabhängige Variation in Empfehlungen korrekt klassifiziert? Wurden unterschiedliche Oberflächen desselben Anbieters ohne Erklärung zusammengeführt?

Wurden Bereiche außerhalb des Geltungsbereichs in das globale Ergebnis einbezogen? Wurden synthetische und reale Verteilungen getrennt? Spiegelt der der Öffentlichkeit präsentierte Satz die wahre Richtung der vollständigen Verteilung wider? Wenn eine der wesentlichen Fragen unbeantwortet bleibt, hat das Verteilungsergebnis nur begrenztes Vertrauen. Wenn mehr als eine unbeantwortet bleibt, sollte eine einzige globale Punktzahl nicht als endgültiges Urteil der Öffentlichkeit präsentiert werden.

30. EINWÄNDE UND ANTWORTEN

Einwand 1— „Die Öffentlichkeit möchte eine einzelne Zahl.“

Das ist korrekt. Eine einzelne Zahl kann die Kommunikation erleichtern. NOMOS lehnt eine einzelne Zahl nicht vollständig ab. Allerdings:

• Umfang,
• Kritischer Fehler,
• Untergruppenbasis,
• Zeit,
• Unsicherheit

muss mit der Information verbunden sein. Eine Zahl kann kurz sein. Sie kann die Wahrheit nicht verkürzen.

Einwand 2— „Kleine Sprachen senken unnötig die globale Punktzahl.“

Das globale Bevölkerungsgewicht kann eine kleine Sprache mit begrenztem Gewicht berücksichtigen. Allerdings kann eine starke Repräsentationsverzerrung in einer kleinen Sprache nicht unbeachtet bleiben, nur weil ihr Bevölkerungsanteil niedrig ist. Daher:

• bevölkerungsgewichtete Hauptbewertung,
• als Ergebnis der separaten Sprachfairness

Sie können zusammen veröffentlicht werden. Zwei Metriken beantworten unterschiedliche Fragen.

Einwand 3— 'Wenn es Personalisierung gibt, sind unterschiedliche Antworten normal.'

Einige Unterschiede können normal und korrekt sein. Allerdings:

• eine Unternehmensidentität,
• Lizenz,
• die aktuellen Preise,
• das tatsächliche Servicegebiet

sollten nicht willkürlich geändert werden. Personalisierung kann die angemessene Erklärung und Beratung des Nutzers beeinflussen. Sie ist keine Erlaubnis, eine wesentliche Tatsache zu erfinden.

Einwand 4— 'Warum sollte es ein Problem darstellen, wenn nicht die gleiche Antwort gegeben wird?'

Das Problem ist nicht der Wortunterschied. Das Problem ist die Veränderung der materiellen Realität. NOMOS sucht nicht nach exakter Textekualität, sondern nach bedingter semantischer Konsistenz.

Einwand 5— „Warum sollte es eine Rolle spielen, wenn ein kritischer Fehler nur einmal in 1,000 Antworten auftritt?“

Dieser Fehler kann in Bezug auf die Bevölkerungsprävalenz selten sein. Allerdings kann er hinsichtlich des Schadens schwerwiegend sein. Ein unkontrollierter Ausfall eines kritischen Systems in einem Flugzeug einmal in tausend Flügen wird nicht nur mit 0.1 Prozent bewertet. Im Kontext von GEO sollten Häufigkeit und Schaden auch separat betrachtet werden.

Einwand 6— „Wir können keine ausreichende Stichprobe für jedes kleine Land oder jede Sprache finden.“

Das ist richtig. Daher:

• globales Bevölkerungspanel,
• Country Observer-Panel,
• Language Fairness Panel

kann separat erstellt werden. Eine Einzelpersonenbeobachtung wird nicht zu einer Länderbewertung. Sie zeigt nur an, dass eine Beobachtung vorliegt. Der korrekte Status für eine unzureichende Stichprobe:

UNZUREICHENDE STICHPROBE

oder:

NICHT GESCHÄTZT

muss sein.

Einwand 7— "Diese Detailtiefe ist zu komplex, als dass der Kunde sie verstehen würde."

Es ist nicht notwendig, dass der Kunde alle Formeln auf der Hauptseite sieht. Die entscheidungsrelevanten Kernfakten dürfen jedoch nicht verborgen bleiben. Die kurze Ergebnisübersicht sollte die folgenden Fragen beantworten: Was ist das Gesamtergebnis? Was ist das schwerwiegendste Risiko? Welcher Bereich ist am schwächsten? Was wurde nicht getestet? Wie robust ist das Ergebnis? Zu welchem Datum gehört es? Komplexität muss gesteuert werden. Nicht eliminiert.

Einwand 8— "Wenn dasselbe Modell in allen Ländern verwendet wird, warum sollte es einen Länderunterschied geben?"

Die vom Nutzer wahrgenommene Ausgabe muss nicht ausschließlich aus dem reinen Modell bestehen. Länderspezifische Unterschiede umfassen:

• Produktzugang,
• Webressourcen,
• Locale,
• Sprache,
• Plan,
• Schnittstelle,
• Gesetzgebung,
• Personalisierung

Es kann dadurch entstehen. Ein Unterschied muss nicht auftreten. Ohne Messung kann jedoch kein Fehlen angenommen werden.

Einwand 9— „Zuverlässige Bewertung ist nicht möglich, da KI-Antworten variabel sind.“

Variabilität macht eine Messung nicht unmöglich. Im Gegenteil, sie ist eines der Merkmale, die gemessen werden müssen. Die Bewertung:

• spezifisches Datum,
• Umfang,
• Konfidenzintervall
• Stabilitätsinformationen

kann sinnvoll sein, solange sie dies trägt. Der Anspruch auf zeitlose Sicherheit ist jedoch nicht zu rechtfertigen.

Einwand 10— „Wenn sich der Prompt ändert, ändert sich die Verteilung vollständig.“

Das ist korrekt. Daher ist die Verteilung vom Prompt abhängig. GEO-1000 liefert nicht für alle möglichen Fragen die gleiche Antwort. Vordefiniert:

• Kernspiegel-Prompt,
• Diagnostisches Prompt-Register

Misst spezifische darstellende Bereiche. Die Prompt-Zusammensetzung wird in Abschnitt 10 definiert.

ALLGEMEINE REGEL VON ABSCHNITT 32

Dieser Abschnitt wurde nicht gegen eine einzelne Punktzahl verfasst. Er wurde verfasst unter der Annahme, dass eine einzelne Punktzahl allein die Gesamtheit der Realität darstellt. Menschen wollen Zahlen. Institutionen wollen Ranglisten. Gremien wollen eine einzige Zeile sehen. Der Markt könnte fragen: „Was ist Ihre NOMOS-Punktzahl?“ Diese Frage ist legitim. Aber die Antwort kann nicht nur lauten: „90.“ Denn hinter 90 können beliebige der folgenden Realitäten existieren:

• Konsistente Genauigkeit über alle Sprachen hinweg
• 99 in einigen Sprachen, 45 in anderen
• Hoher Durchschnitt, aber schwerwiegender kritischer Fehler
• Hohe Genauigkeit, aber geringe Abdeckung
• Hohe Sofortergebnisse, aber schneller Rückgang
• Erfolg nur bei einfachen Prompts
• Hohe Rate nur unter bewertbaren Antworten
• Annahme ungetesteter Länder positiv
• Kombination ausgewählter KI-Produkte

Der Wert einer Punktzahl wird durch die Sichtbarkeit der zugrunde liegenden Verteilung gebildet. Wenn die Verteilung nicht sichtbar ist, erzeugt die Punktzahl kein Vertrauen. Sie erzeugt nur den Anschein von Sicherheit. Daher lautet das zweite Messgesetz von NOMOS wie folgt:

ein GEO-Score kann eine Zusammenfassung der Verteilung sein. / Er kann die Verteilung nicht ersetzen.

Sein drittes Gesetz lautet:

ein hoher Durchschnitt beseitigt nicht die Frage, wer schlecht vertreten ist.

Das vierte Gesetz lautet wie folgt:

Ein seltener schwerwiegender Fehler ist nicht unbedeutend, nur weil er selten ist.

Das fünfte Gesetz lautet wie folgt:

Das ungetestete Feld ist nicht die positive Seite der Verteilung; es ist die unbekannte Grenze.

Befehl 2 von NOMOS

Zeig mir nicht nur den Durchschnitt.

Zeig, wer unter dem Durchschnitt liegt.

Verstecke nicht deine schlechteste Sprache, während du deine beste Sprache zeigst.

Benutze nicht das Gewicht großer Länder, um die Existenz kleiner Länder zu löschen.

Schicke nicht eine Person in ein kleines Land und kündige dann eine endgültige Punktzahl für dieses Land an.

Verharmlose nicht einen schweren Fehler, nur weil er in einer Antwort verborgen ist, die zu 99 Prozent korrekt ist.

Erkläre nicht nur deshalb einen Fehler, weil die Formulierung einer Antwort sich geändert hat. / Aber wenn sich die zugrunde liegende Realität ändert, lehne sie nicht einfach als bloßen stilistischen Unterschied ab.

Werfe Ablehnungen, Unbekannte und Ungeprüfte nicht aus der Verteilung hinaus.

Ändere das Gewicht, den Anteil oder den Umfang nicht, nachdem du das Ergebnis gesehen hast.

Erzeuge eine Zahl. / Mache aber die Länder, Sprachen, Nutzer, Zeiten und Fehler hinter der Zahl nicht unsichtbar.

Denn die Repräsentation eines Objekts ist kein durchschnittlicher Satz. / Sie ist eine Verteilung der verschiedenen Realitäten, die von unterschiedlichen Menschen erlebt werden.

Der abschließende Satz des Kapitels

Das Messobjekt von GEO ist nicht eine einzelne Antwort oder eine einzelne Durchschnittspunktzahl einer künstlichen Intelligenz; es ist die Gesamtheit der repräsentativen Ergebnisse, die in einer definierten Nutzerpopulation unter definierten Bedingungen erzeugt wurden.

Normativer Kern

Die Repräsentation einer Entität in generativen Systemen MUSS als bedingte Verteilung beobachtbarer Ergebnisse über definierte: - KI-Produkte und Nutzeroberflächen, - Nutzer oder Stichprobeneinheiten, - Länder, - Sprachen und Regionen, - Sitzungs- und Personalisierungszustände, - Prompts, - und Messzeiten behandelt werden. Ein einzelner aggregierter Wert DARF die Offenlegung von: - Umfang und Abdeckung, - Ergebnisverteilung, - Untergruppenvariationen, - Vorkommen kritischer Fehler, - unbekannter und nicht getesteter Masse, - zeitlicher Stabilität, - Gewichtungsregeln, - und Unsicherheit NICHT ersetzen. Gleiche Durchschnitte DÜRFEN NICHT als gleichwertige Repräsentationsqualität interpretiert werden, wenn ihre Untergruppen-, Schwere-, Abdeckungs- oder Stabilitätsverteilungen sich wesentlich unterscheiden. Ungetestete Gruppen DÜRFEN NICHT als konform eingeordnet werden, und seltene, schädliche Ergebnisse MÜSSEN weiterhin getrennt von der durchschnittlichen Leistung sichtbar bleiben.