Panels für Länderbeobachtung und Sprachgerechtigkeit

Kapitelgrenze

Abschnitt 5 hat die folgende Bestimmung eingeführt:

Für jedes KI-Produkt muss eine produktberechtigte Nutzerpopulation separat definiert werden.

Abschnitt 6 hat diese Population in Stichproben umgewandelt:

Das Haupt-Populationspanel sollte vor der Einsichtnahme in die Ergebnisse vorab festgelegte Auswahlwahrscheinlichkeiten und Gewichte für Personen in der Zielpopulation bereitstellen.

Jetzt müssen wir zwei verschiedene Fairness-Probleme lösen. Das erste Problem:

Populationsgewichtung kann sehr kleine Länder in der Hauptstichprobe unsichtbar machen.

Das zweite Problem:

Der globale Populationsdurchschnitt kann schwerwiegende Verzerrungen in der Repräsentation bei Sprachen mit geringen Ressourcen oder kleiner Bevölkerung verbergen.

Eine reine Populationsstichprobe ist stark, um die durchschnittliche menschliche Erfahrung in der Weltbevölkerung zu messen. Jedoch kann dieselbe Stichprobe:

• jedes Land nicht einzeln beobachten,
• nicht genügend Stichproben für jede Sprache liefern.
• kann für kleine Länder keine Länderbewertung erstellen,

erfasst möglicherweise seltene, aber substanziell wichtige Fehler in ressourcenarmen Sprachen nicht. Daher kann GEO-1000 nicht nur aus einem einzelnen Panel bestehen. Neben dem Hauptbevölkerungs-Panel werden zwei ergänzende Strukturen benötigt:

Land Beobachterpanel

Kanonsiche Panelbezeichnung:

Land Beobachterpanel

und:

Language Fairness Panel

Kanonsiche Panelbezeichnung:

Language Fairness Panel

Das Länderbeobachter-Panel beantwortet die folgende Frage:

In Ländern, die im Hauptbevölkerungs-Panel unterrepräsentiert sind, gibt es mindestens echte Nutzerbeobachtungen, Zugangsüberprüfungen oder frühe Risikosignale?

Das Sprachgerechtigkeits-Panel beantwortet hingegen die folgende Frage:

Selbst wenn der globale Durchschnitt hoch erscheint, werden Nutzer in bestimmten Sprachen fehlerhafter, unvollständiger oder riskanter vertreten?

Diese beiden Panels ersetzen nicht das Haupt-Panel zur Bevölkerung. Sie ergänzen es. Einer Beobachtung eines Landes durch einen Länderbeobachter eine Beobachtung zu geben, misst nicht die Punktzahl dieses Landes. Eine Sprache übermäßig zu stichprobenartig zu erfassen, macht diese Sprache nicht in der Weltbevölkerung größer. Die Aufgabe dieses Abschnitts ist:

• Sichtbarkeit des Landes versus Bevölkerungsgewicht,
• den globalen Durchschnitt von Sprachgerechtigkeit zu trennen,
• Bevölkerungsschätzung von Frühwarnung zu trennen,
• statistische Hinreichendheit vom Beobachtungsumfang zu trennen

voneinander. Dieser Abschnitt hat noch nicht:

• definiert, wie Aufforderungen in allen Sprachen übersetzt werden sollten,
• den Rückübersetzungs- und semantischen Äquivalenztest,
• das detaillierte Auswahlverfahren der Teilnehmenden,
• wie atomare Behauptungen von Schiedsrichtern bewertet werden,
• die endgültigen Konformitätsschwellen

genau. Diese Fragen werden in den folgenden Abschnitten weiter geregelt. Die grundlegende Frage des Abschnitts 7 lautet:

Wie messen wir, während wir eine globale Punktzahl erzeugen, ohne kleine Länder und Sprachen künstlich zu überbewerten, aber auch ohne sie völlig unsichtbar zu lassen?

NOMOS Herausforderung

Sie richten ein 1,000-Personen-Populationspanel für ein KI-Produkt ein. Als Ergebnis einer populationsproportionalen Stichprobe:

• hunderte von Nutzern aus einigen wenigen großen Ländern,
• dutzende von Nutzern aus einigen mittelgroßen Ländern,
• keine Nutzer aus den meisten kleinen Ländern

kamen. Globale Punktzahl:

94

Es wurde so berechnet. Dann sagten Sie: 'Dieses KI-Produkt repräsentiert die Marke weltweit mit 94 Prozent Genauigkeit.' Es gibt jedoch nicht eine einzige echte Nutzerbeobachtung in 70 kleinen Ländern. Diese Länder mögen einen kleinen Teil der Weltbevölkerung ausmachen. Dennoch bleiben die folgenden Fragen unbeantwortet: Ist das Produkt wirklich zugänglich? Funktioniert die Absicht in der richtigen Sprache? Verwechselt das System das Land mit einem anderen Land? Wird das lokale Unternehmen mit der globalen Marke verwechselt? Sind Preis, Service und rechtlicher Kontext falsch? Versagt das System bei der Antwort? Gibt es kritische Fehler mit geringer Häufigkeit? Der globale Bevölkerungsscore beantwortet diese Fragen nicht. Stellen Sie sich nun vor, dass Sie eine Person zu jedem Land hinzugefügt haben. Sie haben 70 zusätzliche Beobachtungen erhalten.

Sie haben jedes dieser Länder mit einem Gewicht von 1/1,070 zur Hauptwertung hinzugefügt, wodurch kleine Länder viele Male größer dargestellt wurden als ihr tatsächlicher Bevölkerungsanteil. Die geografische Sichtbarkeit nahm zu, aber die Bevölkerungsschätzung wurde verzerrt. Dann erhielt ein Nutzer in einem Land eine falsche Antwort, und Sie erklärten: ‚Die GEO-Wertung dieses Landes ist null.‘ Die Antwort einer Person ist keine Länderwertung. Es ist ein einzelnes Ereignis, das unter bestimmten Bedingungen in diesem Land beobachtet wurde. Betrachten wir nun die Sprache. Das englische Ergebnis beträgt 98 Prozent, das deutsche 96 Prozent und das türkische 91 Prozent. Eine Sprache mit geringen Ressourcen hat nur acht Nutzer und ein Roh-Ergebnis von 50 Prozent. Sie sagen: ‚Acht Personen sind nicht genug; entfernen Sie die Sprache aus dem Bericht.‘ Die globale Wertung steigt, aber die Erfahrung der Nutzer in dieser Sprache verschwindet.

In einem anderen Ansatz geben Sie einer weiteren 200 Nutzer einer ressourcenarmen Sprache. Der rohe Stichprobenmittelwert sinkt. Dann sagen Sie: "Der globale Wert fiel auf 84." Die tatsächliche Bevölkerungsanteil der Sprache kann jedoch 2 Prozent betragen. Oversampling erhöht die statistische Aussagekraft. Es erhöht nicht das Bevölkerungsgewicht. Die erste Regel dieses Abschnitts lautet wie folgt:

Beobachtet zu werden ist nicht dasselbe wie Gewicht zu haben.

Ihre zweite Bestimmung lautet:

Eine einzige Länderbeobachtung ist kein Länderwert.

Seine dritte Bestimmung besagt:

Sprachliche Fairness bedeutet nicht, allen Sprachen im globalen Wert gleiches Gewicht zu geben.

Seine vierte Bestimmung besagt:

Ein hoher globaler Durchschnitt beseitigt keine schwere Verschlechterung in einer bestimmten Sprache.

Seine fünfte Vorschrift lautet:

Zusätzliche Beobachtungen, die zur Erhöhung der Abdeckung genommen wurden, können ohne Neugewichtung nach der tatsächlichen Bevölkerung nicht zum Hauptwert hinzugefügt werden.

1. ZWECK DES KAPITELS

Zweck dieses Abschnitts ist es, ergänzende Panels zu erstellen, die die Sichtbarkeit von Ländern und Sprachen erhöhen, ohne die statistische Bevölkerungsrepräsentation des Haupt-Populationspanels zu beeinträchtigen. Der Abschnitt normalisiert die folgenden Unterscheidungen:

• Geografische Sichtbarkeit mit Bevölkerungsgewicht
• Länderbeobachtung mit Länderscore
• Einzelereigniserkennung mit Prävalenzschätzung
• Haupt-Populationspanel mit Länderbeobachterpanel
• Länderbeobachterpanel mit länderspezifischer Validierungsstudie
• Länderdeckung mit Bevölkerungsdeckung
• Abdeckung der Anzahl der Sprachen mit Sprachbevölkerungsdeckung
• Sprachliche Fairness mit gleicher globaler Gewichtung der Sprachen
• Globaler Sprachanteil mit übermäßiger Stichprobe
• Muttersprache und Prompt-Sprache
• Sprache und Gebietsschema
• Sprache und Schriftsystem
• Unterstützte Sprache und Sprache, die allein Antworten erzeugen kann
• Fehler bei der Prompt-Übersetzung und Sprachfehler des KI-Systems
• Ressourcenmangel und KI-Repräsentationsdefekt
• Unzureichende Schiedsrichter und Produktfehler
• Legitimer lokaler Unterschied und ungerechte Sprachungleichheit
• Globaler Durchschnitt und Untergruppenbasis
• Länderverfügbarkeitsabdeckung und Genauigkeit der Länderrepräsentation
• Beobachteralarm und endgültige Konformitätsentscheidung
• Einzelwellen-Überwachungszyklus mit mehrwellengeografischer Abdeckung

Am Ende dieses Abschnitts sollte jedes GEO-1000-Audit in der Lage sein, klare Antworten auf die folgenden Fragen zu geben:

In welchen Ländern gibt es mindestens eine tatsächliche Beobachtung?

In welchen Ländern gibt es nur Frühwarnbeobachtungen und in welchen gibt es statistische Vorhersagen?

Welche Sprachen wurden gemessen, welche erreichten eine ausreichende Stichprobe und welche wurden nicht getestet?

Wenn Sprachen mit geringen Ressourcen übermäßig beprobt wurden, wie wurde dies im globalen Score neu gewichtet?

Liegt die Ursache eines schlechten Ergebnisses in einer Sprache wirklich an KI-generierten Inhalten, oder ist sie auf Probleme mit dem Prompt, den Ressourcen, dem Standort oder der Bewertung zurückzuführen?

2. ZENTRALE NORMATIVE BESTIMMUNG

GEO-1000 sollte die Hauptbevölkerungsschätzung mit dem Bevölkerungs-Panel verwalten; die Beobachtung kleiner Länder mit dem Länder-Beobachter-Panel; Sprachungleichheit und die Identifizierung von Sprachen mit geringen Ressourcen separat mit dem Sprachgerechtigkeits-Panel.

Diese drei Strukturen:

• unterscheiden sich in den Zwecken,
• in Stichprobenzielen unterscheiden,
• unterscheiden sich in den Gewichten,
• in öffentlichen Aussagen unterscheiden

haben. Eine Beobachtung aus einem Panel kann ohne Erklärung nicht in die Bedeutung eines anderen Panels umgewandelt werden. Die Standardstruktur:

3. WAS IST DAS Country Observer PANEL?

Country Observer Panel in Ländern, die in der Hauptbevölkerungsumfrage unterrepräsentiert oder nicht ausreichend vertreten sind:

• Produktzugang,
• Anwendbarkeit der Aufforderung
• Grundlegende Entitätsanalyse,
• Sprach- und Gebietsschema-Verhalten,
• Frühes kritisches Fehlersignal

ist ein ergänzendes Prüfpanel, das eingerichtet wurde, um zu beobachten. Die Hauptaufgabe des Länderbeobachterpanels besteht nicht darin, eine Punktzahl zu erzeugen.

Es soll das unsichtbare Land zum ersten Mal sichtbar machen.

Eine Beobachtung durch einen Länderbeobachter kann zeigen: „In dem angegebenen Land, unter dem angegebenen KI-Produkt, der Nutzeroberfläche, Sprache und Zeitbedingung wurde dieses Ergebnis mindestens einmal beobachtet.“ Sie kann nicht zeigen: „X% der Nutzer in diesem Land sehen dasselbe Ergebnis."

4. Länderbeobachter-EINHEIT

Die grundlegende Beobachtungseinheit des Länderbeobachterpanels ist nicht nur das Land. Die bevorzugte Einheit:

S_{c,a,l,s,w}

wobei:

• c: Land oder Rechtsordnung
• a: KI-Produkt und Nutzeroberfläche
• l: Sprache, Schriftsystem und Gebietsschema
• s: Sitzungs- oder Planbedingung
• w: Messwelle

Diese Unterscheidung ist notwendig. Im selben Land:

• mehr als eine Sprache,
• verschiedene Pläne,
• Web- und Mobiloberflächen,
• unterschiedliche rechtliche oder technische Zugangsbedingungen

können existieren. Das Hinzufügen eines Nutzers zu einem Land bedeutet nicht, dass alle Sprach- und Nutzeroberflächen des Landes überwacht werden.

5. AUFGABEN DES Land-Beobachter-PANELS

5.1. Zugangsprüfung

Obwohl das Produkt im Land in der offiziellen Registrierung verfügbar zu sein scheint, kann der tatsächliche Nutzer:

• nicht in der Lage sein, sich anzumelden,
• nicht in der Lage sein, die angegebene Oberfläche zu erreichen,

auf ein Planungs- oder Verifikationshindernis stoßen. Die Beobachtung durch den Länderbeobachter testet das offizielle Zugriffsprotokoll auf Feldebene.

5.2. Grundlegende Identitätsprüfung

KI-Produktüberwachungsstelle:

• das richtige Unternehmen,
• die richtige Marke,
• korrekte Länderbeziehung

Kann es intern analysieren?

5.3. Erkennung von Standortabweichungen

In verschiedenen Länder-Lokalisierungen in derselben Sprache:

• Preis,
• Unternehmen,
• Dienstleistung,
• Gesetz,
• Ratschläge

Verändert es sich? Wenn es sich verändert, kann dieser Unterschied finanziell sein und erklärbar?

5.4. Niedrigfrequentes schweres Fehlersignal

Bei der Reaktion eines einzelnen Beobachters:

• falsche Lizenz,
• falsche juristische Einheit,
• gelbe gefährliche Gesundheits- oder Sicherheitsinformationen,
• starke Identitätsfusion

Es kann beobachtet werden. Ein einzelnes Ereignis zeigt nicht die Verbreitung im Land an. Es kann jedoch eine Überprüfungsarbeit auslösen.

5.5. Neue Forschungshypothese

Das Beobachtergremium könnte die Frage aufwerfen: 'Handelt es sich bei diesem Ereignis um ein einmaliges Ereignis oder ist es ein wiederkehrendes Muster unter den Nutzern im Land?' Diese Frage wird mit einer gezielten zusätzlichen Stichprobe getestet.

5.6. Geographischer Umfangsbericht

Es zeigt, in wie vielen geeigneten Ländern das Produkt reale Nutzerbeobachtungen hat. Dies ist nicht die Anzahl der Länderscores. Es ist die Beobachtungsabdeckung.

6. DINGE, DIE DAS Country Observer PANEL NICHT TUN KANN

Allein das Country Observer Panel:

• zuverlässiger Länderscore,
• Landesbevölkerungsrate,
• Länderrangliste,
• landesspezifische Konformitätsentscheidung,
• länderbasierte Modellüberlegenheit

kann nicht erstellt werden. Wenn es nur einen Beobachter in einem Land gibt und die Antwort korrekt ist: 'Der Länderscore ist 100' kann nicht gesagt werden. Wenn sie falsch ist: 'Der Länderscore ist null' kann nicht gesagt werden. Richtiger Status:

BEOBACHTET_PASS

Beobachtetes Problem

BEOBACHTETER_KRITISCHER_KANDIDAT

ZUGRIFFSFEHLER

NICHT_AUSREICHEND_FÜR_LÄNDER_SCHÄTZUNG

sind Beobachtungsaufzeichnungen.

7. ZULÄSSIGES_LÄNDERREGISTER

Ein Zulässiges Länderregister sollte für jedes KI-Produkt erstellt werden. Jedes Land kann einen der folgenden Status haben:

CE-0— UNBEKANNT

Der Produkt- und Audit-Zugriffsstatus konnte nicht bestimmt werden.

CE-1— AUSSERHALB Natürliche Reichweite

Das Produkt bleibt außerhalb des offiziellen oder legitimen Einsatzbereichs. Es wird nicht für die Genauigkeitsbewertung der Länderrepräsentation berücksichtigt. Es wird als Zugangsspielraumlücke dargestellt.

CE-2— EINGESCHRÄNKTER ODER SONDERVERZUGRIFF

Nur:

• Institution,
• Einladung,
• Plan,
• Gerät,
• Nutzertyp

Zugriff ist verfügbar. Ein separates Panel kann erforderlich sein.

CE-3— BERECHTIGT FÜR Beobachtung durch Landesbeobachter

Das Produkt ist für die Beobachtung durch den Landesbeobachter in Bezug auf die relevante Nutzeroberfläche und mindestens eine Prüfsprache geeignet.

CE-4— BERECHTIGT FÜR BEVÖLKERUNGSSCHÄTZUNG

Es hat einen produktberechtigten Bevölkerungsanteil im Hauptbevölkerungs-Panel des Landes.

CE-5— BERECHTIGT FÜR LANDESWEITE SCHÄTZUNG

Eine Landesbewertung kann unter ausreichender Stichprobe, effektiver Stichprobe, Sprachabdeckung und Qualitätsbedingungen erstellt werden. Ein Land kann CE-3 sein, aber nicht CE-5. Dies bedeutet, dass das Land beobachtet wird, aber kein verlässlicher Landeswert erstellt werden konnte.

8. DIE LEITER ZWISCHEN Beobachtung durch Landesbeobachter UND LANDESWEITER SCHÄTZUNG

CS-0— NICHT BEOBACHTET

Es gibt keine gültige Country Observer-Beobachtung für das berechtigte Land.

CS-1— EINZELNE Country Observer-Beobachtung

Es gibt eine gültige Länder–Produkt–Sprach-Beobachtung. Erzeugt nur einen Ereigniseintrag.

CS-2— WIEDERHOLTE Country Observer-Beobachtung

Es gibt mehrere Beobachtungen aus verschiedenen Wellen oder von verschiedenen Nutzern. Kann ein Musterverdacht aufwerfen. Nicht ausreichend für die Länderbewertung.

CS-3— EXPLORATIVE LÄNDERSTICHPROBE

Die explorative Stichprobenbandbreite im Abschnitt 6 wurde erreicht. Ein exploratives Ergebnis kann mit großer Unsicherheit angegeben werden.

CS-4— VORLÄUFIGE LÄNDERSCHÄTZUNG

Eine vorläufige Länderschätzung kann mit ausreichender und ausgewogener Stichprobe erstellt werden.

CS-5— KANDIDAT FÜR LÄNDERSCHÄTZUNG

Ausreichende aktive Stichprobe, Abdeckung der Sprache/Region, wiederholte Wellen und Qualitätskontrollen sind vorhanden. Es kann ein Kandidat für die Länderbewertung sein. Exakte Schwellenwerte sollten mit einem Pilotversuch und einer externen Überprüfung kalibriert werden.

9. BEOBACHTERZYKLUS

Es ist möglicherweise nicht möglich, jede Welle in allen berechtigten Ländern hinsichtlich Kosten und Betrieb zu beobachten. Daher kann der Beobachterzyklus verwendet werden. Messwellen:

w=1,2,…,K

und berechtigte Länder: sei c∈CS. Zuweisung eines Beobachters für Land c in Welle w:

z_{c,w}= 1(wenn das Land in der Welle beobachtet wird); andernfalls z_{c,w}= 0

kann wie folgt repräsentiert werden. Grundbedingung für den Zyklus:

\sum_{w=1}^K z_{c,w}\geq 1

muss erfüllt sein. Das heißt, jedes berechtigte Land sollte mindestens einmal innerhalb des definierten Überwachungszyklus beobachtet werden. Diese Bestimmung:

• bedeutet nicht, dass jedes Land in jeder Welle beobachtet wird,
• oder dass eine einzelne Beobachtung die Punktzahl des Landes darstellt

Keine der Bedingungen folgt aus der Zyklusanforderung.

10. BEOBACHTER-FREQUENZKLASSEN

Länder können in vordefinierte Frequenzklassen eingeteilt werden.

SF-0— AUSSERHALB DER REICHWEITE

Kein Produktzugang. Es wird keine nutzer-repräsentative Beobachtung durchgeführt. Der Zugangsstatus wird überwacht.

SF-1— EINMAL PRO ÜBERWACHUNGSZYKLUS

Länder mit geringem Risiko, kleine Länder oder Länder, die bereits ausreichende indirekte Abdeckung im Population Panel haben.

SF-2— PERIODISCHER BEOBACHTER

Wird in regelmäßigen Abständen erneut beobachtet.

SF-3— JEDER HAUPTWELLE

Kann aus folgenden Gründen in jeder Hauptwelle beobachtet werden:

• hohe Nutzerzahl,
• materieller Zielmarkt,
• frühere schwerwiegende Fehler,
• schneller Zugang oder regulatorische Änderungen,

Hochrisikodienstleistungsbereich.

SF-4— VORFALLSÜBERWACHUNG

Intensivierte Beobachtung aufgrund eines verifizierten kritischen Ereignisses oder kontinuierlicher Repräsentationsstörung. Die Frequenzklasse kann nach Überprüfung der Ergebnisse nicht rückwirkend geändert werden. Ein neues Ereignis kann eine neue Version für die nächste Welle erzeugen.

11. BEOBACHTERPRIORITÄT

Die Häufigkeit der Aktivität eines Landesbeobachters sollte nicht ausschließlich anhand der Bevölkerung bestimmt werden. Gegebenenfalls können die folgenden Bereiche berücksichtigt werden:

• Produktberechtigte Bevölkerung
• Die tatsächliche Service- oder Marktabdeckung der Einheit
• Frühere fehlerhafte Repräsentationsaufzeichnungen
• Nutzerauswirkungen mit hohem Risiko
• Änderungen im Produktzugang
• Einzigartigkeit von Sprache und Gebietsschema
• Verwendung von Sprachen mit geringen Ressourcen
• Rechtliche oder operative Unterschiede
• Verstrichene Zeit seit der letzten Beobachtung

Diese Felder müssen gemäß der vordefinierten Governance-Regel verwendet werden. Der Ansatz „Das Ergebnis dieses Landes ist schlecht, wir messen weniger.“ ist verboten.

12. Länderbeobachter-ABDECKUNGSMETRIKEN

Die Länderabdeckung ist keine einzelne Zahl. Es müssen mindestens drei separate Metriken verwendet werden.

12.1. Länderbeobachtungsabdeckung

Der Anteil der berechtigten Länder mit mindestens einem gültigen Beobachter oder einer Bevölkerungsbeobachtung.

COC_count= |{c ∈ C_S: n_c^obs > 0}| / |C_S|

Diese Metrik zeigt die Abdeckung in Bezug auf die Anzahl der Länder.

12.2. Bevölkerungsgewichtete Länderbeobachtungsabdeckung

Der Anteil der berechtigten Bevölkerung in Ländern mit mindestens einer gültigen Beobachtung an der gesamten Zielbevölkerung.

COC_pop= [Σ_{c:n_c^obs>0} N_c] / [Σ_{c∈C_S} N_c]

Diese Kennzahl zeigt, ob große Bevölkerungen beobachtet werden.

12.3. Länderprognoseabdeckung

Es ist der Anteil der Länder, die eine ausreichende Länderstichprobe erreichen.

CEC= |{c: n_{c,eff}≥ m_c}| / |C_S|

Hierbei ist mc der vordefinierte Angemessenheitsschwellenwert für die Länderprognose. Eine Prüfung:

• 100 Prozent Länderbeobachtungsabdeckung,
• 99 Prozent Bevölkerungsbeobachtungsabdeckung,
• kann nur 10 Prozent Länderprognoseabdeckung haben

Diese Ergebnisse können nicht ineinander umgerechnet werden.

13. BEOBACHTERALARM

Wenn in der Beobachtung eines Beobachters ein materielles Problem gefunden wird, wird ein Beobachter-Alarm erstellt. Arten von Alarmen:

SA-1— ZUGRIFFSANOMALIE

Der offizielle Zugriffsdatensatz steht im Widerspruch zum tatsächlichen Nutzerzugriff.

SA-2— ENTITÄTSANOMALIE

Die Entität fusioniert mit einem anderen Unternehmen, Produkt oder Ländereinsatz.

SA-3— SPRACH- ODER LOKALISATIONSANOMALIE

Falsche Sprache, falscher Landeskontext oder offensichtliche Abweichung der Lokalisierung tritt auf.

SA-4— MATERIELLE FAKTENANOMALIE

Der materielle Preis, der Service, die Kapazität, die Partnerschaft oder die Zeit ist falsch.

SA-5— KANDIDAT FÜR KRITISCHES EREIGNIS

Gesundheit, Recht, Finanzen, Sicherheit, Lizenzierung oder schwerwiegender Identitätsfehler liegt vor.

SA-6— REFERENZ- ODER PROMPTANOMALIE

Die Quelle des Problems ist nicht die KI-Antwort:

• Prompt,
• Übersetzung,
• offizielle Quelle,
• Beurteilung

könnte schuld sein. Der Alarm ist kein automatischer Länderfehler. Es ist der Beginn der Überprüfung und Eskalation.

14. BEOBACHTER-ESKALATIONSPROTOKOLL

Schritt 1— Gültigkeitsüberprüfung

Entspricht die Beobachtung wirklich dem Protokoll? Richtiges Land Richtiges Produkt Richtiger Prompt Richtige Sprache Erste geeignete Ausgabe Vollständige Evidenzkontrolle.

Schritt 2— Neu-Codierung des Vorfalls

Problem:

• KI-Produkt,
• Referenzdatensatz,
• Prompt,
• Teilnehmer,
• Zugang

Zu welcher der Quellen könnte es gehören?

Schritt 3— Unabhängige Wiederholung

Vor der Auswahl des Ergebnisses wird die Überprüfung mit vordefinierten neuen Nutzern oder Sitzungen durchgeführt.

Schritt 4— Gezielte Stichprobennahme

Wenn das Ereignis anhält, kann eine länderspezifische Stichprobennahme angewendet werden. Stichprobengröße:

• Ereignisschwere,
• erwartete Prävalenz,
• Bevölkerung des Landes,
• Sprachvielfalt

sind im Voraus festgelegt.

Schritt 5— Entscheidungsabgrenzung

Die folgenden Ergebnisse werden getrennt gehalten:

• Ein einzelnes verifiziertes Ereignis
• Wiederholtes Muster
• Landesrate
• Kritischer Eignungseffekt

Ein einzelnes kritisches Ereignis kann die Konformitätsprüfung beeinflussen, auch ohne eine Schätzung der Prävalenz.

15. WAS IST SPRACHGERECHTIGKEIT?

Sprachgerechtigkeit:

Es geht nicht darum, dass alle Sprachen genau dieselbe wortwörtliche Antwort erhalten.

Es bedeutet:

Bei semantisch gleichwertigen und materiell vergleichbaren Nutzerfragen sollten Nutzer, abgesehen von tatsächlichen lokalen Unterschieden, nicht systematisch Repräsentationen erhalten, die aufgrund ihrer Sprache falscher, unvollständiger, weniger belegt oder riskanter sind.

Sprachfairness strebt diese Gleichheit nicht an:

R_Turkish= R_English= R_Japanese

Wort für Wort. Es sucht nach Folgendem:

Vergleichbare Repräsentation in Bezug auf Identität, materielle Realität, Grenze, Zeit, Quellenstatus und Nutzergeeignetheit.

16. SPRACHUNTERSCHIED IST NICHT IMMER UNFAIRNESS

Sprachliche Ergebnisse können aus folgenden Gründen legitim variieren: Der Umfang lokaler Dienstleistungen ist unterschiedlich. Preise und Vertragsbedingungen variieren je nach Land. Rechtliches Wissen hängt von der Gerichtsbarkeit ab. Die Absicht des Nutzers ist unterschiedlich. Eingaben sind nicht semantisch identisch. Offizielle Quellen enthalten in verschiedenen Sprachen unterschiedliche Inhalte. Das KI-Produkt unterstützt die betreffende Sprache nicht offiziell. Jede dieser Unterschiede sollte dokumentiert werden. Erklärbare lokale Unterschiede sollten nicht als Ungerechtigkeit bezeichnet werden. Auch wenn die Realität dieselbe ist, gilt in einer Sprache mit begrenzten Ressourcen:

• Die Unternehmensidentität ist beschädigt,
• Grenzen werden entfernt,
• die falsche Lizenz wurde hinzugefügt,
• Die Antwort wird ständig in einer anderen Sprache gegeben

Es könnte ein sprachbasiertes Repräsentationsproblem sein.

17. SPRACHEINHEIT

Bei der Sprachbewertung kann allein der allgemeine Sprachname nicht ausreichen. Die bevorzugte Spracheinheit:

L=(λ,σ,ℓ,d)

und kann betrachtet werden als. Hier:

• λ: Sprache
• σ: Schriftsystem
• ℓ: Gebietsschema oder Länderkontext
• d: Aufgabe oder Domäne

Zum Beispiel dieselbe Sprache:

• in einem anderen Schriftsystem,
• in einem anderen Land,
• im Rechts- oder Gesundheitswesen

kann eine separate Messeinheit erfordern. Nicht alle Nutzer einer Sprache bilden eine einzige homogene Gruppe.

18. SPRACHSUPPORT-STATUSES

Jedes KI-Produkt kann einen der folgenden Status für Sprache und Nutzeroberfläche verwenden:

LS-0— UNBEKANNT

Support-Status konnte nicht ermittelt werden.

LS-1— NICHT UNTERSTÜTZT

Das Produkt unterstützt die betreffende Sprache offiziell nicht. Es wird nicht innerhalb der Hauptbewertung für unterstützte Sprachen bewertet. Experimentelle Tests können durchgeführt werden.

LS-2— BEOBACHTET, ABER NICHT UNTERSTÜTZT

Das Produkt kann Antworten generieren. Es gibt jedoch keinen offiziellen Support oder Qualitätsgarantie. Als separates experimentelles Ergebnis gemeldet.

LS-3— BEGRENZTE UNTERSTÜTZUNG

Unterstützung existiert für bestimmte Aufgaben, Schnittstellen oder Funktionen.

LS-4— OFFIZIELL UNTERSTÜTZT

Die Produktsprache gilt im Allgemeinen als unterstützt.

LS-5— PRÜFBERECHTIGT

Sprache:

• offizieller Support,
• Prompt-Äquivalenz,
• lokaler Prüfer,
• Referenzkompetenz,
• gültige Erfassung

ist vollständig prüfungsfähig. Die bloße Präsenz von offiziellem Support stellt nicht LS-5 dar.

19. SPRACHE MIT GERINGEN RESSOURCEN

Der Begriff „Sprache mit geringen Ressourcen“ beschreibt nicht den Wert der Sprache oder die Qualität ihrer Sprecher. In bestimmten Technologie- und Audit-Kontexten weist er auf einen oder mehrere der folgenden Mängel hin:

• Begrenzter digitaler Inhalt
• Begrenzte lokalisierte offizielle Quelle
• Begrenzter Evaluationsdatensatz
• Eingeschränkter Zugang zu Gutachtern
• Geringer Produktsupport
• Begrenzte Terminologieressourcen
• Begrenzte Qualität maschineller Übersetzung
• Geringer Zugang zu Nutzerpanels

Eine Sprache kann in einem Bereich ressourcenarm und in einem anderen stark sein. Zum Beispiel, während sie über starke Ressourcen im alltäglichen Gespräch verfügt:

• Gesetz,
• Medizin,
• spezifisches technisches Feld

kann über begrenzte Ressourcen verfügen. Daher Sprachressourcenstufe:

• Produkt,
• Aufgabe,
• Zeit,
• Feld

sollte gemeinsam definiert werden.

20. AUFGABEN DES LANGUAGE FAIRNESS PANEL

20.1. Übersampling von Sprachen mit wenigen Ressourcen

Stellt zusätzliche Nutzer für Sprachen bereit, die in der Hauptpopulation nicht genügend Beobachtungen erhalten.

20.2. Messung der sprachenbasierten Materialfehlerverteilung

Nicht nur die Gesamtrealgenauigkeit:

• Identität,
• Umfang,
• Zeit,
• Quelle,
• Empfehlung,
• Kritischer Fehler

untersucht die Ergebnisse separat.

20.3. Überprüfung der Antwortsprache

Antwortet die KI in Übereinstimmung mit der Promptsprache? Wenn sie zu einer anderen Sprache wechselt, was ist der Grund?

20.4. Untersuchung der Unterscheidung von Sprache und Gebietsschema

Trägt dieselbe Sprache in verschiedenen Ländern unterschiedliche lokale Realitäten? Verwaltet KI diesen Unterschied korrekt?

20.5. Untersuchung der Übereinstimmung von Quelle und offizieller Repräsentation

Tragen die offiziellen Existenzaufzeichnungen in allen Sprachen die gleiche materielle Realität? Ein niedriges KI-Ergebnis kann aus einer Sprachlücke in der Quelle selbst entstehen.

20.6. Testen der Gleichwertigkeit von Prompts

Tragen Übersetzungen wirklich dieselbe Nutzerabsicht?

20.7. Testen der Parität von Schiedsrichtern

Können Schiedsrichter in verschiedenen Sprachen denselben normativen Standard anwenden?

21. VIER TORE FÜR SPRACHLICHE FAIRNESS

Ein sprachliches Ergebnis sollte durch vier Tore bewertet werden, bevor es der Sprachleistung des KI-Produkts zugeschrieben wird.

Tor 1— Gleichwertigkeit der Absicht

Sind die Aufforderungen semantisch vergleichbar? Wenn dies fehlschlägt:

AUFFORDERUNGS_EQUIVALENZ_FEHLGESCHLAGEN

Status wird angegeben.

Tor 2— Referenzparität

Sind offizielle und verifizierte Realitätsaufzeichnungen für die entsprechende Sprache ausreichend? Wenn es fehlschlägt:

REFERENZ_SPRACHEN_LÜCKE

Status wird angegeben.

Tor 3— Messparität

Sind Aufnahme-, Sitzungs-, Schnittstellen- und Nutzerbedingungen vergleichbar? Wenn dies fehlschlägt:

MESSPARITÄT_FEHLGESCHLAGEN

Status wird angegeben.

Tor 4— Bewertungsparität

Gibt es Bewerter in der Muttersprache oder mit ausreichender lokaler Expertise und denselben Bewertungsregeln? Wenn dies fehlschlägt:

BEWERTUNGS_SPRACHEN_LÜCKE

wird zugewiesen. Es sei denn, die vier Türen werden ausreichend erfüllt: „Das KI-Produkt ist in dieser Sprache schlechter.“ kann nicht endgültig festgestellt werden. Die Sprachlücke ist weiterhin ein Befund des GEO-Ökosystems. Ihre Quelle muss jedoch korrekt klassifiziert werden.

22. EINRICHTUNG DES SPRACHUNIVERSUMS

Der Ausdruck „alle Sprachen“ kann nicht uneingeschränkt verwendet werden. Jede Prüfung muss ein Sprachregister innerhalb des Umfangs erstellen. Sprachen können aus den folgenden Gruppen ausgewählt werden:

22.1. Globales Kernsprachen-Set

Muttersprachen, die von einer großen menschlichen Population genutzt werden und für das Produkt geeignet sind.

22.2. Entity-Marktsprachset

Die Sprachen, die von der geprüften Einheit gezielt angesprochen werden:

• Dienstleistung,
• in Bezug auf Inhalte,
• Kunde,
• Vertrag

und Wartung.

22.3. Produktsupport-Sprachset

Sprachen, die offiziell vom KI-Produkt unterstützt werden.

22.4. Sprachenset für Beobachter mit geringen Ressourcen

Sprachen mit geringen Ressourcen, die in der Bevölkerungsstichprobe schwach vertreten sind oder ein Risiko hinsichtlich des Produktverhaltens darstellen.

22.5. Hochrisiko-Sprachenset

Sprachen, die einen wesentlichen Einfluss auf den Nutzer im Kontext von Gesundheit, Recht, Finanzen oder Sicherheit haben.

22.6. Experimentelles Sprachenset

Sprachen, die vom Produkt offiziell nicht unterstützt werden, aber zu Beobachtungs- oder Forschungszwecken getestet werden. Diese Gruppen können sich überschneiden. Der Grund, warum jede Sprache aufgenommen wird, sollte dokumentiert werden.

23. ZUTEILUNG DER SPRACHLICHEN FAIRNESS

Für Sprache l sei das Ziel im Hauptbevölkerungsbereich nlP. Das zusätzliche Ziel im Fairness-Bereich ist nlF. Die insgesamt gesammelte Sprachbeobachtung:

n_l^T= n_l^P+ n_l^F

erhalten. Das Gesamtgewicht der Sprache in der Berechnung der Weltbevölkerung wird als Wl beibehalten. Das normalisierte Gewicht pro Beobachtung:

w_{i,l}= W_l/ n_l^T

kann auf diese Weise betrachtet werden. Somit wird die Sprache überstichprobenartig erfasst. Sie übersteigt jedoch nicht den tatsächlichen Bevölkerungsanteil im globalen Ergebnis.

24. BEITRAG DES Language Fairness Panels ZUM GLOBALEN ERGEBNIS

Beobachtungen zur Sprachfairness können auf zwei Arten verwendet werden.

24.1. Separate Diagnostische Analyse

Das Fairness-Gremium erzeugt nur Sprachpunktzahlen und Fehlertypen. Das Haup-Populationsgremium ändert die globale Punktzahl nicht. Diese Methode ist einfacher.

24.2. Kombinierte neu gewichtete Analyse

Beobachtungen zur Bevölkerungs- und Sprachfairness werden zusammen verwendet. Jede Beobachtung wird entsprechend dem tatsächlichen Gewicht der Zielsprachpopulation neu gewichtet. Diese Methode kann das Informationsvolumen erhöhen. Allerdings:

• Doppelte Zählung
• mehrsprachiger Nutzer,
• Panelabhängigkeit,
• Gewichtsvariabilität

Es sollte berücksichtigt werden. Die verwendete Methode muss definiert werden, bevor die Ergebnisse gesehen werden.

25. SPRACHENDECKUNGSMETRIKEN

25.1. Sprachbeobachtungsabdeckung

Der Anteil der Sprachen im Geltungsbereich, für die mindestens eine gültige Beobachtung vorliegt.

LOC= |{l: n_l^obs > 0}| / |L_scope|

25.2. Sprachprognoseabdeckung

Der Anteil der Sprachen, die ausreichende Stichproben- und Qualitätsanforderungen erfüllen.

LEC= |{l: n_{l,eff}≥ m_l}| / |L_scope|

25.3. Bevölkerungsgewichtete Sprachabdeckung

Der Anteil der Zielbevölkerungssprache, der ausreichend beobachtet wird. Erfordert eine primäre Prüfsprache oder eine gewichtete Aufteilung pro Person, um Doppelzählungen mehrsprachiger Nutzer zu vermeiden.

25.4. Produktunterstützungsabdeckung

Gibt an, in wie vielen der abgedeckten Sprachen das Produkt offizielle Unterstützung erhält. Sprachunterstützung und Genauigkeit der Repräsentation werden getrennt gehalten.

26. SPRACHUNGLEICHHEITSMESSWERTE

KANDIDATEN-MESSWERTE — VORGESCHLAGENE MESSWERTE

Das genaue Messwertset sollte durch Pilotprojekte und externe Überprüfungen kalibriert werden.

26.1. Sprachergebnis

Für jede ausreichende Sprachzelle wird θl berechnet.

26.2. Unterschied zwischen Höchst- und Niedrigstwert

DG_max= max_l θ_l− min_l θ_l

Einfach zu verstehen. Jedoch empfindlich gegenüber kleinen und volatilen Einzelzellen.

26.3. Robuster Perzentildifferenzwert

DG_{90−10}= Q_{0.90}(θ_l)− Q_{0.10}(θ_l)

Er ist weniger empfindlich gegenüber extremen Zellen.

26.4. Sprachuntergrenze

Es ist das niedrigste Sprachergebnis mit einer ausreichenden Stichprobe.

LF_min= min_{l∈L_est} θ_l

Dieser Wert sollte zusammen mit der Unsicherheit bei kleinen Zellen angegeben werden.

26.5. Robuster Sprachboden

Es ist das niedrigere Perzentil oder der Durchschnitt der Untergruppe ausreichender Sprachen. Beispiel:

LF_10= Q_{0.10}(θ_l)

26.6. Kritische Sprachfehlerquote

Für jede Sprache:

CR_l= gültige Antwort mit verifiziertem Kritischen Fehler / gültiger Sprachantwort

Es wird separat vom globalen Durchschnitt veröffentlicht.

26.7. Rate unbekannter Sprachen

U_l= UNBEKANNT oder unlösbare Antwort / relevante Sprachbeobachtung

Eine hohe Rate unbekannter Sprachen kann ebenso wichtig sein wie eine niedrige Punktzahl.

27. Gleichwertiger Sprachwert und bevölkerungsgewichteter Wert

Diagnostische Ergebnisse, die alle Sprachen gleichermaßen berücksichtigen, können erstellt werden:

G_equal-language= (1/L)Σ_{l=1}^L θ_l

Dieses Ergebnis nähert sich der Frage an: „Durchschnittliche getestete Sprachexpertise.“ Es stellt nicht die durchschnittliche menschliche Erfahrung in der Weltbevölkerung dar. Bevölkerungsgewichtetes Sprachergebnis:

G_population-language= Σ_l W_l θ_l

Es bewahrt die Bevölkerungsverteilung. Die beiden Werte sind unterschiedlich. Sie können nicht austauschbar verwendet werden. Beide können zusammen auf der Sprachfairness-Karte angezeigt werden.

28. SPRACHLICHE GERECHTIGKEIT IST KEINE VERPFLICHTUNG ZU GLEICHEN ERGEBNISSEN

Die gleiche Punktzahl in zwei Sprachen zu haben, ist keine automatische Verletzung. Der Unterschied kann aus folgenden Gründen erklärt werden:

• Tatsächlicher lokaler Servicedifferenz
• Länderspezifisches Recht
• Abdeckung der offiziellen Unterstützung des Produkts
• Ressourcenzugang
• Nutzerintention
• Eingabebereich

Wenn jedoch die Ursache des Unterschieds nicht erklärt werden kann oder Sprachen mit geringen Ressourcen systematisch Folgendes erfahren:

• falsche Identität,
• falsche Autorisierung,
• materielle Mängel,
• hoher kritischer Fehler

wenn dies zutrifft, besteht ein Problem der Sprachfairness. NOMOS definiert Sprachfairness wie folgt:

Unter vergleichbaren materiellen Bedingungen sollte die Sprache selbst nicht die Ursache für systematische Fehlrepräsentation sein.

29. SCHNITTSTELLE SPRACHE UND LAND

Der Sprachscore ist nicht unabhängig von Ländern. Dieselbe Sprache:

• unterschiedliche Länder,
• unterschiedlicher Produktzugang,
• unterschiedliche lokale Ressourcen,
• unterschiedliches Recht,
• unterschiedlicher Preis

kann im Kontext von verwendet werden. Daher sollte die Länder–Sprache-Zelle: (c,l) bei Bedarf separat untersucht werden. Beispiel:

• Deutschland × Türkisch
• Türkei × Türkisch
• Vereinigtes Königreich × Türkisch

Es ist dieselbe Sprache, kann aber unterschiedliche lokale und Markt-Kontexte haben. Sprachliche Fairness kann nicht allein anhand der Amtssprache des Landes gemessen werden.

30 th Länderbeobachter UND Language Fairness Panel SCHNITT

Eine Beobachtung gleichzeitig:

• kleine Länderbeobachter-Beobachtung,
• Beobachtung in einer ressourcenarmen Sprache

kann auftreten. In diesem Fall muss der Datensatz die folgenden Felder enthalten:

PRIMARY_PANEL_ROLE

SECONDARY_DIAGNOSTIC_TAGS

Bevölkerungsgewicht Beobachterstatus Sprachgerechtigkeitsstatus Dieselbe Beobachtung kann nicht vollständig in zwei separaten Panels gezählt werden. Es ist eine einzelne Beobachtung. Sie hat mehr als ein diagnostisches Tag.

31. ÄNDERUNG DER TEILNEHMER IM BEOBACHTER- UND SPRACHPANEL

Ein Teilnehmer darf nur aufgrund eines Protokollverstoßes geändert werden. Die folgenden Ergebnisse sind keine Gründe für eine Änderung:

• Falsche KI-Antwort
• Ablehnung
• Antwort in einer anderen Sprache
• Kritischer Fehler
• Entity-Verwechslung
• Negative Empfehlung

Dies sind Messergebnisse. Der Zweck des Beobachter-Panels besteht speziell darin, unerwartete Ereignisse zu identifizieren. Den Nutzer aufgrund eines aufgetretenen unerwarteten Ereignisses zu ändern, widerspricht dem Zweck des Panels.

32. SPRACHLICHE BEURTEILUNG

Die Beurteilung im Sprachgerechtigkeitspanel muss mindestens die folgenden Bedingungen erfüllen:

• In der Lage zu sein, den Prompt und die Antwort auf natürliche Weise oder auf hohem Kompetenzniveau zu verstehen
• Kenntnis der lokalen Terminologie
• In der Lage zu sein, Quellen von Nachweisen zu bewerten
• Verwendung desselben normativen Bewertungsleitfadens
• Blind gegenüber dem Modell und, wenn möglich, den Markeninteressen zu sein
• Offenlegung von Interessenkonflikten
• Weg des dritten Bewerters im Falle von Meinungsverschiedenheiten

Sprache, in der kein Bewerter gefunden werden kann:

BEWERTUNGS_SPRACHEN_LÜCKE

muss den Status haben. Es kann nicht angenommen werden, dass alle Nuancen korrekt sind, wenn sie durch automatische Übersetzung ins Englische übersetzt werden. Maschinelle Übersetzung kann ein hilfreiches Werkzeug sein. Sie ist nicht die endgültige Überprüfung der lokalen Bedeutung.

33. QUELLENPARITÄT

Von der Einheit auf der englischen Seite:

• Umfang,
• Preis,
• Lizenz,
• Grenzen,
• Nachweise

existiert; wenn diese in einer anderen Sprachversion nicht vorhanden sind, kann das niedrige KI-Ergebnis nicht nur ein Modellproblem sein. Drei separate Ergebnisse sind notwendig:

• Entität Sprache Quelle Lücke
• KI-Produkt Sprache Repräsentation Lücke
• Kombinierte Nutzerorientierte Lücke

Das letztendliche Problem aus Sicht des Nutzers ist weiterhin real. Die Verantwortung für die Korrektur kann jedoch variieren:

• Entität,
• KI-Anbieter,

beide.

34. AUSSAGE PARITÄT

Prompts, die semantisch nicht gleichwertig sind, erzeugen unterschiedliche Antworten. Beispiel: In einer Sprache: „Was macht dieses Unternehmen?“ In einer anderen Sprache: „Ist dieses Unternehmen vertrauenswürdig und empfehlenswert?“ Wenn gefragt, sind die Ergebnisse nicht vergleichbar. Die Prompt-Konstitution wird im folgenden Abschnitt detailliert dargestellt. Die Bereitstellung dieses Abschnitts erfolgt wie folgt:

Unterschiede in der Leistung von Sprachmodellen können nicht der KI-Sprachleistung zugeschrieben werden, ohne die Gleichwertigkeit der Prompt zu überprüfen.

35. ABWEICHUNG DER ANTWORTSPRACHE

Der Nutzer gibt eine Prompt auf Türkisch. Die KI erstellt eine Antwort auf Englisch. Dieses Ergebnis:

• selbst wenn die sachlichen Informationen korrekt sind,
• kann die Nutzererfahrung beeinflussen,
• Barrierefreiheit,
• und das Verständnis.

Abweichungen der Antwortsprache müssen separat aufgezeichnet werden:

ÜBEREINSTIMMENDE_SPRACHE

TEILWEISE_CODEWECHSEL

UNGEWÜNSCHTER_SPRACHWECHSEL

UNBENUTZBARE_SPRACHAUSGABE

UNBEKANNT

Code-Switching ist nicht immer ein Fehler. Zum Beispiel kann die Verwendung technischer Begriffe in Englisch normal sein. Es ist relevant, wenn es die Hauptbenutzbarkeit der Antwort stört.

36. SCHRIFTSYSTEM UND TRANSKRIPTION

Die gleiche Sprache kann in verschiedenen Schriftsystemen verwendet werden. Für die:

• Name,
• Produktname einer Einheit,
• rechtliche Identität

kann es bei der Transliteration zu Verwechslungen mit einer anderen Einheit kommen. Das Language Fairness Panel, soweit relevant:

• Schriftsystem,
• Transliteration,
• offizieller lokaler Name,
• vom Nutzer verwendeter Name

muss ihre Felder aufzeichnen. Unterschiede im Schriftsystem sollten nur formal betrachtet werden. Wenn es die Entitätsauflösung beeinflusst, ist es wesentlich.

37. SYNTHETISCHER Länderbeobachter-ZYKLUS

PRÄSENTATION DER SYNTHETISCHEN METHODOLOGIE / Die folgenden Produkte, Länder, Zahlen und Ergebnisse sind fiktiv. Im Register des synthetischen Produkts namens Orion AI Natürliche Reichweite: gibt es 120 berechtigte Länder. Das Haupt-Populationspanel hat in der ersten Welle aufgrund der Bevölkerungsgewichtung nur aus 38 Ländern gültige Beobachtungen erzeugt.

37.1. Umfang der ersten Welle

Anzahl der berechtigten Länder: 120 Länder mit mindestens einer Beobachtung: 38

COC_count= 38/120= 31.7%

Lassen Sie diese 38 Länder 97% der berechtigten Bevölkerung darstellen.

COC_pop= 97%

Ergebnis: Die Anzahl der Länder ist in der Abdeckung gering, die Bevölkerungsabdeckung ist hoch.

37.2. Vier-Wellen-Beobachterzyklus

Verteilen Sie die verbleibenden 82 Länder in vier Wellen unter Verwendung eines zuvor eingefrorenen zufälligen und risikobasierten Programms. Jedes Land wird im Verlauf des Zyklus mindestens einmal beobachtet. Am Ende der vierten Welle:

COC_count= 120/120= 100%

Es wurde jedoch nur in 14 Ländern eine ausreichende Stichprobe für die Länderschätzung erreicht.

CEC = 14/120= 11.7%

Korrekte öffentliche Aufzeichnung: Überdeckung der Länderbeobachtung: 100%/ Überdeckung der Bevölkerungsbeobachtung: nahe bei 100%/ Überdeckung der Länderprognose: 11.7% Falsche öffentliche Aufzeichnung: „Alle 120 Länder haben einen zuverlässigen Länderwert.“

37.3. Kleine Länder kritischer Alarm

In einem Country Observer-Datensatz wird die KI-Antwort in dem kleinen Land J fehlidentifiziert, indem die geprüfte Einheit fälschlicherweise als zugelassene Anwaltskanzlei eingestuft wird. In Wirklichkeit erbringt die Einheit keine juristischen Dienstleistungen. Eine einzelne Beobachtung schätzt nicht die Fehlerquote des Landes J; sie stellt ein potenzielles Kritisches Ereignis fest. Protokoll: Beobachtung validieren; Prompt und Referenzdatensatz überprüfen; mit neuen unabhängigen Nutzern wiederholen; wenn das Ereignis weiterhin auftritt, ein gezieltes Länder-Sample öffnen; und die kritische Konformitätsauswirkung separat bewerten. Das beobachtete Ereignis kann selten sein; der potenzielle Schaden muss nicht klein sein.

38. DEMONSTRATION DER SYNTHETISCHEN SPRACHFAIRNESS

SYNTHETISCHES SAMPLE — KEINE ECHTE KI- ODER UNTERNEHMENSLEISTUNG

Fünf Sprachen in den Test der Core Identity von Synthetic Apple.com einbeziehen. Zuteilung des Main Population Panels:

Ergebnisse der künstlichen Sprache:

Bevölkerungsgewichtetes globales Ergebnis:

0.55(95)+0.25(92)+0.10(88)+0.06(65)+0.04(58)=90.27

Der globale Wert ist hoch. Es gibt jedoch eine starke Verschlechterung in zwei Sprachen.

38.1. Sprachenfairness-Übersampling

Fügen Sie 140 zusätzliche Beobachtungen zu L4 und 160 zu L5 hinzu. Neue Anzahl der Beobachtungen:

Der rohe Mittelwert über alle 1,300-Beobachtungen ist niedriger als das oben gezeigte bevölkerungsgewichtete Ergebnis. Es handelt sich nicht um einen globalen Bevölkerungswert, da L4 und L5 absichtlich überstichprobenartig ausgewählt wurden. Sobald die Zielbevölkerungsgewichte wiederhergestellt sind, kehrt das globale Ergebnis zu der oben genannten bevölkerungsgewichteten Zahl zurück. Das Übersampling verbessert die Sensitivität für L4 und L5, ohne die bevölkerungsgewichtete Schätzung zu ändern.

38.2. Scorecard für Sprachenfairness

Künstliches Ergebnis. Bevölkerungsgewichteter globaler Wert: 90.27. Gleichsprachiger Wert:

(95+92+88+65+58)/5=79.6

Höchste-zu-niedrigste Sprachunterschied: 37 Punkte; niedrigste Sprache: 58; Mittelwert der beiden untersten Sprachen: 61.5; Kritische Fehlerquote in Sprachen mit geringen Ressourcen: separat berichtet; Prompt-Äquivalenz: als überprüft angenommen; Referenzparität: als überprüft angenommen. Korrekte Interpretation:

Die globale Bevölkerungsrepräsentation scheint hoch zu sein; jedoch ist die Sprachgerechtigkeit ernsthaft schwach.

Falsche Interpretation: „Da der globale Score 90 beträgt, ist GEO in allen Sprachen erfolgreich.“

39. SYNTHETISCHER FALL, DER DIE URSACHE DER SPRACHLICHEN VERSCHLECHTERUNG UNTERSCHEIDET

Betrachten wir drei Sprachen.

Sprache A

Prompt-Äquivalent Offizielle Quelle vollständig Lokaler Prüfer ausreichend KI-Antwort falsch Ergebnis: Kandidat für ein Problem der Sprachvertretung des KI-Produkts.

Sprache B

Aufforderungsübersetzung materiell unterschiedliche KI-Antwort passend zur Aufforderung Ergebnis: Verfassungsmangel der Aufforderung.

Sprache C

Auf der offiziellen Sprachseite wird der alte Preis von AI auf den alten Preis der englischen Quelle übernommen. Ergebnis: Das Sprachquellen-Paritätsproblem der Einheit und die kombinierte Repräsentationslücke erreichen den Nutzer. Selbst wenn die Bewertungen der drei Sprachen gleich erscheinen, ist der Korrekturbesitzer unterschiedlich.

40. LAND- UND SPRACHPANELS ÖFFENTLICHE ERGEBNISKARTE

Die öffentliche Ergebnisübersicht des Kandidaten muss die folgenden Felder enthalten:

Ländliche Felder

Natürliche Reichweite geeignete Anzahl von Ländern Anzahl der Länder mit mindestens einer Beobachtung Länderbeobachtungsabdeckung Bevölkerungsgewichtete Beobachtungsabdeckung Länder-Vorhersageabdeckung Land Beobachterzykluszeit Offene Beobachterwarnungen LÄNDER AUSSERHALB DES NATIVEN ERREICHS NICHT BEOBACHTETE LÄNDER Messdatum

Sprachfelder

Anzahl der abgedeckten Sprachen Beobachtete Anzahl der Sprachen Anzahl der Sprachen, für die Vorhersagen gemacht werden können Offiziell unterstützte Sprachen Experimentelle Sprachen Bevölkerungsgwichtetes globales Sprachergebnis Ergebnis bei gleicher Spracherkennung Sprachuntergrenze Sprachunterschied Kritische Fehlerraten

REFERENZ_SPRACHEN_LÜCKE

AUFFORDERUNGS_EQUIVALENZ_FEHLGESCHLAGEN

NICHT GETESTETE Sprachen Sprachpanel-Version Diese Karte macht die Realität sichtbar, die ein einzelnes „mehrsprachiges“ Abzeichen nicht tragen kann.

41. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH07-N01

Die Country Observer- und Language Fairness-Panels müssen in Bezug auf Zweck, Stichprobe und Gewichtung separat vom Haupt-Populationspanel definiert werden.

CH07-N02

Eine Beobachtung eines Landesbeobachters kann nicht als Bevölkerungswert eines Landes verwendet werden.

CH07-N03

Für ein Land sind das Vorhandensein einer Beobachtung und die Fähigkeit, eine Länderschätzung zu erstellen, getrennte Status.

CH07-N04

Die Anzahl der abgedeckten Länder und die nach Bevölkerungsgewicht gewichtete Länderabdeckung sollten zusammen angegeben werden.

CH07-N05

Die Schätzung der Länderabdeckung sollte getrennt von der Beobachtungsabdeckung angezeigt werden.

CH07-N06

Jedes berechtigte Land muss in dem definierten Überwachungszyklus eine Wahrscheinlichkeit größer als null haben, beobachtet zu werden; auch Länder, die außerhalb des Geltungsbereichs liegen, sollten angezeigt werden.

CH07-N07

Der Überwachungszyklus und die Länderfrequenzklassen sollten versioniert werden, bevor KI-Antworten angezeigt werden.

CH07-N08

Ein Land mit niedriger Punktzahl kann nach Bekanntgabe der Ergebnisse nicht aus dem Beobachterzyklus entfernt werden.

CH07-N09

Eine Country Observer-Warnung ist kein automatischer Länderausfall; sie löst eine Überprüfung und Eskalation aus.

CH07-N10

Ein einzelnes Critical Observer-Ereignis kann auch eine separate Konformitätsprüfung ohne Prävalenzschätzung auslösen.

CH07-N11

Beobachtungen des Länderbeobachterpanels können nicht im Hauptbevölkerungs-panel mit roher gleichmäßiger Gewichtung verwendet werden.

CH07-N12

Wenn Beobachtungen des Länderbeobachters in die Hauptbewertung einbezogen werden, müssen ihre Auswahlwahrscheinlichkeiten und Gewichtungen ausdrücklich modelliert werden.

CH07-N13

Sprachliche Fairness kann nicht als die Pflicht definiert werden, wortwörtlich dieselbe Antwort zu geben.

CH07-N14

Sprachliche Fairness erfordert vergleichbare Genauigkeit, Grenzen, Quelle und Nutzeranpassung unter gleichwertigen materiellen Bedingungen.

CH07-N15

Sprache und Land, Sprache und Gebietsschema sowie Sprache und Schriftsystem dürfen nicht austauschbar verwendet werden.

CH07-N16

Das abgedeckte Sprachuniversum und der Grund für die Aufnahme jeder Sprache sollten vor der Messung erklärt werden.

CH07-N17

Die Behauptung "alle Sprachen" kann nur verwendet werden, wenn tatsächlich alle relevanten Sprach- und Nutzeroberflächen gemessen wurden; andernfalls sollte gesagt werden "Sprachen im Geltungsbereich".

CH07-N18

Beobachtungen in einer Sprache, die nicht offiziell unterstützt wird, können ohne Erklärung nicht in die Leistung des Hauptprodukts für unterstützte Sprachen aufgenommen werden.

CH07-N19

Ein Über-Sampling von Sprachen mit geringen Ressourcen sollte das globale Bevölkerungsgewicht nicht erhöhen.

CH07-N20

Wenn Beobachtungen des Language Fairness Panels in das globale Ergebnis einbezogen werden, sollten sie auf die tatsächlichen Zielsprachenpopulationen zurückgeführt werden.

CH07-N21

Der gleiche mehrsprachige Nutzer kann in der Gewichtung der Weltbevölkerung nicht als mehr als ein vollständiger Mensch gezählt werden.

CH07-N22

Ohne die Überprüfung der Gleichwertigkeit des Prompts kann der Unterschied im Sprachscore nicht endgültig der Leistung der KI-Sprache zugeschrieben werden.

CH07-N23

Ein niedriger Sprachscore kann nicht allein auf das KI-Produkt geladen werden, ohne die Referenzparität zu bewerten.

CH07-N24

Eine Entscheidung über die Sprachgenauigkeit kann nicht ohne ausreichende Kompetenz des lokalen Bewerters finalisiert werden.

CH07-N25

Abweichungen in der Antwortsprache und Code-Switching müssen separat aufgezeichnet werden.

CH07-N26

Legitime Unterschiede in der lokalen Realität können nicht als Sprachungerechtigkeit klassifiziert werden.

CH07-N27

Unerklärliche wesentliche Sprachunterschiede können nicht ausschließlich als Personalisierungs- oder Stilunterschiede abgetan werden.

CH07-N28

Der globale Bevölkerungsscore kann das Ergebnis der Sprachgerechtigkeit nicht ersetzen.

CH07-N29

Ein gleicher Sprachscore kann nicht wie ein bevölkerungsgewichteter globaler Score präsentiert werden.

CH07-N30

Fehlerquoten basierend auf Sprache müssen getrennt vom Gesamtdurchschnitt angezeigt werden.

CH07-N31

PROMPT_EQUIVALENCE_FAILURE, REFERENCE_LANGUAGE_GAP, MEASUREMENT_PARITY_FAILURE und ADJUDICATION_LANGUAGE_GAP müssen als separate Status beibehalten werden.

CH07-N32

In Country Observer- und Language Fairness-Panels darf die Entscheidung, Teilnehmer zu wechseln, nicht auf der Richtigkeit der KI-Antwort oder zum Vorteil der Marke basieren.

CH07-N33

Die gleiche Beobachtung kann mehrere Diagnosekennzeichnungen haben; sie darf jedoch ohne Erklärung nicht mehr als einmal volles Gewicht in der globalen Vorhersage erhalten.

CH07-N34

Länder- und Sprachpanelaufzeichnungen müssen einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

42. FORMEN DES VERSAGENS

CH07-F01— EINZIG-PERSON-LÄNDERSCORE

Die Beobachtung eines einzelnen Beobachters wird als GEO-Punktzahl für das Land veröffentlicht.

CH07-F02— SYMBOLISCHE LÄNDERABDECKUNG

Einer Person wird jedem Land zugewiesen und es wird als 'proportional zur Weltbevölkerung' bezeichnet.

CH07-F03— VERWECHSLUNG VON BEVÖLKERUNGSABDECKUNG MIT ANZAHL DER LÄNDER

Obwohl eine kleine Anzahl großer Länder beobachtet wird, wird nur die Bevölkerungsabdeckung gezeigt; obwohl eine große Anzahl kleiner Länder beobachtet wird, wird nur die Anzahl der Länder gezeigt.

CH07-F04— ZÄHLUNG DES BEOBACHTUNGSBEREICHS ALS SCHÄTZBEREICH

Alle Länder mit mindestens einer Beobachtung gelten als bewertete Länder.

CH07-F05— ZWEIFACHE ZÄHLUNG EINER LÄNDERBEOBACHTUNGSBEOBACHTUNG IM HAUPTPUNKT

Die gleiche Beobachtung erhält in sowohl dem Beobachter- als auch dem Bevölkerungs-Panel volles Gewicht.

CH07-F06— UMWANDELN EINER LÄNDERBEOBACHTUNGSWARNUNG IN EINEN PRÄVALENZANSPRUCH

Ein einzelnes Ereignis wird auf alle Nutzer im Land verallgemeinert.

CH07-F07— IGNORIEREN EINES KRITISCHEN BEOBACHTEREREIGNISSES

Das hohe Schadensrisiko wird nicht untersucht, indem gesagt wird „nur ein Nutzer“.

CH07-F08— ENTFERNEN EINES NIEDRIG-BEWERTETEN LANDES AUS DEM ZYKLUS

Der Beobachterplan wird gemäß den Ergebnissen geändert.

CH07-F09— NUR KOMMERZIELLE MÄRKTE BEOBACHTEN

Länder, die Zugang zu Produkten haben, aber kommerziell als unbedeutend gelten, werden vollständig ausgeschlossen; Das Ergebnis wird global präsentiert.

CH07-F10— DAS LAND UND DIE SPRACHE ALS GLEICH BETRACHTEN

Die offizielle Sprache des Landes wird als Sprache aller Nutzer akzeptiert.

CH07-F11— ANSPRUCHE AUF ALLE SPRACHEN

Es werden nur wenige Sprachen gemessen; Das Ergebnis wird als „in allen Sprachen“ veröffentlicht.

CH07-F12— NIEDRIGES SCHWEISSSPRACHEN LÖSCHEN

Da das Sample klein ist, wird Sprache vollständig aus dem Bericht ausgeschlossen.

CH07-F13— WACHSENDE NIEDRIGRESSOURCENSPRACHE WELTWEIT

Übersampelte Sprache fließt mit ihrem Rohprobenanteil in die globale Punktzahl ein.

CH07-F14— ZÄHLUNG DER GLEICHEN SPRACHPUNKTZAHL ALS BEVÖLKERUNGSPUNKTZAHL

Der Diagnosescore, der jeder Sprache gleiches Gewicht gibt, wird als durchschnittliche Erfahrung der Weltbevölkerung dargestellt.

CH07-F15— ZÄHLUNG DER BEVÖLKERUNGSPUNKTZAHL ALS SPRACHGERECHTIGKEIT

Das globale Ergebnis, das durch das Gewicht großer Sprachen erhöht wird, verschleiert die Verzerrung bei kleinen Sprachen.

CH07-F16— ZÄHLUNG DES FEHLERS BEI PROMPT-ÜBERSETZUNG ALS KI-FEHLER

Der Unterschied, der durch semantisch verschiedene Prompts entsteht, wird dem Modell zugeschrieben.

CH07-F17— ZÄHLUNG DER QUELLSPRACHENLÜCKE ALS KI-FEHLER

Obwohl keine lokalisierten offiziellen Informationen vorliegen, wird die gesamte Verantwortung dem KI-Produkt übertragen.

CH07-F18— VERTEIDIGUNG VON KI-FEHLERN MIT RESSOURCENMANGEL

Obwohl die gleichen und ausreichenden Ressourcen verfügbar sind, werden Fehler in der Sprache mit geringen Ressourcen ausschließlich als fehlender Inhalt geschlossen.

CH07-F19— BERÜCKSICHTIGUNG DER UNGENÜGENDEN SPRACHE DES SCHIEDSBELEIDIGERS ALS PRODUKTFEHLER

Selbst wenn der Schiedsrichter missverstanden hat, wird das Ergebnis abgeschlossen.

CH07-F20— BERÜCKSICHTIGUNG VON MASCHINENÜBERSETZUNG ALS ENDGÜLTIGER SCHIEDSBELEIDIGER

Verlust der lokalen Bedeutung wird nicht überprüft.

CH07-F21— BERÜCKSICHTIGUNG VON CODEÄNDERUNGEN ALS AUTOMATISCHER FEHLER

Fehler treten bei natürlichen Fachbegriffen oder akzeptabler Sprachmischung auf.

CH07-F22— BERÜCKSICHTIGUNG UNVERWENDBARER SPRACHABWEICHUNG ALS STIL

Selbst wenn das System in einer anderen Sprache antwortet, die der Nutzer nicht verstehen kann, gilt das Ergebnis als erfolgreich.

CH07-F23— IGNORIEREN DES SCHRIFTSYSTEMUNTERSCHIEDS

Ein Transliteration-Fehler, der zu Verwechslungen von Entitäten führt, wird als formal betrachtet.

CH07-F24— EINEN MEHRSPRACHIGEN NUTZER ZWEIMAL ZÄHLEN

Die gleiche Person wird in allen Sprachen als separate Bevölkerungseinheit gezählt.

CH07-F25— LEGITIME LOKALE UNTERSCHIEDE ALS UNFAIR BETRACHTEN

Selbst wenn der Preis- oder Rechtsunterschied auf tatsächlichen lokalen Bedingungen basiert, wird er als Sprachvorurteil deklariert.

CH07-F26— UNERKLÄRLICHE UNTERSCHIEDE ALS PERSÖNLICH BETRACHTEN

Materielle Inkonsistenzen unter gleichen Bedingungen werden nicht hinterfragt.

CH07-F27— DEFINITE PUNKTZAHL VON UNGENÜGENDER SPRACHZELLE

Die Sprachbewertung erfolgt mit wenigen Beobachtungen.

CH07-F28— EINSTELLUNG DES SPRACHPANELS NACH DEM ERGEBNIS

Nur Sprachen, die niedrig oder hoch bewertet wurden, werden danach ausgewählt.

CH07-F29— NUR HOCHQUELLENSPRACHEN MESSEN

Das Ergebnis wird als "mehrsprachig" dargestellt.

CH07-F30— NICHT GETESTETE SPRACHEN BEWAHREN

Das Feld NICHT GETESTET erscheint nicht auf der öffentlichen Ergebniskarte.

43. PRÜFUNGSVERFAHREN

Schritt 1— Produkt-Länder-Compliance-Register einfrieren

Für jedes Land:

• Natürliche Reichweite
• Produktzugang
• Audit-Sprache
• Nutzeroberfläche

Status wird aufgezeichnet.

Schritt 2— Abdeckung der Hauptpopulation im Panel-Land extrahieren

Es wird bestimmt, in welchen Ländern die Hauptpanelbeobachtung existiert.

Schritt 3— Definition des Beobachter-Länderuniversums

Länder, die im Hauptpanel unzureichend sind und den Status CE-3 haben, werden identifiziert.

Schritt 4— Den Beobachterzyklus festlegen

Länder:

• werden in Bezug auf Frequenzklasse,
• Welle,
• Sprache/Locale,
• Nutzeroberfläche

und Wartung.

Schritt 5— Beobachterteilnehmer vorab auswählen

Haupt- und Ersatzlisten werden erstellt, bevor die Ergebnisse eingesehen werden.

Schritt 6— Beobachterergebnisse klassifizieren

Zugang, Identität, Sprache, materieller Fakt, Status kritischer Ereignisse werden zugewiesen.

Schritt 7— Alarm und Eskalation anwenden

Nach Alarmtyp:

• erneut,
• gezielte Stichprobe
• treferenzüberprüfung,
• Konformitätsüberprüfung

wird gestartet.

Schritt 8— Berechnung der Länderabdeckungsmetriken

Der Umfang der Länderzahl, der Umfang der Bevölkerung und die Schätzung des Länderumfangs werden separat berechnet.

Schritt 9— Spracheintrag einfrieren

Für jede Sprache:

• aus Gründen des Umfangs,
• Unterstützungsstatus,
• Schriftsystem,
• Locale,
• Nutzeruniversum

aufgezeichnet.

Schritt 10— Oversampling zur Sprachgerechtigkeit festlegen

Zusätzliche Ziele werden für Sprachen festgelegt, die auf dem Hauptbevölkerungs-Panel unzureichend vertreten sind.

Schritt 11— Überprüfung der vier Sprachgates

Systemäquivalenz Referenzparität Messparität Entscheidungsparität wird bewertet.

Schritt 12— Bewertung der Sprachbeobachtungen

Für jede Sprache:

• Wahrhaftigkeit,
• materielle Mängel,
• Kritischer Fehler,
• unbekannt,
• Abweichung der Antwortsprache

aufgezeichnet.

Schritt 13— Globale und diagnostische Gewichtungen trennen

Das nach Bevölkerung gewichtete Ergebnis und das Ergebnis mit gleicher Sprachanerkennung werden separat berechnet.

Schritt 14— Berechne die Sprachungleichheit

Sprachfundament, erheblicher Sprachunterschied, kritischer Fehlerunterschied, die unbekannte Rate wird berechnet.

Schritt 15— Untersuche Länder–Sprach-Schnittmengen

Materielle Lokalisierungsunterschiede oder Konflikte werden identifiziert.

Schritt 16— Erstelle öffentliche Ergebnisübersicht

Umfang, Vorhersagegenügsamkeit, Warnungen und ungetestete Bereiche werden sichtbar gemacht.

44. NOTWENDIGE NACHWEISE

KI-Produkt- und Nutzeroberflächenaufzeichnung; Natürliche Reichweite Länderregister; Anzahl der berechtigten Länder; Länder-Zugriffsstatus; Hauptzuweisungen der Population Panel-Länder; Länderbeobachter-Universum; Beobachterzyklus; Beobachter-Frequenzklassen; Länder–Wave-Zuordnungsmatrix; Länder–Sprachzuweisungen; primäre und Reserve-Beobachterlisten; Länderbeobachtungsergebnisse; Beobachterwarnungen; Eskalationsaufzeichnungen; gezielte Länderstichproben; Länderbeobachtungsabdeckung; bevölkerungsgewichtete Länderabdeckung; Länder-Schätzabdeckung; im Geltungsbereich befindliches Sprachregister; Sprachunterstützungsstatus; Schriftzeichen- und Gebietsschemaaufzeichnungen; Hauptsprach-Stichprobenzahlen; Language Fairness-Überschussstichprobenzahlen; sprach-bevölkerungsgewichtete Daten; mehrsprachige Nutzeraufzeichnungen; Prompt-Äquivalenzaufzeichnungen; Referenzparitätsaufzeichnungen; Messparitätsaufzeichnungen; Aufzeichnungen der Qualifikation lokaler Gutachter; und Sprachergebnisse.

Sprache Kritische Fehlerraten Antwortsprache Abweichungen Sprachungleichheitsmetriken Ungetestete Sprachen Gleiche sprach- und bevölkerungsgewichtete Ergebnisse Panel-Gewichte Doppelzählungsprüfungen Öffentliche Ergebniskarten Panel-Versionen Verantwortliche Person oder Institution

45. PRÜFLISTE FÜR AUDITS

Wurde der Zweck des Länderbeobachter-Panels vom Hauptbevölkerungs-Panel getrennt? Welche Länder sind im Beobachter enthalten? Ist der Berechtigungs- und Zugangsstatus der Länder auf dem neuesten Stand? Gibt es eine Wahrscheinlichkeit einer positiven Beobachtung im Überwachungszyklus jedes berechtigten Landes? Wurde der Überwachungszyklus vor den Ergebnissen eingefroren? Wurde die Länderbeobachtung wie eine Länderbewertung verwendet? Wurden die Abdeckung der Länderbeobachtung und die Abdeckung der Länderabschätzung getrennt? Wurde die bevölkerungsgewichtete Länderabdeckung separat dargestellt? Wurden Länderbeobachtungen im Hauptwert doppelt gezählt? Wurde die Kritische-Beobachter-Warnung bestätigt? Wurde ein einzelner Alarm in eine Prävalenzbehauptung umgewandelt? Wurde aufgrund des Alarms ein gezieltes Sampling durchgeführt? War das Universum der Sprachen im Umfang vordefiniert? Ist die Behauptung von 'allen Sprachen' mit der tatsächlichen Abdeckung konsistent? Wurden Sprache, Schriftsystem und Gebietsschema getrennt?

Wurde der Status der Sprachunterstützung des Produkts erfasst? Warum wurden Sprachen mit geringen Ressourcen ausgewählt? Wurden Beispiele für Sprachgerechtigkeit im globalen Score neu gewichtet? Wurde derselbe mehrsprachige Nutzer doppelt gezählt? Wurde die Gleichwertigkeit der Prompts überprüft? Sind offizielle Quellen über Sprachen hinweg wesentlich gleichwertig? Kennen die Gutachter die betreffende Sprache auf einem ausreichenden Niveau? Wurde maschinelle Übersetzung als endgültiger Bewertungsmaßstab verwendet? Wurden Abweichungen in der Antwortsprache erfasst? Wurde legitime lokale Variation von Sprachungerechtigkeit getrennt? Wurde das Sprachkorpus und die Sprachvarianz veröffentlicht? Sind sprachbasierte kritische Fehlerraten sichtbar? Wurden REFERENCE_LANGUAGE_GAP und andere Messfehler getrennt? Sind ungetestete Sprachen sichtbar? Verschleiert die öffentliche Bewertung das Problem der Sprachgerechtigkeit?

Hat dieselbe Beobachtung in mehreren Panels volle Gewichtung erhalten? Ist der verantwortliche Besitzer der Panel-Aufzeichnungen identifiziert?

46. EINWÄNDE UND ANTWORTEN

Einwand 1— „Ist es nicht besser, einer Person für jedes kleine Land zu geben, als nichts zu geben?“

Für frühe Beobachtungen und geografische Abdeckung, ja. Aber diese Person misst nicht den Anteil des Landes. Der richtige Begriff:

Land-Beobachter-Beobachtung

muss sein.

Einwand 2— „Wenn eine Person keinen Länderscore erzeugt, warum schicken wir sie dann?“

Weil eine einzelne Beobachtung:

• Zugangsprobleme aufdecken,
• Verwirrung über die Entität klären,
• die falsche Sprache identifizieren,
• und Kritische Ereignisse erzeugen

sichtbar zum ersten Mal. Das Beobachter-Panel ist ein Frühwarnsystem.

Einwand 3— „Müssen wir jedes Land in jeder Welle beobachten?“

Nein. Ein definierter Überwachungszyklus kann verwendet werden. Hochrisiko- oder bedeutende Länder können häufiger überwacht werden; kleine und risikoarme Länder können abwechselnd beobachtet werden. Der Zeitplan sollte vor den Ergebnissen festgelegt werden.

Einwand 4— „Wenn kleine Länder in der globalen Bewertung ein geringes Gewicht erhalten, warum schenken wir ihnen dann so viel Aufmerksamkeit?“

Weil ihr Bevölkerungsanteil klein sein mag. Allerdings:

• Gesetz,
• Sprache,
• lokaler Nutzerschaden,
• gesetzliche/geografische Integrität

sind tatsächliche menschliche Gemeinschaften. Geringes Gewicht sollte nicht Unsichtbarkeit bedeuten.

Einwand 5— „Ist es nicht die fairste Methode, alle Sprachen gleich zu gewichten?“

Eine gleichgewichtete Sprachbewertung kann eine wertvolle diagnostische Perspektive sein. Sie stellt nicht die durchschnittliche menschliche Erfahrung in der Weltbevölkerung dar. Die Bevölkerungsbewertung und die Sprachgerechtigkeitsbewertung sollten separat veröffentlicht werden.

Einwand 6— „Wenn eine kleine Sprache das globale Ergebnis nur geringfügig beeinflusst, warum ist dann eine niedrige Punktzahl wichtig?“

Weil das Repräsentationsproblem für Menschen, die diese Sprache verwenden, real ist. Schwere Fehler in Lizenzen, Gesundheit oder Identität werden auch nicht automatisch durch den Bevölkerungsanteil trivialisiert.

Einwand 7— „Ist es nicht unfair, der KI die Schuld zu geben, wenn eine Sprache mit wenigen Ressourcen nur wenige Ressourcen hat?“

Es kann nur unfair sein, der KI die Schuld zu geben. Daher:

• Ressourcenparität,
• Prompt-Äquivalenz,
• Kompetenz des Schiedsrichters

separat untersucht. Der Fehler, der den Nutzer erreicht, ist dennoch sachlich korrekt. Der Eigentümer der Korrektur sollte korrekt bestimmt werden.

Einwand 8— „Ist es nicht normal, in verschiedenen Ländern in derselben Sprache unterschiedliche Antworten zu haben?“

Es kann normal sein, wenn die tatsächlichen lokalen Bedingungen unterschiedlich sind. Wenn derselbe materielle Sachverhalt sich unterschiedlich ändert und ohne Erklärung, kann das ein Problem sein. Sprache und Standort sollten zusammen untersucht werden.

Einwand 9— „Wenn KI in einer anderen Sprache die richtige Antwort gibt, warum sollte sie dann versagen?“

Wenn der Nutzer die Antwort nicht verstehen kann, kann die Repräsentation nicht verwendet werden. Sprachabweichung sollte zusammen mit der Genauigkeit separat bewertet werden.

Einwand 10— „Die Suche nach 200-Nutzern für Sprachbewertungen kann sehr teuer sein.“

Eine kleinere Stichprobe kann verwendet werden. Ergebnis:

• Entdeckung,
• vorläufig,
• unzureichende Stichprobe

sollte mit diesem Status veröffentlicht werden. Kosten gewähren keine falsche Sicherheit.

Einwand 11— „Wenn die globale Punktzahl bereits hoch ist, verunsichert eine separate Sprachkarte den Kunden nicht unnötig?“

Das Verstecken von Materialverschlechterungen in der Sprache schützt den Kunden nicht. Es erzeugt falsches Vertrauen. Eine kurze und klare Ergebniskarte kann verwendet werden.

Einwand 12— „Reduziert ein einzelnes Critical Observer-Ereignis alle Berechtigungen?“

Die automatische Reaktion hängt von der Art des Ereignisses ab. Ein einzelnes Ereignis weist nicht auf eine nationale Verbreitung hin. Wenn es jedoch schwere Schäden oder falsche Autorität beinhaltet, kann es eine kritische Überprüfung und vorläufige Maßnahmen einleiten. Die Entscheidung wird in Abschnitt 15 definiert.

ALLGEMEINE REGEL VON ABSCHNITT 49

Die Erstellung einer Weltbewertung ist einfach. Sie füllen die Weltbevölkerung mit großen Ländern. Kleine Länder verlieren Sie in Bruchteilen. Sie messen Sprachen mit hohen Ressourcen. Sprachen mit niedrigen Ressourcen: diese entfernen Sie, indem Sie sagen „Stichprobe unzureichend.“ Dann veröffentlichen Sie eine einzige Zahl. Diese Zahl kann mathematisch korrekt berechnet werden. Aber sie zeigt möglicherweise nicht alle Repräsentationsfehler der Welt. NOMOS gibt jedem Land kein gleiches Gewicht. Weil die Bevölkerungsanteile der Menschen nicht gleich sind. NOMOS ignoriert kleine Länder auch nicht. Denn eine geringe Bevölkerung bedeutet nicht Nichtexistenz. NOMOS gewichtet nicht alle Sprachen gleich in der globalen Bewertung. Weil dies die durchschnittliche Erfahrung der Weltbevölkerung verzerren könnte. NOMOS macht kleine Sprachen auch nicht unsichtbar. Denn selbst wenn ihr globales Gewicht gering ist, kann der Repräsentationsfehler für die Menschen, die diese Sprache verwenden, 100% real sein.

Länderbeobachterpanel:

Zeigt, wo wir noch nie hingeschaut haben.

Sprachgerechtigkeits-Panel:

Zeigt, wer unter dem globalen Durchschnitt liegt.

Bevölkerungs-Panel:

Schätzt die durchschnittliche Erfahrung in der Weltbevölkerung.

Wenn diese drei zusammenarbeiten, wird die globale Punktzahl sowohl der Bevölkerung treu als auch hinsichtlich der Gerechtigkeit prüfbar. Ein einzelner Nutzer in einem Land ist nicht das ganze Land. Aber dieser Nutzer ist eine echte Person. Eine Sprache mag einen kleinen Teil der Weltbevölkerung ausmachen. Aber der Fehler in dieser Sprache ist nicht weniger falsch. Ein kritisches Ereignis mag selten sein. Aber Schaden wird nicht nur nach Häufigkeit gemessen. Daher lautet das siebte Messgesetz von NOMOS:

Das Recht auf Sichtbarkeit ist nicht dasselbe wie das Gewicht in der Bevölkerung.

Sein achtes Gesetz lautet wie folgt:

Ein Land zu beobachten ist nicht dasselbe wie ein Land zu schätzen.

Das neunte Gesetz lautet wie folgt:

Sprachgerechtigkeit bedeutet nicht, alle Sprachen gleich zu machen; es bedeutet sicherzustellen, dass niemand systematisch von der materiellen Realität aufgrund seiner Sprache entfernt wird.

Das zehnte Gesetz lautet:

Wenn der globale Durchschnitt die Sprache und das Land, die zurückliegen, unsichtbar macht, ist er allein kein ausreichendes GEO-Ergebnis.

NOMOS’s Abschnitt 7 Bestellung

Verstecke keine Länder, die du nie anschaust, während du mir die Weltwertung zeigst.

Schicke keinen Nutzer in ein kleines Land und mache diese Person zum ganzen Land.

Aber ignoriere auch kein kleines Land für immer, nur weil seine Bevölkerung klein ist.

Trenne Länderbeobachtung, Landvorhersage und Länderangemessenheit.

Beurteile das ganze Land nicht aufgrund eines einzelnen schweren Fehlers. / Aber ignoriere keinen menschlichen Schaden, indem du sagst „nur eine Antwort“.

Stütze den Erfolg in wichtigen Sprachen nicht auf das Schweigen von Minderheitensprachen.

Du kannst eine Sprache mit wenigen Ressourcen viel abtasten. / Aber lass sie nicht größer erscheinen, als sie in der Weltbevölkerung ist.

Machen Sie die gleiche Sprachpunktzahl nicht zu einer Bevölkerungsbewertung; machen Sie die Bevölkerungsbewertung nicht zu einer Sprachgerechtigkeitsbewertung.

Geben Sie mir nicht die Schuld, wenn die Übersetzung falsch ist. / Wenn die Quelle unvollständig ist, sagen Sie das auch. / Wenn der Gutachter die Sprache nicht versteht, treffen Sie kein endgültiges Urteil.

Klassifizieren Sie nicht einen legitimen lokalen Unterschied als Ungerechtigkeit, oder weisen Sie eine unerklärte wesentliche Diskrepanz nicht einfach als Stil ab.

Beobachten Sie zuerst die Länder. / Geben Sie dann an, wo Sie eine Schätzung unterstützen können. / Überstichproben Sie dann die Sprachen, die diagnostische Sichtbarkeit erfordern. / Geben Sie sie dann zu ihren wahren Bevölkerungsgewichten zurück. / Halten Sie die Menschen sichtbar, die der globale Durchschnitt zurücklässt.

Der abschließende Satz des Kapitels

Eine wirklich globale GEO-Messung muss mehr zeigen als das, was die meisten der Welt sehen. Sie muss auch zeigen, wer in kleineren Ländern und Sprachen unbeobachtet bleibt, wer falsch dargestellt wird und welches Ergebnis nur eine einzelne Warnung ist.

Normativer Kern

Das GEO-1000 Bevölkerungs-Panel, das Länderbeobachter-Panel und das Sprachgerechtigkeits-Panel MÜSSEN sich in Zweck, Stichprobe, Gewichtung und öffentlichen Angaben unterscheiden. Eine Beobachtung durch einen Länderbeobachter KANN feststellen, dass eine Zugangsbedingung, eine Antwort, eine Anomalie oder ein kritischer Vorfall in einem definierten Länder–Produkt–Sprach-Kontext aufgetreten ist. Eine Beobachtung durch einen Länderbeobachter DARF NICHT als Länderprävalenzschätzung oder Länder-GEO-Score repräsentiert werden. Die Abdeckung der Länderbeobachtung, die bevölkerungsgewichtete Beobachtungsabdeckung und die Länder-Schätzabdeckung MÜSSEN separat berichtet werden. Jedes berechtigte Land SOLLTE innerhalb eines vorab erklärten Überwachungszyklus eine positive Beobachtungswahrscheinlichkeit erhalten, es sei denn, es fällt außerhalb der rechtmäßigen Natürliche Reichweite des Produkts. Sprachfairness MUSS eine materiell vergleichbare Repräsentation unter semantisch gleichwertigen Aufforderungen und vergleichbaren Kontexten bewerten. Sie DARF keine wortwörtlich identischen Antworten verlangen oder legitime lokale Unterschiede ignorieren. Überprobenierte Sprachen MÜSSEN für globale Bevölkerungsabschätzungen wieder auf ihre Zielbevölkerungsgewichte zurückgeführt werden. Bevölkerungsgewichtete Ergebnisse, gleichwertige Sprachnachweise, Sprachuntergrenzen, kritische Fehlerquoten, unbekannte Raten und ungetestete Sprachen MÜSSEN weiterhin separat sichtbar bleiben. Eine Sprachdisparität DARF NICHT ausschließlich dem KI-Produkt zugeschrieben werden, bis die Gleichwertigkeit der Prompt, die Referenzgleichheit, die Messgleichheit und die Schiedsgleichheit bewertet wurden. Eine Beobachtung DARF mehrere diagnostische Panel-Tags tragen, darf jedoch nicht mit doppeltem Vollpopulation-Gewicht versehen werden. Vorfälle eines kritischen Beobachters KÖNNEN eine bestätigende Stichprobe und Konformitätsprüfung auslösen, ohne als Nachweis der Landesprävalenz behandelt zu werden.