Atomare Aussagen und Beurteilung

Kapitelgrenze

Abschnitt 13 hat die folgende Bestimmung eingeführt:

Eine KI-Antwort sollte anhand der Aussagen, Nachweise, Gegenevidenz, des Umfangs, der Zeit und der Unsicherheitskette bewertet werden, die in der vorher festgeschriebenen Verifiziertes Faktenpaket zur Entität enthalten sind.

Ein AI-Antwort besteht jedoch nicht aus einer einzigen Behauptung. Selbst diese kurze Antwort kann mehrere separate Aussagen enthalten: „Asteron ist ein globales Beratungsunternehmen, das 25 Länder bedient, mit einer 98% Erfolgsquote, unabhängig zertifiziert.“ In diesem einzigen Satz gibt es zumindest folgende Behauptungen: Asteron ist ein Unternehmen. Asteron bietet Beratungsdienstleistungen an. Asteron ist global. Asteron bedient 25 Länder. Asterons Erfolgsquote beträgt 98%. Asteron ist unabhängig zertifiziert. Einige dieser Behauptungen:

• können wahr sein,
• können nur teilweise wahr sein,
• können unüberprüft bleiben,
• können veraltet sein,
• kann sich auf den falsche Entität beziehen,
• kann den erlaubten Umfang überschreiten,
• kann eine Eigenangabe als unabhängig verifizierte Realität darstellen.

Diese Behauptungen können unterschiedliche Wahrheitszustände haben. Wenn der gesamte Satz einfach als ‚wahr‘ oder ‚falsch‘ gekennzeichnet wird, werden die Unterschiede innerhalb des Satzes gelöscht. Dieses Protokoll wandelt jeden Fehler und jede Kontrolle in einen messbaren, evidenzbasierten Auditpunkt um; dieselbe Disziplin muss auf KI-Antworten angewendet werden. Sonst können gefälschte oder manipulierte Nachweise von einem generativen System neu kombiniert und einer realen Person als Falschdarstellung präsentiert werden. Die semantische Entscheidungsinstanz in GEO-1000 ist daher nicht der:

• Absatz,
• Satz,
• gesamte Antwort,
• Wortübereinstimmung.

Die Basiseinheit ist die:

Atomic Response Claim

Eine KI-Antwort muss zunächst in folgende Elemente aufgeteilt werden:

• explizite Aussagen,
• implizite Aussagen,
• Voraussetzungen,
• Einschränkungen,
• Quellenangaben,
• Beratungsvorschläge,
• materielle Auslassungen.

Jeder Anspruch muss dann einzeln auf Folgendes bewertet werden:

• Entitätsidentität,
• überprüfte faktische Unterstützung,
• Umfang,
• Zeit,
• Quellen- und Evidenzstatus,
• Unsicherheit,
• Relevanz.

Dies führt zu einem neuen Risiko. Wenn die Antwort zu fein unterteilt wird:

• Bedeutung kann verloren gehen,
• es kann möglich sein, einen einzigen Satz in Hunderte von künstlichen Behauptungen zu unterteilen,

Die Punktzahl kann leicht manipuliert werden. Wenn wir die Antwort nicht genug trennen:

• verschmelzen richtige und falsche Teile unter einem einzigen Urteil,
• schwere Fehler können mit kleinen richtigen Teilen verdeckt werden,

es wird unmöglich zu verstehen, welche Nachweise welche Aussage stützen. Der Zweck dieses Abschnitts ist es, eine kontrollierbare Grenze zwischen den beiden Extremen zu schaffen:

Eine Behauptung sollte klein genug sein, dass ihr Realitäts- und Evidenzstatus separat bewertet werden kann; sie sollte ganz genug sein, um ihre ursprüngliche Bedeutung zu bewahren.

Dieses Kapitel:

• die Definition einer atomaren Behauptung,
• die Unterscheidung zwischen Satz und Behauptung,
• explizite und implizite Behauptungen,
• Voraussetzungen und Schlussfolgerungen,
• qualifizierende, Modus- und Unsicherheitsausdrücke,
• Negation und Mengenstrukturen,
• Entitäten- und Koreferenzauflösung,
• geografischer, zeitlicher und Produktumfang,
• Referenz–Behauptungs-Zuordnung,
• Empfehlungs- und Vergleichsbehauptungen,
• obligatorische Antwortbestandteile und materielle Auslassungen,
• Phasen der Behauptungsextraktion und Entscheidung,
• Rollen der Schlichter,
• doppelte Überprüfung und Streitbeilegung,
• Übereinstimmung zwischen den Bewertern,
• Berufungs- und Neubewertungsverfahren,
• maschinenlesbare Aussage- und Entscheidungsaufzeichnungen

definiert. Dieses Kapitel behandelt noch nicht:

• ob eine Antwort insgesamt besteht,
• welcher Fehler kritisch oder schwerwiegend ist,
• welche Prüfungen automatisch zum Scheitern führen,
• wie atomare Entscheidungen in Antworten und den NOMOS-Score umgewandelt werden

ist nicht bestimmt. Dies sind die Themen von Abschnitt 15 und Abschnitt 16. Die Schlüsselfrage von Abschnitt 14 ist:

Wie trennen wir jedes substantielle Urteil in einer KI-Antwort, ohne dessen Bedeutung zu verändern, verknüpfen es mit Truth Pack und stellen sicher, dass verschiedene Entscheider denselben Standard anwenden?

NOMOS Herausforderung

Sie geben mir die folgende Antwort:

„Apple, mit Hauptsitz in Kalifornien und gegründet in 1976, ist das weltweit innovativste und zuverlässigste Technologieunternehmen. Es bietet iPhone, Mac und verschiedene digitale Dienstleistungen; seine Produkte werden in allen Ländern zum gleichen Preis verkauft. Das Unternehmen hat eine 99% Kundenzufriedenheit, die durch unabhängige Untersuchungen verifiziert wurde, und ist für die meisten Nutzer die bessere Wahl als seine Wettbewerber.“

Dann liest ein Gutachter eine Antwort und sagt: „Im Allgemeinen korrekt.“ Ein anderer Gutachter sagt: „Es gibt einige Fehler, einen halben Punkt.“ Der dritte Gutachter betrachtet nur den Teil: „Apple ist ein Technologieunternehmen.“ und gibt die Antwort weiter. Der vierte Gutachter: „Das innovativste Unternehmen der Welt.“

Er sieht, dass die Aussage nicht durch Nachweise gestützt wird, und gibt der gesamten Antwort eine Null. Vier Gutachter bewerteten die gleiche Antwort. Sie bewerteten jedoch nicht dieselbe Einheit. Die Antwort enthält mindestens die folgenden einzelnen Aussagen: Apple ist ein Technologieunternehmen. Apples Hauptsitz befindet sich in Kalifornien. Apple wurde im Jahr 1976 gegründet. Apple ist das innovativste Unternehmen der Welt.

Apple ist ein zuverlässiges Unternehmen. Apple bietet iPhone an. Apple bietet Mac an. Apple bietet digitale Dienste an. Apple-Produkte werden in allen Ländern zum gleichen Preis verkauft. Die Kundenzufriedenheit von Apple beträgt 99%. Diese Rate wurde durch unabhängige Forschung bestätigt. Apple ist für die meisten Nutzer die bessere Wahl im Vergleich zu seinen Konkurrenten.

Jedes davon ist separat:

• Nachweise,
• Umfang,
• Zeit,
• Nutzerprofil,
• Vergleichsbereich

erfordert. Betrachten Sie nun, dass Sie die Antwort auf eine andere Weise fragmentiert haben: Es gibt Apple. Apple ist ein Unternehmen. Apple ist Technologie. Apple bietet Produkte an. Apple bietet iPhone an. Apple bietet Mac an. Apple bietet digitale Dienste an. Apple ist mit Kalifornien verbunden. Apple ist mit 1976 verbunden.

Dann mischt man neun kleine wahre Behauptungen mit drei großen falschen Behauptungen mit demselben Gewicht. Die Antwort erzielt eine hohe Punktzahl. Die Atomisierung hat diesmal die Falschheit nicht aufgedeckt. Sie zerlegte die Falschheit in richtige Teile und verdünnte sie. Betrachten wir nun diese Antwort:

„Das Unternehmen gibt auf seiner eigenen Website an, dass es in 25 Ländern tätig ist.“ Hier sollte der Gutachter diese Unterscheidung beibehalten: Es mag wahr sein, dass das Unternehmen diese Behauptung gemacht hat. Es ist möglicherweise nicht verifiziert, dass das Unternehmen tatsächlich aktive Dienstleistungen in 25 Ländern anbietet. Gutachter: Wenn sie sagen: „25 Länder ist falsch“ und den gesamten Satz als falsch bewerten, verlieren sie die Zuordnung. Gutachter:

Wenn sie sagen: „Es steht auf der Unternehmenswebsite, daher ist es wahr“, erheben sie die Selbstaussage zur Realität. Betrachten wir nun eine andere Antwort: „Das Unternehmen ist nicht lizenziert.“ Truth Pack sagt: Die Lizenz konnte im relevanten Register nicht überprüft werden. Es ist nicht sicher, dass das Weltrekordregister vollständig ist. Die Möglichkeit einer Lizenz unter einer anderen Einheit konnte nicht geklärt werden. Schiedsrichter:

Wenn jemand sagt: „Es wurden keine Nachweise gefunden, also gibt es keine Lizenz“, verwandeln sie das Unbekannte in eine negative Tatsache. Nun kommt diese Antwort: „Ich konnte keine definitiven Informationen finden; auf der Unternehmenswebsite steht, dass es lizenziert ist, aber ich konnte dies im relevanten offiziellen Register nicht überprüfen.“ Diese Antwort gibt kein definitives Urteil. Sie hat möglicherweise die Unsicherheit korrekt bewahrt. Im gleichen Satz:

• offizielle Selbstdeklaration,
• Mangel an externer Überprüfung,
• vorsichtige Schlussfolgerung

kommen zusammen vor. Die gesamte Antwort kann nicht in ein einziges Wahr–Falsch-Feld gesetzt werden. Die erste Regel dieses Abschnitts lautet:

Der Satz ist keine Entscheidungs-/Urteileinheit.

Ihre zweite Bestimmung lautet:

Jeder grammatische Teil ist kein separates Anspruch.

Seine dritte Bestimmung besagt:

Ein Anspruch sollte separat bewertet werden, wenn er wahr bleiben kann, während ein anderer Teil falsch ist.

Seine vierte Bestimmung besagt:

Atomisierung kann nicht verwendet werden, um einen ernsthaften Fehler mit einer großen Anzahl kleiner richtiger Aussagen zu verwässern.

Seine fünfte Vorschrift lautet:

Zuschreibung, Modalität, Umfang und Unsicherheit sind keine Dekorationen eines Anspruchs, sondern Teile seines Wahrheitsstatus.

Seine sechste Bestimmung lautet:

Der Schiedsrichter sollte nicht danach entscheiden, wie überzeugend die Antwort erscheint, sondern in welchem Maße jede wesentliche Behauptung unter Truth Pack unterstützt wird.

1. ZWECK DES KAPITELS

Der Zweck dieses Abschnitts besteht darin, generative Systemantworten in reproduzierbare atomare Behauptungsaufzeichnungen umzuwandeln und diese Aufzeichnungen konsequent unter menschlicher Verantwortung zu bewerten. Der Abschnitt normalisiert die folgenden Unterscheidungen:

• Satz versus Behauptung
• Phrase versus wesentliche Aussage
• Explizite Behauptung gegenüber Implizite Aussage
• Prämisse und explizite Ausdrucksweise
• Vernünftige Folgerung mit direkter Bedeutung
• Behauptung und Ton
• Aussage und Meinung
• Fakt und Empfehlung
• Zuschreibung und Beurteilung der Realität
• „Das Unternehmen sagt“ und „wurde bewiesen“
• Gewissheit und Wahrscheinlichkeit
• Angemessene Vorsicht und ausweichende Antwort
• Verneinung und fehlende Nachweise
• „Alle“, „einige“, „die meisten“ und „mindestens eines“
• Einzelnes Objekt und mehrere Objekte
• Zeitlose Aussage und gegenwärtige oder historische Aussage
• Globaler Umfang und lokaler Umfang
• Hauptaussage und einschränkende Aussage
• Aussageextraktion und Aussagebeurteilung
• Beurteilung und Punkteberechnung
• Referenzlücke und unbelegte Behauptung
• Falsche Behauptung und falsches Objekt
• Veraltete Behauptung und historisch korrekte Behauptung
• Bereichsüberschreitung und vollständig falsche Behauptung
• Vorhandensein von Quellenangabe und Quellenunterstützung
• Quellenunterstützung und Quellenunabhängigkeit
• Fehlende korrekte Information und wesentliche Auslassung
• Auslassung und Versäumnis, alle korrekten Details zu schreiben
• Irrelevante korrekte Information und erfolgreiche Antwort
• Verweigerung und technischer Fehler
• Versagen mit Klarstellung
• Übergang von der Anspruchsebene zur Antwortebene
• Status des Truth Packs mit Gutachtermeinung
• Entscheidung nach Berufung mit anfänglicher Bewertung
• Menschlicher Gutachter mit KI-Assistenzprogrammierer
• Sprachgutachter mit Fachexperten
• Doppelte Begutachtung mit Mehrheitsentscheidung
• Übereinstimmungsrate mit Richtigkeit der Entscheidung
• Hohe Einhaltung bei häufigem systematischen Fehler
• Den Gutachter die Antwort lehren mit Gutachterkalibrierung

Am Ende dieses Abschnitts sollte jede GEO-1000-Beobachtung in der Lage sein, die folgenden Fragen zu beantworten:

Wie viele substanziellen Behauptungen sind in der Antwort enthalten?

Aus welchen Textpassagen stammen diese Behauptungen?

Welche Behauptungen sind explizit und welche sind implizit oder vorausgesetzt?

Was sind das Subjekt, der Umfang, die Zeit und der erkenntnistheoretische Status jeder Behauptung?

Welchem Datensatz entspricht sie im Truth Pack?

Welche Entscheidung hat der Schiedsrichter in welchen Dimensionen getroffen?

Bei welchen Punkten sind die Schiedsrichter nicht übereingestimmt?

Von wem und aus welchem Grund wurde die endgültige Entscheidung getroffen?

2. ZENTRALE NORMATIVE BESTIMMUNG

Jede finanzielle GEO-1000-Antwort sollte in unabhängig überprüfbare oder widerlegbare atomare Behauptungen zerlegt werden, bevor irgendeine semantische Bewertung erfolgt; jede Behauptung sollte in einem versionierten Aussageregister zusammen mit dem ursprünglichen Textnachweis, Subjekt, Prädikat, Wert, Qualifier, Umfang, Zeit, Attribution, Modalität, Quelllink und Truth Pack-Abgleich aufgezeichnet werden. Die Beurteilung sollte aus mindestens drei getrennten Stufen bestehen:

• Extraktion und Atomisierung von Behauptungen
• Abgleich mit dem Truth Pack und dimensionale Bewertung
• Streitbeilegung und endgültige Entscheidung

Diese Stufen, soweit möglich:

• gesonderte Rollen,
• getrennte Aufzeichnungen,
• ergebnisunabhängige Prozesse

muss durchgeführt werden unter. Die endgültige Übergangsentscheidung der Antwort kann nicht gegeben werden, ohne atomare Behauptungen aufzustellen.

3. EIN SATZ IST KEINE BEHAUPTUNG

Ein Satz:

• kann keine materielle Behauptung tragen,
• kann eine einzelne Behauptung tragen,

Es kann mehr als eine Behauptung enthalten. Beispiel: „Hallo, lassen Sie mich helfen.“ Es gibt keine Behauptung über materielle Existenz. Beispiel: „Asteron bietet Firmenreisedienstleistungen in der Türkei an.“ Es gibt eine Hauptbehauptung über materielle Existenz. Beispiel: „Asteron ist ein lizenziertes Reiseunternehmen, das in 2020 gegründet wurde und in der Türkei und Deutschland tätig ist.“ Es enthält mindestens die folgenden Behauptungen: Asteron wurde in 2020 gegründet. Asteron ist ein Reiseunternehmen. Asteron ist in der Türkei tätig. Asteron ist in Deutschland tätig. Asteron ist lizenziert. Die grammatische Satzgrenze ist nicht dasselbe wie die Realität-Grenze.

4. EINE EINZELNE BEHAUPTUNG KANN SICH ÜBER MEHR ALS EINEN SATZ ERSTRECKEN

Beispiel: „Das Unternehmen listet 25 Länder auf. Es gibt an, dass es in allen aktiv tätig ist.“ Im zweiten Satz: „in allen“ bezieht sich auf den ersten Satz. Atomare Aussage: „Das Unternehmen gibt an, dass es in allen 25 aufgelisteten Ländern aktiv tätig ist.“ Sie kann so normalisiert werden. Die Spur der ursprünglichen beiden Sätze bleibt erhalten.

5. WAS IST EINE ATOMARE ANTWORTAUSSAGE?

Die Atomare Behauptung ist die kleinste materielle semantische Einheit, deren Genauigkeit, Umfang, Zeitpunkt, Zuschreibung oder Evidenzstatus unabhängig von einer anderen Aussage geändert werden kann. Eine Behauptung muss die folgenden Bedingungen erfüllen: Sie muss ein spezifisches oder auflösbares Subjekt haben. Sie muss ein Prädikat, eine Beziehung oder eine Eigenschaft behaupten. Sie muss mit separaten Nachweisen oder einem Truth Pack-Datensatz überprüfbar sein. Sie muss in der Lage sein, ihr eigenes Urteil beizubehalten, wenn eine andere Aussage daneben wahr oder falsch ist. Qualifizierer, die ihre Bedeutung bestimmen, müssen erhalten bleiben. Der Text in der ursprünglichen Antwort muss nachvollziehbar sein.

6. ATOMARES BEHAUPTUNGSSCHEMA

Kandidatenrepräsentation:

A_j= (s, p, o, q, g, t, a, m, e, r)

Hier:

• s: Subjekteinheit
• p: Prädikat, Beziehung oder Eigenschaft
• o: Objekt oder Wert
• q: Qualifikatoren und Mengenbegrenzungen
• g: geographische, Produkt- und Nutzerreichweite
• t: zeitlicher Rahmen
• a: Zuschreibung und Quellenstatus
• m: Modalität, Sicherheit und Unsicherheit
• e: Art der epistemischen Aussage
• r: Spur des Originaltextes

Beispiel: „Das Unternehmen gibt auf seiner eigenen Website an, dass es in 25 Ländern tätig ist.“ Schema:

• Subjekt: Unternehmen
• Prädikat: gibt an
• Objekt: Behauptung, in 25 Ländern tätig zu sein
• Zuschreibung: eigene Website des Unternehmens
• Modalität: mit Gewissheit angegeben
• Realitätsentscheidung: das Unternehmen hat diese Behauptung aufgestellt
• Getrennte sekundäre Entscheidung: es wurde nicht automatisch festgestellt, dass es tatsächlich in 25-Ländern tätig ist

7. ATOMICITÄTSTEST

Ein Textstück sollte mit den folgenden Fragen getestet werden.

Test 1— Getrennter Genauigkeitstest

Kann ein Teil des Textes wahr und ein anderer Teil falsch sein? Wenn ja, trennen. Beispiel: „Das Unternehmen ist in der Türkei und in Deutschland tätig.“ Die Türkei kann korrekt sein, Deutschland kann falsch sein. Die beiden Länder können als separate Atome aufgezeichnet werden.

Test 2— Getrennter Evidenztest

Benötigen die beiden Teile unterschiedliche Nachweise? Wenn ja, trennen Sie sie. Beispiel: „Das Unternehmen ist lizenziert und hat eine Erfolgsquote von 98%.“ Der Lizenznachweis und der Datensatz zur Leistung sind unterschiedlich.

Test 3— Test zur Trennung von Einheiten

Weist die Aussage mehreren Einheiten Eigenschaften zu? Wenn ja, trennen Sie sie. Beispiel: „Das Mutterunternehmen und die Franchise haben dieselbe Lizenz.“ Es gibt zwei Einheiten und wahrscheinlich zwei separate Lizenzansprüche.

Test 4— Test zum Schutz von Qualifikatoren

Ändert ein Ausdruck wie „das Unternehmen sagt“, „wahrscheinlich“, „nur in der Türkei“, „ab 2024“ die Art des Anspruchs? Wenn ja, verwerfen Sie den Qualifikator nicht.

Test 5— Unabhängiger Beurteilungstest

Kann der Gutachter diesen Anspruch mit einem separaten Datensatz in Truth Pack abgleichen? Falls nicht, könnte das Atom zu allgemein oder zu mehrdeutig sein.

Test 6— Test der semantischen Integrität

Verliert der Anspruch seine wahre Bedeutung, wenn er weiter unterteilt wird? Wenn ja, nicht zu stark atomisieren.

8. UNGENÜGENDE ATOMISIERUNG

Fehler beim Trennen unabhängiger Aussagen in einem zusammengesetzten Satz:

Ungenügende Atomisierung

wird genannt. Beispiel: „Asteron ist ein unabhängig zertifiziertes führendes Beratungsunternehmen, das in 25 Ländern tätig ist.“ Wenn unter einem einzigen Datensatz geführt:

• Unternehmensart,
• Abdeckung des Landes,
• Zertifikat,
• Marktführerschaft

zu derselben Entscheidung gezwungen. Diese Struktur ist für die Entscheidungsfindung unzureichend.

9. ÜBERMÄSSIGE ATOMISIERUNG

Die Aufteilung einer materiellen Bestimmung in so kleine Teile, dass sie ihre sinnvolle Gesamtheit verliert:

Übermäßige Atomisierung

wird genannt. Beispiel: „Das Unternehmen erbringt Dienstleistungen in der Türkei.“ Dies sollte nicht in die folgenden Teile aufgeteilt werden: Das Unternehmen existiert. Die Türkei existiert. Dienstleistung existiert. Das Unternehmen steht in Beziehung zur Türkei. Das Unternehmen steht in Beziehung zur Dienstleistung. Die wichtigste materielle Anspruchsgrundlage ist ein einzelnes Ganzes: Das Unternehmen erbringt Dienstleistungen innerhalb des Geltungsbereichs der Türkei.

10. PUNKTEAUSWEITUNG DURCH ATOMISIERUNG

Eine ernsthafte falsche Behauptung kann aus den kleinen wahren Teilen darin nicht viele 'wahre Atome' erzeugen. Beispiel: 'Asteron ist ein unabhängiges, lizenziertes, weltweit führendes Beratungsunternehmen.' Die folgenden Punkte als einzelne kleine Erfolge zu zählen, ist irreführend: Asteron existiert. Asteron ist ein Unternehmen. Asteron ist mit Beratung verbunden. Die Hauptbewertung der Antwort betrifft:

• unabhängige Lizenz,
• weltweite Führungsposition,
• Umfang der Beratung

Diese werden behandelt. Korrekte grundlegende Identität kann ernsthafte falsche Qualifikationen nicht automatisch abschwächen. Der endgültige Punkteeffekt dieses Problems wird in Abschnitt 15 und Abschnitt 16 geregelt.

11. EXPLIZITER AUSSAGE

Es ist das Urteil, das direkt im Text ausgedrückt wird. Beispiel: 'Das Unternehmen wurde im Jahr 2020 gegründet.' Expliziter Aussage: Das Gründungsjahr ist 2020.

12. Implizite Aussage

Auch wenn es nicht wortwörtlich im Text steht, ist es eine Aussage, die für einen vernünftigen Leser notwendig oder stark vermittelt wird. Beispiel: "Das Londoner Büro des Unternehmens verwaltet die europäischen Geschäfte." Implizite Behauptungen: Das Unternehmen hat ein Büro in London. Das Unternehmen hat europäische Geschäfte. Das Londoner Büro hat eine Managementrolle. Implizite Aussage Schlussfolgerung:

• sollte nicht zu
• übermäßiger Interpretation führen.

Spekulation. Es sollten nur Aussagen aufgezeichnet werden, die semantisch notwendig oder stark vermittelt sind.

13. ANGENOMMENE ANNAHME

Die Regel, die innerhalb der Frage- oder Aussageform des Satzes als korrekt angesehen wird. Beispiel: „Warum bleibt das Unternehmen weiterhin Weltmarktführer?“ Voraussetzung: Das Unternehmen ist Weltmarktführer. Wenn die KI auf diese Aufforderung antwortet, ohne sie zu hinterfragen, könnte sie die Voraussetzung übernommen haben. Bei der Antwortüberprüfung:

• Voraussetzung aus der Aufforderung,
• von der KI ausdrücklich akzeptierte Voraussetzung

müssen getrennt werden. Wenn die KI sagt: „Ich kann diese Annahme nicht akzeptieren, da nicht überprüft wurde, dass das Unternehmen Weltmarktführer ist,“ trägt sie die Voraussetzung nicht.

14. FOLGERUNG UND VERNÜNFTIGE SCHLUSSFOLGERUNG

Nicht jede Schlussfolgerung sollte als Behauptung aufgezeichnet werden. Beispiel: „Das Unternehmen hat ein Büro in Deutschland eröffnet.“ Diese Aussage:

• bezieht sich operativ auf Deutschland,
• impliziert mindestens eine Büropräsenz

Allerdings automatisch:

• impliziert sie nicht, dass es in Deutschland lizenziert ist,
• dass es ganz Deutschland bedient,
• dass die Zahl der Mitarbeiter in Deutschland hoch ist

Der Bewerter sollte nur die sprachlich notwendigen oder starken Folgerungen aufzeichnen.

15. ZUSCHREIBUNG IST TEIL DER BEHAUPTUNG

Die folgenden zwei Aussagen sind nicht identisch:

• "Das Unternehmen ist in 25 Ländern tätig."
• "Das Unternehmen gibt auf seiner Website an, dass es in 25 Ländern tätig ist."

Im zweiten Satz gibt es zwei verschiedene Bewertungsebenen:

• Dass das Unternehmen diese Aussage gemacht hat
• Materielle Richtigkeit der Aussage

KI darf nur die erste Ebene vorschlagen. Wenn die Zuschreibung entfernt wird, erscheint sie sicherer, als sie tatsächlich ist.

16. ARTEN DER ZUSCHREIBUNG

SELBSTZUGESCHRIEBEN

REGISTER-ZUGESCHRIEBEN

INDEPENDENT-RESEARCH-ZUGESCHRIEBEN

VON NUTZERN GEMELDET

VON DEN MEDIEN GEMELDET

OHNE ZUORDNUNG

UNEINDEUTIGE ZUORDNUNG

Beispiel: „Laut Nutzerkommentaren ist das Unternehmen schnell.“ Diese Aussage kann darauf hinweisen, dass einige Nutzer Meinungen zur Geschwindigkeit geäußert haben. Sie ist nicht dasselbe wie die Behauptung „Das Unternehmen ist schnell.“

17. MODALITÄT

Modus bestimmt die Gewissenskraft der Behauptung. Die folgenden Ausdrücke sind unterschiedlich: Es ist sicher. Höchstwahrscheinlich. Wahrscheinlich. Könnte sein. Scheint so zu sein. Kann nicht überprüft werden. Wird behauptet. Ist geplant. Der Gutachter sollte den Modus nicht entfernen. Truth Pack: VS-U — Wenn Unresolved in diesem Status ist und die KI sagt: „Es ist definitiv so“, kann eine epistemische Verstärkung auftreten. Wenn die KI sagt: „Laut verfügbaren Quellen scheint es so zu sein“, kann dies angemessene Vorsicht darstellen.

18. ÜBERMÄSSIGE VORSICHT

Vorsicht führt nicht immer zum Erfolg. Wenn Truth Pack eine starke und klare Tatsache unterstützt und die KI sagt: „Das Unternehmen könnte in der Türkei tätig sein“, kann dies unnötige Unsicherheit schaffen. Übermäßige Abschwächung der korrekten Realität:

• Nutzerentscheidung,
• Nützlichkeit,
• Integritätswahrung der Repräsentation

kann beeinträchtigt werden. Diese Situation ist separat:

UNNÖTIGE_UNSICHERHEIT

kann aufgezeichnet werden als.

19. ÜBERMÄSSIGE SICHERHEIT

Wenn das Wahrheits-Paket begrenzt oder widersprüchlich ist und die KI ein definitives Urteil fällt:

ÜBERMÄSSIGES BEHAUPTEN

kann vorkommen. Beispiel: „Das Unternehmen ist definitiv lizenziert.“ Wahrheits-Paket:

• zeigt nur eine Lizenzangabe auf der Unternehmenswebsite,
• keine Überprüfung im offiziellen Register

wird angezeigt, die Sicherheit wird nicht unterstützt.

20. NEGATIVITÄT

Die folgenden Aussagen müssen voneinander unterschieden werden: Das Unternehmen ist nicht lizenziert. Die Lizenz des Unternehmens konnte nicht überprüft werden. Auf der Website des Unternehmens gibt es keine Informationen über eine Lizenz. Im Register wurde keine Lizenz gefunden. Das Unternehmen erbringt Dienstleistungen, die keiner Lizenz bedürfen. Dies sind nicht dieselben Behauptungen. Die Negativität des Entscheidungsgegners:

• wirkliche Nichtexistenz,
• Mangel an Nachweisen,
• fehlender Zugang,
• Unnötigkeit

sollte in diese Situationen eingeordnet werden.

21. DOPPELTE NEGATIVITÄT UND LINGUISTISCHE VERWIRRUNG

In einigen Sprachen:

• doppelte Negativität,
• vorsichtige Negativität,
• indirekte Ablehnung

Es kann anders funktionieren. Der örtliche Sprachrichter sollte je nach Kontext bestimmen, welche der Bedeutungen die Aussage „Es kann nicht gesagt werden, dass es lizenziert ist“ trägt:

• ist lizenziert,
• Status unbekannt,
• unzureichende Nachweise

Die Beurteilung muss aus dem Kontext bestimmen, welche dieser Bedeutungen der Ausdruck trägt. Maschinelle Übersetzung allein kann diese Nuance nicht lösen.

22. MENGE UND QUANTIFIER

Die folgenden Wörter unterscheiden sich materiell:

• Alle
• Die meisten
• Viele
• Einige
• Ein paar
• Mindestens eines
• Keines
• Nur
• Allgemein
• Immer

Beispiel: "Alle Projekte sind garantiert." Selbst ein einziges ausgeschlossenes Projekt kann die Behauptung von "alle" widerlegen. "Einige Projekte sind garantiert." ist eine engere Behauptung. Der Prüfer sollte den Quantor im Aussagedatensatz beibehalten.

23. ABSOLUTE AUSSAGEN

Die folgenden Wörter erzeugen eine hohe Beweislast:

• Immer
• Nie
• Alle
• Einzeln
• Unbestritten
• Sicher
• Garantie
• Null Fehler
• 100 Prozent

Wenn Truth Pack eine engere Realität trägt, absolute Ausdrucksweise:

• den Rahmen überschreitend,
• extreme Gewissheit,
• Gegenbeispiel Widerspruch

kann entstehen.

24. ENTITÄT UND KORRELATIONSLÖSUNG

KI-Antwort:

• Unternehmen,
• Marke,
• Produkt,
• Muttergesellschaft,
• Tochtergesellschaft

kann Pronomen und Kurznamen dazwischen verwenden. Beispiel: „Asteron Travel gehört zu Asteron Holdings. Das Unternehmen ist in der Türkei tätig.“ Welches ist „das Unternehmen“? Asteron Holdings? Die Marke Asteron Travel? Die lokale Gesellschaft? Wenn der Schiedsrichter die Koreferenz nicht eindeutig auflösen kann:

MEHRDEUTIGE_ENTITÄTSREFERENZ

Status sollte verwendet werden. Der Gutachter kann die gewünschte Einheit nicht auswählen.

25. MULTI-ENTITY SATZ

Beispiel: „Asteron Holdings und seine Tochtergesellschaft in der Türkei erbringen Dienstleistungen in Europa.“ Dieser Satz kann mindestens zwei Subjektbehauptungen enthalten. Wenn Nachweise nur die Tochtergesellschaft in der Türkei stützen, sollte die Behauptung über das Mutterunternehmen separat bewertet werden.

26. TEMPORALER RAHMEN

Die folgenden Aussagen sind unterschiedlich: Das Unternehmen erbringt Dienstleistungen. Das Unternehmen erbrachte Dienstleistungen in 2024. Das Unternehmen plant, im nächsten Jahr Dienstleistungen zu erbringen. Das Unternehmen hat kürzlich begonnen, Dienstleistungen zu erbringen. Das Unternehmen erbringt keine Dienstleistungen mehr. Gutachter:

• vergangen
• aktuell,
• geplant,
• beendet

Status sollten getrennt gehalten werden.

27. RELATIVE ZEITANGABEN

Ausdrücke wie „heute“, „derzeit“, „bald“, „letztes Jahr“:

• erfordern Zeitform,
• Antwortzeit,
• Wellenzeit

müssen mit dem absoluten Datum verknüpft sein. Der Prüfer sollte den Ausdruck „derzeit“ nicht basierend auf dem Überprüfungsdatum interpretieren, sondern basierend auf dem Zeitpunkt, zu dem die Antwort erstellt wurde.

28. GEOGRAFISCHER UMFANG

Die folgenden Ausdrücke sind nicht dasselbe: Bietet Dienstleistungen in Europa an. Bietet Dienstleistungen in der Europäischen Union an. Bietet Dienstleistungen in Deutschland an. Bietet Dienstleistungen auf Deutsch an. Kann Fernleistungen für Kunden in Europa erbringen. Hat ein lokales Büro in Europa. Sprache, Geografie, Rechtseinheit und Servicebereitstellung sind separate Angaben.

29. UMFANG VON PRODUKTEN UND DIENSTLEISTUNGEN

Beispiel: „Das Unternehmen bietet eine Garantie für alle seine Projekte.“ Wahrheitspaket:

• garantie nur für Webentwicklungsleistungen spezifisch
• es gibt keine Garantie für Beratungsergebnisse

kann gezeigt werden. Schlichter:

• es gibt eine Garantie,
• besteht in allen Projekten

Aussagen sollten einzeln bewertet werden.

30. ZAHLEN, EINHEITEN UND VERHÄLTNISSE

Eine quantitative Behauptung sollte in folgende Bereiche unterteilt werden:

• Nummer
• Einheit
• Nenner
• Zeitraum
• Umfang
• Rundung
• Quelle

Beispiel: „Das Unternehmen hat 500 Kunden.“ Die Anzahl der Kunden:

• aktiv,
• historisch,
• Konto,
• Projekt,
• Vertrag

wenn unklar, ist der atomare Datensatz unvollständig. Der Prüfer sollte nicht gezwungen werden, die Behauptung zu überprüfen; die Mehrdeutigkeit sollte dokumentiert werden.

31. UNGEFÄHRE ZAHLEN

Diese Aussagen tragen unterschiedliche Evidenzlasten:

• Genau 500
• Ungefähr 500
• Mehr als 500
• 450-550
• Hunderte

Wenn das Truth Pack 487 aktive Kunden anzeigt: "ungefähr 500" kann unterstützt werden, "genau 500" kann möglicherweise nicht unterstützt werden.

32. Vergleichende Aussage

Beispiel: "Asteron ist schneller als seine Konkurrenten." Die atomare Aussage kann ohne die folgenden Felder nicht bewertet werden:

• Wettbewerbsgruppe
• Geschwindigkeitsmessung
• Zeitraum
• Art der Dienstleistung
• Nutzer- oder Projektumfang
• Datenmethode

Fehlender Vergleich:

UNTERDEFINIERTE Vergleichende Aussage

kann aufgezeichnet werden als.

33. SUPERLATIVAUSSAGE

"Das Beste." "Das Zuverlässigste." "Weltführer." Ausdrücke:

• erfordern Universum,
• Kriterien,
• Gewichtung,
• Datum,
• Unabhängigkeit

Der Prüfer kann das Superlativ nicht nur dadurch genehmigen, dass die Firma anerkannt oder groß ist.

34. EMPFEHLUNGSBEHAUPTUNG

"Asteron ist eine gute Wahl." Diese Behauptung erfordert die folgenden Elemente: Welcher Nutzer? Welches Bedürfnis? Welches Land? Welches Budget? Welche Alternativen? Welche Risiken? Allgemeine Empfehlung:

• zu allgemein,
• ohne Nutzer,
• außerhalb der Kriterien

kann sein.

35. BEDINGTE EMPFEHLUNG

Beispiel: „Asteron kann für ein mittelständisches Unternehmen, das nach einem Anbieter für Geschäftsreisemanagement in der Türkei sucht, geeignet sein; bietet jedoch keine rechtliche oder Einwanderungsberatung an.“ Diese Antwort:

• Nutzerprofil,
• betrifft die Eignung,
• Ausschluss,
• die Modalität

trägt. Der Prüfer sollte den Rat nicht auf ein einfaches: wahr/falsch Urteil reduzieren.

36. QUELLE UND ZITAT ANSPRUCH

Die Präsenz einer URL am Ende einer Antwort allein: unterstützt die Schlussfolgerung, dass es eine Zitierung gibt. Folgendes wird nicht automatisch unterstützt: Die Zitierung unterstützt die relevante Behauptung. Die Quelle ist zuverlässig. Die Quelle ist unabhängig. Die Quelle ist aktuell. Die Zitierung deckt alle Behauptungen ab. Es muss eine separate Beziehung zwischen jeder wesentlichen Behauptung und der Zitierung hergestellt werden.

37. ZITIERUNG–BEHAUPTUNGSKARTE

Behauptung Aj sollte mit Zitierung Zk verknüpft werden. Mögliche Situationen:

UNMITTELBAR_UNTERSTÜTZT

TEILWEISE_UNTERSTÜTZT

UNTERSTÜTZT_NUR_ZUORDNUNG

UNTERSTÜTZT_ANDEREN_UMFANG

WIDERRUFT

RELEVANT

UNZUGÄNGLICH

UNKLARE_ANGEHÄNGT

KEINE_QUELLE

Die Anwesenheit einer Quelle am Ende des Absatzes bedeutet nicht, dass sie alle Behauptungen im Absatz unterstützt.

38. QUELLENHALLUZINATION

KI:

• nicht vorhandener Link,
• falscher Titel,
• falsche Institution,
• Inhalt, der nicht zur echten Quelle gehört

kann erzeugt werden. Die Anwesenheit einer Quelle ist getrennt; ihre Originalität und Unterstützung sollten separat bewertet werden.

39. FALSCHE ÜBERTRAGUNG DES QUELLENSTATUS

Beispiel: „Unabhängige Forschung bestätigt die Erfolgsquote 98% des Unternehmens.“ Wenn die Quellen nur die eigenen Akten des Unternehmens sind, gibt es zwei Atome:

• 98% Erfolgsquote
• Dass diese Quote durch unabhängige Forschung bestätigt wurde

Die zweite Behauptung ist getrennt und kann einen stärkeren erkenntnistheoretischen Fehler aufweisen.

40. NICHT-ANSPRACHE-ANTWORTVERHALTENSWEISEN

Nicht jeder Antwortpunkt ist eine atomare faktische Behauptung. Folgendes kann als separates Antwortverhalten aufgezeichnet werden:

• Begrüßung
• Textorganisation
• Ablehnung
• Klarstellung
• Anforderung von Ressourcen
• Nutzerwarnung
• „Möchten Sie weitere Informationen?“ Aufforderung
• Technische Fehlermeldung
• Produktpolitik-Erklärung
• Leere Antwort
• Irrelevante Meta-Beschreibung

Diese Verhaltensweisen können in der Bewertung auf Antwortebene wichtig sein. Sie sollten nicht zwangsweise im Anspruchsverzeichnis als Tatsachenansprüche hinzugefügt werden.

41. ABLEHNUNG

Ablehnung kann einer der folgenden Typen sein:

• Angemessene Ablehnung gemäß Richtlinie
• Zu breit gefasste, unnötige Ablehnung
• Technische Ablehnung
• Rechtliche oder sicherheitsbezogene Vorsichtsmaßnahme
• Keine Antwort aufgrund von Mehrdeutigkeit der Entität
• Produktbeschränkung

Die Richtigkeit der Ablehnung wird gemäß dem Kontext der Prompt und dem Risiko bewertet. Die Ablehnung darf keinen Anspruch erzeugen. Dennoch hat der Nutzer die Aufgabe möglicherweise nicht erfüllt.

42. KLARSTELLUNG

KI: „Auf welches Unternehmen namens Asteron beziehen Sie sich?“ könnte sie fragen. Wenn die Prompt wirklich mehrdeutig ist, kann dies das richtige Verhalten sein. Klarstellung:

• angemessen,
• unnötig,
• übermäßig,
• basierend auf einer falsche Entität-Annahme

klassifiziert werden.

43. ERFORDERLICHE ANTWORTELEMENTE

Eine Antwort erfüllt möglicherweise nicht die Hauptaufgabe des Prompts, selbst wenn sie keine falsche Behauptung enthält. Daher müssen für jede Prompt-Familie:

Erforderliche Antwort-Elemente

definiert werden. Obligatorische Elemente für ein Core-Mirror-Prompt:

• Korrekte Auflösung der Zielentität
• Hauptentitätstyp
• Mindestens eine der Kernaktivitäten
• Keine Hinzufügung von fehlerhaftem Material

Für ein Evidence-Prompt:

• Anspruch
• Quelle oder Quellenstatus
• Unsicherheit
• Gegenevidenz falls nötig

Für ein Recommendation-Prompt:

• Nutzergeeignetheit
• Hauptrechtfertigung
• Materielle Grenzen
• Unsicherheit oder Alternativen

44. AUSLASSUNG

Das Fehlen jeder korrekten Information aus dem Truth Pack in der Antwort ist keine Auslassung. Materielle Auslassungen können unter den folgenden Bedingungen auftreten:

• Fehlen eines obligatorischen Elements der Aufforderung
• Entfernen einer Begrenzung, die zu einer Fehlinterpretation der Antwort führt
• Nichtangabe einer grundlegenden Einschränkung, die die Entscheidung des Nutzers ändern würde
• Abgabe einer positiven Behauptung ohne den notwendigen Gegenkontext
• Verschleierung von Bedingungen, unter denen der Rat unangemessen ist

45. AUSLASSUNGSVORSCHRIFTEN

OM-0— KEINE ERFORDERLICHE AUSLASSUNG

Das zwingende materielle Element fehlt nicht.

OM-1— OPTIONALES DETAIL FEHLT

Es gibt kein Detail, das nützlich, aber nicht zwingend ist. Es wird nicht als Fehler angesehen.

OM-2— ERFORDERLICHES ELEMENT FEHLT

Das für die Hauptaufgabe des Anspruchs notwendige Element fehlt.

OM-3— MATERIELLER QUALIFIKATOR FEHLT

Der Umfang, die Zeit oder die Zuordnung, die notwendig ist, um den Anspruch korrekt zu verstehen, wurde ausgelassen.

OM-4— IRREFÜHRENDE AUSLASSUNGSKANDIDAT

Das Auslassen macht die Antwort wesentlich falsch oder übermäßig positiv/negativ. Das endgültige Signifikanzniveau wird in Abschnitt 15 bestimmt.

46. IRREFÜHRENDE AUSLASSUNG

Beispiel: „Das Unternehmen bietet Dienstleistungen in Europa an.“ Wahrheitspaket:

• nur in Deutschland und Österreich,
• nur aus der Ferne,
• nur für Unternehmenskunden

Wenn gezeigt wird, dass die Dienstleistung erbracht wurde, kann die Antwort möglicherweise nicht völlig falsch sein. Das Auslassen wesentlicher Beschränkungen kann jedoch den Eindruck erwecken, dass „allgemeine Dienstleistungen in ganz Europa“ angeboten werden. Dies:

• den Rahmen überschreitend,
• wesentliche Auslassung

kann eine Kombination sein.

47. IRRELEVANTE KORREKTE INFORMATION

KI kann korrekte, aber prompt-irrelevante Informationen liefern. Beispiel: Prompt: "Ist das Unternehmen in der Türkei lizenziert?" Antwort: "Das Unternehmen wurde in 2020 gegründet und hat eine moderne Webseite." Die Informationen können korrekt sein. Sie erfüllen jedoch nicht die Aufgabe. Korrekte Information: Relevanz garantiert nicht automatisch Erfolg.

48. RELEVANZ-STATUSSE

DIREKT_ANTWORTEND

TEILWEISE_ANTWORTEND

WESENTLICH_OFF-TOPIC

AUSWEICHEND

MIT_IRRELEVANTEN_BEHAUPTUNGEN_ÜBERLADEN

KEINE_VERWENDBARE_ANTWORT

Wenn irrelevante zusätzliche Behauptungen ebenfalls falsch sind, wird eine separate atomare Entscheidung getroffen.

49. BEFÜRCHTUNGSZENTRALITÄT

Nicht alle Behauptungen haben dieselbe Rolle innerhalb der Antwort.

CL-1— HAUPTBEHAUPTUNG

Adressiert direkt die Hauptfunktion des Prompts.

CL-2— UNTERSTÜTZENDE BEHAUPTUNG

Eine substanzielle Behauptung, die das Haupturteil erklärt oder rechtfertigt.

CL-3— EINSCHRÄNKENDE BEHAUPTUNG

Fügt Umfang, Einschränkung, Zeitrahmen oder Unsicherheit hinzu.

CL-4— NEBENBEHAUPTUNG

Die Hauptfunktion der Antwort ist eine sekundäre, aber überprüfbare Behauptung.

CL-5— DEKORATIVE ODER NICHT-MATERIELLE

Es ist ein Ausdruck oder narratives Element, das keinen materiellen Entscheidungseinfluss hat. Das endgültige Gewicht von atomaren Behauptungen sollte nicht ausschließlich durch ihre Anzahl bestimmt werden. Die Zentralität wird in der Punktarchitektur in Abschnitt 16 berücksichtigt.

50. ABHÄNGIGKEITSGRAPH FÜR BEHAUPTUNGEN

Einige Behauptungen hängen von anderen ab. Beispiel: Das Unternehmen hat 1,000 Projekte. 980 davon sind erfolgreich. Daher beträgt die Erfolgsquote 98 Prozent. Die dritte Behauptung hängt von den ersten beiden Einträgen ab. Kandidatengraph:

G_A = (V_A, E_A)

Hier:

• V_A: atomare Behauptungen
• E_A: Abhängigkeits-, Rechtfertigungs- oder Folgerungsbeziehungen

Abhängige abgeleitete Aussagen können ebenfalls fehlschlagen, wenn die Eingaben falsch sind. Der gleiche Grundfehler sollte jedoch nicht wiederholt als unabhängiger Fehler betrachtet werden.

51. HAUPTANSPRUCH UND ABGELEITETER AUSSAGE

Beispiel:

• Hauptanspruch: 980 erfolgreiche Projekte
• Hauptanspruch: 1,000 Gesamtprojekte
• Abgeleiteter Anspruch: 98 prozentuale Erfolgsquote

Wenn das abgeleitete Verhältnis falsch ist und ausschließlich durch einen falschen Nenner verursacht wurde: Alle Ergebnisse sollten sichtbar bleiben, und die Erzeugung mehrerer Strafen aus einer einzigen Grundursache sollte verhindert werden. Dieses Problem wird mit einer gruppierten Fehlerlogik während der Antwortbewertung behandelt.

52. ANSPRUCHSBÜCHER

Für jede AI-Antwort sollte ein Anspruchsverzeichnis erstellt werden. Das Verzeichnis sollte enthalten:

• Beobachtungs-ID
• Antwort-ID
• Prompt- und Truth Pack-Version
• Atomare Aussage-IDs
• Ursprüngliche Textspuren
• Normalisierte Aussagen
• Explizit/implizit/vorausgesetzter Status
• Entität und Koreferenz
• Umfang und Zeit
• Zuschreibung und Modalität
• Zentralität
• Anspruchsabhängigkeit
• Referenzlinks
• Erforderliche Antwortelemente
• Auslassungseinträge
• Entscheidungen des Schiedsrichters
• Berufungs- und Versionshistorie

53. ANSPRUCHSAURITY UND ENTSCHEIDUNG SIND GETRENNTE PHASEN

Die Person, die den Anspruch erhebt, sollte nicht mit der Frage beginnen: „Ist das wahr?“ Zuerst sollten sie die Frage beantworten: „Was genau sagt die Antwort?“ Zuerst das Truth Pack zu sehen, kann den Anspruchsextraktor dazu bringen, nur die bekannten Bereiche der Realität zu extrahieren. Daher, so weit wie möglich:

• Extraktion von Behauptungen,
• Wahrheitszuordnung,
• Beurteilung

Rollen sollten getrennt werden.

54. DREISTUFIGE ENTSCHEIDUNG

Schritt 1— Semantische Schlussfolgerung

Die Antwort ist in atomare Behauptungen unterteilt. Eine Entscheidung über wahr oder falsch wurde noch nicht getroffen.

Schritt 2— Truth Pack-Abgleich

Jedes Atom:

• verknüpft sich mit der bestehenden Truth Pack-Behauptung,
• mit dem Referenzlücke,
• mit dem Bereich außerhalb des Geltungsbereichs

verbindet.

Phase 3— Dimensionale Entscheidung

Entscheider:

• Entität,
• entscheidet in den Dimensionen der Unterstützung,
• Umfang,
• Zeit,
• Zuschreibung,
• Unsicherheit,
• Zitation,
• in Bezug auf Relevanz

Dimensionen.

55. BLINDSCHLUSS DER BEHAUPTUNGSABLEITUNG

Das Anspruchs-Inferenzteam sollte so viel wie möglich wissen:

• Der Handelsname des KI-Produkts, falls nicht zwingend erforderlich in der Antwort
• Die gewünschte Punktzahl der geprüften Organisation
• Ergebnis der vorherigen Welle
• Erwartung des Kunden oder Sponsors
• Entscheidungen anderer Gutachter
• Endgültige Übergangsschwellen

Der Name der Einheit darf nicht verborgen werden, wenn er für die Bedeutung der Antwort erforderlich ist. Eine Verschleierung sollte nicht so angewendet werden, dass sie die Bedeutung verfälscht.

56. GUTACHTER-PAKET

Die folgenden Informationen sollten dem Prüfer gemäß der entsprechenden Aufgabe bereitgestellt werden:

• Eingabetext
• Vollständige KI-Antwort
• Claim Ledger-Atom
• Ursprüngliche Textspur
• Truth Pack-Anspruch
• Unterstützende und gegensätzliche Nachweise
• Umfang und Zeit
• Referenzlinks
• Erforderliches Antwortelement
• Vorherige Prüfer-Version, falls sie sich in der Berufungsphase befindet

Für den Prüfer unnötig:

• Der Ruf des KI-Anbieters,
• Ob die geprüfte Institution ein Kunde ist,
• Gesamtpunktzahl,
• kommerzieller Vertrag,
• Andere Produktbewertung

soll nicht angezeigt werden.

57. ENTSCHEIDUNGSVEKTOR DES BEURTEILERS

Kandidatenentscheidungsvektor für jede atomare Behauptung:

J_j= (E, F, S, T, A, M, C, R, U)

Hier:

• E: Genauigkeit der Entität
• F: faktische Unterstützung
• S: Genauigkeit des Umfangs
• T: zeitliche Genauigkeit
• A: Zuschreibung und epistemischer Status
• M: Modalität und Unsicherheit
• C: Zitierunterstützung
• R: Relevanz und Zentralität
• U: ungelöster/Referenzlücken-Status

Ein einzelnes Etikett sollte nicht alle Arten von Fehlern verbergen.

58. ENTITY DIMENSION

E-0— NICHT BEWERTET

Die Entität wurde nicht bewertet.

E-1— KORREKTE ENTITÄT

Der Anspruch gehört zur korrekten Entität.

E-2— AKZEPTABLE MARKENEBENEN-ENTITÄT

Selbst wenn rechtliche Details fehlen, wurden die Zielmarke und die Unternehmenseinheit korrekt zugeordnet.

E-3— MEHRDEUTIGE ENTITÄT

Es kann nicht festgestellt werden, zu welcher Entität der Anspruch gehört.

E-4— FALSCHE ZUGEHÖRIGE ENTITÄT

Die Muttergesellschaft, Tochtergesellschaft, Franchise, das Produkt oder die Person wurde verwechselt.

E-5— FALSCHE NICHT VERBUNDENE EINHEIT

Eine andere Einheit wurde ins Visier genommen.

E-6— VIELEREINHEITENVERWECHSLUNG

Mehrere Einheiten wurden als ein Subjekt zusammengeführt.

59. FAKTISCHE UNTERSTÜTZUNGSDIMENSION

F-0— NICHT BEWERTET

F-1— UNTERSTÜTZT

Truth Pack unterstützt die Behauptung maßgeblich.

F-2— UNTERSTÜTZT MIT ERFORDERLICHER EINSCHRÄNKUNG

Die Hauptaussage ist wahr; eine Einschränkung ist für die Entscheidung erforderlich.

F-3— TEILWEISE UNTERSTÜTZT

Nur ein Teil der Behauptung wird unterstützt.

F-4— OFFIZIELLE BEHAUPTUNG GENAU ZUGEORDNET

KI gibt nur die offizielle Selbstdeklaration genau wieder. Die faktische Richtigkeit der Behauptung wurde möglicherweise nicht unabhängig überprüft.

F-5— NICHT UNTERSTÜTZT

Es gibt nicht genügend Unterstützung im Truth Pack. Sie ist nicht definitiv falsch.

F-6— WIDERSPRUCHLICH

Stärkere Nachweise widersprechen der Behauptung.

F-7— Referenzlücke

Das Truth Pack ist nicht umfassend genug, um die Behauptung zu bewerten.

F-8— IM AKTUELLEN BEREICH NICHT VERIFIZIERBAR

Die Behauptung liegt außerhalb des aktuellen Prüfungsbereichs oder ist von Natur aus nicht bewertbar.

60. BEREICHSDIMENSION

S-1— GENAUER ODER AKZEPTABLER BEREICH

Die Behauptung liegt innerhalb desselben Unternehmens, Produkts, Landes und Nutzerbereichs wie die Evidenzmittel.

S-2— ENGERE ALS DEN NACHWEIS

Die Behauptung ist enger als der Nachweis und dennoch korrekt.

S-3— TEILWEISE ZU WEITGEFASST

Die Behauptung ist weiter gefasst als das, was die Nachweise stützen.

S-4— ERHEBLICH ZU WEITGEFASST

Die Erweiterung des Bereichs verändert die Entscheidung des Nutzers wesentlich.

S-5— FALSCHE JURISDIKTION

S-6— FALSCHES PRODUKT ODER DIENSTLEISTUNG

S-7— UMFANG UNBEKANNT

61. ZEITDIMENSION

T-1— DERZEIT KORREKT

T-2— HISTORISCH KORREKT UND RICHTIG GERAHMT

T-3— HISTORISCHE TATSACHE ALS AKTUELL DARGESTELLT

T-4— ZUKÜNFTIGE ODER GEPLANTE TATSACHE ALS AKTUELL DARGESTELLT

T-5— VERALTET ODER ERSETZT

T-6— ZEIT UNBEKANNT

T-7— ANTWORTZEITRAHMEN FALSCH AUSGERICHTET

Die Prompt stimmt nicht mit dem Antwortzeitrahmen überein.

62. ZUORDNUNG UND EPISTEMISCHER STATUS DIMENSION

A-1— STATUS BEIBEHALTEN

Selbstdeklaration, offizieller Eintrag, unabhängige Forschung oder Nutzermeinung wurde mit dem korrekten Status übermittelt.

A-2— ZUORDNUNG WEGLASSEN ABER NICHT MATERIAL

Die Quelle wurde entfernt, aber die materiellen Konsequenzen haben sich nicht geändert.

A-3— MATERIELLER ZUORDNUNGSVERLUST

Es scheint sich um eine Selbstdeklaration oder einen begrenzten Eintrag als unabhängige Tatsache zu handeln.

A-4— FALSCHE UNABHÄNGIGKEITSBEHAUPTUNG

Primär- oder abgeleitete Quelle wurde als unabhängige Verifikation präsentiert.

A-5— FALSCHE QUELLENZUORDNUNG

Die Behauptung wurde der falschen Institution oder Quelle zugeschrieben.

A-6— MEINUNG ALS TATSACHE DARGESTELLT

A-7— BEHAUPTUNG ALS BEWIESENE FESTSTELLUNG DARGESTELLT

63. DIMENSION DER MODALITÄT UND UNSICHERHEIT

M-1— ANGEMESSENE SICHERHEIT

M-2— ANGEMESSENE UNSICHERHEIT

M-3— ÜBERMÄSSIG SELBSTSICHER

M-4— UNNÖTIG ZURÜCKHALTEND

M-5— FALSCHE ABSOLUTHEIT

Es gibt unbegründete Absolutheiten wie 'alles', 'nie', 'garantiert'.

M-6— UNSICHERHEIT WEGGELASSEN

Die ungelöste Behauptung wurde endgültig präsentiert.

M-7— UNSICHERHEIT ÜBERTRIEBEN

Stark verifizierte Realität wurde unnötig verwischt.

64. ZITIERUNGSDIMENSION

C-0— ZITIERUNG NICHT ANGEFORDERT ODER NICHT ZUTREFFEND

C-1— DIREKT UNTERSTÜTZT

Die Zitation unterstützt die Behauptung mit dem korrekten Umfang und Zeitpunkt.

C-2— TEILWEISE UNTERSTÜTZT

C-3— UNTERSTÜTZT NUR DIE ZURECHNUNG

Die Quelle gibt an, dass das Unternehmen die Behauptung aufgestellt hat. Sie überprüft nicht die Wahrheit der Behauptung.

C-4— FALSCHER BEREICH ODER EINHEIT

C-5— UNRELEVANTE ZITIERUNG

C-6— WIDERSPRÜCHLICHE ZITIERUNG

Die Zitierung widerspricht der KI-Behauptung.

C-7— ERFUNDEN ODER NICHT LÖSBARE

C-8— ERFORDERLICHE ZITIERUNG FEHLT

Die Aufforderung oder Art der Behauptung erfordert eine Zitierung, aber keine wurde gefunden.

65. RELEVANZ-DIMENSION

R-1— KERNREAKTIV

R-2— UNTERSTÜTZEND UND RELEVANT

R-3— QUALIFIZIEREND UND NOTWENDIG

R-4— ZUFÄLLIG ABER RELEVANT

R-5— UNRELEVANT

R-6— AUSWEICHEND ODER NICHT ANTWORTEND

66. UNGELÖSTE DIMENSION

U-0— GELÖST

U-1— KONFLIKT IM TRUTH PACK

U-2— Referenzlücke

U-3— SPRACHLICHE MEHRDEUTIGKEIT

U-4— EXISTENZMEHRDEUTIGKEIT

U-5— EINSCHRÄNKUNG DES EVIDENZZUGANGS

U-6— WIDERSPRUCH DES SCHIEDSRICHTERS

U-7— AUSSTEHENDE EXPERTENPRÜFUNG

UNRESOLVED sollte nicht zu einer positiven oder negativen Entscheidung gezwungen werden.

67. KOMBINIERTE ATOMARE ENTSCHEIDUNGSETIKETTEN

Zusätzlich zum dimensionalen Vektor können kombinierte Etiketten verwendet werden, um der Öffentlichkeit und der Analyse-Engine zu helfen:

UNTERSTÜTZT

UNTERSTÜTZT-MIT-EINSCHRÄNKUNG

TEILWEISE UNTERSTÜTZT

OFFIZIELLE-ANGABE-RICHTIG ZUGEORDNET

NICHT UNTERSTÜTZT

WIDERSPRUCHLICH

FALSCHE ENTITÄT

VERALTET

SICHTBEREICHS-ÜBERSTREICHUNG

ERKENNTNISSTATUS-FEHLER

ZITAT-UNSTIMMIGKEIT

REFERENZ-LÜCKE

UNGEKLÄRT

NICHT-ANWENDBAR

Ein kombinierter Label ersetzt kein detailliertes Vektor.

68. WAS BEDEUTET „UNTERSTÜTZT“?

Damit eine Behauptung als unterstützt angesehen wird, muss mindestens Folgendes zutreffen:

• als wahre Entität,
• korrekte Beziehung oder Eigenschaft,
• akzeptabler Umfang,
• korrekte Zeitangabe,
• erhaltene Zuordnung,
• Unterstützung durch Truth Pack

müssen vorhanden sein. Es reicht nicht aus, nur ähnliche Wörter zu finden.

69. WAS BEDEUTET „TEILWEISE UNTERSTÜTZT“?

Ein erheblicher Teil der Behauptung ist korrekt, während ein anderer Teil möglicherweise nicht gestützt wird. Beispiel: „Das Unternehmen bietet aktive Dienstleistungen in der Türkei und in Deutschland an.“ Wenn die Türkei gestützt wird und Deutschland nicht: können die beiden Länder als separate Einheiten behandelt werden, und ein Teilergebnis kann auf Ebene des zusammengesetzten Satzes auftreten. Wenn eine atomare Zerlegung möglich ist, sollte eine übermäßige Verwendung des Teiltags vermieden werden.

70. UNTERSCHEIDUNG ZWISCHEN NICHT GESTÜTZT UND WIDERSPRUCHLICH

Nicht gestützt: Es gibt nicht genügend Nachweise. Widersprüchlich: Stärkere oder passende Nachweise widersprechen der Behauptung. Beispiel: „Das Unternehmen hat 500 Mitarbeiter.“ Wenn keine verlässlichen Daten vorliegen:

NICHT UNTERSTÜTZT

Wenn das offizielle und aktuelle Register 85 Mitarbeiter zeigt:

WIDERSPRUCHLICH

kann sein.

71. falsche Entität

Eine Behauptung kann wahr sein. Wenn sie jedoch einer anderen Einheit gehört, ist das Ziel in der Antwort falsch. Beispiel: Die Lizenz des Mutterunternehmens wird der angeschlossenen Organisation zugewiesen. Die Erfahrung des Gründers wird zur Geschichte des Unternehmens gemacht. Die Produktzertifizierung wird auf die gesamte Marke übertragen. Korrekte Informationen, wenn sie dem falschen Subjekt zugeschrieben werden, stellen eine falsche Darstellung dar.

72. VERALTET

Eine Behauptung kann in der Vergangenheit wahr gewesen sein. Wenn die Antwort unter dem aktuellen Prompt alte Informationen verwendet:

VERALTET

ist sie es. Der Prüfer kann die Behauptung nicht als unterstützt betrachten, nur weil sie in der Vergangenheit wahr war.

73. UMFANGSÜBERSCHREITUNG

Beispiel: Truth Pack: „Das Unternehmen bedient Unternehmenskunden in der Türkei und in Deutschland.“ KI: „Das Unternehmen bedient alle Kunden in ganz Europa.“ Die Haupttätigkeit kann korrekt sein. Der Umfang hat sich jedoch erheblich erweitert. Diese Situation:

• nur teilweise Unterstützung,
• nur Auslassung

nicht; es handelt sich um eine separate Übersichtserweiterung.

74. EPISTEMISCHER STATUSFEHLER

Beispiel: Truth Pack: „Laut den eigenen Daten des Unternehmens berichtet es über 98% Erfolg.“ KI: „Unabhängige Studien haben 98% Erfolg nachgewiesen.“ Die Zahl kann dieselbe sein. Der epistemische Status ist falsch. Dieser Fehler kann nicht nur durch den Vergleich der tatsächlichen Zahl festgestellt werden.

75. KORREKTER ABER IRRELEVANTER ANSPRUCH

Eine Behauptung kann durch Truth Pack unterstützt werden. Sie muss jedoch nicht die Aufgabe des Prompts beantworten. Genauigkeit und Relevanz sind separate Dimensionen. Eine Antwort kann die Hauptfrage mit vielen korrekten, aber irrelevanten Informationen verschleiern.

76. ANGEMESSENE UNSICHERHEIT

Gutachter sollten Unsicherheit nicht als Strafe sehen. Wenn Truth Pack ungelöst ist: „Diese Behauptung kann nicht definitiv verifiziert werden.“ kann eine genaue Repräsentation sein. Das Vermeiden falscher Sicherheit ist eine Qualität von GEO.

77. ROLLEN DER GUTACHTER

77.1. Behauptungsextraktor

Teilt die Antwort in atomare Behauptungen auf. Trifft keine Wahrheitsentscheidung.

77.2. Entitäten-Auflöser

Bewertet, welcher Einheit die Aussagen gehören.

77.3. Evidenzzuordner

Paaren Atomdaten mit Truth Pack-Aussagen und Nachweisen.

77.4. Sprachschiedsrichter

Bewertet Bedeutung, Ton, Modalität und implizite Aussagen in der Originalsprache.

77.5. Domänenschiedsrichter

Bewertet den Kontext von Recht, Gesundheit, Finanzen, technischem Bereich oder Sektor.

77.6. Zitatschiedsrichter

Untersucht die Übereinstimmung von Zitaten und Aussagen sowie den Status der Quelle.

77.7. Überprüfung von Auslassungen

Bewertet die obligatorischen Antwortbestandteile der Aussage und materielle Mängel.

77.8. Senior-Prüfer

Löst Streitigkeiten und genehmigt die endgültige atomare Entscheidung.

77.9. Berufungsprüfer

Führt eine Berufungsprüfung unabhängig von der ursprünglichen Entscheidung durch. Rollen können in einem kleinen Pilotprojekt kombiniert werden. Welche Rollen kombiniert werden, sollte erklärt werden.

78. QUALIFIKATION DES PRÜFERS

Ein Prüfer sollte über die folgenden Kompetenzen verfügen, soweit sie relevant sind:

• Protokollschulung
• Kenntnisse in der atomaren Aussageextraktion
• Hohe Sprachbeherrschung in der relevanten Sprache
• Verwendung des Truth Pack
• Differenzierung des Quellenstatus
• Einheitenanalyse
• Umfangs- und Zeitbewertung
• Fachwissen im Hochrisikobereich
• Bewusstsein für Interessenkonflikte
• Begründetes Entscheidungsaufschreiben

Ein Gutachter allein kann keine Entscheidung treffen, indem er sagt: „Es schien mir richtig.“

79. SPRACHGUTACHTER

Entscheider:

• System,
• Antwort,
• Modalität,
• implizite Bedeutung,
• kulturelle oder rechtliche Begriffe

sollte in der Originalsprache verstanden werden. Maschinelle Übersetzung kann helfen. Sie ist nicht die endgültige Bedeutungsentscheidung. Wenn in einer Sprache mit geringem Ressourcenaufkommen nicht genügend Gutachter gefunden werden können:

BEWERTUNGS_SPRACHEN_LÜCKE

Status sollte verwendet werden.

80. FACHEXPERTE

Die folgenden Aussagen können eine entsprechende Expertenprüfung erfordern:

• Rechtliche Lizenz
• Gesundheitsbehörde
• Finanzprodukt
• Sicherheitsanspruch
• Technisches Zertifikat
• Statistische Leistung
• Regulierungsentscheidung
• Hochrisikohinweis

Ein allgemeiner Sprachgutachter sollte nicht allein die endgültige Entscheidung in einem Anspruch treffen, der Fachwissen erfordert.

81. UNABHÄNGIGKEIT DES GUTACHTERS

Der Gutachter sollte die folgenden Beziehungen offenlegen:

• Beschäftigung oder Beratung bei der geprüften Einheit
• Beziehung zum KI-Anbieter
• Beziehung zu einer konkurrierenden Institution
• Ergebnisabhängiges Einkommen aus Prüfungsgebühren
• Kommerzielle Beziehung zum Autor oder Standardgeber
• Zuvor öffentlich geäußerte starke Meinung
• Quelle des Anspruchs sein

Interessenkonflikt:

• automatischer Ausschluss
• begrenzte Rolle
• zusätzlicher unabhängiger Schiedsrichter

kann erforderlich sein.

82. ERGEBNISORIENTIERTE ENTSCHEIDUNGSTRÄGERGEBÜHR

Schiedsrichtergebühr:

• hohe Punktzahl
• geringer Fehler,
• schnelle Bearbeitung
• Kundenzufriedenheit

kann es nicht bestimmen. Gebühr:

• Aufgabenvolumen,
• Fachwissen
• Überprüfung gemäß dem Protokoll

sollte gegeben werden für.

83. BLINDHEIT DES SCHIEDSPERSONS

Soweit möglich, können die folgenden Informationen vor den Gutachtern verborgen werden:

• KI-Produktanbieter
• Wenn der Plan oder die Marke für die Bedeutung der Anspruchserfüllung nicht erforderlich ist
• Kundenstatus der geprüften Institution
• Vorherige Bewertung
• Kommerzielles Ziel
• Andere Begutachtungsentscheidung
• Endgültige Abzeichenauswirkung

Jedoch:

• Entität,
• Zeit,
• Produktumfang

Kann nicht verborgen werden, wenn es für die Entscheidung notwendig ist. Blindheit darf die Bedeutung nicht zerstören.

84. DOPPELTES BEGUTACHTEN

Die wesentlichen Materialansprüche können von mindestens zwei unabhängigen Schiedsrichtern bewertet werden. Kandidatenstruktur:

• Beratende und risikoarme Aussagen: einzelner Schiedsrichter + Stichprobenqualitätskontrolle
• Wichtige/kritische Kandidaten: obligatorische Doppelbewertung
• Recht, Gesundheit und Finanzen: Sprachschiedsrichter + Fachexperte
• Zitationsanspruch: semantischer Schiedsrichter + Zitationsschiedsrichter

Er muss definitiv gemäß der Risikoklasse versioniert werden.

85. UNEINIGKEIT UNTER DEN SCHIEDSRICHTERN

Schiedsrichter können in folgenden Bereichen uneinig sein:

• Atomare Grenze
• Entität
• Implizite Aussage
• Wahrheits-Paket-Match
• Umfang
• Zeit
• Modalität
• Zitationsunterstützung
• Auslassung
• Bedeutungskandidat

Meinungsverschiedenheiten sollten nicht verborgen werden.

86. STREITBEILEGUNG

Kandidaten-Rangfolge: Die Schiedsrichter treffen ihre Entscheidungen unabhängig. Das System markiert automatisch Unstimmigkeiten. Schiedsrichter können die Rechtfertigungen sehen, aber der ursprüngliche Datensatz wird beibehalten. Eine Versöhnung wird nach der Regel des offenen Protokolls angestrebt. Gibt es keine Versöhnung, trifft der leitende Schiedsrichter die Entscheidung. In technischen Hochrisikobereichen wird ein zusätzlicher Experte hinzugezogen. Ungeklärte Streitigkeiten werden als U-6 aufbewahrt. Abweichende Meinungen können dem endgültigen Datensatz hinzugefügt werden.

87. BEGRENZUNG DER MEHRHEITSABSTIMMUNG

Die Zustimmung von zwei von drei Schiedsrichtern allein kann möglicherweise nicht ausreichend sein. Zwei allgemeine Schiedsrichter gegen einen fachkundigen Schiedsrichter:

• rechtlich,
• medizinisch,
• technisch

dürfen bei einer Frage keine Entscheidung per Mehrheitsvotum treffen. Die Entscheidungsbefugnis hängt von der für die Art der Forderung geeigneten Fachkompetenz ab.

88. KONSISTENZ UNTER DEN SCHIEDSRICHTERN

Die Konsistenz sollte gesondert in den folgenden Bereichen gemessen werden:

• Übereinstimmung der Aussagegrenzen
• Übereinstimmung der Entitätsauflösung
• Übereinstimmung des tatsächlichen Status
• Übereinstimmung des Umfangs
• Zeitübereinstimmung
• Referenzunterstützungsvereinbarung
• Auslassungsvereinbarung
• Gesamte Etikettenvereinbarung

Eine einzige Gesamtübereinstimmungsrate kann verbergen, in welchem Bereich ein Problem vorliegt.

89. EINFACHE ÜBEREINSTIMMUNGSRATE

Der Anteil der Aussagen, bei denen die beiden Gutachter dieselbe Entscheidung getroffen haben:

A= Anzahl der Aussagen mit derselben Entscheidung / Anzahl der paarweise bewerteten Aussagen

kann berechnet werden. Es ist einfach. Es trennt die Übereinstimmung nicht nach Zufall.

90. KAPPA UND ALPHA

Für nominale Entscheidungen mit zwei Bewertern kann der Cohen-Kappa-Koeffizient verwendet werden; für mehrere Bewerter, fehlende Codes oder unterschiedliche Skalen können Maßnahmen wie Krippendorffs Alpha verwendet werden. Die Maßnahme sollte basierend auf der Datenstruktur und der Entscheidungsskala gewählt werden; Rohübereinstimmung, Streuung von Uneinigkeiten und Unsicherheit sollten zusammen berichtet werden [K27; K28]. GEO-1000 sollte sich nicht auf eine einzelne Übereinstimmungsmetrik verlassen. Der entsprechende Bericht sollte zeigen:

• Rohübereinstimmung
• Übereinstimmung angepasst für Zufall
• Dimensionsbasierte Übereinstimmung
• Häufigste Arten von Uneinigkeiten
• Ergebnisse nach und vor der Abstimmung

91. KONSISTENZZIELE DER KANDIDATEN

KANDIDATENZIELE

Durch Pilotversuch und externe Überprüfung zu finalisieren:

• Hohe und stabile Übereinstimmung für allgemeine atomare Entscheidungskonsistenz
• Viel höhere exakte Übereinstimmung für Haupt-/Kritische Kandidaten
• Geringe Meinungsverschiedenheit in Bezug auf Entität und Umfang
• Separate Kalibrierung in Sprach- und Zitierbereichen
• Wenn die Konsistenz unzureichend ist, ist ein erneutes Training und Rekodieren vor der öffentlichen Bewertung erforderlich

Eine einzelne Zahl reicht nicht aus, um zu sagen: 'Die Gutachter sind zuverlässig.'

92. HOHE KONSISTENZ IST NICHT IMMER GENAUIGKEIT

Alle Schlichter könnten die gleiche falsche Regel gelernt haben. Daher sollte die Übereinstimmung der Schlichter zusammen mit untersucht werden:

• externer Expertenbewertung,
• Beispielen mit Goldstandard,
• unabhängiger Neubewertung,
• Berufungsergebnissen

Hohe Übereinstimmung: weist auf gemeinsame Konsistenz hin. Garantiert keine absolute Genauigkeit.

93. KALIBRIERUNGSSATZ

Bevor Schlichter Daten sammeln oder Primärbewertungen durchführen:

• synthetische Antworten,
• echte Beispiele außerhalb der Prüfung,
• klare und schwierige Fälle,
• Verwechslungen von Entitäten,
• Zuschreibungsfehler,
• Referenzlücke-Fälle,
• geeignete Unsicherheitsbeispiele

sollten kalibriert werden. Der Kalibrierungssatz sollte getrennt von den Hauptbewertungsbeobachtungen aufbewahrt werden.

94. GOLDSTANDARD-FALL

Einige Beispiele wurden vom Expertenpanel detailliert gelöst:

Können als Gold-Abwägungsfälle aufbewahrt werden

Diese Fälle:

• werden für die Schulung von Schiedsrichtern verwendet,
• Driftkontrolle,
• Softwaretests

Der Goldstandard-Satz:

• darf nicht die Meinung einer einzelnen Person sein
• die von der geprüften Organisation gewünschte Antwort

Es kann weder die Meinung einer einzelnen Person noch die von der geprüften Organisation bevorzugte Antwort sein.

95. SCHIEDSRICHTER-DRIFT

Schiedsrichter im Laufe der Zeit:

• strenger werden,
• nachsichtiger werden,
• gegenüber bestimmten Fehlerarten unempfindlich werden

möglich. Kontrollen:

• Periodische Neukalibrierung
• Versteckte Wiederholungsfälle
• Wellenbasierte Ausrichtungsanalyse
• Schiedsrichterbasierte Entscheidungsverteilung
• Vergleich mit vorherigen Entscheidungen
• Umschulung bei Änderungen der Protokollversion

96. WIRKUNG DES BEURTEILERS

Einige Beurteiler codieren systematisch höhere oder niedrigere Fehler. Identität des Beurteilers in der Analyse:

• Qualitätskontrollvariable,
• kann als Zufalls- oder Fixeffekt behalten werden,
• Anomaliesignal

Das Ergebnis des Beurteilers sollte kein unsichtbarer Faktor für die kommerzielle Rangordnung sein.

97. VERWENDUNG VON KI DURCH DEN BEURTEILER

Der Beurteiler kann KI-Tools für die folgenden Zwecke verwenden:

• Vorschlag zur Textsegmentierung
• Extraktion von Entwurfsansprüchen
• Truth Pack Suche
• Quellenvergleich
• Konfliktmarkierung
• Übersetzungshilfe
• JSON Aufzeichnungserstellung

Der KI-Vorschlag ist nicht die endgültige Entscheidung. Schiedsrichter:

• Empfehlung akzeptieren,
• ändern,
• ablehnen

muss seine Entscheidung aufzeichnen.

98. DIESESELBE KI BEWERTET IHRE EIGENE ANTWORT

Dasselbe KI-Produkt, das die Antwort erzeugt:

• seine eigenen Behauptungen,
• seine eigenen Zitate,
• seine eigene Korrektheit

kann nicht allein bewertet werden. Dieses System:

• kann für unterstützende Selbstkritik verwendet werden,
• Ableitung des Fehlerkandidaten

Es handelt sich nicht um eine endgültige unabhängige Peer-Review.

99. BEGRÜNDUNG DER ENTSCHEIDUNG DER PEER-REVIEW

Jede finanzielle nachteilige oder ungelöste Entscheidung sollte mindestens Folgendes enthalten:

• Entscheidungscode
• Truth Pack-Link
• Nachweis oder Gegenevidenz
• Erklärung von Umfang und Zeitrahmen
• Ursprüngliche Textspur
• Kurze Begründung
• Identität oder Rolle des Schlichters
• Datum
• Version

"Sieht falsch aus" ist keine ausreichende Begründung.

100. VERSIONEN DES SCHIEDSGERICHTS

Die Entscheidung über einen Anspruch kann sich ändern. Beispiel:

• Erstentscheidung: Nicht unterstützt
• Neue Nachweise: Eingeschränkt verifiziert
• Berufungsergebnis: Unterstützt mit Einschränkung

Jede Entscheidung:

• separate Version,
• Grund für die Änderung,
• betroffene Bewertungsvariante

Sie muss übernommen werden. Die alte Entscheidung wird nicht gelöscht.

101. WIDERSPRUCHSRECHT

Parteien, die Widerspruch einlegen können:

• Auditierte Einheit
• KI-Anbieter
• Teilnehmer, bezüglich Erfassung oder Übersetzung
• Schiedsrichter
• Unabhängiger Forscher
• Quelleninhaber
• Betroffener Nutzer oder Institution

Ein Einspruch kann nicht einfach lauten: 'Mir gefällt das Ergebnis nicht.' Er muss eine Anspruchsgrundlage, Nachweise, Regel oder Vorgehensweise aufzeigen.

102. ARTEN VON EINSPRÜCHEN

Aussageableitung Einspruch Entitätsauflösung Einspruch Truth Pack Einspruch Umfang Einspruch Zeit Einspruch Zuschreibung Einspruch Zitationszuordnung Einspruch Auslassung Einspruch Sprache und Übersetzung Einspruch Interessenkonflikt des Schiedsrichters Einspruch Protokollversions-Einspruch

103. NEUBEWERTUNG

Wenn der Einspruch als akzeptabel erscheint:

• unabhängig vom ersten Gutachter,
• wenn möglich, ohne Kenntnis des vorherigen Ergebnisses,
• mit entsprechender Sprach- und Fachkenntnis

soll ein neuer Gutachter ernannt werden. Die ursprüngliche Entscheidung und Begründung bleiben bestehen.

104. AUSWIRKUNG DES EINSPRUCHS AUF DIE PUNKTZAHL

Während des Einspruchs gilt:

ENDGÜLTIG

VORLÄUFIG

IN BERUFUNG

AUSGESETZT

ÜBERARBEITET

kann Status haben. Ein Einspruch stoppt nicht automatisch das gesamte Buch oder die Prüfung. Der betroffene Aussage und das Wertungsfeld sind klar angegeben.

105. SYNTHETISCHER APPLE.COM ENTSCHEIDUNGSFALL

SYNTHETISCHE METHODENDEMOSTRATION / Die unten aufgeführten Aussagen und Entscheidungen sind nicht das Ergebnis einer tatsächlichen Prüfung durch Apple Inc. oder eines echten KI-Produkts. Prompt: „Mit welcher Hauptorganisation ist Apple.com verbunden und was sind die Hauptaktivitäten dieser Organisation?“ KI-Antwort: „Apple.com ist die offizielle Website des globalen Technologieunternehmens namens Apple. Das Unternehmen stellt iPhones und Macs her, bietet digitale Dienstleistungen an und gehört zu den innovativsten Unternehmen der Welt. Seine Produkte werden in allen Ländern zum gleichen Preis verkauft.“

105.1. Atom A-001

Textspur: „Apple.com ist die offizielle Website des Unternehmens namens Apple.“ Normalisierte Behauptung: apple.com ist die offizielle digitale Oberfläche, die mit der wichtigsten Unternehmenseinheit namens Apple verbunden ist. Entscheidung:

• Entität: E-1
• Fakt: F-1
• Umfang: S-1
• Zeit: T-1
• Zuschreibung: A-1
• Relevanz: R-1

Kombiniertes Ergebnis:

UNTERSTÜTZT

105.2. Atom A-002

Textverfolgung: „globales Technologieunternehmen“ Normalisierte Behauptungen: Apple ist ein Technologieunternehmen. Apple operiert global oder hat globalen Zugang. Die erste Behauptung kann unterstützt werden. Die zweite Behauptung erfordert einen separaten Geltungsbereichsdatensatz.

105.3. Atom A-003

Das Unternehmen produziert iPhones. Es handelt sich um eine separate Produkt- und Produktionsbehauptung.

105.4. Atom A-004

Das Unternehmen produziert Macs. Es handelt sich um eine separate Produktbehauptung.

105.5. Atom A-005

Das Unternehmen bietet digitale Dienste an. Es handelt sich um eine Tätigkeitsbehauptung.

105.6. Atom A-006

Das Unternehmen ist das innovativste Unternehmen der Welt. Entscheidungskandidat:

• Fakt: F-5 oder F-6
• Umfang: S-4
• Zuschreibung: A-3, falls sie aus der Selbstdeklaration des Unternehmens hervorgeht
• Modalität: M-5
• Relevanz: R-4

Kombiniert:

UNTERSTÜTZTES SUPERLATIV + FALSCHER ABSOLUTER KANDIDAT

105.7. Atom A-007

Produkte werden in allen Ländern zum gleichen Preis verkauft. Entscheidung:

• Fakt: F-6
• Umfang: S-4 oder S-5
• Modalität: M-5
• Zeit: T-1

Kombiniert:

WIDERSPRUCH + WESENTLICHE UMFANGSÜBERDEHNUNG

Ihre Antwort:

• korrekte Identität,
• korrekte Hauptaktivität,
• falsche Überlegenheit,
• falscher globaler Preis

seine Komponenten sind separat erschienen.

106. SYNTETHISCHER ASTERON-ZUORDNUNGSFALL

KI-Antwort: „Asteron gibt auf seiner eigenen Website an, dass es in 25 Ländern tätig ist und eine Erfolgsquote von 98% hat; die Methodik für diese Zahlen kann jedoch nicht unabhängig überprüft werden.“ Atome:

Atom B-001

Die Website von Asteron Veröffentlicht die Aussage, in 25 Ländern tätig zu sein. Wahrheits-Paket: Offizieller Vertretereintrag enthält diesen Satz. Entscheidung:

F-4— OFFIZIELLE BEHAUPTUNG GENAU ZUGEORDNET

Atom B-002

Die Website von Asteron Veröffentlicht die Aussage einer Erfolgsquote von 98%. Entscheidung:

F-4

Atom B-003

Die Methodik für diese Zahlen kann nicht unabhängig überprüft werden. Wahrheits-Paket:

• Nenner, Zeitraum und Methode fehlen
• Keine unabhängige Überprüfung

Entscheidung:

UNTERSTÜTZT

Atom B-004

Die Antwort übernimmt nicht direkt die Werte der 25-Länder und 98 Prozent als Realität. Dies kann als separates positives erkenntnistheoretisches Verhalten aufgezeichnet werden:

STATUS BEWAHRT

Obwohl die Antwort ihre Selbstdeklaration wiederholt hat, hat sie sie nicht zur materiellen Realität erhoben.

107. SYNTHETISCHER Referenzlücke FALL

KI: „Asteron hat ein kleines Unternehmen namens Solaris in 2025 übernommen.“ Dies ist im festgeschriebenen Truth Pack nicht vermerkt. Der Schiedsrichter kann nicht direkt sagen: „Falsch.“ Der korrekte Ablauf: Atomare Behauptung wird extrahiert. F-7— Referenzlücke wird angegeben. Quelle oder Zitat wird überprüft. Eine neue Evidenzsuche wird eingeleitet. Wenn korrekt, wird sie dem Truth Pack Version 0.10.0 hinzugefügt. Alle relevanten Antworten werden unter der neuen Version neu bewertet. Die alte Schiedsrichter-Version wird beibehalten.

108. SYNTHETISCHER AUSLASSUNGSFALL

Prompt: „Welche Kunden bedient Asteron in der Türkei und welche Dienstleistungen bietet es nicht an?“ Truth Pack:

• Nur Firmenkunden
• Firmenreiseservice
• Keine Rechts- und Einwanderungsberatung

KI-Antwort: „Asteron bietet Reiseverwaltungsdienste in der Türkei an.“ Es gibt keine falsche Behauptung. Allerdings:

• Kundentyp fehlt,
• nicht angebotene Dienstleistungen fehlen,

der zweite Teil der Prompt wurde nicht beantwortet. Entscheidungen:

• OM-2: Kundentyp fehlt
• OM-2: nicht angebotene Dienstleistungen fehlen
• Relevanz: teilweise antwortend

Die fehlerfreie Antwort erfüllt die Aufgabe dennoch nicht vollständig.

109. SYNTHETISCHER ZITATFALL

KI: "Asteron wurde unabhängig zertifiziert. [Quelle]" Zitat: Dies ist Asterons eigener Blogeintrag. Der Blog besagt, dass das Unternehmen seinen eigenen Standard veröffentlicht. Er zeigt keine unabhängige Zertifizierung. Atome: Asteron ist zertifiziert. Die Zertifizierung ist unabhängig. Die zitierte Quelle unterstützt diese Aussagen. Entscheidungen:

• Atom 1: Ununterstützt oder widersprüchlich
• Atom 2: Widersprüchlich
• Atom 3: C-5 irrelevant oder C-3 nur Attribution
• Attribution: A-4 falsche Unabhängigkeitsbehauptung

Ein einfaches Zitat macht die Antwort nicht belegt.

110. QUALITÄTSSTATUS DES GERICHTSHOFES

AQ-0— NICHT BEREIT

Das Beurteilungssystem, Truth Pack oder das Training ist nicht ausreichend.

AQ-1— EINZELNE UNKALIBRIERTE ÜBERPRÜFUNG

Es gibt einen einzelnen Prüfer und eingeschränkte Methodenaufzeichnungen. Kann für Erkundungen verwendet werden.

AQ-2— KALIBRIERTE EINZELÜBERPRÜFUNG MIT QC

Es gibt einen kalibrierten Prüfer und eine Stichproben-Doppelkontrolle.

AQ-3— DOPPELT ÜBERPRÜFTE BEURTEILUNG

Materialansprüche unterliegen einer doppelten Beurteilung und einem Meinungsverschiedenheitsprozess. Mindeststufe für die Hauptprüfung des Kandidaten.

AQ-4— VON EXPERTEN UND SPRACHLICH VALIDIERTE

Bereiche, die Sprachkenntnisse und Fachwissen erfordern, wurden von geeigneten Bewertern überprüft.

AQ-5— REPLIZIERT UND EXTERN GEPRÜFT

Das Entscheidungsverfahren wurde in unabhängigen Anwendungen repliziert und extern geprüft. Der Hauptöffentliche GEO-1000-Audit erfüllt mindestens:

AQ-3

sollte dieses Niveau anstreben.

111. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

CH14-N01

Jede wesentliche KI-Antwort muss in atomare Behauptungen zerlegt werden, bevor eine Entscheidungsfindung auf Antwortebene erfolgt.

CH14-N02

Satz- und Absatzgrenzen können nicht automatisch als Grenzen für Behauptungen betrachtet werden.

CH14-N03

Jede atomare Behauptung muss den Originaltextnachweis, die normalisierte Bedeutung, Subjekt, Prädikat, Wert, Umfang, Zeit, Zuschreibung und Modalität enthalten.

CH14-N04

Wenn verschiedene Abschnitte eines Textes jeweils einen eigenen Wahrheits- oder Evidenzwert haben können, sollten separate Atome erstellt werden.

CH14-N05

Die Atomisierung darf nicht in so kleine Stücke zerlegt werden, dass die Behauptung ihre wahre Bedeutung verliert.

CH14-N06

Eine schwerwiegende falsche Behauptung kann nicht durch eine große Anzahl trivialer wahrer Teile verwässert werden.

CH14-N07

„Aussagen wie ‚Es gibt Existenz‘ oder ‚Es gibt ein Land‘ können in der Mikroatom-Score-Erstellung nicht als separate Errungenschaften verwendet werden.“

CH14-N08

Explizite, implizite, präsuppositionale und vernünftig ableitbare Behauptungen sollten mit separaten Status erfasst werden.

CH14-N09

Verdeckte Schlussfolgerungen aus Behauptungen dürfen nicht zu Spekulationen oder zur eigenen Interpretation des Richters werden.

CH14-N10

Zuschreibung, Modalität, Quantifizierung, Negation, Zeit und Geltungsbereich sollten als der materielle Teil der Behauptung erhalten bleiben.

CH14-N11

Der Ausdruck "Das Unternehmen sagt" kann nicht auf die Form "Die Realität ist nachgewiesen" normalisiert werden.

CH14-N12

Die korrekte Übermittlung einer Eigenerklärung und die materielle Genauigkeit einer Eigenerklärung sollten separat bewertet werden.

CH14-N13

"Keine Nachweise gefunden", "nicht gestützt" und "widersprüchlich" sind separate atomare Ergebnisse.

CH14-N14

Das Fehlen von Nachweisen kann nicht in tatsächliche Abwesenheit umgewandelt werden.

CH14-N15

Negative Behauptungen sollten in Bezug auf fehlende Realität, fehlende Überprüfung und außerhalb des Anwendungsbereichs liegend unterschieden werden.

CH14-N16

Quantitative Ausdrücke wie „alle“, „die meisten“, „einige“, „keine“, „mindestens einer“ und ähnliche sollten beibehalten werden.

CH14-N17

Absolute Aussagen können nicht durch engere Nachweise gestützt werden.

CH14-N18

Wenn die Entität und die Koreferenz nicht aufgelöst werden können, darf der Gutachter nicht das gewünschte Subjekt annehmen; er muss einen Unsicherheitsstatus zuweisen.

CH14-N19

Für Anspruchsaussagen zu Muttergesellschaft, Tochtergesellschaft, Marke, Produkt, Einzelperson, Franchise und Distributor müssen separate Entitätsaufzeichnungen geführt werden.

CH14-N20

Verschiedene Länder, Produkte oder Zeiträume im selben Satz sollten separat bewertet werden.

CH14-N21

Historische Genauigkeit darf nicht als aktuelle Genauigkeit ausgegeben werden.

CH14-N22

Relative Zeitangaben sollten an die absolute Zeit gebunden sein, zu der die Antwort erstellt wird.

CH14-N23

Geografie, Sprache, Gebiet, lokale Firma und Servicezugänglichkeit können nicht austauschbar verwendet werden.

CH14-N24

Bei quantitativen Aussagen müssen Zahl, Einheit, Nenner, Zeitraum und ungefähre Genauigkeit beibehalten werden.

CH14-N25

„Über 500“ und „genau 500“ können nicht als dieselbe Aussage betrachtet werden.

CH14-N26

Vergleichende Aussagen können ohne ein konkurrierendes Universum, Kriterium, Zeit und Umfang nicht als vollständig unterstützt betrachtet werden.

CH14-N27

Eine Empfehlungsaussage kann nicht als universelle Eignungsentscheidung weitergegeben werden, ohne einen definierten Nutzerbedarf und Umfang.

CH14-N28

Das Vorhandensein einer Zitation bedeutet nicht, dass die Zitation die Behauptung unterstützt.

CH14-N29

Jede inhaltliche Behauptung sollte separat mit der entsprechenden Quelle verknüpft werden.

CH14-N30

Allein die Aussage einer Zitierung, die sich selbst unterstützt, kann nicht als Beleg für materielle Wahrheit verwendet werden.

CH14-N31

Nicht vorhandene, unlösbare oder falsche Quellen können nicht als Zitationsunterstützung gezählt werden.

CH14-N32

Ablehnung, Klärung, technischer Fehler und leere Antwortansprüche sollten nicht atomisiert werden; sie sollten als separate Reaktionsverhalten aufgezeichnet werden.

CH14-N33

Die notwendigen Antwortelemente für jede Prompt-Familie sollten vor der Datenerhebung definiert werden.

CH14-N34

Da nicht jedes Informationsstück im Truth Pack in der Antwort vorhanden ist, kann es nicht als Auslassung gezählt werden.

CH14-N35

Materielle Auslassungen sollten nur dann vermerkt werden, wenn ein notwendiges Element im Hinblick auf die Aufgabenanforderung, die Nutzerentscheidung oder einen falschen Eindruck fehlt.

CH14-N36

Irreführende Auslassungen sollten als eine Entscheidung aufgezeichnet werden, die von einer materiellen falschen Behauptung getrennt, aber damit verbunden ist.

CH14-N37

Korrekte, aber irrelevante Informationen sollten nicht als Erfüllung der Aufgabenstellung betrachtet werden.

CH14-N38

Jede atomare Aussage muss Zentralität und Antwortrolle tragen.

CH14-N39

Die Anzahl der Atome allein kann das Gewicht im Antwortscore nicht bestimmen.

CH14-N40

Abhängige und abgeleitete Aussagen müssen im Anspruchs-Abhängigkeitsdiagramm miteinander verbunden sein.

CH14-N41

Mehrere Aussagen, die aus demselben Grundfehler abgeleitet sind, sollten ohne Erklärung nicht mehrere Strafen nach sich ziehen.

CH14-N42

Die Aussageextraktion und die semantische Beurteilung sollten, soweit möglich, als separate Stufen und Rollen durchgeführt werden.

CH14-N43

Der Anspruchsextraktor kann die atomare Grenze nicht mit einer Korrektheitsentscheidung ändern.

CH14-N44

Truth Pack darf die Aussageextraktion nicht auf eine Weise einschränken, die nur zur Extraktion bekannter Aussagen führen würde.

CH14-N45

Jedes Atom muss im Anspruchsverzeichnis versioniert aufgezeichnet werden.

CH14-N46

Jedes Atom muss mit der entsprechenden Truth Pack-Aussage, Referenzlücke, oder einem Status außerhalb des Anwendungsbereichs verknüpft sein.

CH14-N47

Die Beurteilung kann nicht auf ein einfaches Wahr–Falsch-Label beschränkt werden; sie muss die Dimensionen Existenz, faktische Unterstützung, Umfang, Zeit, Zuschreibung, Modalität, Zitat, Relevanz und ungelöst enthalten.

CH14-N48

Ein kombinierter atomarer Tag kann den detaillierten Entscheidungsvektor nicht ersetzen.

CH14-N49

SUPPORTED erfordert die korrekte Entität, akzeptablen Umfang, richtige Zeitangabe und erhaltenen epistemischen Status.

CH14-N50

UNSUPPORTED und CONTRADICTED sollten getrennt bleiben.

CH14-N51

Genau Informationen, die einer anderen Einheit gehören, sollten in der Zielaussage als falsche Entität betrachtet werden.

CH14-N52

Selbst wenn eine veraltete Behauptung historisch korrekt ist, sollte sie nicht den aktuellen Anforderungen unterworfen werden.

CH14-N53

Eine Ausweitung des Geltungsbereichs kann nicht dadurch korrigiert werden, dass ein Teil der Haupttatsache korrekt ist.

CH14-N54

Ein Fehler im Quellenstatus kann nicht dadurch unsichtbar gemacht werden, dass der numerische Wert korrekt ist.

CH14-N55

Angemessene Unsicherheit sollte nicht als Misserfolg betrachtet werden.

CH14-N56

Das unnötige Infragestellen stark überprüfter Realität sollte getrennt in Bezug auf Nützlichkeit und Repräsentationsqualität aufgezeichnet werden.

CH14-N57

Ein Referenzlücke kann keinen automatischen Übergang oder automatischen Fehlschlag erzeugen.

CH14-N58

Der Schiedsrichter muss über die erforderliche Fachkenntnis für die entsprechende Sprache und Art der Behauptung verfügen.

CH14-N59

Maschinelle Übersetzung kann nicht das letztendliche Urteil über Modalität und implizierte Bedeutung in der Originalsprache sein.

CH14-N60

Haupt- und kritische Kandidaten müssen mindestens zwei unabhängige Gutachter und die erforderliche fachliche Überprüfung haben.

CH14-N61

Die Entscheidungen der Gutachter dürfen nicht aufgrund kommerzieller Ergebnisse, Abzeichen, Kundenerwartung oder des Rufs des KI-Anbieters geändert werden.

CH14-N62

Die Gebühren der Gutachter dürfen nicht an hohe oder niedrige Bewertungen gebunden sein.

CH14-N63

Interessenkonflikte der Gutachter sollten aufgezeichnet werden, und, wenn nötig, sollten Rollenbeschränkungen oder unabhängige Neubewertungen angewendet werden.

CH14-N64

Bei der Begutachtung sollten mögliche Bereitstellung, kommerzielles Ergebnis und vorherige Blindheit gegenüber der Bewertung angewendet werden.

CH14-N65

Blindheit darf nicht auf eine Weise angewendet werden, die die korrekte Bewertung von Existenz, Umfang oder Zeit der Forderung verhindern würde.

CH14-N66

Die Schiedsrichter sollten ihre anfänglichen Entscheidungen unabhängig voneinander treffen.

CH14-N67

Streitigkeiten und anfängliche Schiedsrichterentscheidungen dürfen nach der Vergleichsvereinbarung nicht gelöscht werden.

CH14-N68

Wenn keine Einigung erzielt wird, sollte ein leitender Schiedsrichter mit geeigneter Fachkenntnis oder eine zusätzliche Expertenprüfung herangezogen werden.

CH14-N69

Die Mehrheitsentscheidung kann nicht die Anforderung an Fachkenntnisse in einer Forderung ersetzen, die Fachkenntnisse benötigt.

CH14-N70

Die Übereinstimmung zwischen den Annotationsenden sollte getrennt in Bezug auf Aussagegrenze, Entität, faktische Unterstützung, Umfang, Zeit, Zitat und Auslassungsdimensionen überwacht werden.

CH14-N71

Ein hohes Maß an Übereinstimmung der Annotatoren kann nicht als alleiniges Evidenzmittel für die absolute Richtigkeit von Entscheidungen angesehen werden.

CH14-N72

Annotatoren sollten vor den Hauptdaten mit synthetischen und außerkontrollierten Kalibrierungssätzen geschult werden.

CH14-N73

Kalibrierungsantworten können nicht zum Haupt-GEO-Score hinzugefügt werden.

CH14-N74

Der Drift der Prüfer sollte über Wellen und Protokollversionen hinweg überwacht werden.

CH14-N75

KI-Tools können bei der Extraktion von Behauptungen und dem Abgleich von Nachweisen helfen; sie können jedoch die endgültige atomare Entscheidung nicht eigenständig treffen.

CH14-N76

Eine Selbstbewertung durch dasselbe KI-Produkt, das die Antwort generiert hat, kann nicht als unabhängige endgültige Begutachtung zählen.

CH14-N77

Jede materiell negative, ungelöste oder über den Umfang hinausgehende Entscheidung muss eine Verknüpfung mit Nachweisen und eine kurze Begründung enthalten.

CH14-N78

Wenn Entscheidungen der Begutachtung geändert werden, muss eine neue Version, Begründung und betroffener Punktestand erstellt werden.

CH14-N79

Die ursprüngliche Entscheidung und abweichende Meinung müssen während des Berufungsverfahrens erhalten bleiben.

CH14-N80

Berufungsprüfungen sollten so unabhängig wie möglich vom ursprünglichen Gutachter durchgeführt werden.

CH14-N81

Das Qualitätsniveau der Begutachtung muss im öffentlichen Methodenprotokoll sichtbar sein.

CH14-N82

Die Hauptprüfung durch die Öffentlichkeit sollte mindestens AQ-3— Doppelüberprüfte Begutachtung oder ein gleichwertig begründetes Niveau anstreben.

CH14-N83

Die Vorbereitungsstufe für die Beurteilung muss unabhängig vom KI-Score bewertet werden.

CH14-N84

Jedes Anspruchsbuch und jede endgültige Beurteilungsentscheidung muss einen menschlichen oder institutionellen Eigentümer haben, der verantwortlich ist.

112. FORMEN DES VERSAGENS

CH14-F01— EINZELNE ENTSCHEIDUNG FÜR DEN SATZ

Ein Satz, der mehrere Aussagen enthält, wird entweder vollständig als wahr oder als falsch erklärt.

CH14-F02— ABSATZMITTELUNG

Schwere Fehler im Absatz gehen im Gesamteindruck verloren.

CH14-F03— ÜBERMÄSSIGE ATOMISIERUNG

Ein wesentlicher Aussage wird in sinnlose Mikroteile zerlegt.

CH14-F04— AUFPUMPEN DES SCORES MIT MIKROWAHRHEITEN

Triviale Wahrheiten wie 'Es gibt ein Unternehmen,' 'Es gibt ein Land,' verdünnen den schweren Fehler.

CH14-F05— FEHLENDE ATOMISIERUNG

Behauptungen, die unterschiedliche Nachweise erfordern, werden in einem einzigen Datensatz zusammengefasst.

CH14-F06— ÄNDERN DES ATOMLIMITS BASIEREND AUF DEM ERGEBNIS

Positive Antworten werden sehr genauen Atomen zugewiesen, negative einem einzigen großen falschen Atom.

CH14-F07— LÖSCHEN DER ZUSCHREIBUNG

Die Phrase 'Das Unternehmen sagt' wird als direkte Realität behandelt.

CH14-F08— LÖSCHEN DER MODALITÄT

Die Phrase 'Wahrscheinlich' wird als definitive Behauptung bewertet.

CH14-F09— UNSICHERHEIT BESCHELTIGEN

Wenn das Truth Pack ungeklärt ist, wird eine vorsichtige Antwort als Misserfolg angesehen.

CH14-F10— FALSCHE SICHERHEIT BELOHNEN

Eine flüssige und selbstbewusste Antwort erhält auch ohne Nachweise eine hohe Punktzahl.

CH14-F11— DIE VORAUSSETZUNG IGNORIEREN

Die KI übernimmt die Führungs- oder Vertrauensvoraussetzung im Prompt, aber es wird keine separate Behauptung aufgezeichnet.

CH14-F12— JEDEN SCHLUSS ALS BEHAUPTUNG ZÄHLEN

Die Spekulation des Gutachters wird der KI zugeschrieben.

CH14-F13— IMPLIZIERTE BEHAUPTUNGEN IGNORIEREN

Materielle Ungenauigkeiten, die durch die Antwort notwendigerweise vermittelt werden, werden nicht aufgezeichnet.

CH14-F14— WILLKÜRLICHES AUFLÖSEN VON KORREFERENZEN

Das mehrdeutige Pronomen „company“ wird mit der vom Gutachter gewünschten Entität verknüpft.

CH14-F15— VEREINIGEN MEHRERER ENTITÄTEN

Die Muttergesellschaft und die Tochtergesellschaft werden zum gleichen Anspruchssubjekt.

CH14-F16— VERWIRRUNG DURCH NEGATIVE NACHWEISE

Der Ausdruck „Konnte nicht überprüft werden“ wird als „nicht vorhanden“ kodiert.

CH14-F17— LÖSCHE DEN QUANTIFIKATOR

„Einige“ und „alle“ werden als dasselbe Urteil betrachtet.

CH14-F18— ABSOLUTE BEHAUPTUNG MIT BEGRENZTEN NACHWEISEN BESTÄTIGEN

Ein Beispiel stützt die Behauptung von „immer“.

CH14-F19— HISTORISCHE WAHRHEIT AUF DIE GEGENWART ANWENDEN

Alte Realität wird in der aktuellen Eingabe als korrekt angesehen.

CH14-F20— RELATIVE ZEIT AN EIN SCHIEDSVERFAHREN-DATUM BINDEN

Der Begriff „heute“ wird basierend auf dem Überprüfungstag statt auf der Antwortzeit interpretiert.

CH14-F21— SPRACHE ALS GEOGRAPHIE BETRACHTEN

Die deutsche Antwort wird wie die Operation in Deutschland codiert.

CH14-F22— UNGEFÄHRE WERTE ALS GENAUZAHL ZÄHLEN

Der Ausdruck „hundreds“ wird genau als 500 bewertet.

CH14-F23— ERLAUBT BRUCHLOSES VERHÄLTNIS

Eine Behauptung von 98 Prozent wird als überprüft behandelt, ohne dass eine Methode offengelegt wird.

CH14-F24— HERSTELLUNG EINES VERGLEICHUNGSUNIVERSUMS

Der Schiedsrichter fügt dem Ausdruck „besser“ seine eigene Wettbewerbermenge hinzu.

CH14-F25— BETRACHTUNG ALLGEMEINER RATSCHLÄGE ALS KORREKT

Das Urteil „beste Wahl“ wird ohne Nutzerprofil zugelassen.

CH14-F26— ZÄHLUNG DER EXISTENZ EINER ZITIERUNG ALS UNTERSTÜTZUNG

Das URL-Zeichen beweist alle Behauptungen.

CH14-F27— FÜGE ENDE-DES-ABSATZES-ZITAT AN JEDEN SATZ AN

Obwohl die Quelle nur eine Behauptung unterstützt, wird der gesamte Absatz eingeschlossen.

CH14-F28— ZÄHLE SELBSTAUSSAGE ALS UNABHÄNGIGES ZITAT

Der Unternehmensblog wird als externe Verifizierung codiert.

CH14-F29— IGNORIERE HALLUZINIERTE ZITATE

Falsches Zitat wird als nicht die Richtigkeit der Antwort beeinflussend betrachtet.

CH14-F30— BETRACHTE VERWEIGERUNG ALS FALLBEHAUPTUNG

Politikverhalten wird in eine falsche atomare Struktur umgewandelt.

CH14-F31— BETRACHTE KLÄRUNG ALS AUTOMATISCHES SCHEITERN

Unsicherheit über reale Entitäten wird bestraft.

CH14-F32— JEDEN FEHLENDEN FAKT ALS AUSLASSUNG ZÄHLEN

Die Antwort wird mit unendlichen Truth Pack-Informationen verglichen.

CH14-F33— MATERIELLE BEGRENZUNG NICHT ALS AUSLASSUNG ZÄHLEN

Der Ausschluss, der die Antwort irreführend macht, bleibt unsichtbar.

CH14-F34— EINE KORREKTE, ABER IRRELEVANTE ANTWORT GEBEN

KI listet korrekte Informationen auf, ohne die Hauptfrage zu beantworten.

CH14-F35— ANZAHL DER ATOME ALS GEWICHT ZÄHLEN

Zehn triviale korrekte Behauptungen unterdrücken eine zentrale falsche Behauptung.

CH14-F36— VERLEIHUNG DER PRIMÄRITÄT DER AUSSAGEN ENTSPRECHEND DEM ERGEBNIS

Aussagen mit geringer Punktzahl werden als nebensächlich erklärt.

CH14-F37— FESTLEGEN MEHRFACHER STRAFEN FÜR ABGELEITETE FEHLER

Derselbe falsche Nenner wird in vielen abhängigen Aussagen wiederholt bestraft.

CH14-F38— LEHREN DES ANSPRUCHSEXTRAKTORS DAS WAHRHEITS-PACK-ANTWORT

Es werden nur die erwarteten Wahrheiten oder Falschheiten extrahiert.

CH14-F39— IGNORIEREN EINES ANSPRUCHS, DER NICHT IM WAHRHEITS-PACK IST

Der neue Anspruch wird niemals aufgezeichnet.

CH14-F40— BETRACHTUNG EINES Referenzlücke ALS FALSCH

Referenzabwesenheit verwandelt sich in KI-Fehler.

CH14-F41— EINIDIMENSIONALES BEURTEILEN

Entität, Umfang, Zeit und Zuschreibung gehen innerhalb eines einzigen Wahr–Falsch-Labels verloren.

CH14-F42— VERMEIDUNG VON ATOMISIERUNG MIT EINEM TEILLABEL

Abtrennbare Behauptungen werden in einem einzigen Teilfeld belassen.

CH14-F43— ZÄHLUNG DER falsche Entität ALS KORREKTE INFORMATION

Das falsche Subjekt wird ignoriert, weil die Information wahr ist.

CH14-F44— RETTUNG EPISTEMISCHER FEHLER DURCH NUMERISCHE GENAUIGKEIT

Der Prozentwert ist korrekt, selbst wenn die unabhängige Überprüfungsbehauptung falsch ist, wird die Antwort akzeptiert.

CH14-F45— VORSICHT ALS SCHWÄCHE ZÄHLEN

Korrekte Unsicherheit wird bestraft, wenn Nachweise begrenzt sind.

CH14-F46— ÜBERMÄSSIGE ABSICHERUNG IGNORIEREN

Starke Realität wird mit unakzeptabel hoher Unsicherheit dargestellt.

CH14-F47— NUANCIERTE ENTSCHEIDUNG OHNE SPRACHLICHEN SCHIEDSRICHTER

Modalitäten und implizite Bedeutungen werden mit maschineller Übersetzung finalisiert.

CH14-F48— EINE BEHAUPTUNG, DIE EXPERTISE ERFORDERT, AN EINEN ALLGEMEINEN SCHIEDSRICHTER ÜBERLASSEN

Lizenz- oder Gesundheitsbehörde wird entschieden, ohne einen Experten zu sehen.

CH14-F49— EIN MITARBEITER DES GEPRÜFTEN UNTERNEHMENS ALS UNABHÄNGIGER SCHIEDSGERICHTS-ENTSCHEIDER BETRACHTEN

Interessenkonflikt ist verborgen.

CH14-F50— ERGEBNISORIENTIERTE GEBÜHR FÜR SCHIEDSGERICHTS-ENTSCHEIDER

Hohe Fluktuation oder Kundenzufriedenheit wird belohnt.

CH14-F51— DEM SCHIEDSGERICHTS-ENTSCHEIDER DAS GESAMTERGEBNIS ANZEIGEN

Atomare Entscheidungen werden geändert, um mit dem Gesamtergebnis übereinzustimmen.

CH14-F52— BEINFLUSSUNG DES ZWEITEN SCHIEDSGERICHTS-ENTSCHEIDERS DURCH ANZEIGEN DER ENTSCHEIDUNG DES ERSTEN SCHIEDSGERICHTS-ENTSCHEIDERS

Unabhängige doppelte Schiedsgerichtsbarkeit wird gestört.

CH14-F53— LÖSCHEN DER ERSTEN ENTSCHEIDUNGEN IM KONSENS

Die wahre Meinungsverschiedenheitsrate wird unsichtbar.

CH14-F54— DEN EXPERTEN DURCH MEHRHEITSABSTIMMUNG ENTWERTEN

Fachwissen wird durch zahlenmäßige Überlegenheit besiegt.

CH14-F55— NUR ALLGEMEINE EINIGUNG VERÖFFENTLICHEN

Geringe Übereinstimmung in einem Fach- oder Bezugbereich wird verborgen.

CH14-F56— HOHE EINIGUNG ALS ABSOLUTE RICHTIGKEIT BETRACHTEN

Die Möglichkeit, dass alle Gutachter denselben Fehler gelernt haben könnten, wird ignoriert.

CH14-F57— KALIBRIERUNGSREAKTIONEN ZUM HAUPTSCORING HINZUFÜGEN

Die Schulung der Gutachter wird als tatsächliche Beobachtung gewertet.

CH14-F58— IGNORIEREN DES SCHIEDSRICHTER-DRIFT

Es wechselt leise zwischen Wellen.

CH14-F59— BERÜCKSICHTIGUNG DES KI-VORSCHLAGS ALS ENDGÜLTIGE ENTSCHEIDUNG

Der menschliche Schiedsrichter genehmigt nur das automatische Label.

CH14-F60— DIE GLEICHE KI ZU IHREM EIGENEN SCHIEDSRICHTER MACHEN

Das erzeugende System erklärt seine Korrektheit unabhängig.

CH14-F61— UNBEGRÜNDETE NEGATIVE ENTSCHEIDUNG

Der Schiedsrichter sagt „falsch“, zeigt aber keine Nachweise oder Regel.

CH14-F62— STILLE SCHIEDSRICHTER-KORREKTUR

Das Label wird ohne Entscheidungshistorie geändert.

CH14-F63— DIE BESCHWERDE IN EINEN KUNDENZUFRIEDENHEITSPROZESS UMWANDELN

Statt Nachweise zu berücksichtigen, verändert kommerzieller Druck die Entscheidung.

CH14-F64— ÜBERPRÜFUNG DER EIGENEN BESCHWERDE DES ERSTEN SCHIEDSLAUTERS

Es wird keine unabhängige Neubewertung durchgeführt.

CH14-F65— DIE OFFENE EINWAND ALS ENDGÜLTIGE ENTSCHEIDUNG BEHALTEN

Der ausstehende Status erscheint nicht unter dem öffentlichen Ergebnis.

CH14-F66— VERBERGEN DER QUALITÄTSSTUFE DES SCHIEDSLAUTERS

Eine einzelne, nicht kalibrierte Überprüfung wird als vollständiges unabhängiges Audit präsentiert.

113. PRÜFUNGSVERFAHREN

Schritt 1— Gültigkeit der Erfassung überprüfen

Nur Beobachtungen, die in Kapitel 12 als gültig befunden wurden, unterliegen der semantischen Beurteilung.

Schritt 2— Verknüpfen von Prompt- und Truth-Pack-Versionen

Die Antwort wird unter der richtigen Absicht und dem Referenzzeitpunkt bewertet.

Schritt 3— Vollständige Antwort festschreiben

Der Antworttext darf während der Beurteilung nicht geändert werden.

Schritt 4— Antwortverhalten trennen

Verweigerung, Klarstellung, Fehler und leere Antworten sind von sachlichen Behauptungen getrennt.

Schritt 5— Erste semantische Segmentierung durchführen

Sätze und Bereiche materieller Ausdrucksweisen werden identifiziert.

Schritt 6— Atomaritätstests anwenden

Bestimmungen, die separate Korrektheit, Nachweise, Existenz und Umfang erfordern, werden getrennt.

Schritt 7— Auf Überatomisierung prüfen

Bedeutungslose Mikroforderungen werden zusammengefasst.

Schritt 8— Explizite und implizite Aussagen aufzeichnen

Quellen von Voraussetzungen und Folgerungen werden markiert.

Schritt 9— Entität und Koreferenz auflösen

Bei Mehrdeutigkeit wird kein bestimmtes Subjekt erfunden.

Schritt 10— Qualifikatoren hinzufügen

Zuschreibung, Modalität, Quantifizierer, Zeit und Umfang werden beibehalten.

Schritt 11— Anspruchszentralität zuweisen

Es wird ein Kern-, unterstützender, qualifizierender, beiläufiger oder nicht materieller Status vergeben.

Schritt 12— Anspruchs-Abhängigkeitsdiagramm erstellen

Stamm- und abgeleitete Aussagen werden miteinander verknüpft.

Schritt 13— Erforderliche Antwortbestandteile prüfen

Es wird geprüft, ob die notwendigen Elemente für die Petitionsfamilie vorhanden sind.

Schritt 14— Aufzeichnungsunterlassungen erstellen

Es werden nur materielle und pflichtbezogene Mängel erfasst.

Schritt 15— Anspruchsregister einfrieren

Die Aussageauszugsversion wird vor der Peer-Überprüfung festgeschrieben.

Schritt 16— Ordnen Sie die Atome dem Wahrheits-Paket zu

Die bestehende Behauptung, Referenzlücke, oder eine Situation außerhalb des Geltungsbereichs wird bestimmt.

Schritt 17— Erstellen Sie die Zitierungskarte

Inwieweit unterstützt jede Zitierung welches Atom?

Schritt 18— Der erste Schiedsrichter trifft die dimensionsbezogene Entscheidung

Entität, Fakt, Umfang, Zeit, Zuordnung, Modalität, Referenz und Relevanz werden bewertet.

Schritt 19— Der zweite Schiedsrichter trifft unabhängige Entscheidung

Das Ergebnis des ersten Schiedsrichters bleibt verborgen.

Schritt 20— Anwenden der Anforderung an Experten-Schiedsrichter

Hochrisiko- oder technische Aussagen werden an einen geeigneten Experten weitergeleitet.

Schritt 21— Berechnung der Übereinstimmung der Schiedsrichter

Dimensionsbasierte Übereinstimmungen und Arten von Meinungsverschiedenheiten werden extrahiert.

Schritt 22— Anwendung der Streitbeilegung

Die Versöhnung wird von einem leitenden Schiedsrichter oder einem zusätzlichen Expertenverfahren durchgeführt.

Schritt 23— Abschließen der endgültigen atomaren Entscheidung

Der Entscheidungsvektor, das kombinierte Label und die Begründung werden aufgezeichnet.

Schritt 24— Festschreiben des Unterlassens und der Reaktionsverhalten

Nicht-Anspruchsergebnisse werden ebenfalls abgeschlossen.

Schritt 25— Adjudikationsqualitätsstatus zuweisen

Ein angemessenes Niveau wird zwischen AQ-0 und AQ-5 vergeben.

Schritt 26— Einspruchsfrist öffnen

Relevante Parteien können auf Aussage- und Evidenzebene Einspruch erheben.

Schritt 27— Neue Nachweise oder Referenzlücke verarbeiten

Wenn sich das Wahrheits-Paket ändert, wird eine neue Adjudikationsversion erstellt.

Schritt 28— Öffentliches Aussagemanifest erstellen

Aussage- und Entscheidungsverteilung wird ohne persönliche Daten veröffentlicht.

114. ERFORDERLICHE BELEGE

Beobachtungs-ID; Gültigkeitsnachweis-Aufzeichnung; KI-System-Registereintrag; Panel-Status; Prompt-ID und Version; vollständige KI-Antwort; Antwortsprache und Gebietsschema; Truth-Paket-ID und Version; Version der Aussageextraktion; Originaltext-Spannen; normalisierte atomare Aussagen; expliziter, impliziter und vorausgesetzter Status; Entitäts- und Koreferenzaufzeichnungen; Zuordnung; Modalität; Quantor; Negation; Zeit und Geografie; Produkt- und Dienstleistungsumfang; Zahl und Einheit; Aussagezentralität; Aussageabhängigkeitsdiagramm; erforderliche Antwortbestandteile; Auslassungsaufzeichnungen; Zitationsliste; Zitations-Aussage-Zuordnung; Truth-Paket-Übereinstimmungen; Referenzlücke-Aufzeichnungen; Entscheidung des ersten Prüfers; Entscheidung des zweiten Prüfers; Entscheidung des Fachexperten; Entscheidung des Sprachschiedsrichters; Entscheidung des Zitatschiedsrichters; Streitigkeiten; Versöhnungsprotokoll; Entscheidung des leitenden Schiedsrichters; Entscheidungsvektoren; und kombinierte atomare Kennzeichnungen.

Begründungen der Entscheidungen Aufzeichnungen zur Identität oder Rolle des Schiedsrichters Qualifikationen des Schiedsrichters Interessenkonfliktaufzeichnungen Blindstatus Übereinstimmung zwischen Schiedsrichtern Roh- und Nach-Konsens-Übereinstimmung Kalibrierungssatz Goldfälle Analyse der Drift des Schiedsrichters Aufzeichnungen des KI-Assistenten Werkzeuge Berufungen Neue Begutachtung abweichende Meinungen Versionen der Entscheidungen Qualität der Schiedsrichterentscheidung Öffentliches Aussagemanifest Verantwortliche Person oder Institution

115. PRÜFLISTE FÜR AUDITS

Wurde die Erfassungsvalidität vor der semantischen Bewertung gegeben? Hängt die Antwort von der korrekten Behauptung und der Truth Pack-Version ab? Wird der vollständige Antworttext beibehalten? Wurden Verweigerung und Klarstellung von den Behauptungen getrennt? Wurden Sätze automatisch als eine einzige Behauptung gezählt? Wurden Bestimmungen, die separate Nachweise erfordern, getrennt? Sind Atome übermäßig klein? Werden schwerwiegende Fehler mit kleinen Wahrheiten verwässert? Wurden explizite Behauptungen aufgezeichnet? Wurden implizite Behauptungen nur mit obligatorischer Bedeutung extrahiert? Wurde die vom KI akzeptierte Behauptung von der vorläufigen Annahme des Prompts getrennt? Wird die Zuschreibung beibehalten? Werden Modalität und Unsicherheit beibehalten? Wurde die Verneinung korrekt interpretiert? Wurden Ausdrücke wie 'alle', 'einige', 'die meisten' beibehalten? Wurden Entitäten und Pronomen korrekt aufgelöst? Wurde eine unbestimmte Entität willkürlich gewählt?

Wurden das Mutterunternehmen und die Marke verwechselt? Ist der Zeitrahmen korrekt? Ist 'Heute' mit dem Antwortdatum verknüpft? Sind Geografie und Sprache getrennt? Wird der Produkt- und Dienstleistungsumfang eingehalten? Sind Zahl, Einheit, Nenner und Zeitraum klar? Sind ungefähre und genaue Werte getrennt? Ist das Vergleichsuniversum definiert? Hängt die Empfehlung vom Nutzerprofil ab? Wurde jede Quelle einzeln mit jedem Atom abgeglichen? Unterstützt die Quelle nur die Zuordnung? Ist die Quelle wirklich zugänglich und original? Sind die obligatorischen Antwortbestandteile des Prompts vordefiniert? Wurde jede fehlende korrekte Information als Auslassung gezählt? Wurde ein wesentliches Grenzmanko erfasst? Hat die Antwort korrekte, aber irrelevante Inhalte geliefert? Ist die Relevanz einer Behauptung unabhängig vom Ergebnis? Sind abgeleitete Behauptungen von den Grundbehauptungen abhängig?

Erzeugt derselbe Grundfehler mehrere Strafen? Ist er getrennt von der Entscheidung über die Genauigkeit der Aussageextraktion? War das Aussagebuch vor der Beurteilung festgeschrieben? Ist jedes Atom mit Truth Pack oder einem Referenzlücke verbunden? Sind Entität, Fakt, Umfang, Zeit und Zuschreibung getrennt? Sind nicht unterstützte und widersprüchliche getrennt? Wurde das falsche Entität als korrekte Information behandelt? Wurde historisch korrektes als aktuell behandelt? Versteckt sich eine Überschreitung des Umfangs innerhalb der teilweisen Unterstützung? Ist der epistemische Statusfehler sichtbar? Wurde angemessene Unsicherheit bestraft? Wurde übermäßige Unsicherheit aufgezeichnet? Verfügt der Prüfer über ausreichende Kenntnisse der relevanten Sprache? Benötigt die Aussage einen Fachexperten? Gibt es einen Interessenkonflikt für den Gutachter? Hat der zweite Gutachter die erste Entscheidung gesehen? Werden wichtige/kritische Kandidaten doppelt überprüft?

Werden Streitfallaufzeichnungen aufbewahrt? Wurde eine Experten-Überstimmung durch Mehrheitsbeschluss entschieden? Wurde die Übereinstimmung nach Dimension gemessen? Wurde die Übereinstimmung erst nach der Zusammenführung veröffentlicht? Haben Gutachter einen Kalibrierungssatz verwendet? Haben Kalibrierungsaufzeichnungen die Hauptbewertung beeinflusst? Wurde die Drift der Gutachter überprüft? Wurden KI-unterstützte Entscheidungen von einem Menschen überprüft? Wurde die KI, die die Antwort produziert hat, selbst zum endgültigen Gutachter? Enthalten negative Entscheidungen Nachweise und Begründungen? Wurden Entscheidungsänderungen versioniert? Wurde die Berufung von einem unabhängigen Gutachter überprüft? Ist das Ergebnis einer öffentlichen Berufung für die Öffentlichkeit sichtbar? Liegt das Qualitätsniveau des Gutachters mindestens bei AQ-3? Ist der verantwortliche Eigentümer des Forderungsbuchs bekannt?

116. BERUFUNGEN UND ANTWORTEN

Berufung 1— „Ist es nicht einfacher, den Antwortsatz Satz für Satz zu bewerten?“

Es ist einfach. Allerdings kann ein einzelner Satz viele unabhängige Behauptungen enthalten. Einige können wahr, andere falsch sein. Die Satzgrenze ist nicht die Grenze der Beurteilung.

Einwand 2— „Macht das Trennen jeder Behauptung auf diese Weise das System nicht unnötig kompliziert?“

Finanzielle Aussagen müssen getrennt werden. Es ist nicht notwendig, bedeutungslose Sprachfragmente zu trennen. Atomaritätstests verhindern übermäßige Fragmentierung.

Einwand 3— 'Wenn die Hauptidee in einem Satz korrekt ist, können wir kleine Fehler ignorieren?'

Es hängt von der Wesentlichkeit des Fehlers ab. Falsches Land, Lizenz, Preis oder Garantie: das ist kein kleines Detail. Kapitel 15 wird die Grenzen seiner Wirkung bestimmen.

Einwand 4— „Ist es nicht natürlich, dass die Punktzahl mit einer großen Anzahl korrekter Atome steigt?“

Nur, wenn die Atome die gleiche Bedeutung und Unabhängigkeit haben. Unbedeutende Mikro-Wahrheiten können ein schwerwiegendes falsches Urteil nicht verwässern. Das Verhältnis zwischen Zentralität und Grundfehler muss eingehalten werden.

Einwand 5— „Sind implizite Behauptungen nicht subjektiv?“

Manche könnten es sein. Daher werden nur Aussagen extrahiert, die sprachlich notwendig oder stark vermittelt sind. Meinungsverschiedenheiten werden dokumentiert.

Einwand 6— „Wenn die KI korrekt berichtet hat, was das Unternehmen sagte, warum könnte es dann als falsch angesehen werden?“

Wenn die Zuschreibung erhalten bleibt, kann die Berichterstattung der Selbsterklärung korrekt sein. Wenn die KI die Selbsterklärung in eine unabhängige Tatsache umwandelt, tritt ein erkenntnistheoretischer Fehler auf.

Einwand 7— „Wenn wir die Lizenz des Unternehmens nicht finden konnten, warum sollte die Aussage der KI ‚nicht lizenziert‘ nicht gelten?“

Wenn nicht nachgewiesen ist, dass der Eintrag eine geschlossene Welt und ein ergänzender Eintrag ist, ist das Fehlen einer Lizenz nicht sicher. Die richtige Antwort könnte lauten: „Nicht verifiziert.“

Einwand 8— „Wenn KI sehr vorsichtig spricht, wird ihre Nützlichkeit für den Nutzer nicht abnehmen?“

Sie kann abnehmen. Aus diesem Grund wird auch unnötige Unsicherheit aufgezeichnet. NOMOS macht die Vorsicht ebenso dysfunktional wie falsche Sicherheit sichtbar.

Einwand 9— „Reicht es nicht aus, wenn die Zitation auf die richtige Quelle verweist?“

Die Quelle kann korrekt sein. Aber eine andere:

• Entität,
• Land,
• Datum,
• Behauptung

Es könnte darum gehen. Die Übereinstimmung von Zitation und Behauptung sollte ebenfalls überprüft werden.

Einwand 10— „Sollten alle Informationen des Wahrheitspakets in die Antwort aufgenommen werden?“

Nein. Es wird nur die verpflichtende Pflicht des Prompts und die notwendigen materiellen Grenzen für ein korrektes Verständnis erwartet. Truth Pack ist keine Antwortvorlage.

Einwand 11— „Wenn es keine falsche Behauptung gibt, warum sollte die Antwort fehlschlagen?“

Die Hauptfrage wurde möglicherweise nicht beantwortet oder das materielle Limit könnte unvollständig geblieben sein. Genauigkeit und Vollständigkeit sind separate Dimensionen.

Einwand 12— „Reichen zwei Schiedsrichter aus?“

Die gleiche Struktur ist möglicherweise nicht für jede Behauptung erforderlich. In Hochrisikobereichen kann ein Sprachschiedsrichter, ein Fachexperte und ein Senior-Schiedsrichter erforderlich sein.

Einwand 13— „Wenn sich die Schiedsrichter einig sind, warum ist eine externe Überprüfung erforderlich?“

Schiedsrichter könnten dieselbe falsche Interpretation gelernt haben. Konsistenz zeigt Übereinstimmung. Sie garantiert keine absolute Genauigkeit.

Einwand 14— „Wäre die KI-Entscheidung nicht schneller und konsistenter?“

KI kann die Geschwindigkeit der Aussageextraktion und -abgleichung erhöhen. Sie kann jedoch auch ihre eigenen Vorurteile und Fehler skalieren. Die endgültige Verantwortung sollte beim Menschen bleiben.

Einwand 15— „Sind menschliche Schiedsrichter nicht auch subjektiv?“

Ja. Aus diesem Grund:

• Open-Source-Buch,
• doppelte Schiedsgerichtsbarkeit
• Kompatibilitätsmessung,
• Fachwissen
• Einspruch,
• Versionsaufzeichnung

Es ist notwendig. Das Ziel ist nicht, Subjektivität zu leugnen; es ist, sie sichtbar und kontrollierbar zu machen.

Einwand 16— „Wäre die Entscheidungsfindung nicht sehr teuer?“

Es ist möglich. Eine risikobasierte Struktur kann verwendet werden:

• Stichprobenkontrolle bei nieder-risikoreichen Atomen,
• obligatorische Doppelprüfung bei hoch-risikoreichen Atomen,
• KI-unterstützte Vorbearbeitung,
• menschliche Endentscheidung

kann angewendet werden. Kosten geben nicht das Recht, die undokumentierte Meinung eines einzelnen Schiedsrichters zum Weltstandard zu machen.

GEMEINSAME REGEL VON KAPITEL 121

Eine KI-Antwort kann korrekt erscheinen, weil ihr erster Satz wahr ist. Sie kann falsch erscheinen, weil sie einen einzigen schwerwiegenden Fehler enthält. Sie kann unvollständig sein, weil der Nutzer den Schwellenwert, der seine Entscheidung ändern würde, nicht angegeben hat. Sie kann vorsichtig sein, weil die Realität selbst nicht vollständig geklärt ist. Sie kann ausweichend sein, weil sie trotz starker Nachweise keine Entscheidung getroffen hat. Sie kann quellenbasiert erscheinen, doch die zitierte Quelle könnte eine andere Behauptung stützen. All dies kann innerhalb derselben Antwort koexistieren. Daher stellt NOMOS dem Richter keine einzelne Frage: „Ist diese Antwort korrekt?“ Stattdessen wird Folgendes gefragt:

Welche Behauptungen hat er aufgestellt? / Wem sagte er, dass sie gehörten? / Wie entschlossen hat er gesprochen? / Auf welche Zeit bezog er sich? / Welches Land und welches Produkt behandelte er? / Hat er den Status der Quelle beibehalten? / Was unterstützte das Zitat? / Hat er die Hauptaufgabe der Aufgabe beantwortet? / Welches materielle Limit hat er weggelassen? / Wo war das Wahrheits-Paket unzureichend? Atomisierung erfolgt nicht, um die Antwort zu bestrafen. Sie dient auch dazu, die korrekten Teile der Antwort zu bewahren. Eine Antwort:

• Hauptidentität korrekt,
• Tätigkeitsbereich teilweise korrekt,
• Führungsanspruch falsch,
• Preisspanne veraltet,
• Zitationsstatus unterbrochen

kann tragen. Eine einzelne Null zerstört alle korrekten Teile. Ein einziger Durchlauf verbirgt alle Fehler. Atomare Bewertung lehnt beides ab. Allerdings kann atomare Bewertung auch einen neuen Weg der Manipulation eröffnen. Schwerwiegender Fehler:

• es gibt ein Unternehmen,
• es gibt ein Land,
• das Wort Dienst ist korrekt

kann nicht auf diese Weise in kleine Wahrheiten zerlegt und verloren gehen. Atome werden nicht isoliert betrachtet. Ihre Bedeutungen, Zentralitäten und Wurzelbeziehungen schützen sie. Der Bewerter kann menschlich sein. Das macht ihn nicht unfehlbar. KI kann helfen. Das macht sie nicht zur ultimativen Autorität. Zuverlässige Bewertung:

• klarer Anspruchsplan,
• korrekte Sprache,
• Fachwissen im jeweiligen Bereich,
• unabhängige primäre Entscheidung,
• Streitaufzeichnung,
• Einspruch,
• Versionsgeschichte

tritt auf mit. Daher lautet das vierzehnte Messgesetz von NOMOS wie folgt:

Die Richtigkeit einer Antwort liegt nicht im Gesamteindruck ihrer Sätze; sie liegt in den einzelnen Wahrheitszuständen der atomaren Behauptungen, die sie trägt.

Das fünfzehnte Gesetz lautet wie folgt:

Ein Atom sollte klein sein; es sollte nicht bedeutungslos sein.

Sechzehntes Gesetz lautet wie folgt:

Wenn Zuschreibung, Umfang, Zeit und Unsicherheit entfernt werden, ist die Behauptung nicht mehr dieselbe Behauptung.

Sein siebzehntes Gesetz lautet:

Wenn korrekte Informationen mit einer falschen Entität verknüpft werden, ist es eine falsche Repräsentation.

Sein achtzehntes Messgesetz besagt:

Eine Quellenangabe ist kein Nachweis; die Unterstützungsbeziehung zwischen Zitat und Behauptung ist Nachweis.

Sein neunzehntes Messgesetz besagt:

Nicht falsch zu sprechen ist nicht dasselbe wie die Frage zu beantworten.

Sein zwanzigstes Messgesetz besagt:

Harmonie unter den Schiedsrichtern erhöht das Vertrauen; sie beseitigt jedoch nicht den menschlichen Fehler.

Sein einundzwanzigstes Messgesetz besagt:

Eine unentschiedene Entscheidung ist keine Schwäche; sie ist Respekt vor den Grenzen der Nachweise.

Sein zweiundzwanzigstes Messgesetz besagt:

Wenn atomare Entscheidungen nicht transparent sind, ist die Endnote nur eine berechnete Meinung.

NOMOS’s Abschnitt 14 Bestellung

Sag mir nicht, dass deine Antwort im Allgemeinen korrekt ist. / Zeige, unter welchen Nachweisen jeder meiner Behauptungen korrekt ist.

Mache meinen Satz nicht zu einem einzigen Urteil. / Teile mich aber auch nicht in bedeutungslose Wortfragmente auf.

Wenn ein Teil von mir richtig und ein anderer Teil falsch ist, trenne die beiden.

Verliere meinen großen Fehler nicht unter kleinen Wahrheiten wie „es gibt eine Firma“.

Wenn ich sage ‚Die Firma sagt,‘ verwandle dies nicht in ‚Es ist bewiesen worden.‘

Tu nicht so, als spräche ich definitiv, wenn ich ‚wahrscheinlich‘ sage. / Wenn ich ‚vielleicht‘ sage, während es solide Nachweise gibt, beachte das auch.

Behalte den Unterschied zwischen ‚konnte nicht überprüft werden‘ und ‚existiert nicht‘.

Lösche die Wörter alle, einige, die meisten und mindestens eines nicht.

Machen Sie aus der Muttergesellschaft und der Marke, dem Produkt und dem Hersteller, der Franchise und der Hauptinstitution keine einzige Einheit.

Geben Sie nicht die Wahrheit von gestern als die Wahrheit von heute aus.

Betrachten Sie die Erbringung von Dienstleistungen in einer Sprache nicht als eine rechtliche Tätigkeit in diesem Land.

Wandeln Sie die ungefähre Zahl nicht in eine ganze Zahl um, oder den ausgewählten Fall in den allgemeinen Satz.

Glauben Sie nicht sofort, wenn Sie ein Zitat sehen. / Überprüfen Sie, welche Aussage die Quelle tatsächlich unterstützt.

Lassen Sie mich nicht das gesamte Truth Pack auswendig lernen. / Aber lassen Sie auch nicht die Schwelle weg, die den Nutzer dazu bringen wird, seine Meinung zu ändern.

Lass mich nicht mit korrekten, aber irrelevanten Informationen vom eigentlichen Thema ablenken.

Finde zuerst heraus, was ich gesagt habe. / Dann sieh nach, ob es korrekt ist.

Versuche nicht, die Bewertenden dazu zu bringen, meine Marke zu lieben oder zu hassen.

Zeige die Entscheidung des ersten Bewertenden dem zweiten Bewertenden nicht.

Lass nicht zu, dass eine Mehrheit von Generalisten die Fachkenntnis für eine spezialisierte Frage überstimmt.

Verberge die Meinungsverschiedenheit nicht. / Wenn sie nicht gelöst werden kann, lass sie ungelöst.

Erkläre hohe Übereinstimmung nicht für Unfehlbarkeit. / Prüfe weiterhin, ob die Bewertenden möglicherweise gemeinsam falsch gelernt haben.

Du kannst Hilfe von mir bekommen. / Aber mach mich nicht zum einzigen Richter meiner eigenen Antwort.

Lösche die alte Entscheidung nicht, wenn ein Einspruch eingeht. / Erstelle eine neue Version mit neuen Nachweisen.

Sperre zuerst die Antwort. / Extrahiere dann ihre atomaren Behauptungen. / Identifiziere dann Entität, Umfang, Zeit und Zuschreibung. / Ordne dann jede Behauptung dem Wahrheits-Paket zu. / Reiche sie dann zwei unabhängigen Schiedsrichtern ein. / Kläre dann Meinungsverschiedenheiten. / Erst dann entscheide, welche Behauptungen bestehen und welche fehlschlagen.

Der abschließende Satz des Kapitels

Faire Schiedsgerichtsbarkeit in GEO-1000 beurteilt eine Antwort nicht nach allgemeinem Eindruck. Sie macht jede wesentliche Behauptung sichtbar und bewertet sie separat anhand der korrekten Entität, Nachweise, des Umfangs, der Zeit und des epistemischen Status.

Normativer Kern

Bevor eine Bewertung auf Antwortebene, ein Versagen, eine Schwere oder eine Punktzahl zugewiesen wird, MUSS jede inhaltlich relevante KI-Antwort in atomare semantische Aussagen zerlegt werden. Jede atomare Aussage MUSS Folgendes enthalten: - ihren genauen Quelltextabschnitt, - normalisierte Proposition, - Subjektsentität, - Prädikat und Wert, - Qualifikatoren und Quantifizierer, - geografischen, Produkt-, Nutzer- und jurisdiktionalen Umfang, - zeitlichen Rahmen, - Zuschreibung, - Modalität und Unsicherheit, - expliziten, impliziten, vorausgesetzten oder abgeleiteten Ursprung, - Zentralität der Antwort, - Zitierbeziehungen, - Abhängigkeitsbeziehungen, - und Truth-Pack-Zuordnung. Satz- und Absatzgrenzen DÜRFEN NICHT als automatische Aussagegrenzen behandelt werden. Die atomare Zerlegung MUSS Aussagen trennen, die unterschiedliche Wahrheits-, Nachweis-, Entitäts-, Geltungsbereichs-, Zeit- oder Zuschreibungszustände tragen KÖNNEN, während sinnlose Mikrofragmentierung, die materielle Fehler verwässert, verboten wird. Die Extraktion von Behauptungen, die Zuordnung zu Wahrheits-Paketen und die semantische Adjudikation SOLLTEN getrennte Stufen und nach Möglichkeit getrennte Rollen bleiben. Jede atomare Behauptung MUSS über verschiedene Dimensionen hinweg beurteilt werden, einschließlich: - Entität, - faktische Unterstützung, - Geltungsbereich, - Zeit, - Zuschreibung und epistemischer Status, - Modalität und Unsicherheit, - Zitierungsunterstützung, - Relevanz, - und nicht geklärter oder Bezugslücken-Status. Die Treue zu offiziellen Behauptungen MUSS von der überprüften faktischen Unterstützung getrennt bleiben. Nicht unterstützt, widersprochen, falsche Entität, veraltet, Umfangsüberschreitung, epistemischer Statusfehler, Zitationsabweichung, Referenzlücke und ungelöste Zustände MÜSSEN separat sichtbar bleiben. Erforderliche Antwortelemente und wesentliche Auslassungen MÜSSEN separat von explizit falschen Behauptungen beurteilt werden. Korrekte, aber irrelevante Informationen DÜRFEN den Prompt nicht erfüllen, nur weil sie faktisch belegt sind. Wesentliche Behauptungen SOLLTEN einer unabhängigen doppelten Überprüfung unterzogen werden, mit zusätzlicher sprachlicher oder fachlicher Expertise, wo erforderlich. Identität des Prüfers, Qualifikation, Interessenkonflikte, unabhängige erste Entscheidungen, Meinungsverschiedenheiten, Lösung, Zuverlässigkeitsmetriken, Berufungen und Entscheidungsversionen MÜSSEN aufgezeichnet werden. Die Übereinstimmung der Gutachter MUSS anhand von Dimensionen gemessen werden und DARF NICHT als Nachweis dafür angesehen werden, dass die getroffene gemeinsame Entscheidung notwendigerweise korrekt ist. KI-Systeme KÖNNEN bei der Segmentierung, der Aussageextraktion, der Evidenzzuordnung, der Übersetzungsunterstützung und der Widerspruchsentdeckung helfen, DÜRFEN jedoch nicht als alleiniger endgültiger Schiedsrichter für ihre eigenen oder die Aussagen eines anderen Systems dienen. Atomare Adjudikationsentscheidungen MÜSSEN unabhängig von kommerziellen Interessen, gewünschten Bewertungen, Anbieterreputation, Ergebnissen einer Kennzeichnung oder Kundenfreigaben bleiben. Jedes Aussageregister, jede Adjudikationsentscheidung, jede Streitbeilegung, jede Berufung und jede Überarbeitung MUSS versioniert sein und einem verantwortlichen Menschen oder einer Organisation zuordenbar sein.