Wie sind KI-Antworten in atomare Aussagen zu zerlegen, und wie werden…

Direkte Antwort

Eine atomare Aussage ist der kleinste wesentliche Satz, der für sich als wahr oder falsch bewertet werden kann. Zerlegen Sie die Antwort zunächst in solche Aussagen. Erfassen Sie je Aussage richtige Entität, Richtigkeit, Vollständigkeit, Aktualität, Quellenbeleg, Wesentlichkeit und möglichen Schaden. Behandeln Sie Erwähnung, Zitat und Empfehlung als getrennte Ereignisse. Ein kritischer Fehler darf nicht im Mittel vieler unwesentlicher Wahrheiten verschwinden; NOMOS GEO nennt dies Nichtkompensationsregel.

Einfach erklärt

Der Satz „Das Geschäft ist heute geöffnet, liegt im Stadtzentrum und liefert kostenlos“ enthält drei Aussagen. Die ersten beiden können richtig und die dritte falsch sein. Die irreführende Lieferangabe wird nicht richtig, weil der größte Teil des Satzes stimmt.

Warum ist das wichtig?

Ein einziges Wahr/Falsch-Etikett kann einen wesentlichen Fehler verdecken. Ein hoher Mittelwert darf einen kritischen Mangel wie falsche Identität, gefährliche Empfehlung oder unbelegte Befugnis nicht akzeptabel machen.

Nicht verwechseln

Erwähnung bedeutet, dass der Name einer Entität erscheint; sie belegt keine Richtigkeit.
Zitat bedeutet, dass eine Quelle genannt ist; es belegt nicht allein, dass sie die Aussage stützt.
Richtigkeit ist Übereinstimmung mit Referenzwahrheit; Vollständigkeit fragt nach ausgelassenen notwendigen Angaben.
Aktualität fragt, ob die Aussage zum Prüfzeitpunkt noch gilt.
Wesentlichkeit oder Schwere betrifft Entscheidungswirkung und Schaden, nicht die Auffälligkeit des Fehlers.

Was ist zu tun?

Zerlegen Sie die Antwort in atomare Aussagen mit Subjekten, Beziehungen, Merkmalen, Zahlen, Daten, Umfängen und Empfehlungen.
Verknüpfen Sie jede Aussage mit der richtigen Entität und dem entsprechenden Truth-Pack-Eintrag.
Bewerten Sie Richtigkeit, Vollständigkeit, Aktualität und Belegwirkung in getrennten Ergebnisfeldern.
Erfassen Sie Erwähnungs-, Zitier-, Empfehlungs- und Repräsentationsergebnis getrennt.
Klassifizieren Sie Schwere anhand betroffener Menschen, Entscheidungswirkung, Umkehrbarkeit und möglichen Schadens.
Wenden Sie bei kritischem Fehler das Nichtkompensationstor an und schließen Sie ihn nicht über einen Gesamtmittelwert.
Bewahren Sie Urteil, Begründung, Beleg, Prüfer und Unsicherheit im Aussageledger.

Wie wird geprüft?

Wurden mehrere Sätze als eine Aussage bewertet?
Ist jede Aussage mit der richtigen Entität und dem richtigen Truth-Pack-Eintrag verbunden?
Wurden Richtigkeit, Vollständigkeit, Aktualität und Quellenbeleg getrennt bewertet?
Wurde das bloße Auftauchen eines Zitats automatisch als Belegerfolg gezählt?
Wurden günstige, aber falsche Aussagen als Fehler markiert?
Wurde ein kritischer Fehler durch einen hohen Mittelwert kompensiert?
Wurden UNRESOLVED-Aussagen in Wahr oder Falsch gezwungen?

Grenze

Atomare Zerlegung und Schwereklassifizierung enthalten menschliches Urteil. NOMOS-GEO-Schwellen und Nichtkompensationsregel sind eine vorgeschlagene Prüfmethode; sie sind kein gemeinsames offizielles Bewertungssystem von NIST, jedem Sektor oder anwendbarem Recht.