Direkte Antwort
Verknüpfen Sie die Erklärung mit einem Datensatz, der bei der Entscheidung bewahrt wurde. Er zeigt Modell- und Systemversionen, Prompts, verwendete Daten, ausgewählte Informationen, Richtlinie, Werkzeugaufrufe, menschliche Eingriffe und angewandtes Ergebnis. Ordnen Sie jede wesentliche Aussage der Erklärung einem dieser Belege zu. Entfernen oder verändern Sie, soweit angemessen, einen behaupteten Faktor und prüfen Sie, ob sich das Ergebnis ändert. Stützt der Datensatz den Text nicht, kennzeichnen Sie ihn als mögliche nachträgliche Darstellung statt als getreue Erklärung.
Einfach erklärt
Stellen Sie sich eine Restaurantrechnung vor, die nach dem Essen aus dem Gedächtnis geschrieben wird. Der Gesamtbetrag kann richtig aussehen, belegt aber nicht, welche Speisen bestellt wurden. Eine verlässliche Rechnung stimmt mit den bei der Bestellung entstandenen Aufzeichnungen überein.
Warum ist das wichtig?
Menschen vertrauen leicht einer vernünftig klingenden Erklärung. Ist sie nicht an die reale Entscheidung gebunden, sollen sie womöglich die falschen Daten korrigieren, der eigentliche Fehler bleibt verborgen oder Verantwortung wird falsch zugeordnet.
Nicht verwechseln
- Eine plausible Erklärung klingt verständlich; eine getreue Erklärung stimmt mit den Belegen der realen Entscheidung überein.
- Eine nachträgliche Erklärung entsteht nach der Entscheidung und kann richtig oder erfunden sein.
- Provenienz fragt, woher ein Datensatz stammt; Kausalität fragt, welches Element das Ergebnis veränderte.
- Ein Ereignisprotokoll beweist nicht, dass es vollständig, richtig oder unverändert ist.
- Reproduktion sucht ein ähnliches Ergebnis; ein Treuetest untersucht die Kausalaussage der Erklärung.
Was ist zu tun?
- Bewahren Sie zeitpunktbezogene Kopien von Modell, Daten, Prompt, Richtlinie, Werkzeugen und menschlichen Versionen.
- Erstellen Sie eine zeitlich verknüpfte Spur von Eingaben, Informationsauswahl, Werkzeugaufrufen, menschlichen Eingriffen und angewandtem Ergebnis.
- Schützen Sie Ereignisdatensatz und Entscheidungsabbild mit Hashes, Zugriffskontrollen und Änderungspfad.
- Ordnen Sie jede wesentliche Aussage der Erklärung dem stützenden Entscheidungsdatensatz zu.
- Prüfen Sie, soweit angemessen, Verhaltenstreue durch Faktorentfernung, Gegenfaktum, Wiederholung und Sensitivitätstests.
- Geben Sie unbelegte oder nur mögliche Darstellungen nicht als getreue Erklärung aus; nennen Sie das Sicherheitsniveau.
- Validieren Sie die Erklärung bei einer Systemänderung erneut, statt sie unverändert auf die neue Version zu übertragen.
Wie wird geprüft?
- Ist die Erklärung mit der richtigen Entscheidungskennung und einem Abbild vom Entscheidungszeitpunkt verbunden?
- Lassen sich Modell, Prompt, Daten, Informationsauswahl, Werkzeuge, Richtlinie und menschliche Eingriffe verfolgen?
- Erscheint jeder wesentliche Grund der Erklärung tatsächlich im Datensatz?
- Sind Vollständigkeit und Integrität der Ereignisdatensätze geschützt?
- Wurde Verhaltenstreue getestet oder nur die sprachliche Qualität bewertet?
- Wurde eine nachträgliche oder anbietergenerierte Erklärung als sichere interne Ursache dargestellt?
- Wurde nach einem Versionswechsel eine alte Erklärung ohne erneute Validierung verwendet?
Grenze
Bei undurchsichtigen und komplexen Modellen lässt sich vollständige interne Kausalität nicht immer belegen. Eine Entscheidungsspur zeigt nur den beobachtbaren Prozess und legt womöglich nicht jeden internen Mechanismus offen. Dann sind Sicherheitsniveau und Unbekanntes ausdrücklich zu nennen.
Merksatz
Eine gute Geschichte kann eine Erklärung sein; Treue verlangt Belege vom Moment der Entscheidung.
Quellen dieses Eintrags
- S26NIST SP 800-53 Rev. 5, *Security and Privacy Controls*Standard
- S35W3C, *PROV-O: The PROV Ontology*Standard
- S36W3C, *Trace Context*Standard
- S37OpenTelemetry, *General Trace Semantic Conventions*Standard- und Projektdokumentation
- S44NIST, *AI Risk Management Framework Playbook* und AI RMF CoreFreiwilliger Umsetzungsleitfaden
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Freiwilliges, standardorientiertes institutionelles Rahmenwerk