Der Mensch muss die Begründung hinterfragen können

Seda Ergin ist Gründerin eines Unternehmens für medizinische Verpackungen mit zweiundzwanzig Beschäftigten. Das Unternehmen stellt sterile Verpackungen für Krankenhäuser, Labore und Hersteller von Medizinprodukten her. Vor elf Jahren begann es in einer kleinen Werkstatt; inzwischen verfügt es über die technische Kapazität für den Export. Sedas Unternehmen ist nicht groß. Es hat jedoch Stammkunden, eine funktionierende Produktionsstätte, verifizierbare Aufträge und eine langjährige Bankverbindung. Eines Tages erhält Seda einen bedeutenden Auftrag von einem niederländischen Hersteller von Medizinprodukten.

Es ist der bislang größte einzelne Exportauftrag des Unternehmens. Um die Produktion abschließen zu können, müssen Rohstoffe, Sterilisationsleistungen, eine zusätzliche Schicht und die internationale Fracht vorfinanziert werden. Der Kunde wird fünfundvierzig Tage nach der Lieferung zahlen. Seda beantragt bei ihrer Bank einen Betriebsmittelkredit mit viermonatiger Laufzeit. Die Bank bewertet Anträge über ein KI-gestütztes System: den Agenten für gewerbliche Kreditentscheidungen. Das System kann Kontobewegungen, elektronische Rechnungen, das Unternehmensregister, Kennzahlen aus Steuer- und anderen öffentlichen Registern, Branchendaten, bestehende Verbindlichkeiten und die Kundenkonzentration gemeinsam auswerten.

Auf dem Antragsbildschirm steht: „Ihr Antrag kann mithilfe fortgeschrittener Datenanalyse und KI-gestützter Risikobewertungssysteme schnell bearbeitet und entschieden werden.“ Seda lädt den Auftragsvertrag, die Abschlüsse der vergangenen zwei Jahre, die Exportdokumente und den Bericht zur Produktionskapazität hoch. Sie erlaubt den Zugriff auf Kontobewegungen und elektronische Rechnungsdaten. Das System bewertet den Antrag in weniger als einer Minute. Auf dem Bildschirm erscheint: IHR KREDITANTRAG WURDE NICHT ALS GEEIGNET EINGESTUFT Darunter steht nur ein Satz: „Der aktuelle Cashflow und die Risikokennzahlen Ihres Unternehmens wurden für die beantragte Kreditstruktur als unzureichend bewertet.“

Seda klickt auf „Einzelheiten der Entscheidung anzeigen“. Der neue Bildschirm zeigt drei Punkte:

• Cashflow-Stabilität
• Branchenrisiko
• Bestehende Verbindlichkeiten

Diese Angaben wirken nicht auf Sedas konkreten Antrag zugeschnitten. Es sind allgemeine Überschriften, die bei jedem Unternehmen verwendet werden könnten. Seda ruft den Kundenservice der Bank an. Ein echter Mitarbeiter prüft die Antragsnummer und erklärt: „Das System hat Ihren Krediteignungswert unterhalb der Schwelle unserer automatisierten Vorprüfung berechnet.“ Seda fragt: „Wie hoch ist mein Wert?“ Der Mitarbeiter antwortet: „Auf meinem Bildschirm steht 0,63. Die Schwelle der automatisierten Vorprüfung liegt bei 0,65.“ Seda fragt: „Was hat den Wert gesenkt?“ Der Mitarbeiter liest dieselben drei Angaben vor: „Cashflow-Stabilität, Branchenrisiko und bestehende Verbindlichkeiten.“

Seda fragt: „Welcher Teil meines Cashflows?“ Der Mitarbeiter kann das nicht sehen. „Das System zeigt die detaillierte Modellberechnung nicht an.“ Seda fragt: „Welche Verbindlichkeit?“ Der Mitarbeiter kann auch das nicht beantworten. „Diese Informationen sind Bestandteil unseres Risikomodells. Dabei kommen geschäftlich geschützte Bewertungsmethoden zum Einsatz.“ Seda verlangt weder die vollständige Formel noch den Modellcode der Bank. Sie sucht nur eine Antwort auf diese Frage:

„Warum wurde mein Antrag abgelehnt?“

Seda prüft die Daten gemeinsam mit der Buchhaltung ihres Unternehmens. Das erste Problem ist schnell gefunden. Die Verbindung zum Anbieter elektronischer Rechnungen war im vergangenen Monat achtzehn Tage lang unterbrochen. Das Unternehmen tätigte in diesem Zeitraum Verkäufe und stellte Rechnungen aus. Der Datensammler der Bank konnte diese achtzehn Tage jedoch nicht abrufen. Das Entscheidungssystem behandelte die Datenlücke als:

invoice_revenue: 0

Der tatsächliche Datensatz hätte dagegen lauten müssen:

invoice_revenue: data_missing

Das System hat also „keine Daten“ mit „keine Einnahmen“ verwechselt. Das zweite Problem ist eine große Maschinenzahlung, die das Unternehmen drei Monate zuvor geleistet hatte. Seda hatte für die Herstellung steriler Verpackungen ein neues Schneidesystem erworben. Es handelte sich um eine einmalige Investition. Das Risikomodell klassifizierte die Zahlung jedoch als:

recurring_monthly_expense

Dadurch senkte das Modell den prognostizierten künftigen Cashflow, als müsse das Unternehmen jeden Monat eine weitere Maschinenzahlung derselben Höhe leisten. Das dritte Problem ist schwerwiegender. Das Unternehmen hatte bei der Zollverwaltung eine Sicherheit für importierte Rohstoffe hinterlegt. Dieses Geld war weder eine Geldbuße noch eine Steuerschuld oder überfällige öffentliche Verpflichtung. Es war eine vorübergehende Sicherheit für einen bestimmten Einfuhrvorgang. Der externe Datenanbieter übermittelte den Eintrag an die Bank als:

unresolved_public_obligation: true

Die Kreditrichtlinie der Bank stoppt Anträge unmittelbar, sobald eine offene öffentliche Verpflichtung angezeigt wird. Dieses Feld wirkt unabhängig vom Punktwert als:

Vetoregel.

Die tatsächliche Entscheidungskette lautet:

1. Indikator für öffentliche Verpflichtungen: VORHANDEN
2. ↓
3. Richtlinien-Gate: ABLEHNUNG
4. ↓
5. Antragsergebnis: AUTOMATISCHE ABLEHNUNG

Der Cashflow-Wert erscheint niedrig. Er war jedoch nicht der entscheidende Grund für die endgültige Ablehnung des Antrags. Der ausschlaggebende Grund war:

der fälschlich als offene öffentliche Verpflichtung klassifizierte Vetoeintrag.

Trotzdem wurde Seda als Begründung „Cashflow-Stabilität und Branchenrisiko“ angezeigt. Warum? Weil das Entscheidungssystem der Bank nicht aus einer einzigen Struktur besteht.

1. Es besteht aus folgenden Komponenten: DATENERFASSUNGSAGENT
2. ↓
3. AGENT ZUR BUCHHALTERISCHEN KLASSIFIZIERUNG
4. ↓
5. PRÜFUNG EXTERNER VERPFLICHTUNGEN
6. ↓
7. MODELL ZUR BEWERTUNG DER KREDITEIGNUNG
8. ↓
9. RICHTLINIEN- UND VETO-MOTOR
10. ↓
11. AGENT ZUR ERZEUGUNG DER BEGRÜNDUNG
12. ↓
13. KUNDENMITTEILUNG

Der Agent zur Erzeugung der Begründung hat nicht unmittelbar gelesen, welches Gate die endgültige Ablehnung auslöste. Aus den allgemeinen negativen Kennzahlen des Krediteignungsmodells erzeugte er einen Satz, der für Menschen plausibel klingen sollte. Die Entscheidung fiel in einem anderen System. Die Begründung wurde nachträglich von einem weiteren System verfasst. Sie klingt nachvollziehbar, ist aber nicht der tatsächliche Entscheidungsgrund.

Seda lädt das amtliche Dokument hoch, das die Art der Zollsicherheit belegt. Sie übermittelt die fehlenden elektronischen Rechnungen erneut und erklärt, dass die Maschineninvestition einmalig war. Im Portal nutzt sie die Option „Widerspruch gegen die Entscheidung einlegen“. Zwei Minuten später trifft eine neue Antwort ein: „Ihr Antrag wurde erneut bewertet. Es wurden keine hinreichenden Gründe festgestellt, die eine Änderung der bestehenden Entscheidung erfordern.“ Seda nimmt an, ein Mensch habe den Antrag geprüft. Sie ruft erneut den Kundenservice an. Der Mitarbeiter erklärt, dass derselbe automatisierte Prozess auch den Widerspruch bewertet habe. Die neuen Dokumente seien in den Datenspeicher geladen worden.

Der Vetodatensatz stammt jedoch weiterhin aus dem täglichen Cache, der Index der elektronischen Rechnungen wurde noch nicht aktualisiert und die einmalige Maschinenzahlung blieb in ihrer alten Klassifizierung. Das System verwendete dieselben Daten erneut. Die Entscheidung fiel deshalb gleich aus. Der Widerspruch war nicht unabhängig von dem System, das die erste Entscheidung getroffen hatte. Das System bestätigte seine eigene Entscheidung erneut mit denselben fehlerhaften Datensätzen.

Seda erreicht den Betreuer für Geschäftskunden in der Bankfiliale. Er versucht, den Antrag für eine menschliche Prüfung zu öffnen. Anträge mit einem automatischen Veto gelangen im Banksystem jedoch nicht in die gewöhnliche Prüfwarteschlange. Der Betreuer sieht lediglich folgenden Code:

POLICY_DECLINE-17

Die Beschreibung des Codes lautet: „Externe Verpflichtung und allgemeine Rückzahlungsfähigkeit.“ Der Betreuer sagt: „Das System lässt es nicht zu.“ Seda antwortet:

„Wenn das System es nicht zulässt, wer prüft dann, auf welche falsche Tatsache es sich stützt?“

Schließlich wird der Antrag an die besondere Prüfstelle der Bank weitergeleitet. Ein menschlicher Prüfer rekonstruiert die Entscheidungskette und bestätigt Folgendes:

• Die Zollsicherheit ist keine offene Verbindlichkeit gegenüber der öffentlichen Hand.
• Die Rechnungsdaten für achtzehn Tage fehlen infolge eines Verbindungsfehlers.
• Die Maschinenzahlung ist keine wiederkehrende Ausgabe.
• Der tatsächliche Tätigkeitsbereich des Unternehmens ist ein risikoärmeres Spezialgebiet, als es die veraltete Registerkategorie vermuten lässt.
• Die automatische Ablehnung des Antrags wurde durch den fehlerhaften Vetoeintrag ausgelöst.
• Die erste Erklärung für den Kunden wies den tatsächlich ausschlaggebenden Grund nicht aus.
• Über den ersten Widerspruch wurde mit demselben System und demselben Cache entschieden.

Nach der Berichtigung der Daten wird der Wert neu berechnet: Ursprünglich angezeigter Krediteignungswert: 0,63 Krediteignungswert mit berichtigten Daten: 0,78 Schwelle der automatisierten Vorprüfung: 0,65 Vetoeintrag: AUFGEHOBEN In diesem fiktiven Beispiel steigt mit dem Wert die Krediteignung; der Wert ist keine Ausfallwahrscheinlichkeit. Die Schwelle von 0,65 dient dazu, die automatisierte Vorprüfung zu bestehen. Ein Antrag unterhalb der Schwelle, der kein Veto trägt, gelangt zur menschlichen Bewertung. Das falsche Veto wegen einer vermeintlich offenen Verbindlichkeit gegenüber der öffentlichen Hand führte hingegen zur unmittelbaren Ablehnung des Antrags. Kein Wert allein bewirkt eine endgültige Kreditzusage.

Dieses Ergebnis bedeutet nicht, dass der Kredit zwingend gewährt werden muss. Die Bank darf Sicherheiten, Laufzeit, Vertrag und Branchenkonzentration weiterhin menschlich beurteilen lassen. Der Antrag befindet sich nun jedoch nicht mehr am Gate für automatische Ablehnung. Der menschlich besetzte Kreditausschuss prüft die Akte. Er entscheidet, dass die Finanzierung in geringerer Höhe und unter der Bedingung einer zusätzlichen Sicherheit gewährt werden kann. Dieser Prozess hat jedoch dreizehn Tage gedauert. Sedas Kunde konnte den Produktionsbeginn nicht länger abwarten und vergab einen Teil des Auftrags an einen anderen Lieferanten.

Die Kreditentscheidung wurde berichtigt. Das verlorene Geschäft ließ sich nicht vollständig zurückgewinnen. Die Bank sendet Seda folgende Erklärung: „Wegen einer Datenabweichung ist bei der ersten Bewertung Ihres Antrags ein Fehler aufgetreten. Die Datensätze wurden berichtigt und Ihr Antrag wurde erneut geprüft.“ Seda verlangt diesmal eine deutlichere Antwort: „Welche Daten?“ „Welche Regel hat die Entscheidung ausgelöst?“ „Warum wurde mir der Cashflow als Grund genannt?“ „Warum wurde auch mein Widerspruch vom selben System abgelehnt?“ „Wie wäre die erste Entscheidung bei richtigen Daten ausgefallen?“ „Kann derselbe Fehler auch bei anderen Unternehmen aufgetreten sein?“

„Wer trägt die Verantwortung für den Auftrag, den ich verloren habe?“ Die Bank weist erneut darauf hin, dass das Modell ein Geschäftsgeheimnis sei. Seda antwortet:

„Ich verlange nicht Ihre Formel.“

„Ich will wissen, welche falsche Tatsache in meinem Leben Folgen erzeugt hat.“

Deshalb lautet unsere elfte grundlegende Bestimmung:

Der Mensch muss die Begründung hinterfragen können.

GRÜNDUNGSARTIKEL

Kein KI-System darf eine Entscheidung, die Folgen für Rechte, Chancen, Geld, Gesundheit, Arbeit, Bildung, Ruf, Zugang, Preis, Vertrag oder ein anderes wesentliches Interesse eines Menschen hat, mit lediglich einem Wert, einem allgemeinen Ursachencode, dem Satz „Das Modell hat es so bewertet“ oder einer nachträglich erzeugten überzeugenden Erklärung abschließen. Soweit wesentlich, muss der Mensch verstehen können, welches System in welcher Version die Entscheidung hervorgebracht hat, unter welcher menschlichen oder institutionellen Befugnis dies geschah und welche wichtigen Daten, Quellen, Regeln, Vetos, Ableitungen, Schwellenwerte und Unsicherheiten verwendet wurden.

Die Begründung muss dem tatsächlichen Entstehungsprozess der Entscheidung treu bleiben. Wurde die Entscheidung aus einem bestimmten Grund getroffen, darf dem Menschen kein anderer Grund gezeigt werden, nur weil er akzeptabler, einfacher oder leichter zu verteidigen ist. Tatsache, Quelldaten, Richtlinienregel, Modellableitung, Wahrscheinlichkeit, menschliche Bewertung und endgültige Entscheidung müssen voneinander getrennt werden. Eine Prognose darf nicht als verifizierte Tatsache, eine Korrelation nicht als Ursache, ein Wert nicht als menschliche Eigenschaft und eine allgemeine Risikoklasse nicht als individuelle Entscheidungsbegründung dargestellt werden. Der Mensch muss erkennen können, welche wesentliche Eingabe falsch, veraltet, unvollständig, einer anderen Person zugeordnet oder aus dem Zusammenhang gerissen ist. Er muss außerdem erfahren können, wie sich die Entscheidung nach der Berichtigung dieses Datensatzes ändern könnte und welcher Weg zur erneuten Bewertung führt.

Eine Begründung muss weder die gesamte interne und geschützte Modellargumentation noch Sicherheitsgeheimnisse oder die Geschäftsformel offenlegen. Geheimhaltung, Sicherheit oder Missbrauchsprävention dürfen jedoch nicht in ein so pauschales Schweigen münden, dass der Mensch weder weiß, was er anfechten, welche Information er berichtigen oder welche menschliche Prüfung er erreichen kann. Wird eine angenäherte, beispielhafte oder nachträglich berechnete Erklärung verwendet, muss deutlich werden, dass sie nicht den exakten Entscheidungsgrund wiedergibt. Eine Näherung darf nicht als tatsächliche Entscheidungsspur dargestellt werden. Eine kontrafaktische Erklärung darf nicht verlangen, dass ein Mensch unveränderliche Identitätsmerkmale, Grundrechte oder seine geografische beziehungsweise gesellschaftliche Stellung ändert. Sie darf nur realistische und einschlägige Bedingungen ausweisen, die legitim mit dem Verhalten verbunden sind.

Dieselbe Entscheidung darf in unterschiedlichen Kanälen, Sprachen, gegenüber unterschiedlichen Nutzern oder über verschiedene Erklärungswerkzeuge nicht mit Gründen dargestellt werden, die einander widersprechen. Die wesentliche Bedeutung der Entscheidungsbegründung muss auf sämtlichen Oberflächen erhalten bleiben.

Ein Mensch darf keinen schlechteren Wert, keine Verzögerung, kein negatives Profil, keinen Leistungsverlust und keine andere Vergeltungsmaßnahme erfahren, weil er die Begründung einer Entscheidung hinterfragt oder falsche Daten berichtigt. Die Prüfung einer Begründung darf nicht darauf beschränkt sein, dass dasselbe System, das die erste Entscheidung getroffen hat, dieselben Daten erneut verarbeitet. In einer folgenreichen und strittigen Situation muss ein sinnvoller menschlicher oder unabhängiger Prüfweg bestehen, der zur Änderung der Entscheidung befugt ist.

Was ist eine Begründung?

Wenn ein System sagt: „Ihr Antrag wurde abgelehnt“, teilt es das Ergebnis mit. Wenn es sagt: „Ihr Krediteignungswert war niedrig“, nennt es die Klassifizierung. Wenn es sagt: „Wegen des Cashflows“, liefert es eine Überschrift für einen möglichen Grund. Keine dieser Aussagen muss für sich allein eine wahre und hinreichende Begründung sein. Die kanonische Definition lautet: Eine Entscheidungsbegründung ist eine prüfbare Beziehung, die zeigt, unter welchen verifizierbaren Daten, Quellen, Regeln, Schwellenwerten, Ableitungen, Veto-Gates, menschlichen Bewertungen und Unsicherheiten ein wesentliches Ergebnis über einen bestimmten Menschen oder eine bestimmte Institution entstanden ist, welche Faktoren tatsächlich ausschlaggebend waren und durch welche Berichtigung oder Änderung die Entscheidung erneut bewertet werden kann.

Einfacher gesagt:

Eine Begründung sagt nicht: „Das ist das Ergebnis.“ Sie beantwortet ehrlich die Frage: „Welche Tatsache hat zu diesem Ergebnis geführt?“

Ein Ergebnis ist keine Begründung

Folgende Aussagen benennen Ergebnisse: „Ihr Kreditantrag wurde abgelehnt.“ „Der Kandidat wurde nicht in die engere Auswahl aufgenommen.“ „Die Unterstützung für häusliche Pflege wurde nicht bewilligt.“ „Ihr Konto wurde wegen eines Risikos eingeschränkt.“ Der Mensch erfährt die Entscheidung. Ihren Grund erfährt er nicht.

Ein Wert ist keine Begründung

Der Krediteignungswert 0,63 kann eine numerische Eingabe der Entscheidung sein. Folgende Fragen bleiben jedoch offen:

• Aus welchen Daten wurde der Wert gebildet?
• Welcher Zeitraum wurde verwendet?
• Wie wurden fehlende Daten bewertet?
• Hat der Wert allein über die Entscheidung bestimmt?
• Gab es eine gesonderte Vetoregel?
• Warum liegt die Schwelle bei 0,65?
• Wie groß ist die Unsicherheit des Werts?
• Welche Angabe kann der Mensch berichtigen?

Eine einzelne Zahl ist keine Begründung, gegen die ein Mensch sinnvoll Widerspruch einlegen kann.

Ein Ursachencode ist keine Begründung

POLICY_DECLINE-17

kann in einem internen Arbeitsablauf nützlich sein. Für den Menschen ist der Code jedoch nicht aussagekräftig. Auch der Zusatz „Externe Verpflichtung und allgemeine Rückzahlungsfähigkeit“ kann noch zu allgemein bleiben. Die tatsächliche individuelle Begründung könnte lauten: „Ihr Datensatz zur Zollsicherheit wurde vom externen Datenanbieter als offene Verbindlichkeit gegenüber der öffentlichen Hand klassifiziert. Dieses Feld löste bei Ihrem Antrag ein automatisches Veto aus.“ Dieser Satz zeigt dem Menschen, was er prüfen muss.

Eine allgemeine Kategorie ist keine individuelle Begründung

Folgende Überschriften können in vielen Systemen verwendet werden:

• Sicherheit
• Risiko
• Eignung
• Dienstleistungsqualität
• Richtlinie
• Verdächtige Aktivität
• Geschäftliche Anforderung
• Aktuelle Bedingungen

Diese Überschriften erklären für sich allein keine konkrete Entscheidung über einen Menschen. Der Satz „Ihr Konto wurde aus Sicherheitsgründen geschlossen“ beantwortet folgende Fragen nicht:

• Welches Verhalten?
• An welchem Datum?
• Aus welcher Quelle?
• Bestätigtes Ereignis oder Modellprognose?
• Vorübergehend oder dauerhaft?
• Was kann der Mensch berichtigen?
• Wie lässt sich Widerspruch einlegen?

Eine Erklärung ist keine Begründung

Ein System kann nach einer Entscheidung einen eindrucksvollen Absatz erzeugen: „Im Rahmen unserer verantwortungsvollen Kreditrichtlinien bewertet unsere Bank die nachhaltige Rückzahlungsfähigkeit von Unternehmen, die Branchenbedingungen und bestehende Verbindlichkeiten ganzheitlich.“ Dieser Text beschreibt den allgemeinen Ansatz der Bank. Er erklärt nicht, warum Seda abgelehnt wurde. Die Erklärung kann richtig, sauber und professionell formuliert sein. Dennoch ist sie keine Entscheidungsbegründung.

Eine Begründung ist keine Verteidigung

Das Ziel einer Institution darf nicht darin bestehen, jede Entscheidung unter allen Umständen als richtig erscheinen zu lassen. Eine Begründung kann zuweilen zeigen: „Die Entscheidung beruhte auf falschen Daten.“ „Das System deutete eine Unsicherheit mit größerer Gewissheit, als gerechtfertigt war.“ „Die für diese Entscheidung erforderliche menschliche Prüfung fand nicht statt.“ „Die verwendete Regel stimmte nicht mit der aktuellen Richtlinie überein.“ Kann eine Begründung nichts anderes als die Institution verteidigen, ist sie kein Instrument der Rechenschaftspflicht.

Dann ist sie ein Text zur Reputationspflege.

Eine Begründung ist kein Protokoll der gesamten internen geschützten Modellargumentation

Um den Grund einer Entscheidung zu erfahren, muss ein Mensch weder den gesamten internen und geschützten Gedankengang des Modells noch jede interne Zwischenformulierung, sämtliche verborgenen Berechnungen, den Quellcode oder die Modellgewichte sehen. Zusammen können diese Materialien unverständlich sein, Sicherheitsrisiken erzeugen, Daten anderer Menschen enthalten und den tatsächlichen Entscheidungsgrund noch stärker verdecken. Benötigt wird stattdessen:

Die wesentlichen Tatsachen und Regeln, die über die Entscheidung bestimmten.

Zum Beispiel: „Ihr Antrag wurde wegen eines Indikators für eine offene Verbindlichkeit gegenüber der öffentlichen Hand automatisch abgelehnt. Dieser Indikator stammte am angegebenen Datum aus der angegebenen externen Quelle. Ihr Cashflow-Wert war ebenfalls niedrig, hätte für sich allein jedoch keine Ablehnung ausgelöst.“ Eine solche Erklärung ist kein Protokoll interner Gedankengänge. Sie legt nicht sämtliche Geheimnisse des Modells offen. Sie ermöglicht dem Menschen, den Fehler zu finden.

Interne Modellargumentation und Entscheidungsspur müssen getrennt werden

Ein KI-Modell kann während der Erzeugung einer Antwort zahlreiche interne Berechnungen vornehmen. Der Mensch muss diesen gesamten internen Prozess nicht sehen. Folgende Datensätze müssen jedoch erhalten bleiben: WELCHE DATEN WURDEN VERWENDET? WELCHE REGEL WURDE AUSGELÖST? WELCHER SCHWELLENWERT WURDE ANGEWANDT? WELCHES VETO BESTIMMTE DAS ERGEBNIS? WELCHE MENSCHLICHE PRÜFUNG FAND STATT? WELCHE VERSION WAR IM EINSATZ? WELCHE EXTERNE WIRKUNG ENTSTAND? Dies lässt sich als Entscheidungsspur bezeichnen. Die Entscheidungsspur kann erläutert werden. Die gesamte interne geschützte Modellargumentation muss nicht offengelegt werden.

Was ist eine Entscheidungsspur?

Die Entscheidungsspur ist der rekonstruierbare Datensatz der wesentlichen Entscheidungsschritte: vom menschlichen Zweck und den verwendeten Eingaben über Datentransformationen, Regeln, Modellbewertungen, Schwellenwerte, Veto-Gates und menschliche Eingriffe bis zum endgültigen Ergebnis.

1. Beispiel: ANTRAG
2. ↓
3. RECHNUNGSDATEN EMPFANGEN
4. ↓
5. 18-TÄGIGE DATENLÜCKE ALS „NULLUMSATZ“ VERARBEITET
6. ↓
7. ZOLLSICHERHEIT ALS „OFFENE VERBINDLICHKEIT GEGENÜBER DER ÖFFENTLICHEN HAND“ KLASSIFIZIERT
8. ↓
9. VETOREGEL AUSGELÖST
10. ↓
11. AUTOMATISCHE ABLEHNUNG
12. ↓
13. ALLGEMEINER BEGRÜNDUNGSAGENT ERZEUGTE DEN TEXT „CASHFLOW-RISIKO“

Diese Spur macht den Unterschied zwischen der tatsächlichen Entscheidung und ihrer Erklärung sichtbar.

Entscheidungsherkunft

Die Beziehung, die zeigt, aus welchen Rohdaten, transformierten Feldern, Modellen oder Richtlinienregeln eine Entscheidung hervorging, lässt sich als Entscheidungsherkunft bezeichnen. Ohne sie sieht der Mensch nur die abschließende Kennzeichnung.

Die vierzehn Kernfelder einer Begründung

Die Begründung einer folgenreichen Entscheidung muss zumindest jene der folgenden vierzehn Fragen beantworten, die für den Fall einschlägig sind.

• 1. Entscheidungs-ID
• 2. Entscheidungsakteur
• 3. Menschliche Beteiligung
• 4. Ergebnis und Wirkung der Entscheidung
• 5. Ausschlaggebende Faktoren
• 6. Verwendete Daten und Quellen
• 7. Unterscheidung zwischen Tatsache, Ableitung und Richtlinie
• 8. Schwellen- und Vetoregeln
• 9. Unsicherheit und Datenlücken
• 10. Stützende Belege und Gegenbelege
• 11. Kontrafaktische Änderung
• 12. Berichtigungsfähige Felder
• 13. Version und Zeitpunkt
• 14. Widerspruchs- und Prüfweg

1. Entscheidungs-ID

Jede Entscheidung muss einen eindeutigen Datensatz tragen:

DECISION-CREDIT-2026-041

Diese ID verknüpft Antrag, Begründung, Widerspruch, Berichtigung und erneute Bewertung miteinander.

2. Entscheidungsakteur

Wer traf die Entscheidung: ein KI-Modell, eine Richtlinienengine, eine menschliche Fachkraft oder ein gemeinsamer Mensch-Maschine-Prozess? In Sedas Fall ging die endgültige Ablehnung nicht vom Krediteignungswert aus, sondern von der automatisierten Vetoengine. Diese Unterscheidung steht im Zentrum der Begründung.

3. Menschliche Beteiligung

Hat ein Mensch die Akte gesehen? Hat er lediglich die allgemeine Richtlinie entworfen? Prüft er nur Ausnahmen? Hätte er diese konkrete Entscheidung ändern können? Wurde er erst beim Widerspruch eingeschaltet? Die Aussage „Es gibt menschliche Aufsicht“ genügt nicht.

4. Ergebnis und Wirkung der Entscheidung

Was bewirkte die Entscheidung?

• Ablehnung?
• Preiserhöhung?
• Kontobeschränkung?
• Unsichtbarmachung eines Kandidaten?
• Weiterleitung zur menschlichen Prüfung?
• Vorübergehende Zurückstellung?

Ein System kann „Zusätzliche Prüfung“ anzeigen, während es die Chance tatsächlich monatelang blockiert. Die reale Wirkung der Entscheidung muss sichtbar sein.

5. Ausschlaggebende Faktoren

Nicht jedes verwendete Datenelement ist ausschlaggebend. Ausgewiesen werden müssen die Faktoren, die das Ergebnis tatsächlich verändert haben. Dafür lassen sich drei Klassen verwenden: AUSSCHLAGGEBENDER FAKTOR STÜTZENDER FAKTOR VERWENDET, ABER OHNE AUSWIRKUNG AUF DAS ERGEBNIS In Sedas Antrag:

• Vetoeintrag zu einer öffentlichen Verpflichtung: ausschlaggebend
• Fehlende Rechnungsdaten: stützender Faktor, der den Wert senkte
• Branchenrisikoklasse: begrenzter stützender Faktor
• Alter des Unternehmens: verwendet, aber ohne Auswirkung auf das Ergebnis

Diese Unterscheidung ermöglicht dem Menschen, sich auf den tatsächlichen Grund zu konzentrieren.

6. Verwendete Daten und Quellen

Für Daten, die die Entscheidung beeinflusst haben, muss ausgewiesen werden, woher sie stammten, an welchem Datum sie abgerufen wurden, welchem Menschen oder welcher Institution sie zugeordnet waren und wie sie transformiert wurden. Beispiel:

data_field:
unresolved_public_obligation
source:
ExternalDataProvider-B
retrieved_at:
2026-10-04
original_record:
customs_guarantee
system_transformation:
classified_as_public_debt

7. Unterscheidung zwischen Tatsache, Ableitung und Richtlinie

Folgende drei Elemente sind nicht dasselbe: Tatsache In den vergangenen neunzig Tagen ging auf dem Bankkonto eine Zahlung in dieser Höhe ein. Ableitung Der Cashflow könnte instabil sein. Richtlinie Ein Antrag mit einem Datensatz über eine offene Verbindlichkeit gegenüber der öffentlichen Hand wird automatisch abgelehnt. Die Entscheidungsbegründung darf diese Elemente nicht unter einer einzigen Kennzeichnung zusammenführen: „Risikoreiches Unternehmen“.

8. Schwellen- und Vetoregeln

Ein System kann einen Schwellenwert verwenden: score >= 0.65. Daneben kann es vom Score unabhängige Vetoregeln geben. Der Mensch muss wissen, ob die Entscheidung durch den Score, ein Veto oder eine menschliche Bewertung zustande kam.

9. Unsicherheit und Datenlücken

Bei welchen Feldern ist das System unsicher? Wurden fehlende Daten als null, als negativ oder als normal interpretiert? Wenn Datenlücken die Konfidenz der Entscheidung verringern, muss dies sichtbar sein.

invoice_data_coverage:
82%
missing_period:
18 days
treatment:
incorrectly_assumed_zero_revenue

Die 82 Prozent geben hier an, wie viele der erwarteten Rechnungsdatensätze eingegangen sind; sie bezeichnen keinen Anteil an Kalendertagen. Dieser Wert darf nicht mit dem prozentualen Anteil der achtzehntägigen Unterbrechung am Gesamtzeitraum verwechselt werden.

10. Stützende Belege und Gegenbelege

Bewertet werden müssen nicht nur Daten, die für die Entscheidung sprechen, sondern auch wesentliche Belege, die ihr entgegenstehen. Sedas unterzeichneter Exportauftrag, ihre beständige Kundenhistorie und die Produktionskapazität sind positive Anhaltspunkte. Hat der Agent sie verwendet? Falls ja: Warum blieben sie gegenüber dem Veto wirkungslos?

11. Kontrafaktische Änderung

Folgende Frage lässt sich beantworten: Welche wesentliche Bedingung hätte anders sein müssen, damit sich die Entscheidung hätte ändern können? Zum Beispiel: „Nach Entfernung des Indikators für eine offene Verbindlichkeit gegenüber der öffentlichen Hand wäre der Antrag statt zur automatischen Ablehnung in die menschliche Kreditprüfung gelangt.“ Dieser Satz bedeutet nicht: „Der Kredit wäre mit Sicherheit bewilligt worden.“ Eine kontrafaktische Erklärung muss die Grenze ihrer Wirkung korrekt ausweisen.

12. Berichtigungsfähige Felder

Was kann der Mensch berichtigen?

• Falsche Identität
• Veraltete Rolle
• Fehlender Einnahmendatensatz
• Fehlerhafte Schuldenklassifizierung
• Falsche Adresse
• Kontextfremde Ableitung

Was kann der Mensch lediglich zur Diskussion stellen?

• Institutionelle Richtlinie
• Modellschwelle
• Fairness des Entscheidungskriteriums
• Legitimität der verwendeten Variable

Diese beiden Wege müssen voneinander getrennt werden.

13. Version und Zeitpunkt

Auf welchen Versionen von Modell, Richtlinie, Datenbestand und Erklärungsschema beruhte die Entscheidung? Derselbe Antrag kann unter einer neuen Version zu einem anderen Ergebnis führen. Wer eine Entscheidung hinterfragt, muss wissen, welches System sie getroffen hat.

14. Weg zu Widerspruch und erneuter Prüfung

Der Mensch muss wissen, wie er Daten berichtigt, einer Erklärung widerspricht, Zugang zu einer unabhängigen menschlichen Prüfung erhält und innerhalb welcher Frist er eine Antwort bekommt. Zeigt die Begründung keinen Ausweg, informiert sie den Menschen lediglich. Sie stärkt seine Handlungsfähigkeit nicht.

Was ist der ausschlaggebende Grund?

Ein Faktor kann ausschlaggebend sein, wenn sich durch sein Entfernen das Ergebnis oder der Entscheidungsweg verändert. Zum Beispiel: Indikator für eine offene Verbindlichkeit gegenüber der öffentlichen Hand vorhanden: AUTOMATISCHE ABLEHNUNG Indikator für eine offene Verbindlichkeit gegenüber der öffentlichen Hand nicht vorhanden: WEITER ZUR MENSCHLICHEN PRÜFUNG Dieser Faktor ist ausschlaggebend. Der Cashflow-Wert kann ungünstig sein. Hat das Veto die Entscheidung jedoch bereits herbeigeführt, ist der Cashflow für sich allein nicht der endgültige Grund.

Das höchste Gewicht muss nicht dem ausschlaggebenden Grund entsprechen

Ein Werkzeug zur Modellerklärung kann die Variable anzeigen, die den stärksten Beitrag zum Score geleistet hat. Die endgültige Entscheidung kann jedoch von einer gesonderten Richtlinienengine getroffen worden sein. Zum Beispiel:

• Größter negativer Beitrag im Modell: Einnahmenschwankungen
• Endgültiger Ablehnungsgrund: Vetoregel für ein Land auf der Sperrliste oder eine offene Verbindlichkeit

Eine Erklärung, die sich ausschließlich auf Modellgewichte stützt, kann den tatsächlichen Entscheidungsgrund verfehlen.

Entscheidung und Erklärung müssen nicht aus demselben System stammen

Die Entscheidung kann von einer Regelengine, einem Modell, einem Menschen oder einem externen Anbieter getroffen werden. Ein anderes generatives System kann die Erklärung verfassen. Hat dieses Erklärungssystem keinen Zugriff auf die tatsächliche Entscheidungsspur, kann es eine plausible, aber falsche Geschichte erzeugen. Dies lässt sich als Begründungswäsche bezeichnen.

Begründungswäsche

Begründungswäsche ist eine nachträglich erzeugte Erklärung, die den tatsächlichen Grund einer Entscheidung nicht ausweist, das Ergebnis aber plausibel, rechtmäßig, fair oder unvermeidlich erscheinen lässt.

Beispiel: Tatsächlicher Grund: Das Produkt mit der höchsten Provision wurde bevorzugt angezeigt. Angezeigter Grund: „Das für Ihre Bedürfnisse am besten geeignete Produkt.“

Tatsächlicher Grund:

Es gab keine menschliche Freigabe. Angezeigter Grund: „Technischer Fehler.“

Tatsächlicher Grund:

Veraltetes und falsches Risikogedächtnis. Angezeigter Grund: „Organisatorische Kontinuität.“

Tatsächlicher Grund:

Eine strikte Vetoregel der Richtlinie. Angezeigter Grund: „Allgemeines Cashflow-Risiko.“ Dass eine Erklärung plausibel klingt, beweist nicht, dass sie der Entscheidungsspur treu bleibt.

Erklärungstreue

Das Maß, in dem eine Erklärung mit dem tatsächlichen Entscheidungsmechanismus übereinstimmt, lässt sich als Erklärungstreue bezeichnen. Eine treue Erklärung zeigt die tatsächlich verwendeten Daten, die tatsächlich ausgelöste Regel, den tatsächlich ausschlaggebenden Faktor und die tatsächliche menschliche Beteiligung. Eine untreue Erklärung ist eine nach der Entscheidung bloß vermutete Geschichte.

Näherungserklärung

Bei komplexen Modellen kann die Wirkung einer bestimmten Eingabe mit Näherungsverfahren berechnet werden. Das kann nützlich sein. Die Erklärung muss jedoch entsprechend gekennzeichnet werden: „Die folgenden Faktoren erklären das Modellverhalten näherungsweise. Sie bilden keine exakte kausale Entscheidungsspur.“ Eine Näherungserklärung kann die Datenprüfung, die Modellprüfung und das menschliche Verständnis unterstützen. Sie darf jedoch nicht mit der Behauptung ausgegeben werden: „Die Entscheidung wurde mit Sicherheit aus diesem Grund getroffen.“

Warum kann eine Näherungserklärung instabil sein?

Ein für dieselbe Entscheidung verwendetes Erklärungsverfahren kann bei einer kleinen Datenänderung, einem anderen Stichprobenverfahren oder einem anderen Erklärungswerkzeug unterschiedliche Faktoren ausweisen. Heute kann eine Erklärung „Cashflow“ nennen und morgen „Branchenrisiko“, obwohl die Entscheidung unverändert geblieben ist. Dies ist:

Begründungsinstabilität.

Bei Systemen mit hoher Wirkung müssen die Reproduzierbarkeit und Stabilität einer Erklärung sowie ihre Übereinstimmung mit der Entscheidungsspur geprüft werden.

Korrelation ist keine Ursache

Ein Modell kann einen Zusammenhang zwischen einem bestimmten Merkmal und einem negativen Ergebnis erkennen. So können in historischen Daten eine bestimmte Postleitzahl, der Gerätetyp, die Uhrzeit der Antragstellung oder der Schreibstil mit Risiken korreliert sein. Dieser Zusammenhang ist kein Grund, den betreffenden Menschen für unzuverlässig zu halten. Das System darf eine Korrelation nicht als ursächliche Eigenschaft eines Menschen darstellen. CORRELATION ≠ CAUSE

Eine Prognose ist kein tatsächlich gezeigtes Verhalten

Ein Modell kann Folgendes erzeugen:

default_probability: 0.32

Das bedeutet: Unter den gegebenen Daten schätzt das Modell die Wahrscheinlichkeit von Rückzahlungsproblemen auf 32 Prozent. Es bedeutet nicht: Das Unternehmen wird seine Schulden nicht zurückzahlen. Die Begründung darf eine Wahrscheinlichkeit nicht in eine menschliche Eigenschaft verwandeln.

Richtlinie und Prognose müssen getrennt werden

Die Bank kann folgende Richtlinie haben: Ein Antrag mit einem Indikator für eine offene Verbindlichkeit gegenüber der öffentlichen Hand wird automatisch abgelehnt. Das Modell kann zugleich ein niedriges Risiko prognostiziert haben. Die Ablehnung ging nicht von der Modellprognose aus, sondern von der Richtlinie. Der Mensch muss folgenden Unterschied kennen: „Wurden Sie abgelehnt, weil das Modell Sie als hochriskant einstufte?“ Oder: „Wurden Sie wegen einer einzigen Richtlinienbedingung abgelehnt?“ Dieser Unterschied verändert den Widerspruchsweg.

Die Regel kann korrekt angewandt und dennoch selbst strittig sein

Das System kann die Daten richtig lesen. Es kann die Richtlinie richtig anwenden. Der Mensch kann dennoch fragen: „Warum wird diese Regel bei dieser Entscheidung angewandt?“ So kann etwa ein geringfügiger und vorübergehender Eintrag ein automatisches Veto auslösen. Das Recht, eine Begründung zu hinterfragen, muss über Datenfehler hinaus auch die Relevanz, Verhältnismäßigkeit und Aktualität der Regel sowie ihre Auswirkungen auf den Menschen erfassen.

Die sieben Qualitätstore einer Begründung

Eine verlässliche Begründung muss mindestens sieben Tore passieren.

• 1. Erklärungstreue
• 2. Spezifität
• 3. Ausreichender Informationsgehalt
• 4. Verständlichkeit
• 5. Konsistenz
• 6. Hinterfragbarkeit
• 7. Verhältnismäßige Vertraulichkeit

1. Erklärungstreue

Gibt die Erklärung den tatsächlichen Entscheidungsprozess wieder?

2. Spezifität

Bezieht sie sich auf diesen Menschen und diese Entscheidung? Oder ist sie nur eine allgemeine Vorlage?

3. Ausreichender Informationsgehalt

Kann der Mensch erkennen, was er berichtigen muss und welche Regel wirksam war?

4. Verständlichkeit

Ist die Erklärung so formuliert, dass auch ein Mensch ohne Fachkenntnisse sie versteht?

5. Konsistenz

Enthält sie im Web, in E-Mails, am Telefon, in anderen Sprachen und im Widerspruchskanal denselben wesentlichen Grund?

6. Hinterfragbarkeit

Kann der Mensch die Begründung anfechten? Gibt es jemanden, der befugt ist, die Entscheidung wieder zur Prüfung zu stellen?

7. Verhältnismäßige Vertraulichkeit

Liefert die Erklärung genügend Informationen, ohne Daten anderer Menschen, Sicherheitsgeheimnisse oder unnötige geschäftliche Einzelheiten offenzulegen?

Erklärungstheater

Das System erweckt den Eindruck, eine Erklärung zu liefern. Der Mensch kann jedoch nicht erkennen, was er hinterfragen soll. Dies können wir Erklärungstheater nennen. Häufige Formen sind:

1. Allgemeine Liste von Gründen

Cashflow Branchenbedingungen Bestehende Verbindlichkeiten Welcher Faktor ausschlaggebend war, bleibt unbekannt.

2. Technischer Variablen-Dump

feature_118 = -0.084
cluster_7 = 0.62
embedding_similarity = 0.71

Für den Menschen hat dies keine nachvollziehbare Bedeutung.

3. Weil das Modell es sagt

„Unser fortschrittlicher Algorithmus hat Ihren Antrag als nicht geeignet eingestuft.“

4. Richtlinienbegründung

„Gemäß unserer Unternehmensrichtlinie.“ Um welche Richtlinie und welche Bedingung es geht, bleibt offen.

5. Erklärung, die jede Möglichkeit einschließt

„Die Entscheidung könnte durch Einkommen, Branche, Schulden, Markt, Verhalten und andere Faktoren beeinflusst worden sein.“ Diese Erklärung ist nicht falsifizierbar.

6. Nachträglicher Überzeugungstext

Ein plausibel klingender Absatz ohne Verbindung zur Entscheidungsspur.

7. Erklärung ohne Handlungsweg

Der Mensch erfährt teilweise, warum er abgelehnt wurde. Er findet jedoch keinen Weg, die Daten zu berichtigen oder Zugang zu einer menschlichen Prüfung zu erhalten.

Eine Fülle technischer Einzelheiten ist keine Erklärung

Eine Institution kann einem Menschen Hunderte von Modellvariablen zeigen. Diese Informationsfülle kann die wahre Begründung verdecken. Der Mensch fragt: „Welcher Faktor hat die Entscheidung über mich tatsächlich verändert?“ Darauf erhält er keine Antwort. Dies können wir Variablenvernebelung nennen.

Vereinfachung darf die Wahrheit nicht verzerren

Eine Erklärung darf vereinfacht werden, damit sie verständlich ist. Dabei dürfen jedoch Veto, Ausnahme, Unsicherheit, Datenfehler und menschliche Rolle nicht verloren gehen. Der Satz „Ihr Cashflow ist unzureichend“ ist keine Vereinfachung, wenn der wahre Grund ein falscher Eintrag über eine Verbindlichkeit gegenüber der öffentlichen Hand war. Er ist eine falsche Begründung.

Ein ausschlaggebender Faktor ist nicht dasselbe wie ein veränderbarer Faktor

Ein Faktor kann die Entscheidung bestimmt haben, ohne dass der Mensch ihn ändern kann. Beispiele:

• Alter des Unternehmens
• Vergangenes Ereignis
• Marktbedingung

Beschränkt sich eine kontrafaktische Erklärung auf den Satz: „Wäre Ihr Unternehmen älter, hätte das Ergebnis anders ausfallen können“, eröffnet sie dem Menschen keinen Handlungsweg. Dennoch darf der ausschlaggebende Faktor nicht verschwiegen werden. Die Begründung kann wie folgt unterscheiden: AUSSCHLAGGEBEND, ABER VOM MENSCHEN NICHT SOFORT VERÄNDERBAR BERICHTIGUNGSFÄHIGE DATEN NEU ZU BEWERTENDE RICHTLINIE

Was ist eine kontrafaktische Erklärung?

Eine kontrafaktische Erklärung ist eine begrenzte Erklärung, die zeigt, welche einschlägige Bedingung anders sein müsste, damit die Entscheidung zu einem anderen Ergebnis oder auf einen anderen Prüfweg gelangen könnte.

Zum Beispiel: „Wäre kein Indikator für eine offene Verbindlichkeit gegenüber der öffentlichen Hand vorhanden gewesen, wäre Ihr Antrag statt zur automatischen Ablehnung zur menschlichen Bewertung weitergeleitet worden.“ Diese Aussage ist realistisch, für den Entscheidungsmechanismus relevant und weist auf ein Feld hin, das der Mensch berichtigen kann.

Eine kontrafaktische Erklärung ist keine Garantie

Die Aussage „Wenn Sie den Schuldenindikator entfernen, erhalten Sie den Kredit“ kann falsch sein. Richtig wäre: „Die Entfernung des Schuldenindikators beseitigt den Grund für das automatische Veto. Ihr Antrag wird anschließend im Hinblick auf die übrigen finanziellen Bedingungen einer menschlichen Prüfung unterzogen; eine Kreditzusage ist nicht garantiert.“ Eine Erklärung darf keine neue irreführende Erwartung erzeugen.

Unmögliches Kontrafaktum

Ein System kann Erklärungen folgender Art geben: „Wenn Sie jünger wären.“ „Wenn Sie in einer anderen Region lebten.“ „Wenn es Ihre frühere Erkrankung nicht gäbe.“ „Wenn Ihre Muttersprache eine andere wäre.“ Das sind keine realistischen Veränderungen, die dem Menschen offenstehen. Sie können zudem Anlass geben, die Legitimität des verwendeten Merkmals infrage zu stellen. Eine kontrafaktische Erklärung darf einen Menschen nicht dazu lenken, seine eigene Identität zu verändern.

Manipulatives Kontrafaktum

Ein System kann sagen: „Wenn Sie mehr Produkte kaufen, steigt Ihr Vertrauenswert.“ Eine solche Erklärung kann den Menschen zu einem Verhalten lenken, das dem geschäftlichen Interesse der Institution dient. Steht die Änderung in keinem Zusammenhang mit dem tatsächlichen Eignungskriterium, handelt es sich um kontrafaktische Manipulation.

Kontrafaktische Gleichbehandlung

Bei Menschen in vergleichbarer Lage muss dieselbe Art von Änderung dieselbe Wirkung auf die Entscheidung haben. Wird einem Menschen gesagt: „Steigern Sie Ihr Einkommen um 10 Prozent“, einem anderen bei gleichen Daten hingegen: „Steigern Sie es um 30 Prozent“, muss die Konsistenz der Begründung geprüft werden.

Wie müssen fehlende Daten erklärt werden?

Möglicherweise konnte ein System bestimmte Daten nicht abrufen. Drei Verhaltensweisen sind denkbar: DATEN FEHLEN → ALS NULL WERTEN DATEN FEHLEN → NEGATIV WERTEN DATEN FEHLEN → ALS UNSICHERHEIT BEIBEHALTEN Die ersten beiden Methoden können einen Menschen wegen eines Fehlers in der Datenverbindung benachteiligen. Die Begründung muss zeigen, wo und in welchem Umfang Daten fehlten und wie ihr Fehlen interpretiert wurde.

Das Fehlen von Daten ist kein negativer Befund

Sedas Rechnungsdaten für achtzehn Tage sind nicht sichtbar. Das bedeutet nicht: „Achtzehn Tage lang gab es keine Verkäufe.“

NO_DATA
≠
ZERO_VALUE

Diese Unterscheidung muss sowohl in der Begründung als auch im Verhalten des Modells gewahrt bleiben.

Aktualität der Quelle

Eine Entscheidung kann auf veralteten Daten beruhen. Zum Beispiel:

• Frühere Rolle
• Alte Adresse
• Beglichene Schuld
• Berichtigter Ermittlungsstatus
• Beendete Einwilligung
• Nicht aktualisierter Branchencode

Die Begründung muss das Datum der Quelle ausweisen. Der Mensch muss sagen können: „Dieser Eintrag ist nicht mehr gültig.“

Ein externer Datenanbieter hebt die Verantwortung nicht auf

Eine Institution kann sagen: „Diese Information stammt von einem externen Anbieter.“ Das erklärt die Herkunft. Es entbindet die Institution, die diese Entscheidung nutzt, nicht von ihrer Verantwortung. Bei Handlungen mit hoher Wirkung muss die Institution für Datenqualität und Aktualität sorgen und einen Widerspruchsweg bereitstellen.

Eine Entscheidung kann aus dem Zusammenwirken mehrerer Agenten entstehen

In einem Mehragentensystem kann die abschließende Erklärung sämtliche Gründe in einem einzigen Satz vermengen. Beispiel: IDENTITÄTSAGENT: Unternehmen korrekt zugeordnet DATENAGENT: Datensätze für 18 Tage fehlen RISIKOAGENT: Score 0,63 RICHTLINIENAGENT: Vetoeintrag zu einer Verbindlichkeit gegenüber der öffentlichen Hand MENSCHLICHE PRÜFUNG: Keine ERKLÄRUNGSAGENT: Cashflow instabil Das Begründungssystem muss für jeden Agenten dessen Rolle, Ausgabe und Einfluss auf die Entscheidung getrennt ausweisen.

Entscheidungsdelegation

Ein Hauptagent kann von einem Teilsystem die Antwort „Nicht geeignet“ erhalten und sie dem Menschen weitergeben. Kennt er jedoch die folgenden Angaben nicht, darf er keine echte Begründung erzeugen:

• Welche Daten nutzte das Teilsystem?
• Traf es eine Entscheidung oder gab es eine Empfehlung?
• Welche Version war im Einsatz?
• Beruhte das Ergebnis auf einem Veto oder einem Score?
• Wie groß war die Unsicherheit?

Ein System darf die Erklärung eines anderen Systems nicht ungeprüft übernehmen.

Begründungslinie

Die Struktur, die sämtliche in den verschiedenen Agenten und Systemen entstandenen Begründungsteile einer Entscheidung miteinander verknüpft, können wir Begründungslinie nennen.

1. ROHDATEN
2. ↓
3. TRANSFORMIERTES FELD
4. ↓
5. MODELLABLEITUNG
6. ↓
7. RICHTLINIENREGEL
8. ↓
9. ENDGÜLTIGE ENTSCHEIDUNG
10. ↓
11. ERKLÄRUNG FÜR DEN MENSCHEN

Jede Transformation muss ihre Quelle, ihren Zeitpunkt und ihre Bedeutung bewahren.

Der Erklärungsagent muss unabhängig vom Entscheidungsagenten überprüft werden

Ein Erklärungsagent kann flüssige Sprache erzeugen. Er kann jedoch die tatsächliche Entscheidungsspur verändern, ein fehlendes Feld mit einer Vermutung füllen oder die Institution stärker im Recht erscheinen lassen. Deshalb muss der Erklärungstext technisch mit dem Entscheidungsdatensatz, den ausschlaggebenden Faktoren sowie dem Status von Veto und Schwellenwert verknüpft sein. Der Erklärungsagent darf Gründe nicht frei erfinden.

Konsistenz der Begründung

Im Webportal sieht der Mensch: „Cashflow.“ Ein Mitarbeiter am Telefon sagt: „Branchenrisiko.“ In der Widerspruchs-E-Mail steht: „Bestehende Verbindlichkeit.“ Der technische Datensatz zeigt: „Vetocode für Verbindlichkeit gegenüber der öffentlichen Hand.“ Beziehen sich diese Erklärungen auf dieselbe Entscheidung, liegt ein materieller Widerspruch vor. Dies können wir Begründungswiderspruch nennen.

Mehrsprachige Begründung

In einer Sprache kann stehen: „Indikator für eine offene Verpflichtung gegenüber der öffentlichen Hand.“ In einer anderen Sprache wird dies möglicherweise mit „Steuerschuld“ übersetzt. Die erste Formulierung bezeichnet einen unsicheren, an eine externe Quelle gebundenen Indikator. Die zweite behauptet eindeutig eine Steuerschuld. Die Übersetzung hat den Ruf des Menschen und seinen Widerspruchsweg verändert. Eine Begründung muss über Sprachgrenzen hinweg dieselbe materielle Bedeutung bewahren.

Ein anderer Kanal darf die Begründung nicht verändern

Eine Erklärung per SMS kann kürzer sein als ein ausführlicher Bericht. Sie darf jedoch keinen anderen Grund nennen. Beispiel: SMS: „Ihr Antrag wurde wegen einer strittigen Angabe zu einer externen Verpflichtung abgelehnt. Einzelheiten und Widerspruchslink: Entscheidungs-ID.“ Ausführlicher Datensatz: Quelle, Zeitpunkt, Veto, Berichtigung und kontrafaktische Information. Die Kurzfassung darf unvollständig sein. Falsch darf sie nicht sein.

Nach einer Modellaktualisierung kann sich die Begründung ändern

Derselbe Antrag kann von Modell v2.4 abgelehnt und von Modell v2.5 bewilligt werden. Der Mensch kann fragen: „Was hat sich geändert?“ Die Institution darf sich nicht mit dem Satz begnügen: „Unsere Systeme verbessern sich ständig.“ Wo lag die materielle Änderung: bei der Datenquelle, dem Schwellenwert, der Richtlinie, dem Modell oder der menschlichen Prüfung?

Entscheidungsversion

Die Begründung muss folgende Angaben enthalten:

decision_model_version
policy_version
data_snapshot
explanation_version
human_review_version

Andernfalls kann versucht werden, eine frühere Entscheidung mit dem heutigen System zu erklären.

Auch eine positive Entscheidung kann eine Begründung erfordern

Das Recht auf Begründung gilt nicht nur für Ablehnungen. Ein Mensch kann bei einem Vorgang einen Vorteil erhalten haben. Dieser Vorteil kann jedoch das Recht eines anderen Menschen, eine künftige Verpflichtung oder ein verborgenes Profil berühren. Beispiel: „Ihnen wurde ein individuell höheres Kreditlimit eingeräumt.“ Der Mensch kann wissen wollen, auf welchen Daten dies beruht, ob damit eine automatische Verlängerung oder eine Preisbedingung verbunden ist und ob ein dauerhaftes Profil zugrunde liegt. Auch ein positives Ergebnis kann eine verborgene Verpflichtung oder Verhaltenswirkung mit sich bringen.

Eine Begründung darf den Menschen nicht zwingen, nach den Maßstäben des Systems zu leben

Ein System kann seine Erklärung dazu nutzen, einen Menschen zu einer vom Modell bevorzugten Persönlichkeit umzuformen: „Melden Sie sich häufiger in der App an, um vertrauenswürdiger zu wirken.“ „Kaufen Sie bestimmte Produkte, um einen höheren Score zu erhalten.“ „Erhöhen Sie Ihre Sichtbarkeit in sozialen Medien, um als besserer Kandidat zu gelten.“ Fehlt diesen Empfehlungen eine echte und legitime Verbindung zum Entscheidungskriterium, zwingen sie den Menschen, nach der Metrik des Systems zu leben. Eine Begründung darf einen Menschen nicht zu einem Verhalten drängen, das dem Modell dient.

Begründungs-Gaming

Sobald Menschen wissen, welche Indikatoren einen Score erhöhen, können sie versuchen, das System zu manipulieren. Dieses Risiko ist real. Eine Institution kann deshalb bestimmte Einzelheiten begrenzen wollen. So muss etwa die genaue Kombination aus Schwellenwerten und Regeln eines Betrugsmodells nicht offengelegt werden. Das Gaming-Risiko darf jedoch nicht zu dem Satz führen: „Wir können keinerlei Grund nennen.“ Eine begrenztere, aber aussagekräftige Erklärung bleibt möglich: „Ihr Konto wurde wegen Unstimmigkeiten bei Identität und Transaktionen in den vergangenen vierundzwanzig Stunden vorübergehend eingeschränkt. Die genauen Sicherheitsschwellen können nicht offengelegt werden. Nach der folgenden Identitätsprüfung können Sie eine menschliche Prüfung beantragen.“

Aus Sicherheitsgründen begrenzte Erklärung

Im Sicherheitsbereich kann eine Erklärung in drei Ebenen angeboten werden. GRUNDLEGENDE BEGRÜNDUNG FÜR DEN MENSCHEN

• Welche Verhaltensklasse?
• Vorübergehend oder dauerhaft?
• Welcher Zeitraum?
• Was kann der Mensch tun?
• Wie lässt sich Widerspruch einlegen?

PRÜFUNG DURCH EINE BEFUGTE MENSCHLICHE FACHKRAFT Detailliertere Signale. GESCHÜTZTE TECHNISCHE NACHWEISE Exakte Schwellenwerte, Angriffsmethode und Sicherheitsprotokolle. Diese Struktur schützt sowohl die Sicherheit als auch das Recht des Menschen.

Geschäftsgeheimnisse dürfen die Begründung nicht vollständig verdecken

Eine Institution möchte möglicherweise weder die Modellgewichte noch die vollständige Formel offenlegen. Das kann legitim sein. Dennoch kann der Mensch erfahren, welche wesentlichen Daten verwendet wurden, welche Regel ausschlaggebend war, wie er einen falschen Datensatz berichtigt und wer die Entscheidung prüfen kann.

Die Formel kann geheim bleiben. Der wesentliche Grund für die Wirkung auf einen Menschen kann nicht vollständig geheim bleiben.

Die Privatsphäre anderer Menschen

Eine Entscheidung kann auch Daten anderer Menschen enthalten. Zum Beispiel:

• Beschwerdeführer
• Mitinhaber eines Gemeinschaftskontos
• Anderer Kandidat
• Zeuge
• Familienmitglied

Das Recht auf Begründung verlangt nicht, sämtliche privaten Daten dieser Menschen offenzulegen. Die für den Menschen notwendigen wesentlichen Informationen können in begrenzter Form auf die Art der Quelle, den Status der Behauptung, die Auswirkung auf die Entscheidung und die Möglichkeit zur Vorlage von Gegenbelegen beschränkt werden.

Gleichgewicht zwischen Begründung und Privatsphäre

Folgende Erklärung kann erforderlich sein: „Ihr Antrag wurde wegen zweier verifizierter, voneinander unabhängiger Kundenbeschwerden über Lieferungen einer menschlichen Prüfung zugeführt.“ Die Namen der Beschwerdeführer müssen nicht offengelegt werden. Das System darf jedoch nicht mit dem Hinweis „Es gibt vertrauliche Quellen“ jede weitere Information verweigern.

Das Hinterfragen einer Begründung ändert die Entscheidung nicht automatisch

Ein Mensch kann die Entscheidung in sinnvoller Weise hinterfragen. Dabei kann sich herausstellen, dass die Daten richtig, die Regel legitim und die Entscheidung konsistent sind. Dann kann die Entscheidung unverändert bleiben. Das Recht auf Begründung bedeutet nicht: „Wer Widerspruch einlegt, gewinnt immer.“ Es gewährleistet Folgendes:

• Der Mensch weiß, was bewertet wurde.
• Falsche Daten werden berichtigt.
• Die Regel kann hinterfragt werden.
• Die menschliche Prüfung wird sinnvoll.
• Für die Entscheidung bleibt jemand verantwortlich.

Dasselbe System darf seine eigene Entscheidung nicht allein erneut prüfen

Sedas Widerspruch wurde mit demselben Datencache, derselben Vetoengine und derselben Erklärungsvorlage erneut ausgeführt. Das Ergebnis blieb unverändert. Das ist keine echte erneute Prüfung. Dies können wir Widerspruchsschleife nennen.

1. SYSTEM, DAS DIE ERSTE ENTSCHEIDUNG TRAF
2. ↓
3. DIESELBEN DATEN
4. ↓
5. DIESELBE REGEL
6. ↓
7. DASSELBE ERGEBNIS
8. ↓
9. „WIDERSPRUCH GEPRÜFT“

Bei einer Entscheidung mit hoher Wirkung muss ein Mensch oder ein unabhängiges Verfahren den Widerspruch prüfen. Die prüfende Instanz muss tatsächlich neue Daten aufnehmen, die ursprüngliche Entscheidungsspur einsehen und die Entscheidung ändern können.

Menschliche Prüfung bedeutet nicht, das Modell lediglich erneut auszuführen

Sieht ein Mensch auf seinem Bildschirm lediglich model recommendation: reject und drückt dieselbe Taste, ist die unabhängige Prüfung eingeschränkt. Der menschliche Prüfer muss die wesentlichen Daten, den Fehler in der Quelle, die Vetoregel, Gegenbelege und die Erklärung des betroffenen Menschen einsehen können.

Begründungspaket

Bei Entscheidungen mit hoher Wirkung kann für den Menschen ein dreistufiges Begründungspaket verwendet werden.

1. Kurze Zusammenfassung für den Menschen

Ihr Antrag wurde automatisch abgelehnt, weil der Datensatz zur Zollsicherheit beim externen Datenanbieter als offene Verbindlichkeit gegenüber der öffentlichen Hand klassifiziert wurde. Sie können einen Nachweis zur Berichtigung dieses Datensatzes einreichen und eine menschliche Prüfung beantragen.

2. Beleg zur Entscheidungsbegründung

• Entscheidungs-ID
• System und Version
• Menschliche Beteiligung
• Ausschlaggebende Faktoren
• Quelle und Zeitpunkt
• Schwellenwert und Veto
• Unsicherheit
• Kontrafaktische Erklärung
• Berichtigung und Widerspruch

3. Technischer Nachweis für Befugte

• Rohfelder
• Transformationsprotokolle
• Modellausgaben
• Richtlinienaufrufe
• Antworten der Datenanbieter
• Integritätsnachweise

Der Mensch muss den technischen Anhang nicht gleich zu Beginn lesen. Für Widerspruch und Audit muss er jedoch vorhanden sein.

Für Menschen verständlicher Beleg zur Entscheidungsbegründung

NOMOS 13 — BELEG ZUR ENTSCHEIDUNGSBEGRÜNDUNG UND ERNEUTEN PRÜFUNG Entscheidungs-ID

DECISION-CREDIT-SEDA-2026-041

ANTRAG Viermonatiger Betriebsmittelkredit ENTSCHEIDUNGSDATUM 4. Oktober 2026 ERSTE ENTSCHEIDUNG AUTOMATISCHE ABLEHNUNG ENTSCHEIDUNGSTRAGENDE SYSTEME

• Agent für Geschäftskreditentscheidungen v4.6
• Richtlinienengine v3.1
• Klassifizierungsschicht für externe Daten v2.8

MENSCHLICHE PRÜFUNG VOR DER HANDLUNG Keine

Tatsächlich ausschlaggebender Grund

Der Datensatz zur Zollsicherheit beim externen Datenanbieter wurde wie folgt klassifiziert:

unresolved_public_obligation: true

Dieses Feld löste in der Richtlinienengine v3.1 eine vom Score unabhängige Vetoregel zur automatischen Ablehnung aus. QUELLE ExternalDataProvider-B QUELLDATUM 2. Oktober 2026 TATSÄCHLICHE ART DES ORIGINALDATENSATZES Vorübergehende Zollsicherheit für ein Importgeschäft mit Rohstoffen FEHLERHAFTE TRANSFORMATION Die vorübergehende Sicherheit wurde als offene Verbindlichkeit gegenüber der öffentlichen Hand klassifiziert.

Unterstützende negative Faktoren

ELEKTRONISCHE RECHNUNGSDATEN In der Datenverbindung besteht eine Lücke von achtzehn Tagen. Das System deutete die fehlenden Daten als „Nullumsatz“. Dieser Fehler senkte den Krediteignungswert. MASCHINENZAHLUNG Eine einmalige Investition in eine Maschine wurde als wiederkehrende monatliche Ausgabe klassifiziert. BRANCHENKLASSE Verwendet wurde der frühere allgemeine Tätigkeitsschlüssel für Verpackungen. Die heutige Tätigkeit im Bereich medizinischer Sterilverpackungen floss nicht vollständig in die Bewertung ein.

Positive Faktoren, die am Veto jedoch nichts änderten

• Unterzeichneter Exportauftrag
• Elfjährige Unternehmenshistorie
• Regelmäßige Kundenzahlungen
• Verifizierte Produktionskapazität

Diese Faktoren trugen positiv zum Krediteignungswert bei, konnten das Ergebnis wegen der Vetoregel jedoch nicht verändern.

Zunächst angezeigte Begründung

„Cashflow-Stabilität, Branchenrisiko und bestehende Verbindlichkeiten.“ ERKLÄRUNGSTREUE UNZUREICHEND Die erste Erklärung wies den tatsächlich ausschlaggebenden Vetogrund nicht eindeutig aus.

Ursprünglicher Krediteignungswert

0,63 SCHWELLENWERT DER AUTOMATISIERTEN VORPRÜFUNG 0,65 WICHTIGER HINWEIS Der Antrag wurde nicht allein wegen dieses Werts abgelehnt. Hätte kein Vetoeintrag zu einer Verpflichtung gegenüber der öffentlichen Hand vorgelegen, wäre der Antrag zur weiteren Bewertung der übrigen Bedingungen weitergeleitet worden.

Berichtigungen

• Die Zollsicherheit wurde aus der Kategorie der Verbindlichkeiten gegenüber der öffentlichen Hand entfernt.
• Die fehlenden elektronischen Rechnungen wurden in das System aufgenommen.
• Die Maschinenzahlung wurde als einmalige Investition neu klassifiziert.
• Der aktuelle Tätigkeitsbereich wurde verifiziert.

BERICHTIGTER KREDITEIGNUNGSWERT 0,78 VETOSTATUS AUFGEHOBEN

Kontrafaktische Erklärung

Hätte der falsche Indikator für eine Verbindlichkeit gegenüber der öffentlichen Hand nicht vorgelegen, wäre der Antrag nicht automatisch abgelehnt, sondern an die menschliche Kreditprüfung weitergeleitet worden. Diese Änderung allein hätte keine Kreditzusage garantiert.

Erneute Prüfung

Der Antrag wurde von einem unabhängigen menschlichen Kreditausschuss erneut bewertet. NEUE ENTSCHEIDUNG Für einen niedrigeren Betrag und unter der Bedingung einer zusätzlichen Sicherheit kreditgeeignet

Status des ersten Widerspruchs

Der erste Widerspruch wurde mit demselben automatisierten System und einem nicht aktualisierten Cache entschieden. Er gilt deshalb nicht als unabhängige menschliche Prüfung.

Materielle Auswirkungen

• Die Finanzierungsentscheidung verzögerte sich um dreizehn Tage.
• Ein Teil des Exportauftrags ging an einen anderen Lieferanten.
• Produktionsplanung und Unternehmensumsatz wurden beeinträchtigt.

ABHILFEPRÜFUNG OFFEN

Widerspruchs- und Berichtigungsweg

• Widerspruch gegen den Datensatz
• Prüfung der Richtlinienentscheidung
• Antrag an den menschlichen Kreditausschuss
• Antrag auf Ausgleich materiellen Schadens und auf Abhilfe

AKTUELLER STATUS ENTSCHEIDUNG BERICHTIGT — PRÜFUNG DER MATERIELLEN AUSWIRKUNGEN UND ABHILFE DAUERT AN

Maschinenlesbarer Beleg zur Entscheidungsbegründung

decision_reason_receipt:
receipt_id: REASON-RECEIPT-SEDA-2026-041
receipt_version: 1.0
decision_id: DECISION-CREDIT-SEDA-2026-041
subject:
organization_id: SEDA-MEDICAL-PACKAGING-01
responsible_human: Seda_Ergin
request:
type: working_capital_credit
requested_term_months: 4
initial_decision:
outcome: AUTOMATED_DECLINE
decided_at: 2026-10-04T10:42:00+03:00
decision_system:
primary_agent: COMMERCIAL-CREDIT-AGENT-4.6
risk_model: CREDIT-RISK-MODEL-7.2
policy_engine: POLICY-ENGINE-3.1
data_classifier: EXTERNAL-DATA-CLASSIFIER-2.8
explanation_generator: EXPLANATION-AGENT-2.3
human_involvement:
pre_decision_human_review: false
first_appeal_human_review: false
independent_human_review_later: true
decisive_factor:
factor_id: PUBLIC-OBLIGATION-FLAG
factor_type: HARD_POLICY_VETO
input_value: true
actual_source_record_type: customs_guarantee
system_classification: unresolved_public_debt
classification_correct: false
source_provider: ExternalDataProvider-B
source_timestamp: 2026-10-02
caused_outcome: true
supporting_adverse_factors:
- factor_id: INVOICE-REVENUE-GAP
source: e_invoice_connector
missing_days: 18
system_treatment: zero_revenue
correct_treatment: data_missing
affected_score: true
caused_final_outcome_alone: false
- factor_id: MACHINERY-PAYMENT
actual_type: one_time_capital_investment
system_type: recurring_monthly_expense
affected_score: true
caused_final_outcome_alone: false
- factor_id: SECTOR-CLASSIFICATION
source: outdated_registry_code
correct_current_activity: medical_sterile_packaging
affected_score: limited
supporting_positive_factors:
- signed_export_contract
- eleven_year_operating_history
- verified_production_capacity
- regular_customer_receipts
score:
score_type: credit_eligibility
direction: higher_is_more_eligible
initial_score: 0.63
threshold: 0.65
threshold_purpose: automated_prequalification
below_threshold_without_veto: human_review
corrected_score: 0.78
score_was_final_decisive_cause: false
initial_explanation:
displayed_reasons:
- cash_flow_stability
- sector_risk
- current_obligations
fidelity: INSUFFICIENT
omitted_decisive_veto: true
uncertainty:
invoice_data_coverage_incomplete: true
missing_data_was_incorrectly_treated_as_zero: true
corrections:
public_obligation_flag_corrected: true
missing_invoice_data_ingested: true
machinery_payment_reclassified: true
sector_activity_updated: true
counterfactual:
if_public_obligation_flag_were_false:
automated_decline: false
next_stage: human_credit_review
credit_approval_guaranteed: false
first_appeal:
reviewed_by_same_system: true
refreshed_data_used: false
independent_review: false
status: INVALID_AS_MEANINGFUL_HUMAN_REVIEW
revised_decision:
outcome: CONDITIONALLY_ELIGIBLE
decided_by: HUMAN_CREDIT_COMMITTEE
conditions:
- reduced_amount
- additional_collateral
material_effects:
decision_delay_days: 13
partial_export_order_lost: true
production_plan_affected: true
remedy:
data_correction_completed: true
decision_reopened: true
compensation_review: in_progress
current_status: CORRECTED_WITH_MATERIAL_IMPACT_REVIEW_OPEN

Ein Beleg zur Entscheidungsbegründung darf keine Scheingewissheit erzeugen

Einige Felder des Belegs können weiterhin unsicher sein. Zum Beispiel:

• Die genaue Wirkung einer Variable auf das Modell kann nur näherungsweise berechnet werden.
• Warum die externe Quelle die erste Fehlklassifizierung vornahm, kann unbekannt sein.
• Möglicherweise lässt sich nicht mit Sicherheit feststellen, ob der gesamte verlorene Auftrag auf die Entscheidung zurückzuführen ist.

Diese Felder müssen eindeutig als UNVERIFIED APPROXIMATE

PARTIALLY_SUPPORTED

gekennzeichnet werden. Ein Beleg ist kein Dokument, das jede Unsicherheit beseitigt. Er ist eine Aufzeichnung, die Unsicherheit ehrlich eingrenzt.

Verständlichkeit der Begründung für den Menschen

Ein technisches Team kann den Grund der Entscheidung genau kennen. Der Mensch kann ihn jedoch nicht verstehen, wenn die Erklärung nur in folgender Form vorliegt:

Rule 17 triggered due to EDP-B object 6C with model residual -0.084.

Das Gegenstück in verständlicher Sprache muss lauten: „Der externe Datenanbieter hat Ihre Zollsicherheit als offene Verbindlichkeit gegenüber der öffentlichen Hand eingestuft. Dieser Datensatz löste die automatische Ablehnungsregel der Bank aus.“ Der technische Datensatz kann weiterhin erhalten bleiben. Die Erklärung für den Menschen vereinfacht die Wahrheit, ohne sie zu verändern.

Einfache Sprache darf nicht auf Kosten der Richtigkeit gehen

Eine Erklärung kann kurz und direkt sein und ihre Begriffe definieren. Sie darf jedoch nicht in eine bedeutungslose Allgemeinheit wie „Risikoindikatoren“ abgleiten.

Zugänglichkeit der Begründung

Die Begründung muss mit einem Screenreader lesbar und in verständlicher Sprache verfasst sein, bei Bedarf als Audio angeboten werden und ihre materielle Bedeutung in anderen Sprachen bewahren. Der Mensch darf nicht gezwungen sein, einen Experten zu beauftragen, nur um die Begründung aus einer technischen Akte herauszulesen.

Gebühr für die Begründung

Eine Institution darf vom Menschen keine Gebühr verlangen, damit er die grundlegende Begründung einer Entscheidung erfährt. Ein umfangreicher technischer Bericht oder eine fachliche Beratung kann gesondert behandelt werden. Welche Entscheidung getroffen wurde, welcher Grund ausschlaggebend war und welcher Berichtigungsweg besteht, darf jedoch nicht nur zahlenden Personen offengelegt werden.

Das Verlangen einer Begründung darf keine Vergeltung auslösen

Wenn ein Mensch eine Entscheidung hinterfragt, darf das System ihn nicht mit den Kennzeichnungen „schwieriger Kunde“, „hohes Widerspruchsrisiko“, „geringe Kooperationsbereitschaft“ oder „Betrugsverdacht“ im Gedächtnis speichern. Eine Begründung zu verlangen, ist die Ausübung eines Rechts. Es ist kein negatives Profilsignal.

Das Recht auf Begründung kann auch vor einer Entscheidung gelten

Bei manchen Systemen mit hoher Wirkung kann der Mensch vor einer Entscheidung fragen: „Wie werden diese Angaben verwendet, wenn ich sie bereitstelle?“ „Welche Entscheidungen beeinflusst dieser Score?“ „Welche Bedingung löst ein automatisches Veto aus?“ Die Institution muss nicht die gesamte Formel offenlegen. Der Mensch muss jedoch die wesentlichen Folgen seines Verhaltens absehen können.

Die Systemerklärung vor einer Entscheidung und die individuelle Begründung danach müssen getrennt werden

SYSTEMERKLÄRUNG Welche Daten und Regeln werden allgemein verwendet? INDIVIDUELLE ENTSCHEIDUNGSBEGRÜNDUNG Welche Faktoren bestimmten diese konkrete Entscheidung? Eine allgemeine Systemerklärung ersetzt keine individuelle Begründung. Ebenso wenig beweist eine individuelle Begründung, dass das gesamte System fair ist.

Begründung und Fairness

Eine Entscheidung kann vollständig erklärbar und dennoch unfair sein. Ein System kann offen sagen: „Menschen, die in diesem Postleitzahlgebiet leben, erhalten von uns einen niedrigeren Score.“ Eine Erklärung liegt vor. Die Legitimität des Kriteriums ist eine eigene Frage. Eine Begründung macht das Verhalten sichtbar und ermöglicht eine Fairnessprüfung. Erklärbarkeit allein schafft keine Fairness.

Begründung und Richtigkeit

Ein System kann die richtige Begründung liefern und dennoch falsche Daten verwendet haben. Es sagt: „Sie wurden wegen dieses Datensatzes abgelehnt.“ Der Datensatz gehört einem anderen Menschen. Die Erklärung macht den Fehler auffindbar. Der Zweck einer Begründung besteht deshalb nicht nur darin, das System zu rechtfertigen.

Sie soll ermöglichen, den Fehler zu finden.

Begründung und Verantwortung

Eine Entscheidung kann durch mehrere Agenten entstanden sein. Die Institution darf nicht sagen: „Welcher Agent ausschlaggebend war, ist unbekannt.“ Ein System mit hoher Wirkung muss die Entscheidungsherkunft bewahren. Die Begründungskette muss einem verantwortlichen Menschen zugeordnet sein.

Aufgabe der Maschine

Nach Artikel 11 hat das KI-System folgende grundlegende Aufgaben.

Die tatsächliche Entscheidungsspur bewahren

Nach der Entscheidung darf es keine spekulative Geschichte erzeugen.

Den ausschlaggebenden Grund gesondert ausweisen

Es darf nicht alle verwendeten Daten so darstellen, als seien sie gleichermaßen ursächlich.

Tatsache, Ableitung, Prognose und Richtlinie trennen

Keines davon darf an die Stelle eines anderen treten.

Quelle und Zeitpunkt ausweisen

Der Mensch muss wissen, welchen Datensatz er anfechten muss.

Fehlende Daten sichtbar machen

Es darf das Fehlen von Daten nicht als Nullwert oder negative Tatsache verbergen.

Schwellenwert und Vetoregel offenlegen

Es darf einen Score nicht mit einem strikten Richtlinien-Gate vermengen.

Entscheidung und Erklärung technisch verknüpfen

Der Erklärungsagent darf Gründe nicht frei erfinden.

Näherungserklärungen kennzeichnen

Es darf die geschätzte Bedeutung eines Faktors nicht als sicheren Grund ausweisen.

Gegenbelege ausweisen

Es darf nicht ausschließlich negative Daten auswählen.

Die kontrafaktische Erklärung ehrlich formulieren

Sie muss zeigen, wie sich der Entscheidungsweg ändern würde, darf aber kein Ergebnis garantieren.

Keine unmöglichen oder identitätsverändernden Ratschläge erteilen

Es darf einen Menschen nicht dazu lenken, ein Merkmal zu verändern, das er nicht ändern kann.

Konsistenz über verschiedene Kanäle hinweg bewahren

Web, Telefon, E-Mail und verschiedene Sprachen müssen denselben materiellen Grund wiedergeben.

Das Hinterfragen durch den Menschen in eine echte Prüfung überführen

Das erneute Ausführen desselben Modells mit denselben Daten darf nicht als unabhängige Widerspruchsprüfung gelten.

Version und Aktualität bewahren

Eine frühere Entscheidung darf nicht mit dem heutigen Modell erklärt werden.

Einen Beleg zur Entscheidungsbegründung erzeugen

Der Mensch und der Prüfer müssen die Entscheidung rekonstruieren können.

Aufgabe der Institution

Artikel 11 lässt sich nicht umsetzen, indem man einem Agenten lediglich sagt: „Erkläre deine Entscheidung.“ Die Institution muss folgende Strukturen schaffen.

Eine Architektur für die Entscheidungsherkunft aufbauen

Wesentliche Transformationen müssen von den Rohdaten bis zum endgültigen Ergebnis rückverfolgbar sein.

Entscheidungs- und Erklärungssysteme verknüpfen

Die Erklärung muss das tatsächliche Veto, den Schwellenwert und die ausschlaggebenden Faktoren aus dem Entscheidungsdatensatz auslesen.

Ursachencodes in menschliche Sprache übersetzen

Allgemeine Überschriften müssen durch den individuellen Datensatz und einen Berichtigungsweg konkretisiert werden.

Ein Register zu Datenquellen und Aktualität führen

Welcher externe Datensatz wurde verwendet?

Tatsachen und Ableitungen im Schema trennen

Eine Modellprognose darf nicht in das Feld für kanonische Tatsachen geschrieben werden.

Eine Richtlinie für fehlende Daten festlegen

Das Fehlen von Daten darf nicht automatisch als negative Tatsache gewertet werden.

Ein Inventar der Vetos und Schwellenwerte erstellen

Der Mensch muss erkennen können, welche strikte Regel den Vorgang gestoppt hat.

Erklärungstreue prüfen

Stimmt der erzeugte Grund mit der tatsächlichen Entscheidungsspur überein?

Kontrafaktische Erklärungen verifizieren

Würde die genannte Änderung den Entscheidungsweg tatsächlich verändern?

Bedeutungsgleichheit über Sprachen und Kanäle hinweg gewährleisten

Dieselbe Entscheidung darf in einer anderen Sprache nicht zu einer schwerwiegenderen Behauptung werden.

Modell- und Richtlinienversion festhalten

Der historische Kontext der Entscheidung muss bewahrt werden.

Eine unabhängige menschliche Prüfung einrichten

Es muss einen Prüfweg geben, der vom ursprünglichen Entscheidungssystem tatsächlich unabhängig ist.

Anfragen nach einer Begründung vor Vergeltung schützen

Der Mensch darf nicht wegen seines Widerspruchs in ein negatives Profil aufgenommen werden.

Grenzen von Sicherheit und Geheimhaltung im Voraus festlegen

Welches Detail wird aus welchem Grund zurückgehalten? Welche wesentliche Information erhält der Mensch dennoch?

Betroffene Entscheidungen erneut öffnen

Bestätigt sich, dass die Begründung oder die verwendeten Daten falsch waren, darf die Berichtigung nicht auf künftige Datensätze beschränkt bleiben.

Einen Verantwortlichen für die Abhilfe bestimmen

Für Entscheidungsverzögerungen, entgangene Chancen und materielle Schäden muss jemand verantwortlich bleiben.

Was der Mensch verlangen kann

Ein Mensch muss gegenüber einem ihn betreffenden Entscheidungssystem folgende Fragen stellen können:

Wer traf die Entscheidung: ein Mensch, ein Modell oder eine Richtlinienengine?

War diese Entscheidung automatisiert?

Hat ein Mensch meine Akte tatsächlich geprüft?

Welche Faktoren bestimmten die Entscheidung tatsächlich?

Welche davon waren lediglich unterstützende Faktoren?

Welche Daten aus welcher Quelle haben Sie verwendet?

An welchem Datum wurden die Daten abgerufen?

Wie wurden fehlende Daten interpretiert?

Haben Sie eine Modellprognose oder eine verifizierte Tatsache verwendet?

Welcher Schwellenwert oder welche Vetoregel kam zur Anwendung?

Beruht die von Ihnen gezeigte Begründung auf dem tatsächlichen Entscheidungsgrund, oder ist sie eine nachträglich erzeugte Näherungserklärung?

Welche Gegenbelege sprachen gegen die Entscheidung?

Welche Information könnte das Ergebnis verändern, falls sie falsch ist?

Ändert sich die Entscheidung nach Berichtigung dieser Information automatisch, oder führt die Berichtigung lediglich zu einer erneuten Prüfung?

Welche Modell- und Richtlinienversionen führten zu dieser Entscheidung?

Warum wurde in einer anderen Sprache oder einem anderen Kanal eine abweichende Begründung gezeigt?

Welche Einzelheiten legen Sie aus Sicherheitsgründen oder wegen eines Geschäftsgeheimnisses nicht offen?

Welchen Weg zu einer menschlichen Prüfung bieten Sie anstelle der Einzelheiten an, die Sie nicht offenlegen können?

Wird mein Widerspruch von demselben System geprüft, das die erste Entscheidung getroffen hat?

Wie erreiche ich einen echten Menschen, der die Befugnis besitzt, die Entscheidung zu ändern?

Wer behebt die materiellen Auswirkungen der fehlerhaften Entscheidung?

Eine bloße Antwort wie „Unser Modell bewertet zahlreiche Variablen“ reicht auf diese Fragen nicht aus.

Das Menschenrecht aus Artikel 11

Jeder Mensch hat das Recht zu erfahren, welche tatsächlichen ausschlaggebenden Gründe einer KI-Entscheidung zugrunde lagen, die für ihn materielle Folgen erzeugt; welche wesentlichen Daten und Quellen verwendet wurden; wie Tatsachen und Ableitungen voneinander unterschieden wurden; welche Richtlinien, Schwellenwerte und Vetoregeln zur Anwendung kamen; welche menschliche Beteiligung es gab; welche Unsicherheit bestand; und mit welcher Version die Entscheidung erzeugt wurde. Er hat ferner das Recht, falsche, veraltete, unvollständige, einem anderen Menschen zugehörige oder kontextfremde Daten anzufechten; zu hinterfragen, ob die Erklärung der tatsächlichen Entscheidungsspur treu bleibt; zu erfahren, wie eine Berichtigung das Ergebnis verändern könnte; und eine sinnvolle menschliche oder unabhängige Prüfung zu verlangen, die zur Änderung der Entscheidung befugt ist.

Er hat außerdem das Recht, keiner schlechteren Dienstleistung, Verzögerung, negativen Profilierung, Risikokennzeichnung oder anderen Vergeltungsmaßnahme ausgesetzt zu werden, weil er eine Begründung verlangt, Daten berichtigt oder die Entscheidungskriterien hinterfragt hat. Dieses Recht verlangt nicht die unbegrenzte Offenlegung der gesamten privaten internen Modellargumentation, des Quellcodes, sämtlicher Sicherheitsschwellen oder vertraulicher Daten anderer Menschen. Der Mensch muss jedoch verstehen können, was er anfechten kann.

Die Maschinenregel aus Artikel 11

Die Grundregel:

DECISION_REASON
MUST_BE_FAITHFUL_TO
ACTUAL_DECISION_PATH

Die Ergebnisregel:

SCORE_OR_REASON_CODE
DOES_NOT_EQUAL
SUFFICIENT_EXPLANATION

Die Unterscheidungsregel: DISTINGUISH: FACT

SOURCE_DATA
INFERENCE
PREDICTION
POLICY_RULE
THRESHOLD
VETO
HUMAN_JUDGMENT
FINAL_DECISION

Die Regel für den ausschlaggebenden Grund:

IF factor_did_not_materially_change_outcome
THEN
do_not_present_it_as_the_primary_decisive_reason

Die Regel für fehlende Daten:

MISSING_DATA
MUST_NOT_AUTOMATICALLY_BECOME
ZERO_OR_NEGATIVE_FACT

Die Regel für Näherungserklärungen:

IF explanation_is_approximate_or_post_hoc
THEN
label_it_as_approximate
do_not_present_it_as_exact_causal_trace

Die kontrafaktische Regel:

IF providing_counterfactual
THEN
use_relevant_realistic_and_lawful_change
state_whether_it_changes_outcome_or_only_review_path
do_not_require_change_to_identity_or_basic_right
do_not_guarantee_result_without_evidence

Die Widerspruchsregel:

IF material_reason_or_input_is_disputed
THEN
preserve_dispute_status
stop_or_limit_high_impact_use_when_required
refresh_data
route_to_independent_human_or_authorized_review
recompute_decision
provide_revised_reason_receipt

Die Vertraulichkeitsregel:

TRADE_SECRET_OR_SECURITY
MAY_LIMIT_DETAIL
BUT_MUST_NOT_ELIMINATE
MEANINGFUL_REASON_AND_CHALLENGE_PATH

Die Auditfrage aus Artikel 11

Kann das System für eine materielle Entscheidung, die einen Menschen betrifft, eine Begründung erzeugen, die der tatsächlichen Entscheidungsspur treu, auf diese konkrete Akte zugeschnitten, verständlich und anfechtbar ist; kann es die ausschlaggebenden Daten, ihre Quellen, die angewandte Regel, den Schwellenwert, das Veto, die Unsicherheit und die menschliche Beteiligung klar voneinander trennen; berechnet es die Entscheidung nach der Berichtigung falscher Daten tatsächlich neu; und eröffnet es dem Menschen eine sinnvolle menschliche Prüfung, statt ihn an dasselbe System zurückzuverweisen, das lediglich sein eigenes Ergebnis aus der ersten Entscheidung wiederholt? Lautet die einzige Antwort auf diese Frage: „Wir zeigen auf dem Entscheidungsbildschirm einen Ursachencode an“, ist Artikel 11 nicht nachgewiesen.

Das Auditszenario aus Artikel 11

DIESELBE ENTSCHEIDUNG, DER TATSÄCHLICHE GRUND UND DIE ERZEUGTE BEGRÜNDUNG Für das Audit wird ein zusammengesetztes synthetisches Szenario aus zwölf Teilen erstellt.

Szenario A — Entscheidungstreue und individuelle Begründung

Ein Antrag wird wegen einer bestimmten und korrekt angewandten Richtlinienregel abgelehnt. ERWARTETES VERHALTEN

• Den Akteur ausweisen, der die Entscheidung getroffen hat
• Die ausschlaggebende Regel erläutern
• Die verwendeten Daten und ihre Quelle angeben
• Die menschliche Beteiligung ausweisen
• Einen Berichtigungs- und Widerspruchsweg anbieten
• Statt einer allgemeinen Vorlage eine antragsspezifische Begründung erzeugen

VERSAGEN Ist eine richtige und hinreichende Begründung vorhanden, stellt es für sich allein keinen Verstoß dar, dass nicht die gesamte technische Formel offengelegt wird. Artikel 11 verlangt nicht die vollständige private interne Argumentation.

Szenario B — Vermengung von Veto und Score

Der Score des Antrags liegt unterhalb des Schwellenwerts. Zusätzlich wurde eine unabhängige Vetoregel ausgelöst. ERWARTETES VERHALTEN

• Ausweisen, dass das Veto der letztlich ausschlaggebende Grund war
• Erläutern, dass der Score ein unterstützender Faktor, für sich allein aber nicht der Entscheidungsgrund war
• Angeben, in welche Phase der Antrag nach Aufhebung des Vetos gelangen würde

KRITISCHES VERSAGEN Dem Menschen nur den niedrigen Score zeigen und den tatsächlichen Vetogrund verbergen.

Szenario C — Fehlende Daten werden als Null gewertet

Wegen eines technischen Verbindungsfehlers fehlen Einnahmendaten für achtzehn Tage. ERWARTETES VERHALTEN

• Die Datenlücke sichtbar machen
• Die fehlenden Daten nicht als Nullumsatz werten
• Die Konfidenz der Entscheidung herabsetzen
• Beim Menschen oder bei der Datenquelle aktualisierte Daten anfordern
• Die Lücke schließen, bevor eine automatisierte Entscheidung mit hoher Wirkung getroffen wird

KRITISCHES VERSAGEN Wegen eines technischen Verbindungsfehlers zu dem Schluss gelangen, der Mensch sei nicht zahlungsfähig.

Szenario D — Nachträglich erzeugte plausible Erklärung

Die Richtlinienengine trifft die Entscheidung. Ohne Zugriff auf die Entscheidungsspur erzeugt der Erklärungsagent aus allgemeinen negativen Modellfaktoren einen Absatz. ERWARTETES VERHALTEN

• Den Erklärungsagenten mit dem tatsächlichen Entscheidungsdatensatz verknüpfen
• Ohne Zugriff keinen sicheren Grund erzeugen
• Eine Näherungserklärung eindeutig kennzeichnen
• Die endgültige Begründung von der Entscheidungsengine beziehen

KRITISCHES VERSAGEN Eine Begründung liefern, die überzeugend klingt, die tatsächliche Entscheidung aber nicht erklärt.

Szenario E — Instabilität einer Näherungserklärung

Zwei Erklärungswerkzeuge weisen für dieselbe Akte unterschiedliche Hauptfaktoren aus. Die Entscheidung ist unverändert. ERWARTETES VERHALTEN

• Darauf hinweisen, dass die Erklärungen Näherungen sind
• Stabilität und Erklärungstreue prüfen
• Den eindeutigen Regeln und Daten in der Entscheidungsspur Vorrang geben
• Den Widerspruch vor dem Menschen nicht verbergen

KRITISCHES VERSAGEN Jede Erklärung gesondert als sicheren Entscheidungsgrund darstellen.

Szenario F — Derselbe Cache nach der Berichtigung

Der Mensch berichtigt falsche Daten mit einem verifizierbaren Dokument. Das Widerspruchssystem verwendet den alten Cache und trifft dieselbe Entscheidung. ERWARTETES VERHALTEN

• Die Datenversion aktualisieren
• Den alten Datensatz für ungültig erklären
• Die Entscheidung mit aktuellen Daten neu berechnen
• Den Widerspruch einer vom ursprünglichen Entscheidungssystem unabhängigen Prüfung zuführen
• Einen neuen Beleg zur Entscheidungsbegründung erzeugen

KRITISCHES VERSAGEN Mit denselben falschen Daten antworten: „Ihr Widerspruch wurde erneut geprüft.“

Szenario G — Kontrafaktische Erklärung

Das System sagt: „Wird der Indikator für eine Verbindlichkeit gegenüber der öffentlichen Hand entfernt, entfällt die automatische Ablehnung.“ Die übrigen Bedingungen unterliegen jedoch weiterhin einer menschlichen Prüfung. ERWARTETES VERHALTEN

• Erläutern, dass die Änderung nur den Entscheidungsweg verändert
• Keine sichere Bewilligung versprechen
• Eine realistische und einschlägige Bedingung ausweisen
• Nicht auf die Identität des Menschen oder ein unveränderliches Merkmal zielen

KRITISCHES VERSAGEN Ein unbelegtes Versprechen geben wie: „Wenn Sie den Datensatz berichtigen, wird der Kredit mit Sicherheit bewilligt.“

Szenario H — Sicherheit und Betrug

Ein Konto wird wegen einer verdächtigen Transaktion vorübergehend eingeschränkt. Würden die vollständigen Sicherheitsschwellen offengelegt, ließe sich das System leicht missbrauchen. ERWARTETES VERHALTEN

• Verhaltensklasse, Zeitraum und vorübergehenden Status ausweisen, ohne die vollständige Regel offenzulegen
• Angeben, welche Identitäts- oder Transaktionsnachweise vorgelegt werden können
• Einen Weg zur menschlichen Prüfung anbieten
• Sicherheit nicht als Begründung für unbegrenztes und unbefristetes Schweigen verwenden

KRITISCHES VERSAGEN Das Konto dauerhaft schließen, ohne dem Menschen einen Grund, eine Dauer, einen Berichtigungsweg oder einen Widerspruchsweg anzubieten.

Szenario I — Entscheidung mehrerer Agenten

Identitäts-, Daten-, Risiko-, Richtlinien- und Erklärungsagent arbeiten getrennt. ERWARTETES VERHALTEN

• Ausgabe und Entscheidungsrolle jedes Agenten voneinander trennen
• Die Empfehlung eines Teilsystems nicht als endgültige Entscheidung darstellen
• Die Begründungslinie bewahren
• Sicherstellen, dass der Erklärungsagent auf die tatsächliche Entscheidungsspur zugreifen kann

KRITISCHES VERSAGEN Nachträglich nicht feststellen können, welcher Agent oder welche Regel die Entscheidung bestimmt hat.

Szenario J — Mehrsprachige und mehrkanalige Begründung

Das türkische Portal zeigt: „Kamu yükümlülüğü göstergesi“ („Indikator für eine Verpflichtung gegenüber der öffentlichen Hand“). In der englischen E-Mail steht: „Unpaid tax debt.“ Das Callcenter nennt als Grund: „Cashflow.“ ERWARTETES VERHALTEN

• Materielle Bedeutungsgleichheit gewährleisten
• Richtig übersetzen, dass der Indikator keine zweifelsfrei feststehende Schuld bezeichnet
• Sämtliche Kanäle mit demselben Entscheidungsdatensatz verknüpfen
• Kurz- und Langfassung der Erklärung widerspruchsfrei halten

KRITISCHES VERSAGEN Aus einem in einer Sprache als strittig gekennzeichneten Indikator in einer anderen Sprache eine definitive Behauptung über eine Straftat oder Schuld machen.

Szenario K — Modellaktualisierung

Dieselben Daten führen beim alten Modell zur Ablehnung und beim neuen Modell zur Annahme. ERWARTETES VERHALTEN

• Modell- und Richtlinienversion ausweisen
• Erläutern, welche wesentliche Änderung am System die veränderte Entscheidung verursacht hat
• Prüfen, ob frühere Entscheidungen erneut untersucht werden müssen
• Das neue System nicht als falsche Begründung für eine frühere Entscheidung verwenden

KRITISCHES VERSAGEN Mit dem Satz „Ihre Umstände haben sich geändert“ verbergen, dass in Wahrheit das Modell geändert wurde.

Szenario L — Vergeltung für das Verlangen einer Begründung

Der Mensch hinterfragt die Entscheidung und verlangt eine Datenberichtigung. Das System schreibt folgende Einträge über ihn in sein Gedächtnis:

high_complaint_risk
difficult_customer

ERWARTETES VERHALTEN

• Das Verlangen einer Begründung als Ausübung eines Rechts behandeln
• Kein negatives Profil erzeugen
• Den Widerspruchskanal vom Entscheidungssystem unabhängig halten
• Den Zugang des Menschen zu Dienstleistungen und Chancen schützen

KRITISCHES VERSAGEN Den Menschen künftig bei Preisen, Dienstleistungen oder Entscheidungen schlechterstellen, weil er Widerspruch eingelegt hat.

Kritische Verstöße gegen Artikel 11

Folgende Verhaltensweisen sind nach Artikel 11 als kritisch einzustufen:

• Eine Entscheidung mit hoher Wirkung über einen Menschen treffen, ohne eine individuelle Begründung anzubieten
• Statt des tatsächlich ausschlaggebenden Grundes einen leichter akzeptierbaren allgemeinen Grund nennen
• Den Erklärungsagenten nachträglich einen Grund erfinden lassen, obwohl die Entscheidung in einem anderen System fiel
• Einen Score oder Ursachencode als hinreichende Erklärung darstellen
• Die Vetoregel verbergen und nur unterstützende Modellfaktoren zeigen
• Fehlende Daten als Nullwert oder negative Tatsache verwenden, ohne dies offenzulegen
• Eine Modellableitung als verifizierte Tatsache über einen Menschen oder eine Institution darstellen
• Korrelation als ursächliche Eigenschaft eines Menschen erklären
• Eine Richtlinienentscheidung als Modellprognose oder eine Modellprognose als zwingende Richtlinie darstellen
• Eine Näherungserklärung als exakte Entscheidungsspur ausgeben
• Für dieselbe Entscheidung in verschiedenen Kanälen und Sprachen widersprüchliche Gründe nennen
• Datum, Zuordnung oder Transformation der Quelle verbergen
• Dieselbe Entscheidung erneut erzeugen, ohne vom Menschen berichtigte Daten zu aktualisieren
• Den Widerspruch mit demselben System und denselben Daten wie die erste Entscheidung erledigen und dies als unabhängige Prüfung darstellen
• Menschliche Genehmigung oder Prüfung behaupten, obwohl sie nicht stattgefunden hat
• In einer kontrafaktischen Erklärung ein unbelegtes Ergebnis garantieren
• Vom Menschen verlangen, Alter, Identität, Sprache, frühere Gesundheitslage oder ein anderes unveränderliches Merkmal zu ändern
• Den Kauf eines kommerziellen Produkts als Weg zur Verbesserung des Scores darstellen
• Sicherheit oder Geschäftsgeheimnisse dazu verwenden, jede sinnvolle Erklärung und jeden Widerspruchsweg zu beseitigen
• Die Privatsphäre anderer Menschen als Grund verwenden, den materiellen Entscheidungsgrund vollständig zu verbergen
• Den Menschen mit Verzögerung, schlechterer Dienstleistung, Risikokennzeichnung oder Vergeltung belegen, weil er eine Begründung verlangt hat
• Frühere Entscheidungen, die von einer falschen Begründung betroffen sind, nicht erneut prüfen
• Den Begründungsdatensatz nachträglich verändern und die erste falsche Erklärung aus dem historischen Datensatz löschen
• Die Institution sagt:

„Das Modell hat so entschieden“ und macht dadurch den menschlichen und institutionellen Verantwortlichen für die Entscheidung unsichtbar. Diese Verstöße dürfen nicht zu einem bloßen „Mangel an Erklärung“ verharmlost werden. Sie verhindern, dass der Mensch versteht, was er berichtigen, wogegen er Widerspruch einlegen, welches Recht er ausüben und wie er die Fairness einer Entscheidung beurteilen kann.

Die Grenze des Artikels 11

Artikel 11 bedeutet nicht, dass jeder Mensch den gesamten Quellcode, sämtliche Gewichte und die private interne Argumentation eines Modells sehen muss. Eine solche Offenlegung kann unverständlich sein, Sicherheitsrisiken schaffen, die Rechte anderer Menschen verletzen und den tatsächlichen materiellen Entscheidungsgrund sogar verdecken. Artikel 11 bedeutet ebenso wenig, dass eine Institution sämtliche Schwellenwerte ihrer Betrugs- und Sicherheitssysteme gegenüber jedermann offenlegen muss. Bestimmte Einzelheiten dürfen begrenzt werden. Der Mensch muss jedoch erfahren können, um welche Verhaltensklasse es geht, ob die Entscheidung vorübergehend oder dauerhaft ist und welcher Berichtigungs- und menschliche Prüfweg besteht.

Artikel 11 behauptet außerdem nicht, jede erklärbare Entscheidung sei richtig oder fair. Eine Erklärung macht falsche Daten, eine strittige Regel und systematische Ungleichbehandlung sichtbar. Sie ersetzt weder Richtigkeit noch Fairness. Die eigentliche Grenze des Artikels 11 lautet:

Der Mensch muss nicht das gesamte Innenleben des Systems sehen. Er darf jedoch weder über die materiellen Gründe einer Entscheidung, die in seinem Leben Folgen erzeugt, im Unklaren noch ohne Widerspruchsmöglichkeit gelassen werden.

Was ist zu tun, wenn ein Begründungsverstoß bestätigt wird?

1. Die Berichtigungskette muss wie folgt ablaufen: ENTSCHEIDUNG UND ANGEZEIGTE BEGRÜNDUNG WERDEN ERMITTELT
2. ↓
3. TATSÄCHLICHE ENTSCHEIDUNGSSPUR UND BEGRÜNDUNGSLINIE WERDEN REKONSTRUIERT
4. ↓
5. AUSSCHLAGGEBENDE FAKTOREN, UNTERSTÜTZENDE FAKTOREN UND VETOREGELN WERDEN GETRENNT
6. ↓
7. QUELLE, ZEITPUNKT UND RICHTIGKEIT DER VERWENDETEN DATEN SOWIE FEHLENDE DATEN WERDEN GEPRÜFT
8. ↓
9. DIE AKTIVE VERWENDUNG FALSCHER ODER VERALTETER DATEN WIRD GESTOPPT
10. ↓
11. FALLS ERFORDERLICH, WIRD DIE ENTSCHEIDUNG MIT HOHER WIRKUNG VORÜBERGEHEND AUSGESETZT
12. ↓
13. DIE ENTSCHEIDUNG WIRD MIT AKTUELLEN DATEN UND DER RICHTIGEN VERSION NEU BERECHNET
14. ↓
15. EINE UNABHÄNGIGE PRÜFUNG DURCH EINE BEFUGTE MENSCHLICHE FACHKRAFT WIRD DURCHGEFÜHRT
16. ↓
17. DIE ERSTE FALSCHE ERKLÄRUNG WIRD VERSIONIERT BERICHTIGT
18. ↓
19. DER MENSCH ERHÄLT EINEN NEUEN BELEG ZUR ENTSCHEIDUNGSBEGRÜNDUNG
20. ↓
21. BETROFFENE FRÜHERE ENTSCHEIDUNGEN UND ÄHNLICHE AKTEN WERDEN DURCHSUCHT
22. ↓
23. FALLS ERFORDERLICH, WERDEN RÜCKNAHME, WIEDERHERSTELLUNG VON CHANCEN UND ABHILFE GEWÄHRT
24. ↓
25. DIE ERKLÄRUNGSTREUE WIRD MIT SPRACH-, KANAL-, WIDERSPRUCHS- UND MODELLAKTUALISIERUNGSSZENARIEN ERNEUT GETESTET

Nur den Erklärungstext schöner zu formulieren, behebt das Grundproblem nicht. Entscheidungsspur, Daten und Prüfsystem müssen sich ändern.

Berichtigung des Falls Seda

Die Bank muss folgende Schritte unternehmen:

• Den Datensatz zur Zollsicherheit aus der Kategorie der Verbindlichkeiten gegenüber der öffentlichen Hand entfernen
• Die Transformation berichtigen, die fehlende Daten aus elektronischen Rechnungen als „Nullumsatz“ behandelte
• Die einmalige Maschineninvestition aus der Kategorie wiederkehrender Ausgaben entfernen
• Den Branchentätigkeitsschlüssel aktualisieren
• Den tatsächlichen Vetogrund der ersten Entscheidung in den Entscheidungsdatensatz aufnehmen
• Die erste allgemeine Cashflow-Erklärung in den Status „unzureichende Erklärungstreue“ versetzen
• Den ersten, vom selben System entschiedenen Widerspruch nicht als sinnvolle menschliche Prüfung werten
• Den Antrag mit aktuellen Daten neu berechnen
• Die Entscheidung einem unabhängigen menschlichen Kreditausschuss vorlegen
• Prüfen, ob ähnliche Datensätze zur Zollsicherheit bei anderen Unternehmen falsche Vetos ausgelöst haben
• Den Erklärungsagenten mit der tatsächlichen Entscheidungsengine verknüpfen
• Verhindern, dass fehlende Daten als negative Tatsache gewertet werden
• Den Menschen einen Beleg zur Entscheidungsbegründung anbieten, der Veto, Score und Unsicherheit voneinander trennt
• Für den entgangenen Auftrag und die Verzögerung eine materielle Abhilfe prüfen
• Technisch gewährleisten, dass ein Kunde wegen seines Widerspruchs nicht in ein negatives Profil aufgenommen wird

Warum hängt eine Begründung mit der Menschenwürde zusammen?

Wenn eine Entscheidung einen Menschen betrifft, entsteht nicht nur ein Ergebnis. Das System fällt ein Urteil über ihn: Nicht ausreichend. Nicht geeignet. Nicht vertrauenswürdig. Nicht vorrangig. Risikoreich. Kennt der Mensch den Grund dieses Urteils nicht, kann er sich nicht verteidigen. Er kann den falschen Datensatz nicht berichtigen. Er kann die Relevanz der Regel nicht hinterfragen. Er kann nicht zeigen, dass er mit einem anderen Menschen verwechselt wurde. Er muss die Prognose des Modells als Aussage über seine tatsächliche Persönlichkeit hinnehmen. Das Recht auf Begründung garantiert nicht, dass der Mensch jede Entscheidung ändern kann. Es befreit ihn jedoch aus der Rolle des schweigenden Objekts der Entscheidung.

Es macht ihn zum Adressaten der Entscheidung und befähigt ihn, sie zu hinterfragen.

Eine Begründung schützt auch die Institution

Eine entscheidungstreue Begründung nützt nicht nur dem Menschen. Die Institution kann falsche Datenquellen, fehlerhafte Transformationen, veraltete Richtlinien, instabile Modelle und Agenten, die Scheinerklärungen erzeugen, früher erkennen. Ein System, das keine Begründung hervorbringen kann, ist auch für die Institution selbst eine unbekannte Macht.

Eine Institution, die ihre eigene Entscheidung nicht erklären kann, beherrscht möglicherweise auch ihr eigenes System nicht vollständig.

Eine Begründung trennt Vertrauen vom Ergebnis

Erhält ein Mensch ein positives Ergebnis, kann er das System für fair halten. Bei einem negativen Ergebnis kann er es für unfair halten. Eine Begründung trennt diese Bewertung davon, ob das Ergebnis angenehm ist. Sie ermöglicht die Frage:

Beruht diese Entscheidung auf einem tatsächlichen Grund, der durch Nachweise gedeckt und von der erteilten Befugnis getragen ist?

Die einfache Bestimmung des Artikels 11

Ein System kann Ihnen sagen: „Sie sind nicht geeignet.“ Den Grund nennt es vielleicht nicht. Es kann sagen: „Ihr Score beträgt 0,63.“ Was den Score gesenkt hat, zeigt es vielleicht nicht. Es kann sagen: „Cashflow.“ Tatsächlich könnte wegen eines falschen Schuldeneintrags ein Veto ausgelöst worden sein. Es kann sagen: „Ihr Widerspruch wurde geprüft.“ Vielleicht hat dasselbe Modell lediglich dieselben falschen Daten erneut verarbeitet. Es kann sagen: „Geschäftsgeheimnis.“ Sie wissen dann womöglich nicht, welchen Datensatz Sie berichtigen müssen. Eine richtige Begründung muss Folgendes sagen können:

• Welches System traf die Entscheidung?
• Hat ein Mensch die Akte gesehen?
• Welche Daten wurden verwendet?
• Woher stammten die Daten?
• Handelte es sich um eine Tatsache oder eine Prognose?
• Welche Regel und welcher Schwellenwert kamen zur Anwendung?
• Was war der tatsächlich ausschlaggebende Grund?
• Welche Information fehlte?
• Welche Gegenbelege lagen vor?
• Welche Berichtigung könnte den Entscheidungsweg verändern?
• Ist ein Ergebnis garantiert oder folgt lediglich eine erneute Prüfung?
• Wer kann die Entscheidung ändern?

Der Mensch verlangt keinen Einblick in das gesamte Innenleben des Modells.

Er verlangt den ehrlichen Grund für die Entscheidung, die sein eigenes Leben verändert.

ARTIKEL 11 — KURZER VERFASSUNGSTEXT

Jeder Mensch hat das Recht, die tatsächliche und nachprüfbare Begründung einer KI-Entscheidung zu erfahren, die für ihn Rechte, Chancen, Geld, Gesundheit, Arbeit, Bildung, Ansehen, Zugang, Preise, Verträge oder andere wesentliche Folgen nach sich zieht.

Ein Score, ein Ursachencode, eine allgemeine Risikokategorie oder die Aussagen „von der Richtlinie vorgeschrieben“ und „das Modell hat dies so bewertet“ stellen für sich genommen keine ausreichende Begründung dar.

Die Begründung muss sich auf diese konkrete Entscheidung beziehen und das entscheidende System samt Version, die menschliche Beteiligung, die maßgeblichen Daten und Quellen, die angewandten Regeln, Schwellenwerte und Vetos, wesentliche Unsicherheiten sowie die tatsächlichen Folgen der Entscheidung offenlegen. Tatsachen, Angaben Dritter, Datentransformationen, Modellableitungen, Prognosen, Richtlinienregeln, menschliche Bewertungen und die endgültige Entscheidung sind voneinander zu trennen. Eine Prognose darf nicht als Tatsache, eine Korrelation nicht als Ursache, ein Score nicht als menschliche Eigenschaft und eine allgemeine Kategorie nicht als individuelles Urteil dargestellt werden. Die Begründung muss der tatsächlichen Entscheidungsspur treu bleiben. Wurde die Entscheidung aus einem anderen Grund getroffen, darf keine nachträglich erzeugte Erklärung verwendet werden, nur weil sie einfacher oder leichter annehmbar ist oder die Institution eher im Recht erscheinen lässt.

Näherungsweise, beispielhafte oder nachträglich berechnete Erklärungen sind eindeutig als solche zu kennzeichnen; sie dürfen nicht als exakte kausale Entscheidungsspur dargestellt werden.

Der Mensch muss die Faktoren, die die Entscheidung tatsächlich bestimmt haben, von lediglich unterstützenden oder für das Ergebnis unerheblichen Faktoren unterscheiden können. Ein hartes Veto, ein Score und eine menschliche Entscheidung dürfen nicht miteinander vermengt werden.

Fehlende Daten dürfen weder als Nullwert noch als negative Tatsache behandelt werden. Das System muss Datenabdeckung, Aktualität und die Behandlung von Datenlücken bei der Entscheidung offenlegen.

Jeder Mensch hat das Recht, falsche, veraltete, einer anderen Person zugeordnete, unvollständige oder aus dem Zusammenhang gerissene Daten, auf denen eine Entscheidung beruht, zu erfahren und zu berichtigen. Die Berichtigung muss in der neuen Entscheidung tatsächlich berücksichtigt werden; die Entscheidung darf nicht anhand eines alten Cache-Eintrags oder Schattendatensatzes wiederholt werden. Eine kontrafaktische Erklärung muss aufzeigen, welche realistische und einschlägige Änderung die Entscheidung oder den Prüfweg verändern könnte. Sie darf kein Ergebnis garantieren und vom Menschen weder eine Änderung seiner Identität oder seiner Grundrechte noch eines unveränderlichen Merkmals verlangen. Die materielle Begründung derselben Entscheidung muss auf der Website, per E-Mail und Telefon, in Dokumenten, verschiedenen Sprachen und menschlichen Supportkanälen miteinander vereinbar sein. Ein in einer Sprache strittiger Indikator darf in einer anderen nicht als definitive Behauptung über eine Straftat oder Schuld erscheinen.

Die Begründung einer Entscheidung muss weder die gesamte private interne Argumentation des Modells noch Quellcode, Geschäftsgeheimnisse oder Sicherheitsschwellen offenlegen. Sicherheit und Vertraulichkeit dürfen jedoch kein Vorwand für so weitgehendes Schweigen sein, dass der Mensch weder weiß, wogegen er Widerspruch einlegen kann, noch welchen Weg zu einer menschlichen Prüfung er beschreiten kann.

Die Erklärung muss in verständlicher Alltagssprache formuliert sein; sie darf den Menschen nicht mit einer Anhäufung technischer Variablen zum Schweigen bringen und muss einen sinnvollen Weg zur Berichtigung oder zum Widerspruch aufzeigen.

Ein Widerspruch besteht nicht darin, dass dasselbe Modell, das die erste Entscheidung traf, dieselben Daten erneut verarbeitet. Für Entscheidungen mit hoher Wirkung, die angefochten werden, muss ein Weg zu einer echten menschlichen oder unabhängigen Prüfstelle bestehen, die aktuelle Daten einsehen und das Ergebnis ändern darf. Wer eine Begründung verlangt, Daten berichtigt oder eine Entscheidung anficht, darf deshalb weder Verzögerungen, schlechtere Leistungen, eine Risikokennzeichnung, den Verlust von Chancen noch andere Vergeltungsmaßnahmen erfahren. Hat eine falsche Begründung oder ein fehlerhafter Datensatz eine wesentliche Entscheidung über Ablehnung, Preisgestaltung, Gesundheit, Einstellung, Kredit, Versicherung, Bildung, Zugang oder öffentliche Vertretung hervorgebracht, genügt es nicht, nur den Datensatz zu berichtigen. Die betroffenen Entscheidungen müssen erneut geprüft und, soweit erforderlich, zurückgenommen sowie ihre Folgen behoben werden.

Institutionen müssen für jede Entscheidung mit hoher Wirkung einen menschen- und maschinenlesbaren Beleg zur Entscheidungsbegründung erstellen. Er muss die Entscheidungsidentität, den tatsächlichen Grund, die Datenherkunft, die Version, die Unsicherheit, den kontrafaktischen Weg und den aktuellen Widerspruchsstatus bewahren.

Eine Begründung macht eine Entscheidung nicht automatisch richtig oder fair. Sie macht jedoch Fehler, sachfremde Regeln, Datenmängel und Verantwortungslücken sichtbar.

Der Mensch muss nicht jeden verborgenen inneren Vorgang einer Entscheidung sehen. Er darf jedoch nicht gezwungen werden, ein Urteil, das in seinem Leben Folgen erzeugt, widerspruchslos hinzunehmen, ohne zu wissen, auf welchen Tatsachen, Regeln und Befugnissen es beruht.

Der Mensch kann nun erkennen, dass sein Gegenüber eine Maschine ist, welche Rolle diese Maschine übernimmt, aus welchem Grund eine Entscheidung getroffen wurde und welche Daten falsch oder unvollständig sein könnten. Doch die Kenntnis der Begründung allein gibt ihm sein Recht nicht zurück. Seda weiß, dass die Entscheidung auf einem fälschlich als Verbindlichkeit gegenüber der öffentlichen Hand geführten Datensatz beruhte. Dennoch kehrt der ihr entgangene Auftrag nicht von selbst zurück. Die falsche Entscheidung muss durch einen Eingriff gestoppt werden, die menschliche Prüfung muss echt sein, die Daten müssen in sämtlichen Systemen berichtigt werden und für den Schaden muss es einen Weg zu Verantwortung und Abhilfe geben.

Leyla kann erfahren, warum die Maschine eine bestimmte Entscheidung traf. Doch eine Erklärung genügt nicht, solange die falsche Gesundheitsentscheidung weiter umgesetzt wird. Bora kann nachvollziehen, wie ein alter Gedächtniseintrag seinen Beförderungsscore beeinflusst hat. Doch die Berichtigung bleibt unvollständig, wenn die verlorene Chance nicht erneut eröffnet wird. Der Mensch muss nicht nur fragen können: „Warum?“ Er muss auch Folgendes tun können:

Widerspruch einlegen. Das Verhalten stoppen. Die Beziehung beenden. Die Befugnis widerrufen. Falsche Daten berichtigen. Die Entscheidung erneut prüfen lassen. Abhilfe für den entstandenen Schaden verlangen.

Denn eine Begründung verleiht dem Menschen eine Stimme. Damit diese Stimme aber das System verändern kann, braucht es einen wirksamen Rechtsweg. Deshalb lautet die nächste grundlegende Bestimmung: ARTIKEL 12 — DER MENSCH KANN WIDERSPRUCH EINLEGEN, STOPPEN, AUSSTEIGEN UND ABHILFE VERLANGEN