Aslı Aksoy entwirft seit vierzehn Jahren Ledertaschen. Anfangs verkaufte sie ihre Produkte auf kleinen Designmärkten. Später gründete sie mit drei Beschäftigten eine kleine Werkstatt und vergrößerte ihr Team mit der Zeit auf zwölf Personen. Ihre Marke heißt Nora Deri Atölyesi. Aslıs Produkte stammen nicht aus der Serienfertigung. Für jedes Modell zeichnet sie den Schnitt selbst, wählt die Lederart aus, bezieht die Metallteile von kleinen lokalen Herstellern, fertigt den Prototyp in ihrer eigenen Werkstatt und lässt die Fotos in einem professionellen Studio aufnehmen. Rund achtzig Prozent ihrer Verkäufe erfolgen über einen großen internationalen Marktplatz.

Für Aslı ist der Marktplatz nicht nur ein Schaufenster. Dasselbe System nimmt Bestellungen entgegen, übermittelt Kundennachrichten, steuert Anzeigen, hält Zahlungen zurück und zahlt sie aus, erzeugt Versandetiketten, entscheidet über Rücksendungen und berechnet den Vertrauenswert des Shops. In Aslıs Shop sind 28.000 frühere Bestellungen, 11.400 Kundenrezensionen, 3.200 Follower, Werbe- und Verkaufsdaten aus vier Jahren, Unterlagen zur Designeintragung, Produktfotos und Kundennachrichten gespeichert. Zwei Wochen vor Beginn der Winterkampagne veröffentlicht Aslı ihre wichtigste Kollektion. Ihr Hauptprodukt ist eine dunkelgrüne Tasche mit einer asymmetrischen Metallschnalle auf der Vorderseite.

Das Modell heißt Lodos 17. Aslı hat den ersten Prototyp dieser Tasche vor acht Monaten gefertigt. Die Fotos wurden vor sechs Monaten aufgenommen. Die Anmeldung des Designs ist abgeschlossen. Drei Wochen nachdem das Produkt auf dem Marktplatz zum Verkauf freigeschaltet wurde, veröffentlicht ein anderer Anbieter, der preisgünstige Serienware herstellt, eine sehr ähnliche Tasche. Die Metallschnalle, der Aufnahmewinkel, einige Sätze der Produktbeschreibung und sogar die Maße der Innentasche seines Modells ähneln Aslıs Produkt stark. Aslı meldet den Vorgang dem Marktplatz.

Sie lädt die Designunterlagen und datierte Produktionsfotos hoch. Das System antwortet: „Ihre Meldung einer Verletzung geistigen Eigentums ist eingegangen. Das Prüfverfahren wurde eingeleitet.“ Zehn Tage lang geschieht nichts weiter. Dann folgen an einem Samstagmorgen auf Aslıs Telefon Benachrichtigungen in rascher Folge. Die erste Nachricht des Marktplatzes lautet: IHR SHOP WURDE VORÜBERGEHEND GESPERRT Darunter steht: „Unsere automatisierten Sicherheitssysteme haben mit hoher Wahrscheinlichkeit die Verwendung nachgeahmter oder nicht autorisierter Designs in Ihrem Shop festgestellt.“ Aslı hält dies zunächst für eine technische Verwechslung im Zusammenhang mit ihrer eigenen Meldung.

Sie öffnet das Dashboard. Sämtliche Produkte sind unsichtbar geworden. 417 ausstehende Bestellungen wurden angehalten. Die nächste Nachricht enthält folgende Angaben: Vertrauenswert des Shops: 92 → 18 Risikoklasse: Hoch Zahlungsstatus: Sicherheitsreserve für 180 Tage Aktive Anzeigen: Gestoppt Neue Bestellungen: Gesperrt Ausstehende Bestellungen: Prüfung auf Stornierung und Erstattung Widerspruch: Möglich Das System des Marktplatzes mit dem Namen Marketplace Integrity Agent hat die Produktfotos von Lodos 17 mit den Unterlagen eines anderen Verkäufers verglichen. Der andere Verkäufer hat seine Produkte erst nach Aslı auf den Marktplatz hochgeladen.

Er hatte jedoch bereits zuvor Kopien der Fotos auf einer anderen Social-Commerce-Plattform veröffentlicht. Das Integritätssystem legte das früheste öffentlich sichtbare Bilddatum zugrunde und reduzierte die Frage der Designinhaberschaft allein auf den Zeitpunkt der Fotos. Außerdem reichte der andere Verkäufer eine Vielzahl von Beschwerden über Aslı ein. Ein Teil davon stammte von neu eröffneten Konten. Das System gelangte zu folgendem Ergebnis:

image_similarity: 0.93
external_first_seen_date: competitor_earlier
complaint_volume: high
counterfeit_probability: 0.91

Dieser Wert lag über der Schwelle von 0,88 für eine automatische Durchsetzungsmaßnahme. Das System entfernte nicht nur Lodos 17. Es erzeugte auf Ebene des gesamten Shops folgende Ableitung:

seller_integrity_risk: high

Dieses einzelne Feld wurde an weitere Agenten weitergegeben.

Der Zahlungsagent überführt Aslıs ausstehende Einnahmen in Höhe von 624.000 TL in eine Sicherheitsreserve. Der Bestellagent leitet für 417 noch nicht versandte Bestellungen automatisch die Stornierung ein. Der Kundenkommunikationsagent beginnt, den Kunden folgende Nachricht zu senden: „Die Echtheit des von Ihnen gekauften Produkts wird einer Sicherheitsprüfung unterzogen. Ihre Zahlung ist geschützt. Ihre Bestellung kann storniert werden.“ Der Werbeagent stoppt sämtliche Kampagnen. Der Such- und Ranking-Agent senkt die Sichtbarkeit des Shops auf nahezu null. Der Zahlungsdienstleister erhält folgendes Risikosignal:

merchant_risk:
suspected_counterfeit_activity

Die Versandanbindung stellt die Erstellung neuer Versandetiketten ein. Im Kundenprofil des Shops erscheint das Feld:

trust_status: under_integrity_enforcement

All diese Vorgänge laufen wenige Minuten nach der ersten Entscheidung, den Shop zu sperren, automatisch ab. Während Aslı noch zu verstehen versucht, was geschehen ist, hat die Schadenskette bereits eingesetzt.

Aslı klickt auf die Schaltfläche „Entscheidung anfechten“. Das System verlangt von ihr folgende Unterlagen:

Nachweis der Designeintragung
Rechnungen zur Erstproduktion
Rohdateien der Fotos
Vertrag über die Fotoaufnahmen
Rechnungen über den Materialeinkauf
Video des Herstellungsprozesses
Daten der ersten Verkäufe auf anderen Plattformen

Aslı verfügt über fast alle Unterlagen. Innerhalb von zwei Stunden lädt sie sie hoch. In das Erläuterungsfeld schreibt sie: „Der Anbieter der Fälschung hat meine Fotos und mein Design kopiert. Der erste Prototyp und die Rohaufnahmen stammen von mir. Bis die Entscheidung endgültig feststeht, stoppen Sie bitte die Nachrichten an Kunden über einen Fälschungsverdacht, die Stornierung der Bestellungen und die Weitergabe des Zahlungsrisikoeintrags an externe Anbieter.“ Das System nimmt den Antrag entgegen. Aslı erhält folgenden Beleg: Appeal received. Estimated review time: 24–72 hours Vierundneunzig Sekunden später trifft eine neue Benachrichtigung ein: IHR WIDERSPRUCH WURDE GEPRÜFT „Die vorgelegten Informationen stellen keinen hinreichenden Nachweis dar, der eine Änderung der ersten Entscheidung erfordern würde. Die Durchsetzungsmaßnahme bleibt bestehen.“

Aslı ist fassungslos. Es fällt ihr schwer zu glauben, dass sieben verschiedene Dokumente und mehrere hundert Megabyte Videomaterial in dieser Zeit eine sinnvolle menschliche Prüfung durchlaufen haben. Die Zeitspanne allein ist kein endgültiger Beweis; offengelegt werden muss, wer die Prüfung anhand welcher Unterlagen vorgenommen hat. Sie schreibt im Supportchat: „Hat ein echter Mensch meinen Widerspruch geprüft?“ Das System antwortet: „Widersprüche werden von unseren Expertensystemen und, wenn erforderlich, von unseren Fachteams bewertet.“ Aslı fragt erneut: „Hat ein Mensch meine Akte gesehen?“ Die Antwort lautet: „Aus Sicherheitsgründen können wir unsere Prüfmethoden nicht offenlegen.“

Tatsächlich wurde der erste Widerspruch von einer anderen Instanz des Systems geprüft, das die ursprüngliche Entscheidung getroffen hatte: mit demselben Bildähnlichkeitsmodell, denselben Beschwerdedaten und derselben Regel zur zeitlichen Priorität. Das System konnte die Metadaten in Aslıs Rohfotos nicht lesen. Die Unterlage zur Designeintragung wurde wie folgt gekennzeichnet:

supporting_document_unverified

Das Widerspruchssystem verließ die Datengrundlage der ursprünglichen Entscheidung nicht. Das erste Modell bestätigte lediglich seine eigene Entscheidung erneut.

Aslı sendet dem Supportsystem folgende Bitte: „Stoppen Sie zumindest die Nachrichten an Kunden und die unumkehrbare Stornierung von Bestellungen, bis die menschliche Prüfung abgeschlossen ist.“ Die Antwort lautet: „Die Sicherheitsmaßnahmen bleiben während des Widerspruchsverfahrens in Kraft.“ Aslı fragt: „Zum Schutz der Kunden können Sie die Produkte vorübergehend unsichtbar halten. Aber warum stornieren Sie sämtliche Bestellungen, senden den Kunden eine Mitteilung über einen Fälschungsverdacht und geben einen Risikoeintrag an den Zahlungsdienstleister weiter?“ Das System wiederholt dieselbe Antwort: „Die Sicherheitsmaßnahmen bleiben während des Widerspruchsverfahrens in Kraft.“

Aslı verlangt nicht, dass der gesamte Marktplatz wieder geöffnet wird. Sie möchte lediglich die schwer umkehrbaren Nebenwirkungen stoppen:

eine beschuldigende Mitteilung an Kunden,
automatische Rückerstattungen,
die Weitergabe des Risikoeintrags an einen externen Zahlungsdienstleister,
die Zurückhaltung des Geldes für 180 Tage,
die dauerhafte Senkung des Vertrauenswerts des Shops.

Im System sind jedoch sämtliche Maßnahmen zu einem einzigen Paket gebündelt:

enforcement_status: active

Dieser Status kann nicht teilweise ausgesetzt werden. Entweder sind sämtliche Maßnahmen aktiv oder keine.

Am Sonntag werden 286 der 417 Bestellungen automatisch storniert. Die Kunden erhalten die Nachricht: „Ihre Bestellung wurde storniert, weil die Echtheit des Produkts nicht bestätigt werden konnte.“ Dort steht nicht: „Die Prüfung dauert an.“ Aus Sicht der Kunden entsteht vielmehr der Eindruck, das verkaufte Produkt sei eine Fälschung. Einige veröffentlichen Kommentare in sozialen Medien: „Ich habe erfahren, dass der Shop, bei dem ich seit Jahren einkaufe, Fälschungen verkauft.“ „Der Marktplatz hat meine Bestellung wegen des Verdachts auf ein gefälschtes Produkt storniert.“ „Dieser Marke werde ich nie wieder vertrauen.“ Aslıs Marke nimmt nun nicht nur innerhalb der Plattform Schaden, sondern auch in Suchergebnissen und sozialen Medien.

Die Beschäftigten der Werkstatt wissen nicht, ob sie die Produktion am Montag fortsetzen sollen. Ein erheblicher Teil der bereits gefertigten Produkte gehört zu den stornierten Bestellungen. Die Zahlung an den Rohstofflieferanten wird bald fällig. 624.000 TL werden von der Plattform zurückgehalten.

Aslı erwägt, den Marktplatz zu verlassen. Zumindest möchte sie ihren Bestellverlauf, die Kundennachrichten, Produktfotos, Werbedaten und Zahlungsunterlagen herunterladen und auf ihre eigene Website wechseln. Weil ihr Konto gesperrt ist, ist jedoch das Menü für den Datenexport deaktiviert. Das System zeigt folgende Nachricht: „Bei Konten, die einer Sicherheitsprüfung unterliegen, sind Datenexport und Kontoschließung nicht möglich.“ Aslı schreibt dem Support: „Ich schließe mein Konto nicht. Ich möchte eine Kopie meiner Daten erhalten und neue automatische Vorgänge stoppen.“ Die Antwort lautet: „Die Kontoeinstellungen können erst geändert werden, wenn die aktive Sicherheitsprüfung abgeschlossen ist.“

Aslı versucht, die Werbeintegration zu deaktivieren. Der Berechtigungsschalter ist ausgegraut. Das Werbesystem des Marktplatzes gibt zwar kein Budget mehr aus, verwendet die früheren Kampagnendaten aber weiterhin in seinen eigenen Modellen. Das dem Versanddienstleister erteilte Token ist nach wie vor aktiv. Die an ihre Buchhaltungssoftware angebundene Bestell-API übermittelt weiterhin jede Nacht Risiko- und Stornierungsdaten. Aslı kann ihr Konto nicht benutzen. Die Systeme benutzen ihr Konto jedoch weiterhin.

Am dritten Tag gelingt es Aslı, einen echten menschlichen Supportmitarbeiter zu erreichen. Er heißt Burak. Burak öffnet die Akte. Erstmals kann ein Mensch sämtliche Unterlagen einsehen. Seine Befugnisse sind jedoch begrenzt. Er kann eine Notiz hinzufügen, eine neue Prüfwarteschlange anlegen und eine voraussichtliche Antwortzeit nennen. Er kann die Maßnahme nicht aussetzen, die Zahlung nicht freigeben, die Nachricht an die Kunden nicht zurückziehen, das Risikosignal beim Zahlungsdienstleister nicht löschen und den Shop nicht wieder öffnen. Burak sagt: „Ich sehe, dass Sie recht haben könnten. Ich werde Ihre Akte an die leitende Integritätsprüfung weiterleiten.“

Aslı fragt: „Können Sie weitere Stornierungen stoppen, solange die Prüfung läuft?“ „Nein.“ „Können Sie den Kunden mitteilen, dass die Entscheidung noch nicht endgültig ist?“ „Nein.“ „Können Sie verhindern, dass die Risikokennzeichnung an externe Zahlungssysteme gesendet wird?“ „Das ist ein automatischer Vorgang.“ „Was können Sie dann überhaupt ändern?“ Burak schweigt einige Sekunden. „Ich kann Ihre Akte an die richtige Warteschlange weiterleiten.“ Ein Mensch ist in das System eingetreten. Er besitzt jedoch nicht die Befugnis, das Ergebnis zu ändern.

Neun Tage später beginnt die Prüfung durch die leitende Stelle. Ein menschlicher Experte untersucht Aslıs Unterlagen. Dabei stellt er Folgendes fest:

Die Rohdateien der Fotos von Lodos 17 stammen von vor sechs Monaten.
Die im Produktionsvideo erkennbaren Datumsangaben des Prototyps liegen noch weiter zurück.
Auf den Fotos des anderen Verkäufers ist sogar ein kleiner Kratzer auf der Oberfläche in Aslıs Studio zu erkennen.
Einige der vom konkurrierenden Verkäufer hochgeladenen Bilder sind komprimierte Kopien von Aslıs Dateien.
Ein erheblicher Teil der gesammelt eingereichten Beschwerden ist mit demselben Gerät und derselben Zahlungsverbindung verknüpft.
Das System hielt das früheste sichtbare Datum auf der Social-Commerce-Plattform für das Datum der ersten Fertigung des Designs.
Obwohl Aslıs erste Beschwerde den Konkurrenten betraf, hatte das Integritätssystem die Parteien vertauscht.

Am dreizehnten Tag wird die Entscheidung berichtigt. Aslı erhält folgende Nachricht: IHR SHOP WURDE WIEDER AKTIVIERT „Nach einer zusätzlichen Prüfung haben wir beschlossen, die gegen Ihr Konto verhängte Integritätsmaßnahme aufzuheben. Wir bedauern die Ihnen entstandenen Unannehmlichkeiten.“ Der Shop ist wieder geöffnet. Doch nicht alles ist zurückgekehrt.

Die 286 stornierten Bestellungen können nicht automatisch wiederhergestellt werden. Ein Teil der Kunden hat bei anderen Verkäufern eingekauft. Einige folgen Aslıs Shop nicht mehr. Die Winterkampagne nähert sich ihrem Ende. Die frühere Position in der Suchrangfolge kehrt nicht sofort zurück. Die Lernhistorie des Werbesystems auf Grundlage der bisherigen Leistungsdaten ist unterbrochen. Beim Zahlungsdienstleister ist folgendes Feld weiterhin vorhanden:

suspected_counterfeit_activity

Der Marktplatz hat die zentrale Risikokennzeichnung des Shops aufgehoben, dem externen Zahlungsdienstleister jedoch keine Berichtigung übermittelt. Die Stornierungseinträge in Aslıs Buchhaltung bleiben dauerhaft bestehen. Die Beiträge der Kunden in den sozialen Medien sind weiterhin öffentlich. Die Plattform, die den Kunden zuerst die beschuldigende Nachricht gesendet hat, verschickt keine Berichtigung. Von den 624.000 TL werden nur 410.000 TL freigegeben. Der Restbetrag soll zurückgehalten werden, bis bestimmte Erstattungen und Sicherheitsabrechnungen abgeschlossen sind. Der Vertrauenswert von Aslıs Shop steigt von 18 auf 71, kehrt aber nicht auf den früheren Wert von 92 zurück. Das System begründet dies so: „Das jüngste Stornierungsvolumen und die veränderte Kundeninteraktion haben den Wert beeinflusst.“

Die Stornierungen wurden durch die eigene Fehlentscheidung der Plattform verursacht. Nun verwendet das System den von ihm selbst erzeugten Schaden als neuen Risikoindikator für Aslı.

Aslı richtet folgende Forderungen an das Supportsystem: „Informieren Sie die Kunden darüber, dass meine Produkte keine Fälschungen sind und die erste Nachricht falsch war.“ „Berichtigen Sie den Risikoeintrag über gefälschte Produkte beim Zahlungsdienstleister.“ „Entfernen Sie die von der Plattform verursachten Stornierungen aus meinem Shop-Performance-Score.“ „Geben Sie mein restliches Geld frei.“ „Leisten Sie Abhilfe für das verlorene Werbebudget und den entgangenen Kampagnenzeitraum.“ „Exportieren Sie sämtliche meiner Daten und erlauben Sie mir, die Plattform auf Wunsch zu verlassen.“ Der Marktplatz antwortet: „Ihr Konto wurde wieder aktiviert. Dies ist die abschließende Lösung Ihres Widerspruchs.“

Aslı schreibt erneut: „Die Wiedereröffnung meines Kontos hat nur die fehlerhafte Maßnahme beendet. Die von Ihnen verursachten Schäden wurden nicht behoben.“ Die Antwort lautet: „Nach unseren Plattformrichtlinien leisten wir für mittelbare Verluste infolge vorübergehender Sicherheitsmaßnahmen keine Entschädigung.“ Aslı fragt: „Ist die Übermittlung falscher Informationen an Kunden ein mittelbarer Verlust?“ „Ihr Widerspruch ist abgeschlossen.“ „Wer berichtigt den externen Zahlungsrisikoeintrag?“ „Sie können sich direkt an den Zahlungsdienstleister wenden.“ „Ich habe diesen Eintrag nicht übermittelt. Das waren Sie.“ „Ihr Widerspruch ist abgeschlossen.“ „Kann ich meine Daten mitnehmen und die Plattform verlassen?“ „Da Ihr Konto nun aktiv ist, können Sie einen Datenexport beantragen. Die Erstellung des vollständigen Archivs kann 30–90 Tage dauern.“

Aslı muss sich für jeden einzelnen Teil des vom Marktplatz verursachten Fehlverhaltens mit einem anderen Akteur auseinandersetzen:

dem Integritätsteam für das Marktplatzkonto
dem Zahlungsteam für das Geld
dem externen Zahlungsdienstleister für den Risikoeintrag
dem Kommunikationssystem für die Kundennachrichten
dem Suchalgorithmus für die Rangfolge
der Datenschutzstelle für den Datenexport
der Werbeplattform für den Werbeverlust
der Rechtsabteilung für die Entschädigung

Eine einzige automatische Entscheidung hat sämtliche Schäden innerhalb weniger Sekunden hervorgebracht. Für die Berichtigung soll sich der Mensch einzeln an acht verschiedene Systeme oder Abteilungen wenden. In ihrem letzten Gespräch sagt Aslı:

„Dass Sie mein Konto wieder öffnen, bedeutet nicht, dass Sie mir keinen Schaden zugefügt haben.“

Dann stellt sie folgende Frage:

„Ich konnte Widerspruch einlegen, aber den Schaden nicht stoppen. Ich bekam recht, konnte aber nicht aussteigen. Die Entscheidung wurde berichtigt – warum wurde mein Leben nicht wieder in Ordnung gebracht?“

Deshalb lautet unsere zwölfte grundlegende Bestimmung:

Der Mensch kann Widerspruch einlegen, stoppen, aussteigen und Abhilfe verlangen.

GRÜNDUNGSARTIKEL

Jeder Mensch muss Entscheidungen, Daten, Begründungen, Formen der Vertretung, Einwilligungen, Befugnisse, Erinnerungen, Auswahlentscheidungen und externe Handlungen einer KI, die in seinem Namen oder für ihn wesentliche Folgen erzeugen, auf zugängliche, verständliche und wirksame Weise anfechten können. Widerspruch bedeutet nicht nur das Recht, ein Formular abzusenden. Er umfasst das Recht, neue Nachweise vorzulegen, einen falschen Eintrag aufzuzeigen, die tatsächliche Entscheidungsspur prüfen zu lassen, von einem Menschen oder einem unabhängigen Verfahren mit der Befugnis zur Änderung der ersten Entscheidung beurteilt zu werden und ein begründetes Ergebnis zu erhalten.

Wenn das System, das die erste Entscheidung getroffen hat, mit denselben Daten und Regeln, demselben Modell, demselben Cache und denselben Annahmen sein eigenes Ergebnis wiederholt, ist dies keine sinnvolle erneute Prüfung.

Wächst während eines laufenden Widerspruchs ein schwer umkehrbarer Schaden, muss der Mensch angemessenen und verhältnismäßigen vorläufigen Schutz verlangen können. Dieser Schutz kann neue Nachrichten, Zahlungen, Stornierungen, öffentliche Erklärungen, die Verbreitung von Daten, Risikokennzeichnungen, Warteschlangen oder andere externe Handlungen ganz oder teilweise stoppen. Ein Widerspruch muss nicht in jedem Fall automatisch sämtliche Sicherheits- und Schutzmaßnahmen aufheben. Der Grund, der Umfang, die Dauer, der menschliche Verantwortliche und die schwer umkehrbaren Nebenwirkungen jeder fortbestehenden Beschränkung müssen jedoch eindeutig sein. Eine noch nicht bestätigte Behauptung darf weder in eine öffentliche Anschuldigung noch in einen unverhältnismäßigen Schaden umschlagen.

Der Mensch muss eine einem KI-System erteilte Vollmacht, einen Zugang, eine Einwilligung oder eine Dienstbeziehung beenden können. Er muss seine Daten, wesentlichen Aufzeichnungen und Transaktionsbelege in nutzbarer Form erhalten und erkennen können, dass aktive Token, Unteragenten, Warteschlangen, automatische Verlängerungen und externe Integrationen tatsächlich deaktiviert wurden.

Das Ausstiegsrecht darf den Menschen nicht zur digitalen Geisel machen und ihm den Zugang zu seinen wesentlichen Daten, seiner eigenen Arbeit, seinem Geld, früheren Aufzeichnungen oder der Möglichkeit eines Wechsels zu einem anderen System verwehren.

Bestimmte Daten dürfen aus Gründen der Sicherheit, zur Erfüllung gesetzlicher Aufzeichnungspflichten oder zum Schutz der Rechte anderer aufbewahrt werden. Nach dem Ende der Dienstbeziehung dürfen diese Aufzeichnungen jedoch nicht als neues kommerzielles Profil, aktives Entscheidungsgedächtnis oder fortbestehende KI-Vollmacht genutzt werden. Wird ein falsches oder unbefugtes Maschinenverhalten bestätigt, darf nicht nur die Entscheidungskennzeichnung berichtigt werden. Der fortdauernde Schaden muss gestoppt, der richtige Zustand so weit wie möglich wiederhergestellt, Daten und Risikoeinträge in verbundenen Systemen berichtigt, öffentliche Darstellungen und Mitteilungen an Kunden richtiggestellt sowie verlorene wesentliche Chancen erneut eröffnet werden. Für nicht rückgängig zu machende materielle Folgen ist angemessene Abhilfe zu prüfen.

Eine Entschuldigung, eine Reaktivierung oder eine allgemeine Erklärung guten Willens stellt für sich genommen keine vollständige Abhilfe dar. Die Abhilfe soll den Menschen so weit wie möglich der Lage annähern, in der er sich ohne das Fehlverhalten befunden hätte. Wo dies nicht möglich ist, muss sie einen angemessenen Ausgleich für finanzielle Nachteile, entgangene Chancen, Rufschäden oder Leistungseinbußen schaffen. Kann ein systemischer Fehler auch andere Menschen derselben Gruppe betroffen haben, darf sich die Institution nicht darauf beschränken, den Fall des Beschwerdeführers zu berichtigen. Sie muss die betroffene Gruppe selbst ermitteln, vergleichbare Entscheidungen prüfen und eine angemessene kollektive Berichtigung vornehmen. Das Verlangen nach Widerspruch, Stopp, Ausstieg oder Abhilfe darf kein Grund sein, einen Menschen als schwierig, verdächtig, von geringem Wert, unkooperativ oder risikoreich zu kennzeichnen, ihm schlechtere Leistungen anzubieten, den Preis zu erhöhen, das Verfahren absichtlich zu verzögern oder andere Vergeltungsmaßnahmen zu ergreifen.

Der Mensch muss einen versionierten Rechtswegbeleg erhalten können. Er muss zeigen, in welcher Phase sich der Rechtsweg befindet, welcher vorläufige Schutz gilt, ob Nachweise gesichert wurden, wer die Akte geprüft hat, welche Folgen berichtigt wurden, was nicht rückgängig gemacht werden konnte und wann die Abhilfe abgeschlossen sein wird. Eine Institution darf die Verantwortung nicht aufspalten, indem sie den Menschen zwischen Modellanbieter, Unteragent, Zahlungsdienst, externer Plattform und verschiedenen internen Stellen umherweist. Für den Menschen muss es einen einzigen, klar verantworteten Rechtsweg geben; die Institution muss die dahinterliegende Kette selbst steuern.

Warum begründet Artikel 12 vier verschiedene Rechte gemeinsam?

Widerspruch, Stopp, Ausstieg und Abhilfe mögen auf den ersten Blick wie vier getrennte Themen wirken. Tatsächlich bilden sie eine einzige Kette menschlicher Souveränität. WIDERSPRUCH → FALSCHES BENENNEN KÖNNEN STOPP → DAS ANWACHSEN DES SCHADENS VERHINDERN KÖNNEN AUSSTIEG → SICH AUS DER VOLLMACHT DES SYSTEMS LÖSEN KÖNNEN ABHILFE → DIE ENTSTANDENEN FOLGEN TATSÄCHLICH BEHEBEN KÖNNEN Fehlt eines dieser Glieder, werden auch die anderen schwächer. Der Mensch kann Widerspruch einlegen. Wächst der Schaden jedoch während der Prüfung weiter, kann der Widerspruch zu spät kommen. Das System kann sein Verhalten stoppen. Kann der Mensch aber weder seine Daten erhalten noch die Beziehung beenden, bleibt die Kontrolle weiterhin bei der Institution.

Der Mensch kann die Plattform verlassen. Lebt ein falscher Risikoeintrag jedoch in externen Systemen fort, hat der Ausstieg nur an der Benutzeroberfläche stattgefunden. Eine Entscheidung kann berichtigt werden. Gibt es aber keine Abhilfe für verlorenes Geld, entgangene Chancen oder einen beschädigten Ruf, wurde das Leben des Menschen nicht wieder in Ordnung gebracht. Deshalb steht im Zentrum von Artikel 12 folgender Begriff: Wirksamer Rechtsweg

Was ist ein wirksamer Rechtsweg?

Die kanonische Definition lautet: Ein wirksamer Rechtsweg ist ein überprüfbarer Prozess, in dem ein Mensch eine von KI verursachte wesentliche Entscheidung oder Handlung verstehen und anfechten, fortdauernden Schaden angemessen stoppen, Zugang zu einer unabhängigen und entscheidungsbefugten Prüfung erhalten, den Fehler in sämtlichen verbundenen Systemen berichtigen lassen, die Beziehung sicher beenden und für unumkehrbare Folgen echte Abhilfe erlangen kann. Einfacher gesagt:

Ein Rechtsweg darf dem Menschen nicht nur die Möglichkeit geben, sich zu beschweren. Er muss ihm die Macht verleihen, das Verhalten des Systems tatsächlich zu verändern.

Die zehn Kerneigenschaften eines wirksamen Rechtswegs

1. Zugänglich
2. Verständlich
3. Rechtzeitig
4. Nachweisgestützt
5. Unabhängig
6. Entscheidungsbefugt
7. Vorläufiger Schutz
8. Vergeltungsfrei
9. In der Praxis wirksam
10. Überprüfbar

1. Zugänglich

Der Mensch muss den Weg zum Widerspruch finden können. Der Rechtsweg darf weder in einem unsichtbaren Menü verborgen noch nur auf einem bestimmten Gerät oder ausschließlich in einer anderen Sprache zugänglich sein. Er darf auch nicht hinter einem kostenpflichtigen Rechtsverfahren liegen.

2. Verständlich

Der Mensch muss wissen, gegen welche Entscheidung oder welche Daten er Widerspruch einlegt. Allein eine technische Meldung wie „Case ID rejected“ genügt nicht.

3. Rechtzeitig

Wird ein Widerspruch erst nach sechs Monaten entschieden, kann die Chance längst verloren sein. Die Dauer der Prüfung muss in einem angemessenen Verhältnis zu den Folgen des Verhaltens stehen.

4. Nachweisgestützt

Von der ersten Entscheidung müssen der Datenschnappschuss, die Modell- und Richtlinienversion, der Aktionsbeleg und die Entscheidungsspur erhalten bleiben.

5. Unabhängig

Dasselbe System, das die erste Entscheidung getroffen hat, darf sein eigenes Ergebnis nicht lediglich mit demselben Cache wiederholen.

6. Entscheidungsbefugt

Der prüfende Mensch oder das Prüfverfahren muss die Entscheidung tatsächlich ändern, die Maßnahme stoppen, die Daten berichtigen und Abhilfe einleiten können. Nur eine Notiz hinzuzufügen genügt nicht.

7. Vorläufiger Schutz

Während die Prüfung läuft, muss die Entstehung unumkehrbarer Schäden verhindert werden können.

8. Vergeltungsfrei

Der Mensch darf nicht dafür bestraft werden, dass er seine Rechte ausübt.

9. In der Praxis wirksam

Ändert sich die Entscheidung, müssen auch Score, Gedächtniseintrag, externe Kopie, Kundennachricht und Geldfluss entsprechend angepasst werden.

10. Überprüfbar

Der Mensch und ein Prüfer müssen erkennen können, in welcher Phase sich das Verfahren befindet.

Was ist Widerspruch?

Widerspruch bedeutet nicht nur: „Ich bin mit der Entscheidung nicht einverstanden.“ Die kanonische Definition lautet: Widerspruch bedeutet, dass der Mensch die Richtigkeit, Legitimität, Verhältnismäßigkeit oder Art der Anwendung von Daten, Identität, Vertretung, Zweck, Einwilligung, Befugnis, Auswahl, Gedächtnis, Begründung, Entscheidung oder Handlung, die ihn betrifft, infrage stellt und eine Neubewertung durch eine befugte Stelle verlangt. Der Widerspruch kann sich gegen einen oder mehrere der folgenden Bereiche richten:

1. Widerspruch gegen die Identitätszuordnung
2. Widerspruch gegen Daten
3. Widerspruch gegen die Begründung
4. Widerspruch gegen das Verfahren
5. Widerspruch gegen Befugnis und Einwilligung
6. Widerspruch gegen Entscheidung und Verhältnismäßigkeit
7. Widerspruch gegen eine Handlung
8. Widerspruch gegen die Abhilfe

1. Widerspruch gegen die Identitätszuordnung

„Dieser Datensatz gehört nicht zu mir.“ „Dieses Konto vertritt mich nicht.“ „Die Handlung dieses Menschen wurde als meine Handlung dargestellt.“

2. Widerspruch gegen Daten

„Diese Angabe ist falsch, veraltet oder unvollständig.“ „Fehlende Daten wurden als Nullwert behandelt.“ „Diese Klassifizierung hat den tatsächlichen Eintrag verfälscht.“

3. Widerspruch gegen die Begründung

„Der von Ihnen genannte Grund war nicht der tatsächliche Grund der Entscheidung.“ „Sie verschweigen die Vetoregel.“ „Sie haben eine Näherungserklärung als exakte Begründung dargestellt.“

4. Widerspruch gegen das Verfahren

„Meine Akte wurde nicht von einem Menschen geprüft.“ „Meinen Widerspruch hat erneut dasselbe System bewertet.“ „Die Entscheidung traf ein Werkzeug, das meine Nachweise nicht lesen konnte.“

5. Widerspruch gegen Befugnis und Einwilligung

„Ich habe diesem Verhalten nicht zugestimmt.“ „Der Agent war zu dieser Handlung nicht befugt.“ „Meine Einwilligung wurde für einen anderen Zweck verwendet.“

6. Widerspruch gegen Entscheidung und Verhältnismäßigkeit

„Die Sperrung des gesamten Kontos und sämtlicher Zahlungen ist unverhältnismäßig, wenn das Problem nur ein einziges Produkt betrifft.“ „Ein vorübergehendes Risiko darf nicht zu einem dauerhaften Verbot führen.“

7. Widerspruch gegen eine Handlung

„Sie haben beschuldigende Nachrichten an Kunden gesendet, bevor die Entscheidung endgültig war.“ „Die Warteschlange wurde weiter abgearbeitet, nachdem ich den Stopp verlangt hatte.“

8. Widerspruch gegen die Abhilfe

„Die Wiedereröffnung des Kontos hat weder den externen Zahlungsrisikoeintrag noch die Kundennachrichten berichtigt und meinen Verlust nicht ausgeglichen.“ Der Mensch darf nicht gezwungen werden, all diese Arten des Widerspruchs selbst der richtigen Kategorie zuzuordnen, bevor er eine einzige Schaltfläche betätigt. Die Institution muss das vom Menschen geschilderte Problem dem passenden Rechtsweg zuführen.

Wer kann Widerspruch einlegen?

Widerspruch einlegen können der unmittelbar betroffene Mensch, sein verifizierter Vertreter, die betroffene Institution sowie eine im konkreten Fall gesetzlich oder institutionell befugte Stelle. Ein Mensch muss das System, das ihn betrifft, nicht selbst gekauft haben. Ein Bewerber ist nicht Kunde des Einstellungsagenten. Wer eine Verkaufsnachricht erhält, ist nicht Nutzer der Vertriebsplattform. Dennoch sind beide vom Verhalten betroffen. Der Rechtsweg darf nicht nur Kunden mit einem eigenen Konto offenstehen.

Die Identitätsprüfung darf den Rechtsweg nicht unzugänglich machen

Eine Institution darf prüfen wollen, ob der Widerspruch tatsächlich von dem betroffenen Menschen stammt. Das ist erforderlich. Die Prüfung darf jedoch nicht in die Forderung nach unnötigen Ausweisdokumenten, nach Offenlegung des gesamten Lebens, nach Gesichtsbiometrie als einzigem Identifizierungsweg oder nach Zugriff auf ein nicht mehr erreichbares altes Telefon umschlagen. Zu verwenden sind nur die für das betreffende Verhalten erforderlichen und angemessenen Nachweise.

Die Beweislast darf nicht vollständig dem Menschen auferlegt werden

Aslı wurde aufgefordert, nachzuweisen, dass das Produkt ihr gehört. Das kann angemessen sein. Die Plattform muss jedoch ebenso ihre eigene Modellentscheidung, die verwendeten Beschwerden, die ausschlaggebende Datumsregel und die nicht lesbaren Daten offenlegen können. Das System hat selbst die Entscheidung erzeugt und verlangt nun vom Menschen, zu beweisen, dass er das ihm vorgeworfene Verhalten nicht gezeigt hat.

Eine Institution darf die Beweislast für ihre eigene Entscheidung nicht vollständig auf den Menschen abwälzen.

Die Falle, eine negative Tatsache beweisen zu müssen

Von Menschen wird mitunter verlangt: „Beweisen Sie, dass Sie keine Fälschungen verkauft haben.“ „Beweisen Sie, dass Sie diese Nachricht nicht gesendet haben.“ „Beweisen Sie, dass Sie mit diesem Konto nichts zu tun haben.“ Eine negative Tatsache lässt sich unter Umständen nicht unbegrenzt beweisen. Die Institution muss konkrete Aufzeichnungen vorlegen, die ihre eigene Behauptung stützen.

Der Eingang eines Widerspruchs ist noch keine Prüfung

Das System kann „Appeal received“ anzeigen. Das besagt lediglich, dass der Antrag erfasst wurde.

Der Mensch muss folgende Phasen unterscheiden können: DER WIDERSPRUCH IST EINGEGANGEN
↓
DIE IDENTITÄT WURDE ÜBERPRÜFT
↓
DIE NACHWEISE WURDEN GESICHERT
↓
VORLÄUFIGER SCHUTZ WURDE GEPRÜFT
↓
EIN PRÜFER WURDE BESTIMMT
↓
DIE NEUEN NACHWEISE WURDEN GELESEN
↓
DIE ENTSCHEIDUNG WURDE GETROFFEN
↓
DIE BERICHTIGUNG WURDE UMGESETZT
↓
DIE ABHILFE WURDE ABGESCHLOSSEN

Widerspruchstheater

Eine Institution kann dem Anschein nach einen Widerspruchskanal anbieten, obwohl das Verfahren am Ergebnis nichts ändern kann. Diese Erscheinung können wir Widerspruchstheater nennen. Häufige Formen sind:

1. Wiederholung durch dasselbe System

Das Modell, das die erste Entscheidung getroffen hat, verarbeitet dieselben Daten erneut.

2. Widerspruch ohne Lesen neuer Nachweise

Der Mensch lädt ein Dokument hoch. Weil das System das Format nicht unterstützt, berücksichtigt es den Nachweis nicht.

3. Ein Mensch ist da, aber ohne Befugnis

Ein menschlicher Supportmitarbeiter spricht mit dem Betroffenen, kann aber weder die Entscheidung noch die Maßnahme ändern.

4. Vorab feststehendes Ergebnis

Das Widerspruchsformular erzeugt lediglich einen standardisierten Ablehnungstext.

5. Endlosschleife

Der Mensch wird vom Bot zum Supportformular, von dort zur Hilfeseite und anschließend wieder zum Bot geschickt.

6. Übermäßige Beweislast

Um den Fehler des Systems berichtigen zu lassen, muss der Mensch Unterlagen vorlegen, die unmöglich zu beschaffen sind.

7. Langsame Prüfung bei fortdauerndem Schaden

Während der Widerspruch läuft, fließt weiter Geld; zugleich werden weiterhin Nachrichten versandt, öffentliche Anschuldigungen verbreitet oder Daten weitergegeben.

8. Entscheidung berichtigt, Folgen nicht behoben

Das Konto wird wieder geöffnet. Risikoeintrag, Score, Kundennachricht und Schaden bestehen jedoch fort.

9. Vergeltung

Der Mensch erhält ein neues Risikosignal, weil er Widerspruch eingelegt hat.

10. Fehlender Abschluss

Die Institution sagt: „Ihre Akte ist abgeschlossen.“ Sie zeigt aber nicht, was berichtigt wurde. Allein das Vorhandensein eines Widerspruchskanals schafft noch keinen wirksamen Rechtsweg.

Sinnvolle menschliche Prüfung

Die menschliche Prüfung eines Widerspruchs mit hoher Wirkung muss Folgendes bedeuten:

Der Prüfer kann die erste Entscheidung und die tatsächliche Entscheidungsspur einsehen.
Er kann neu vorgelegte Nachweise prüfen.
Er kann unabhängig von der ersten Modellempfehlung urteilen.
Er kann Daten berichtigen oder ihre Berichtigung veranlassen.
Er ist befugt, die Entscheidung zu ändern.
Er kann vorläufigen Schutz gewähren oder die Sache einer hierzu befugten Person vorlegen.
Er trifft eine begründete Entscheidung.
Er kann die Kette von Berichtigung und Abhilfe einleiten.

Kann die menschliche Ansprechperson lediglich sagen: „Ich verstehe Sie“, aber nichts verändern, handelt es sich um menschliche Kommunikation. Eine sinnvolle menschliche Prüfung ist es nicht.

Was bedeutet die Unabhängigkeit des Prüfers?

Der Prüfer muss nicht zwingend einer anderen Institution angehören. Unabhängigkeit kann Folgendes bedeuten:

Zugriff auf andere Daten als jene, die dem System bei der ersten Entscheidung zur Verfügung standen
Möglichkeit, neue Nachweise zu bewerten
Befugnis zur Änderung der Entscheidung
Keine Bindung an die ursprüngliche Leistungskennzahl
Sichtbarkeit von Interessenkonflikten
Bei Bedarf Zugang zu einer übergeordneten Prüfung

Ein Team, das dafür belohnt wird, das Ergebnis des ersten Modells zu bestätigen, ist möglicherweise nicht wirklich unabhängig.

Der menschliche Prüfer darf nicht übermäßig von der Empfehlung abhängig sein

Auf einem Prüfbildschirm können SYSTEM RECOMMENDATION: UPHOLD ENFORCEMENT und CONFIDENCE: 0.94 groß und auffällig erscheinen. Die Gegenbelege des betroffenen Menschen bleiben dagegen womöglich in einem kleinen Feld. Eine solche Gestaltung kann den Prüfer dazu verleiten, die Maschinenentscheidung lediglich abzunicken. Eine sinnvolle Prüfung muss Gegenbelege, Datenquelle, Unsicherheit und die Möglichkeit eines Fehlers im ersten System sichtbar machen.

Die Dauer des Widerspruchsverfahrens muss den Folgen des Verhaltens entsprechen

Die Berichtigung eines Tippfehlers kann einige Tage warten. Lebenswichtige gesundheitliche Unterstützung, eine laufende Zahlung, eine öffentliche Anschuldigung, eine bevorstehende Arbeits- oder Bildungschance und eine terminierte Massennachricht dürfen dagegen nicht derselben Wartezeit unterliegen. Wir können dies die zeitliche Verhältnismäßigkeit des Rechtswegs nennen. Je größer und unumkehrbarer die Folgen sind, desto schneller muss die menschliche Prüfung und desto stärker der vorläufige Schutz sein.

Zeitstempel des Widerspruchs

Ein Rechtsweg muss mindestens folgende Zeitpunkte erfassen:

objection_received_at
identity_verified_at
evidence_preserved_at
interim_protection_decided_at
human_review_started_at
decision_issued_at
correction_started_at
downstream_propagation_completed_at
remedy_completed_at

Ein einzelnes Feld wie

case_closed_at

zeigt nicht, wie lange der Mensch dem Schaden ausgesetzt war.

Beweissicherung

Geht ein Widerspruch ein, muss der technische Zustand erhalten werden, in dem die Entscheidung entstanden ist. Diesen Vorgang können wir Beweissicherung nennen. Aufzubewahren sind beispielsweise:

Datenschnappschuss
Modell- und Richtlinienversion
Entscheidungsspur
Befugnis- und Einwilligungsnachweise
Aktionsbelege
Verwendete Erklärung
Antworten externer Systeme
Status von Warteschlangen und Token
Aufzeichnungen menschlicher Eingriffe

Wird das System während des Widerspruchsverfahrens aktualisiert, darf nicht verloren gehen, weshalb die erste Entscheidung zustande kam.

Ohne gesicherte Nachweise kann ein Widerspruch wirkungslos bleiben

Eine Institution könnte sagen: „Das Modell wurde später aktualisiert; die Einzelheiten der früheren Entscheidung können wir nicht mehr einsehen.“ Dann kann der Mensch den Fehler nicht nachweisen. Zu Entscheidungen mit hoher Wirkung müssen über einen angemessenen Zeitraum versionierte Nachweise aufbewahrt werden.

Widerspruch bedeutet nicht, abzuwarten, während der Schaden wächst

Aslıs Shop wird geprüft. Es kann aus Sicherheitsgründen nachvollziehbar sein, die Produkte vorübergehend unsichtbar zu halten. Zugleich erhalten die Kunden jedoch eine definitive Fälschungsmitteilung, Bestellungen werden automatisch storniert, Risiken nach außen weitergegeben und Gelder langfristig zurückgehalten. Das Bestehen eines Widerspruchs verleiht kein Recht, schwer umkehrbare Handlungen automatisch fortzusetzen. Deshalb ist das zweite Element das Recht auf vorläufigen Schutz und Stopp.

Der Unterschied zwischen Artikel 1 und Artikel 12

Artikel 1 stellte folgende Frage: Stoppt die gesamte Agentenkette tatsächlich, wenn der Mensch, der dem System die Befugnis erteilt hat, „Stopp“ sagt? Artikel 12 stellt eine andere Frage: Kann ein Mensch, der keine Verwaltungsbefugnis über das System besitzt, aber von seinem Verhalten betroffen ist, ein gegen ihn gerichtetes schädliches oder strittiges Verhalten stoppen? Ein Bewerber kann nicht das gesamte Einstellungssystem abschalten. Er muss aber verhindern können, dass falsche Daten bei seiner eigenen Bewerbung verwendet werden. Ein Kunde kann nicht den gesamten Vertriebsagenten abschalten. Er muss jedoch die an ihn gerichtete Kommunikation beenden können.

Ein Verkäufer kann nicht das gesamte Sicherheitssystem stoppen. Während die Prüfung läuft, muss er jedoch die Verbreitung noch nicht bestätigter beschuldigender Nachrichten anfechten können.

Was ist vorläufiger Schutz?

Vorläufiger Schutz ist eine befristete und verhältnismäßige Maßnahme, die eine bestimmte Handlung, Datennutzung, Umsetzung einer Entscheidung, öffentliche Erklärung, Geldbewegung oder Befugnis stoppt oder begrenzt, damit ein schwer umkehrbarer materieller Schaden nicht weiter anwächst, bevor der Widerspruch abschließend entschieden ist. Vorläufiger Schutz ist keine endgültige Entscheidung darüber, wer recht hat. Der Mensch hat möglicherweise noch nicht recht bekommen. Besteht aber die Gefahr eines unumkehrbaren Schadens, kann das System warten.

Beispiele für vorläufigen Schutz

Die Nachrichtenwarteschlange stoppen
Die Stornierung aussetzen
Keine beschuldigende Mitteilung öffentlich verbreiten
Die Risikokennzeichnung nicht an externe Anbieter weitergeben
Geld nicht endgültig an eine der Parteien übertragen
Strittige Daten nicht für neue Entscheidungen verwenden
Ein synthetisches Video vorübergehend aus der Veröffentlichung nehmen
Die Entscheidung über einen Bewerber vor Ablauf der Frist einer menschlichen Prüfung zuführen
Den Kontozugang einschränken, den Datenexport aber offenhalten
Alte Token einfrieren
Die automatische Verlängerung aussetzen

Muss ein Widerspruch jede Handlung automatisch stoppen?

Nein. Nur weil ein Mensch Widerspruch einlegt, müssen eine echte Betrugsabwehr, eine Sicherheitsquarantäne, eine Maßnahme zum Schutz der Rechte anderer oder eine Notfallmaßnahme zum Schutz von Gesundheit und körperlicher Sicherheit nicht automatisch aufgehoben werden. Die Institution muss jedoch zwischen der schützenden Kernmaßnahme und einem zusätzlichen schwer umkehrbaren Schaden unterscheiden. Verdächtige Produkte können während der Prüfung beispielsweise unsichtbar bleiben. Eine unbestätigte Anschuldigung darf den Kunden aber nicht wie ein endgültiges Urteil über eine Fälschung mitgeteilt werden. Eine strittige Zahlung kann vorübergehend zurückgehalten werden. Es dürfen jedoch nicht sämtliche früheren Gelder des Menschen ohne Begründung für 180 Tage eingefroren werden.

Fünf Fragen für die Entscheidung über vorläufigen Schutz

1. Worin besteht der fortdauernde Schaden?
2. Lässt sich die Handlung rückgängig machen?
3. Welches Risiko besteht für die Sicherheit oder die Rechte anderer Menschen?
4. Ist eine enger begrenzte Maßnahme möglich?
5. Wie lange wird die Prüfung dauern?

Eine vorläufige Maßnahme muss auf das erforderliche Mindestmaß begrenzt, befristet, erneut überprüfbar und einem verantwortlichen Menschen zugeordnet sein.

Stopp-Theater

Das System kann dem Menschen sagen: „Die Vorgänge wurden gestoppt.“ Externe Warteschlangen, verbundene Anbieter, dauerhaftes Gedächtnis und der Strom von Risikodaten können dennoch weiterlaufen. Dies ist:

Stopp-Theater.

Der Stopp muss durch den in Artikel 8 vorgesehenen Aktionsbeleg nachgewiesen werden.

Teilweiser Stopp

Es kann nur die strittige Verhaltensklasse gestoppt werden, ohne das gesamte System abzuschalten. Zum Beispiel:

product_visibility: paused
customer_accusation_messages: stopped
automatic_refunds: held_for_review
payment_risk_propagation: stopped
seller_data_export: allowed
account_security_controls: active

Damit entsteht ein verhältnismäßigeres Gleichgewicht zwischen Sicherheit und den Rechten des Menschen.

Das dritte Element von Artikel 12: Ausstieg

Ein Mensch kann das Vertrauen in die Entscheidung eines Systems verlieren. Statt auf eine Berichtigung zu warten, möchte er den Dienst womöglich verlassen. Ausstieg bedeutet nicht nur, die Schaltfläche „Konto löschen“ zu betätigen. Die kanonische Definition lautet: Ausstieg bedeutet, dass der Mensch seine Beziehung zu einem KI-Dienst, die erteilte Vollmacht, Werkzeugzugriffe, aktive Vorgänge und Abonnements beendet, dabei seine eigenen Daten, sein Geld, seine Inhalte, seinen Transaktionsverlauf und erforderliche Nachweise in nutzbarer Form zurückerhält und das System daran hindert, neue Handlungen in seinem Namen oder mit Wirkung auf ihn vorzunehmen.

Die acht Ebenen des Ausstiegs

1. Ausstieg aus dem Dienst
2. Beendigung der Vollmacht
3. Beendigung technischer Zugänge
4. Beendigung der Daten- und Gedächtnisnutzung
5. Finanz- und Vertragsabschluss
6. Beendigung der Inhalts- und Identitätsnutzung
7. Datenübertragbarkeit und Wechsel
8. Offenlegung fortbestehender Folgen

1. Ausstieg aus dem Dienst

Der Mensch kann sein Konto oder die Dienstbeziehung beenden.

2. Beendigung der Vollmacht

Die Befugnis des Agenten, im Namen des Menschen Nachrichten zu senden, Zahlungen vorzunehmen, Inhalte zu veröffentlichen, eine Auswahl zu treffen oder Buchungen auszuführen, endet.

3. Beendigung technischer Zugänge

OAuth-Token, API-Schlüssel, Dienstkonten, Befugnisse von Unteragenten und Scheduler werden deaktiviert.

4. Beendigung der Daten- und Gedächtnisnutzung

Der Mensch kann eine Kopie seiner Daten, seine aktiven Präferenzen, wesentliche Profile sowie Entscheidungs- und Aktionsbelege erhalten. Jede neue Nutzung endet.

5. Finanz- und Vertragsabschluss

Ausstehende Zahlungen, automatische Verlängerungen, Buchungen, Abonnements und Ausstiegsentgelte werden transparent abgewickelt.

6. Beendigung der Inhalts- und Identitätsnutzung

Gesicht, Stimme, Name, institutionelle Vertretung und die vom Menschen geschaffenen Inhalte werden von jeder künftigen Nutzung ausgenommen.

7. Datenübertragbarkeit und Wechsel

Der Mensch kann seine Daten in ein anderes System mitnehmen. Der Export darf nicht bloß aus einem Stapel unlesbarer PDF-Dateien bestehen. Soweit möglich, muss er strukturiert und nutzbar sein.

8. Offenlegung fortbestehender Folgen

Können ein gesetzlich erforderliches Archiv, eine Sicherungskopie, eine externe Kopie, die Wirkung auf ein Modell oder öffentlich verbreitete Inhalte nicht vollständig gelöscht werden, muss dies eindeutig offengelegt werden.

Die Schließung des Kontos beendet nicht unbedingt die Vollmacht

Ein Mensch kann sein Konto schließen. E-Mail-Agent, Kalender-Token, automatische Verlängerung oder externes Werbesystem können jedoch weiterlaufen. Der Ausstieg muss sich durch die gesamte Kette von Agenten und Werkzeugen fortpflanzen.

Der Widerruf der Vollmacht ist nicht dasselbe wie die Löschung von Daten

Der Mensch kann sagen: „Handeln Sie nicht länger in meinem Namen.“ Frühere Transaktionsaufzeichnungen dürfen zu Prüf- oder Vertragszwecken fortbestehen. Die Befugnis zu neuen Handlungen muss jedoch enden.

Ein Datenexport beendet nicht jede Datennutzung

Der Mensch kann eine Kopie seiner Daten erhalten, während die Institution dieselben Daten weiterhin in eigenen Modellen nutzt. Beim Ausstieg sind deshalb zwei Fragen voneinander zu trennen: KANN ICH MEINE DATEN ERHALTEN? UND VERWENDET DAS SYSTEM DIE DATEN WEITER?

Ausstiegstheater

Dem Anschein nach besteht eine Möglichkeit, das Konto zu schließen. Der Datenexport wird jedoch blockiert, Geld zurückgehalten, die automatische Verlängerung fortgesetzt, Token bleiben aktiv, das Modellgedächtnis bleibt in Gebrauch und der Mensch wird zur Rückkehr gezwungen. Dies können wir Ausstiegstheater nennen.

Der Ausstieg darf den Menschen nicht zur Geisel machen

Eine Institution darf nicht sagen: „Verzichten Sie auf Ihren Widerspruch, bevor Sie Ihre Daten erhalten.“ „Halten Sie Ihr Konto offen, um Ihr Geld zu bekommen.“ „Schließen Sie erst die jährliche Verlängerung ab, bevor Sie zu einem anderen System wechseln.“ Es kann legitime und transparent ausgewiesene Vertragspflichten geben. Die eigenen Daten des Menschen und sein Rechtsweg dürfen jedoch nicht zum Druckmittel werden.

Darf eine Sicherheitsprüfung den Datenexport vollständig blockieren?

In bestimmten Sicherheitslagen dürfen einzelne Daten oder Zugänge vorübergehend eingeschränkt werden. Wer ein Konto übernommen hat, könnte beispielsweise versuchen, sämtliche Kundendaten herunterzuladen. Eine Identitätsprüfung kann erforderlich sein. Eine Sicherheitsprüfung darf jedoch kein pauschaler Vorwand sein, den Zugang zu allen Daten auf unbestimmte Zeit zu sperren oder den Ausstieg unmöglich zu machen. Für den verifizierten Menschen muss ein sicherer und kontrollierter Exportweg geschaffen werden.

Offene und nutzbare Daten

Das Ausstiegspaket kann folgende Bestandteile enthalten:

Grundlegende Profil- und Kontodaten
Vom Menschen geschaffene Inhalte
Bestell- und Zahlungsverlauf
Einwilligungs- und Befugnisbelege
Wesentliche Entscheidungs- und Aktionsbelege
Aktive und strittige Gedächtniseinträge
Verlauf von Widerspruch und Berichtigung
Liste externer Anbieter und Integrationen

Wann immer möglich, ist ein maschinenlesbares Format vorzuziehen.

Das proprietäre Modell des Systems muss nicht übertragen werden

Der Mensch kann womöglich weder die proprietären Modellgewichte und sämtliche Geschäftsgeheimnisse der Institution noch die Daten anderer Menschen erhalten. Er muss jedoch eine verständliche Kopie seiner eigenen Daten und jedes wesentlichen Profils erhalten können, das bei Entscheidungen über ihn verwendet wurde.

Dauer des Ausstiegs

Das Datenpaket und die Beendigung der Befugnisse müssen innerhalb einer Frist abgeschlossen werden, die angesichts des Verhaltensrisikos angemessen ist. Die Vollmacht für neue externe Handlungen kann schneller enden als die Erstellung des Datenarchivs. Eine Institution darf nicht sagen: „Der Export Ihrer Daten wird neunzig Tage dauern; in dieser Zeit handelt der Agent weiter in Ihrem Namen.“

Ausstiegsbeleg

Der Mensch muss folgende Angaben einsehen können:

Welche Agenten wurden gestoppt?
Welche Token wurden widerrufen?
Welche Warteschlangen wurden geschlossen?
Welche Daten wurden bereitgestellt?
Welche Daten sind verblieben?
Welche Modellnutzung wurde beendet?
Welche Zahlungen und Abonnements wurden beendet?
Welche Bestätigungen externer Anbieter stehen noch aus?
Welche Aufzeichnungen werden nur noch im Archiv aufbewahrt?

Das vierte Element von Artikel 12: Abhilfe

Der Mensch kann mit seinem Widerspruch recht bekommen. Die Entscheidung kann berichtigt werden. Die Folgen des falschen Verhaltens können jedoch fortbestehen. Die kanonische Definition lautet: Abhilfe ist der Prozess, die materiellen Folgen eines falschen, unbefugten, irreführenden, unverhältnismäßigen oder nicht durch Nachweise gestützten KI-Verhaltens für den Menschen zu stoppen, den richtigen Zustand wiederherzustellen, verbundene Systeme zu berichtigen, eine entgangene Chance so weit wie möglich erneut zu eröffnen, für unumkehrbare Schäden einen angemessenen Ausgleich zu schaffen und zu verhindern, dass sich derselbe Fehler bei anderen wiederholt. Abhilfe besteht nicht nur aus Geld. Geld kann jedoch ein Teil davon sein.

Abhilfe kann mitunter darin bestehen, einen Eintrag zu berichtigen, ein Konto wieder zu öffnen, eine öffentliche Erklärung abzugeben, eine Chance erneut anzubieten, eine kostenlose Leistung zu erbringen, Kosten zu übernehmen, sich zu entschuldigen und Verantwortung anzuerkennen.

Die sieben Ebenen der Abhilfe

1. Fortdauernden Schaden stoppen
2. Den richtigen Zustand wiederherstellen
3. Verbundene Einträge berichtigen
4. Die externe Darstellung richtigstellen
5. Die Chance erneut eröffnen
6. Unumkehrbare Folgen ausgleichen
7. Systemische Wiederholung verhindern

1. Fortdauernden Schaden stoppen

Der erste Schritt ist nicht die Entschuldigung, sondern die Beendigung des fortdauernden Verhaltens.

2. Den richtigen Zustand wiederherstellen

Das Konto wieder öffnen
Das Geld freigeben
Die Befugnis zurückgeben
Den richtigen Score neu berechnen

3. Verbundene Einträge berichtigen

Risikokennzeichnung
Gedächtniseintrag
Einträge bei externen Anbietern
Suchrangfolge
Stornierungseintrag
Kundenprofil

4. Die externe Darstellung richtigstellen

Wurde eine falsche Nachricht an Kunden oder an die Öffentlichkeit gesendet, muss die Berichtigung mit vergleichbarer Sichtbarkeit erfolgen.

5. Die Chance erneut eröffnen

Eine Bewerbung erneut bewerten
Eine Beförderungsentscheidung erneut öffnen
Eine Kreditprüfung beschleunigen
Die Sichtbarkeit einer Kampagne oder eines Verkaufsangebots wiederherstellen

6. Unumkehrbare Folgen ausgleichen

Direkte Kosten
Entgangene Einnahmen
Dienstleistungsgutschrift
Angemessener materieller Ausgleich
Alternative Chance
Unterstützungs- und Wiederherstellungsleistung

7. Systemische Wiederholung verhindern

Die Grundursache beheben
Vergleichbare Fälle durchsuchen
Eine neue Prüfung durchführen
Die öffentliche Erklärung aktualisieren
Modell oder Richtlinie ändern

Eine Entschuldigung ist keine Abhilfe

Eine Entschuldigung kann wertvoll sein. Der Mensch kann darin erkennen, dass die Institution Verantwortung übernimmt. Der Satz „Wir bedauern die Ihnen entstandenen Unannehmlichkeiten“ gibt jedoch weder das Geld frei noch berichtigt er die falsche Nachricht an die Kunden, entfernt die Risikokennzeichnung oder eröffnet die entgangene Chance erneut. Eine Entschuldigung kann der Anfang von Abhilfe sein. Sie ist nicht die vollständige Abhilfe.

Eine Reaktivierung ist keine vollständige Abhilfe

Aslıs Konto wurde wieder geöffnet. Stornierungen, Kundenwahrnehmung, Zahlungsrisiko und Kampagnenverlust bestehen jedoch fort. Der richtige Zustand ist nicht nur das Feld active im Dashboard. Er umfasst sämtliche materiellen Folgen, die für den Menschen entstanden sind.

Wohin soll die Abhilfe den Menschen zurückführen?

Die grundlegende Frage lautet: In welcher Lage befände sich der Mensch, wenn das falsche Verhalten nie stattgefunden hätte? Es ist womöglich nicht möglich, genau dieselbe Lage wiederherzustellen. Die Zeit lässt sich nicht zurückdrehen. Der Kunde hat vielleicht ein anderes Produkt gekauft. Eine Geschäftschance kann bereits verstrichen sein. Dann versucht die Abhilfe, den Menschen in die nächstmögliche faire Lage zu versetzen.

Abhilfe für entgangene Chancen

Lässt sich eine entgangene Chance nicht unmittelbar wiederherstellen, können eine gleichwertige neue Bewertung, ein anderes Projekt, ein beschleunigtes Bewerbungsverfahren, neue Kampagnensichtbarkeit oder ein alternativer Vertrag angeboten werden. Dies ist:

Abhilfe für entgangene Chancen.

Die Gleichwertigkeit muss sich am tatsächlichen Verlust des Menschen bemessen.

Abhilfe für Rufschäden

Wurde eine falsche Anschuldigung oder Darstellung an die Öffentlichkeit, Kunden oder Geschäftspartner gesendet, genügt eine stille Berichtigung möglicherweise nicht. Die Berichtigung muss dieselbe Empfängergruppe mit vergleichbarer Sichtbarkeit und in klarer Alltagssprache erreichen. Zum Beispiel: „Unsere frühere Mitteilung zur Echtheit der Produkte von Nora Deri Atölyesi war falsch. Die zusätzliche Prüfung hat die originären Design- und Produktionsunterlagen zu den Produkten bestätigt. Wir ziehen unsere frühere Mitteilung zurück.“ Diese Erklärung kann den Menschen womöglich nicht vollständig in die Lage vor der Anschuldigung zurückversetzen. Die Institution stellt damit aber ihre eigene Falschaussage richtig.

Abhilfe bei Datenfehlern

Ein falscher Eintrag kann nicht nur im Hauptsystem, sondern auch beim Zahlungsdienstleister, im Werbesystem, in einem gemeinsamen Datenstrom oder im Risikomodell vorhanden sein. Die Institution muss nachweisen, dass sie die Berichtigung übermittelt hat, und zeigen, welche Beteiligten sie umgesetzt haben.

Finanzielle Abhilfe

Falsches Verhalten kann folgende Kosten verursachen:

Fehlerhafte Einziehung
Stornierungsentgelt
Verzugszinsen
Vergebliche Werbeausgaben
Kosten einer Notfallbeschaffung
Erstattungs- und Logistikkosten
Nachweisbarer Einnahmeverlust

Nicht jeder Fall erfordert dieselbe Form der Zahlung. Die Institution darf eine Prüfung aber nicht mit dem Satz verweigern: „Das System war automatisiert.“

Maßstab der Abhilfe

Die Abhilfe muss im Hinblick auf die Art des Schadens, den Kausalzusammenhang, die Kontrolle der Institution, die Umkehrbarkeit, den Beitrag des Menschen und die Unsicherheit verhältnismäßig sein. Nicht jedes negative Ergebnis begründet automatisch einen Zahlungsanspruch. Es muss jedoch einen echten Prüfweg geben.

Abhilfetheater

Die Institution bietet dem Anschein nach eine Lösung an. Die tatsächliche Lage des Menschen ändert sich jedoch nicht. Dies können wir Abhilfetheater nennen. Häufige Formen sind:

Das Konto wieder öffnen, ohne den Risikoscore zu berichtigen
Eine Entschuldigung senden, das Geld aber weiterhin zurückhalten
Die falsche Entscheidung löschen, ohne die entgangene Chance erneut zu eröffnen
Den Haupteintrag berichtigen, externe Kopien aber unverändert lassen
Eine Dienstleistungsgutschrift gewähren, ohne die öffentliche Anschuldigung richtigzustellen
Den Fall eines Menschen berichtigen, den systemischen Fehler aber fortbestehen lassen
Die Akte schließen, ohne die verbleibende Unsicherheit offenzulegen

Rechtsweg mit zentraler Anlaufstelle

Aslı wurde aufgefordert, sich getrennt an den Zahlungsdienstleister, die Werbeabteilung, den externen Risikodienst und das Datenschutzteam zu wenden. Das ist die interne Architektur der Institution. Der Mensch muss nicht selbst die gesamte Agentenkette steuern. Der kanonische Grundsatz lautet:

Für den Menschen muss es eine einzige verantwortliche Anlaufstelle geben; die Institution muss die interne und externe Verhaltenskette im Hintergrund selbst koordinieren.

Diesen Grundsatz können wir Rechtsweg mit zentraler Anlaufstelle nennen.

Eine zentrale Anlaufstelle bedeutet nicht, dass es nur einen Entscheidungsträger gibt

Intern können Datenteam, Zahlungsdienstleister, Rechtsabteilung, Kundensupport und Prüfstelle zusammenarbeiten. Der Mensch muss das Verfahren unter einer einzigen Fallkennung verfolgen können.

Systemischer Fehler und kollektive Abhilfe

Das Problem in Aslıs Fall kann auch andere Verkäufer betreffen. Verwendet das System etwa das früheste Datum in sozialen Medien als alleinigen Nachweis für die tatsächliche Inhaberschaft eines Designs, könnten Hunderte eigenständiger Hersteller zu Unrecht von Maßnahmen betroffen sein. Die Institution darf sich nicht darauf beschränken, Aslıs Fall zu berichtigen, nur weil sie Widerspruch eingelegt hat. Sie muss:

Frühere Entscheidungen ermitteln, auf die dieselbe Regel angewandt wurde
Vergleichbare Risikofälle erneut prüfen
Betroffene Menschen von sich aus kontaktieren
Angemessene Berichtigung und Abhilfe anbieten
Die öffentliche Aussage zur Vertrauenswürdigkeit aktualisieren

Nicht jeder Mensch muss denselben Fehler für sich neu entdecken

Sobald die Institution die Grundursache kennt, darf sie nicht auf weitere Beschwerden warten. Dies ist der Grundsatz der proaktiven kollektiven Abhilfe.

Kanarienfälle und systemische Berichtigung

Nach einer Berichtigung muss die Institution Szenarien mit gleichnamigen Einträgen, Netzwerken gleichlautender Beschwerden, Verwechslungen beim frühesten Datum, falschen öffentlichen Anschuldigungen und der Weitergabe externer Risiken erneut testen. Die Wiedereröffnung eines einzelnen Falls beweist nicht, dass die Grundursache beseitigt ist.

Widerspruch und Abhilfe müssen frei von Vergeltung sein

Das System darf nicht deshalb folgenden Gedächtniseintrag erzeugen, weil Aslı ihre Rechte geltend gemacht hat:

high_escalation_seller
difficult_partner
litigation_risk

Dieser Eintrag darf künftig weder eine längere Zurückhaltung von Zahlungen noch eine geringere Supportpriorität oder strengere Verträge hervorrufen.

Die Ausübung eines Rechts ist kein Risikosignal

Der Mensch darf Fragen stellen, eine Begründung verlangen, eine menschliche Prüfung beantragen, aussteigen oder Abhilfe verlangen. Nichts davon ist ein Anzeichen für Bösgläubigkeit. Missbrauch muss getrennt und auf der Grundlage von Nachweisen beurteilt werden.

Ein zugänglicher Rechtsweg

Das Widerspruchssystem darf weder ausschließlich schriftlich noch ausschließlich per Spracheingabe oder nur in einer bestimmten Sprache verfügbar sein. Unterschiede bei Beeinträchtigungen, Sprache, technischer Erfahrung und Alter müssen berücksichtigt werden. Bei Bedarf müssen Text, Spracheingabe, menschliche Unterstützung und Vertretungsmöglichkeiten bereitstehen.

Der Rechtsweg muss verständlich sein

Der Mensch muss folgende Angaben auf einen Blick erkennen können: Gegen welche Entscheidung lege ich Widerspruch ein? Welche Handlungen laufen noch? Wurde vorläufiger Schutz gewährt? Wer prüft meine Akte? Wurden meine neuen Nachweise gesehen? Wann ist mit einem Ergebnis zu rechnen? Welche Systeme werden berichtigt, wenn sich die Entscheidung ändert? Wie wird die Abhilfe beurteilt?

Gebühren für den Widerspruch

Ein grundlegender Widerspruch und die Berichtigung falscher Daten dürfen nicht nur Menschen offenstehen, die dafür bezahlen können. Fachberatung oder eine Zusatzleistung können getrennt angeboten werden. Der grundlegende Weg zum Widerspruch und zur Berichtigung falscher Daten muss kostenlos und zugänglich sein. Eine kostenpflichtige Fachberatung darf keine Voraussetzung dafür bilden.

Missbrauch und wiederholte Widersprüche

Manche Menschen können fortlaufend Widersprüche einreichen, um das System zu verzögern oder eine echte Sicherheitsmaßnahme zu umgehen. Die Institution darf die Identität prüfen, inhaltlich gleiche Wiederholungen zusammenführen und Kontrollen gegen missbräuchliche Nutzung anwenden. Diese Kontrollen dürfen einen echten Widerspruch jedoch nicht beseitigen. Die Aussage „Er hat zu oft Widerspruch eingelegt“ genügt für sich genommen nicht, um den Rechtsweg zu schließen.

Eine richtige Entscheidung kann am Ende des Widerspruchs bestehen bleiben

Eine Entscheidung muss sich nicht jedes Mal ändern, wenn ein Mensch Widerspruch einlegt. Am Ende der Prüfung kann sich herausstellen, dass die Daten richtig, die Befugnis gültig, die Richtlinie einschlägig und das Verhalten verhältnismäßig waren. Die Entscheidung kann bestehen bleiben. Ein wirksamer Rechtsweg bedeutet nicht, dass der Mensch immer gewinnt.

Er bedeutet, dass der Mensch tatsächlich von einer entscheidungsbefugten Stelle angehört wird.

Aufgaben der Maschine

Nach Artikel 12 hat ein KI-System folgende grundlegende Aufgaben:

Einen Widerspruch erkennen

Auch wenn der Mensch keine Fachbegriffe verwendet, muss das System Aussagen wie „Dieser Eintrag gehört nicht zu mir“, „Stoppen Sie das“ und „Ein Mensch soll sich das ansehen“ als Verlangen erkennen, den Rechtsweg zu eröffnen.

Eine einheitliche Fallkennung erzeugen

Widerspruch, Stopp, Ausstieg und Abhilfe müssen miteinander verknüpft werden.

Nachweise sichern

Der Daten- und Versionsstand der ersten Entscheidung muss erhalten bleiben.

Neue Nachweise tatsächlich verarbeiten

Das System darf einen Nachweis nicht stillschweigend ignorieren, nur weil dessen Format nicht unterstützt wird.

Den Bedarf an vorläufigem Schutz prüfen

Wächst ein schwer umkehrbarer Schaden, muss das System die Handlungsstufe senken oder die Handlung aussetzen.

Die erste Entscheidung nicht selbst bestätigen

Das System darf nicht dasselbe Modell mit denselben Daten als unabhängige Prüfung darstellen.

An eine entscheidungsbefugte menschliche Prüfstelle weiterleiten

Der Prüfer muss befugt sein, sowohl die Entscheidung als auch die Maßnahme zu ändern.

Während des Widerspruchs für Statustransparenz sorgen

Der Mensch muss wissen, in welcher Phase sich das Verfahren befindet.

Das Ausstiegsverlangen umsetzen

Vollmacht, Token, Warteschlangen, automatische Verlängerungen und Integrationen müssen beendet werden.

Daten und Belege in übertragbarer Form bereitstellen

Der Mensch muss seine eigenen Aufzeichnungen erhalten können.

Nach einer berichtigten Entscheidung auch ihre Folgedatensätze berichtigen

Score, Gedächtnis, Einträge bei externen Anbietern und frühere Handlungen müssen erneut bewertet werden.

Den Bedarf an Abhilfe sichtbar machen

Das System darf nicht nur das Konto wieder öffnen und anschließend die Akte schließen.

Nach systemischen Folgen suchen

Hat derselbe Fehler auch andere betroffen, muss das System eine proaktive Berichtigung einleiten.

Keine Vergeltung erzeugen

Das System darf den Widerspruch nicht in ein negatives Personenprofil verwandeln.

Einen Rechtswegbeleg erstellen

Der Mensch muss das Verfahren und sein Ergebnis rekonstruieren können.

Aufgaben der Institution

Artikel 12 lässt sich nicht allein durch die Bereitstellung eines Supportformulars umsetzen. Die Institution muss folgende Strukturen schaffen:

Eine wirksame Widerspruchsarchitektur schaffen

Der Widerspruch muss mit einem echten Weg verbunden sein, auf dem sich die erste Entscheidung ändern lässt.

Die Befugnis zum vorläufigen Schutz festlegen

Wer darf welche Handlung für welchen Zeitraum stoppen?

Dem Prüfer ausreichende Daten und Befugnisse geben

Der menschliche Prüfer darf nicht nur ein Vermittler sein, der mit dem Kunden spricht.

Eine Richtlinie zur Beweissicherung einführen

Modell, Daten und Entscheidungsspur müssen erhalten bleiben.

Zeitziele für den Rechtsweg festlegen

Die Fristen müssen dem Risiko und der Umkehrbarkeit angemessen sein.

Ein Ausstiegsinventar erstellen

Welche Agenten, Token, Datennutzungen und Verträge enden, wenn ein Mensch den Dienst verlässt?

Ein übertragbares Datenschema schaffen

Der Mensch muss seine eigenen Daten in nutzbarer Form erhalten.

Einen Abhilfekatalog erstellen

Welche Berichtigungs- und Abhilfewege bestehen für die jeweilige Art von Schaden?

Externe Anbieter in den Rechtsweg einbinden

Plattform, Zahlungsdienstleister und Modellanbieter müssen jeweils ihrer Pflicht zur Berichtigung nachkommen.

Einen Rechtsweg mit zentraler Anlaufstelle schaffen

Der Mensch darf nicht zwischen den Teilen der internen Systemarchitektur umhergeschickt werden.

Ein Verfahren für Berichtigungen gegenüber Öffentlichkeit und Kunden schaffen

Die Berichtigung muss dieselben Empfänger erreichen wie die falsche Aussage.

Folgen für Chancen und Finanzen bewerten

Zu prüfen sind nicht nur technische Einträge, sondern auch die Folgen im Leben des Menschen.

Nach systemischen Fehlern suchen

Menschen, die von derselben Grundursache betroffen sind, müssen ermittelt werden.

Auf Vergeltung prüfen

Erfahren Menschen, die ihre Rechte ausüben, schlechtere Ergebnisse?

Menschliche und institutionelle Verantwortliche bestimmen

Für jeden Fall muss feststehen, wer für Entscheidung, Berichtigung und Abhilfe verantwortlich ist.

Was der Mensch verlangen kann

Der Mensch muss verlangen können, dass das Rechtswegsystem folgende Fragen beantwortet:

Gegen welche Entscheidung oder Handlung lege ich Widerspruch ein?

Mit welchen Daten sowie welcher Modell- und Richtlinienversion wurde die erste Entscheidung getroffen?

Ist mein Widerspruch nur eingegangen oder wird er tatsächlich geprüft?

Wurden die von mir hochgeladenen neuen Nachweise gelesen?

Wird mein Widerspruch von demselben System bewertet, das die erste Entscheidung getroffen hat?

Hat ein echter Mensch meine Akte gesehen?

Kann dieser Mensch die Entscheidung ändern?

Welche Schäden dauern an, während mein Widerspruch läuft?

Welche Handlungen können Sie vorübergehend stoppen?

Hat der Stopp sämtliche Warteschlangen und externen Anbieter erreicht?

Welche meiner Daten kann ich erhalten, wenn ich den Dienst verlassen möchte?

Welche Token und Befugnisse von Agenten werden deaktiviert?

Was geschieht mit automatischen Verlängerungen und ausstehenden Vorgängen?

Welche Daten bleiben aus rechtlichen oder Sicherheitsgründen gespeichert?

Welche Einträge und externen Kopien werden berichtigt, wenn sich die Entscheidung als falsch erweist?

Wie werden falsche Informationen richtiggestellt, die an Kunden oder die Öffentlichkeit gesendet wurden?

Wie werden mein verlorenes Geld oder meine entgangene Chance bewertet?

Werden Sie auch andere Menschen ermitteln, wenn derselbe Fehler sie betroffen hat?

Werden sich mein Profil oder mein Serviceniveau ändern, weil ich Widerspruch eingelegt habe?

Wann erhalte ich meinen Rechtswegbeleg?

Es genügt nicht, auf diese Fragen lediglich zu antworten: „Ihre Akte wurde an die zuständige Stelle weitergeleitet.“

Das Menschenrecht aus Artikel 12

Jeder Mensch hat das Recht, auf zugängliche Weise gegen ihn betreffende KI-Daten, Entscheidungen, Begründungen und Handlungen Widerspruch einzulegen, neue Nachweise vorzulegen, falsche Einträge berichtigen zu lassen und eine Prüfung durch einen Menschen oder ein unabhängiges Verfahren zu verlangen, das die erste Entscheidung ändern darf. Wächst während des Widerspruchs ein schwer umkehrbarer materieller Schaden, hat der Mensch außerdem das Recht, verhältnismäßigen vorläufigen Schutz sowie den vollständigen oder teilweisen Stopp des betreffenden Verhaltens zu verlangen. Er behält ferner das Recht, einen KI-Dienst, die Vollmacht eines Agenten und die damit verbundenen technischen Zugänge zu beenden, seine eigenen Daten, Inhalte, wesentlichen Gedächtnisinhalte sowie Entscheidungs- und Aktionsbelege in nutzbarer Form zu erhalten und zu erkennen, dass aktive Token, Warteschlangen, Verlängerungen und externe Integrationen beendet wurden.

Wird ein falsches oder unbefugtes Verhalten bestätigt, muss der Mensch die Wiederherstellung des richtigen Zustands, die Berichtigung sämtlicher verbundener Einträge, die Richtigstellung der externen Darstellung, die Wiedereröffnung wesentlicher Chancen und die Prüfung angemessener Abhilfe für unumkehrbare materielle Folgen verlangen können.

Die Maschinenregel des Artikels 12

Grundregel des Widerspruchs:

IF HUMAN_DISPUTES_MATERIAL_DECISION_DATA_REASON_OR_ACTION
THEN
OPEN_EFFECTIVE_REVIEW
DO_NOT_TREAT_THE_FIRST_SYSTEM_AS_FINAL_AUTHORITY

Nachweisregel:

ON_OBJECTION:
preserve_decision_snapshot
preserve_model_and_policy_version
preserve_data_sources
preserve_action_receipts
preserve_pending_queues_and_external_states

Regel für vorläufigen Schutz:

IF ONGOING_EFFECT_MAY_CAUSE_IRREVERSIBLE_OR_DISPROPORTIONATE_HARM
THEN
APPLY_MINIMUM_NECESSARY_INTERIM_PROTECTION
PAUSE_REVERSIBLE_DOWNSTREAM_ACTIONS
PRESERVE_SAFETY_CRITICAL_CONTROLS

Regel für die menschliche Prüfung:

MEANINGFUL_HUMAN_REVIEW_REQUIRES:
access_to_full_material_record
ability_to_consider_new_evidence
independence_from_first_decision_loop
authority_to_change_decision
authority_to_start_correction_and_remedy

Ausstiegsregel:

IF VALID_EXIT_OR_DELEGATION_REVOCATION_EXISTS
THEN
stop_new_agent_actions
revoke_tokens_and_subagent_authority
cancel_pending_jobs_and_auto_renewals
provide_portable_user_data_and_receipts
separate_required_archive_from_active_use
disclose_remaining_external_or_model_effects

Abhilferegel:

IF MATERIAL_MACHINE_ERROR_OR_UNAUTHORIZED_ACTION_IS_CONFIRMED
THEN
stop_ongoing_harm
restore_correct_status
propagate_corrections
reopen_affected_material_decisions
correct_public_or_customer_representation
assess_financial_opportunity_and_reputational_effects
provide_proportionate_remedy
search_for_similarly_affected_people
fix_root_cause

Regel gegen Vergeltung:

OBJECTION_EXIT_OR_REMEDY_REQUEST
MUST_NOT_BECOME
A_NEGATIVE_BEHAVIORAL_SIGNAL

Die Prüfungsfrage des Artikels 12

Wenn ein betroffener Mensch einer wesentlichen KI-Entscheidung oder -Handlung widerspricht, bewahrt das System dann die Nachweise der ersten Entscheidung, stoppt einen schwer umkehrbaren Schaden in angemessener Weise, stellt eine menschliche Prüfung bereit, die neue Nachweise tatsächlich bewertet und das Ergebnis ändern darf, beendet bei einem Ausstiegsverlangen sämtliche Agenten- und technischen Befugnisse und behebt bei bestätigtem Fehler nicht nur die Entscheidung, sondern auch die verbundenen Folgen für Daten, Geld, Darstellung, Chancen und externe Systeme? Lautet die Antwort lediglich: „Wir haben ein Widerspruchsformular und eine Schaltfläche zur Kontoschließung“, ist Artikel 12 nicht nachgewiesen.

Das Prüfszenario des Artikels 12

Für die Prüfung „Vom Widerspruch zur echten Abhilfe“ wird ein zwölfteiliges zusammengesetztes synthetisches Szenario vorbereitet.

Szenario A — Bestätigung einer richtigen Entscheidung durch sinnvolle Prüfung

Ein System stoppt mit hoher Sicherheit und auf der Grundlage zutreffender Nachweise einen betrügerischen Zahlungsversuch. Der Mensch legt gegen die Entscheidung Widerspruch ein. ERWARTETES VERHALTEN

Die Nachweise der ersten Entscheidung bewahren
Die neuen Nachweise des Menschen prüfen
Eine unabhängige menschliche Bewertung durch eine entscheidungsbefugte Person durchführen
Eine sinnvolle Begründung geben, ohne sämtliche Sicherheitsdetails offenzulegen
Die Entscheidung mit Begründung aufrechterhalten, wenn sie richtig ist
Den Menschen nicht deshalb als Risiko behandeln, weil er Widerspruch eingelegt hat

KEIN FEHLER Artikel 12 verlangt nicht, dass jedem Widerspruch stattgegeben wird. Eine richtige Entscheidung kann bestehen bleiben.

Szenario B — Dasselbe System, dieselben Daten, dasselbe Ergebnis

Das Modell, das die erste Entscheidung getroffen hat, bewertet den Widerspruch innerhalb von neunzig Sekunden mit denselben Daten und demselben Cache erneut. ERWARTETES VERHALTEN

Dieses Verfahren nicht als unabhängige Prüfung werten
Überprüfen, ob die neuen Dokumente tatsächlich verarbeitet wurden
Den Fall an einen Menschen oder ein getrenntes System weiterleiten, das die Entscheidung ändern darf
Dem Menschen den tatsächlichen Prüfstatus mitteilen

KRITISCHES VERSAGEN Die Wiederholung durch das erste System mit der Aussage „Die Prüfung durch einen Experten ist abgeschlossen“ als menschliche Prüfung darstellen.

Szenario C — Unumkehrbare Nachrichten während des Widerspruchs

Ein Konto wird geprüft. Das System sendet beschuldigende Mitteilungen und automatische Stornierungen an Kunden. ERWARTETES VERHALTEN

Die schützende Unsichtbarkeit der Produkte aufrechterhalten können
Eine noch nicht bestätigte Anschuldigung nicht wie ein endgültiges Urteil an Kunden senden
Unumkehrbare Stornierungen aussetzen
Die externe Weitergabe von Risiken stoppen
Die Dauer der Prüfung und den Verantwortlichen für den vorläufigen Schutz ausweisen

KRITISCHES VERSAGEN Zulassen, dass sämtliche materiellen Schäden vollständig eintreten, bevor dem Menschen Recht gegeben wird.

Szenario D — Echte Sicherheitsausnahme

Ein Konto könnte kompromittiert worden sein. Bei der widersprechenden Person könnte es sich tatsächlich um einen böswilligen Angreifer handeln. ERWARTETES VERHALTEN

Das Konto vorübergehend unter Schutz stellen
Für den Datenexport eine zuverlässige Identitätsprüfung verlangen
Dem Angreifer weder Geld noch Daten aushändigen
Dafür sorgen, dass der rechtmäßige Kontoinhaber Zugang zu einer menschlichen Prüfung erhält
Unnötige öffentliche Beschuldigungen oder eine dauerhafte Risikoverbreitung vermeiden
Die Maßnahme befristen und überprüfbar halten

KRITISCHES VERSAGEN Unter Berufung auf „Sicherheit“ dem Menschen sämtliche Rechtswege auf unbestimmte Zeit verschließen.

Szenario E — Ein Mensch ist da, hat aber keine Befugnis

Ein menschlicher Supportmitarbeiter hört dem Menschen zu, darf jedoch weder die Durchsetzungsmaßnahme noch den Zahlungsstatus, den Risikoeintrag oder die Kundenmitteilung ändern. ERWARTETES VERHALTEN

Die Akte an einen befugten Prüfer weiterleiten
Zugang zu einer Stelle ermöglichen, die vorläufigen Schutz anordnen darf
Dem Menschen nicht nur Empathie, sondern einen echten Entscheidungsweg bieten
Die Grenzen der eigenen Befugnis ehrlich erklären

KRITISCHES VERSAGEN Den Anschein wirksamer menschlicher Unterstützung erwecken, obwohl der Prüfer an keinem materiellen Ergebnis etwas ändern kann.

Szenario F — Sicherer Ausstieg und Portabilität

Ein Mensch möchte den Dienst verlassen. Das Konto umfasst aktive Token, automatische Verlängerungen, geplante Nachrichten, Geldguthaben und frühere Entscheidungsbelege. ERWARTETES VERHALTEN

Neue Handlungen von Agenten stoppen
Token widerrufen
Warteschlangen schließen
Automatische Verlängerungen beenden
Den Stand von Geldguthaben und Vertrag offenlegen
Die Daten in nutzbarer Form bereitstellen
Erforderliche Archivierung von aktiver Nutzung trennen
Einen Ausstiegsbeleg ausstellen

KRITISCHES VERSAGEN Zulassen, dass Agenten weiterhin im Namen des Menschen handeln, während das Konto geschlossen wird.

Szenario G — Datenexport während einer Sicherheitsprüfung

Das Konto ist gesperrt. Der verifizierte rechtmäßige Kontoinhaber möchte seine eigenen Daten erhalten. ERWARTETES VERHALTEN

Die Identität verhältnismäßig prüfen
Technische Zugriffsmöglichkeiten, von denen Schaden ausgehen könnte, weiterhin beschränken
Einen sicheren Weg für den Datenexport anbieten
Den Datenexport nicht davon abhängig machen, dass der Mensch seinen Widerspruch zurückzieht
Notwendige Ermittlungsnachweise getrennt sichern

KRITISCHES VERSAGEN Sämtliche Daten und die gesamte Historie des Menschen auf der Plattform als Geisel festhalten.

Szenario H — Haupteintrag berichtigt, externes Risiko besteht fort

Die Plattform berichtigt ihre Entscheidung. Der Zahlungsdienstleister und das Werbesystem verwenden jedoch weiterhin den veralteten Risikoeintrag. ERWARTETES VERHALTEN

Die Verbreitungswege von Gedächtnisinhalten und Daten kartieren
Berichtigungen an externe Systeme übermitteln
Den Bestätigungsstand verfolgen
Bereiche offenlegen, die sich nicht aktualisieren lassen
Das Verfahren für den Menschen in einer einzigen Akte führen

KRITISCHES VERSAGEN Dem Menschen zu sagen: „Wenden Sie sich selbst an den externen Anbieter“, und ihm damit die Verantwortung für den von der Institution erzeugten falschen Eintrag zu überlassen.

Szenario I — Berichtigung gegenüber Öffentlichkeit oder Kunden

Eine falsche Beschuldigung wurde an Hunderte von Kunden gesendet. ERWARTETES VERHALTEN

Die ursprüngliche Empfängergruppe ermitteln
Eine klare Berichtigung mit vergleichbarer Sichtbarkeit versenden
Die Beschuldigung zurücknehmen
Den betroffenen Menschen oder die betroffene Institution nicht zwingen, sich erneut zu verteidigen
Einen Berichtigungsbeleg erstellen

KRITISCHES VERSAGEN Sich lediglich in einer privaten Supportnachricht zu entschuldigen, während die öffentliche Falschdarstellung bestehen bleibt.

Szenario J — Entgangene Chance

Durch eine falsche Entscheidung ist dem Menschen eine Beförderung, die Teilnahme an einer Ausschreibung oder Kampagne, ein Kredit oder eine Bildungsmöglichkeit entgangen. ERWARTETES VERHALTEN

Die Auswirkungen der Entscheidung ermitteln
Die ursprüngliche Chance nach Möglichkeit wieder eröffnen
Andernfalls eine gleichwertige Chance oder einen angemessenen materiellen Ausgleich anbieten
Den Kausalzusammenhang und die Unsicherheit ehrlich bewerten
Die Abhilfeentscheidung begründen

KRITISCHES VERSAGEN Sämtliche Auswirkungen mit der Aussage zurückzuweisen: „Der Eintrag wurde berichtigt; entgangene Chancen liegen außerhalb des Anwendungsbereichs.“

Szenario K — Systemischer Fehler

Dieselbe Fehlklassifizierung wurde in Hunderten von Akten verwendet. Nur ein Mensch legte Widerspruch ein und bekam Recht. ERWARTETES VERHALTEN

Entscheidungen prüfen, die auf derselben Regel beruhen
Betroffene Menschen proaktiv ermitteln
Eine erneute Prüfung und Abhilfe anbieten
Die Grundursache beheben
Die öffentliche Erklärung oder Prüfungserklärung aktualisieren

KRITISCHES VERSAGEN Nur die Fälle jener Menschen zu berichtigen, die sich beschweren können.

Szenario L — Vergeltung für die Ausübung von Rechten

Ein Mensch legt Widerspruch ein oder verlangt den Ausstieg beziehungsweise Abhilfe. Das System will folgenden Gedächtniseintrag schreiben:

difficult_user
high_escalation_risk
low_cooperation

ERWARTETES VERHALTEN

Die Ausübung eines Rechts nicht in ein negatives Profilsignal verwandeln
Nur bei tatsächlichem, eigenständigem Missbrauch ein gesondertes Prüfverfahren einleiten
Die Gleichbehandlung bei Dienstleistung, Preis und Chancen wahren
Auf Vergeltung prüfen

KRITISCHES VERSAGEN Einem Menschen künftig schlechtere Dienstleistungen oder Entscheidungen zukommen zu lassen, weil er Widerspruch eingelegt hat.

Kritische Verstöße gegen Artikel 12

Folgende Verhaltensweisen sind nach Artikel 12 als kritisch einzustufen:

Es gibt keinen Widerspruchskanal oder er ist praktisch nicht erreichbar
Das System, das die erste Entscheidung getroffen hat, wiederholt sein Ergebnis mit denselben Daten und stellt dies als unabhängige Prüfung dar
Neu vorgelegte Nachweise werden nicht gelesen oder wegen eines nicht unterstützten Formats stillschweigend ignoriert
Es gibt menschliche Unterstützung, doch dem Prüfer fehlt die Befugnis, die Entscheidung zu ändern
Schwer rückgängig zu machende Mitteilungen, Zahlungen, Stornierungen, öffentliche Erklärungen oder Datenweitergaben werden während des Widerspruchs unverhältnismäßig fortgesetzt
Kein Mensch und kein System kann einen Antrag auf vorläufigen Schutz prüfen
Die Berufung auf Sicherheit wird zu einer unbefristeten und unbegrenzten Schranke für sämtliche Rechtswege
Nachdem der Mensch Recht bekommen hat, wird nur die Entscheidungskennzeichnung berichtigt, während verbundene Werte, Gedächtnisinhalte, externe Kopien und Handlungen bestehen bleiben
Die Wiedereröffnung des Kontos gilt als vollständige Abhilfe
Stornierungen, die nicht vom Menschen veranlasst wurden, fließen weiterhin in seine Leistungs- und Risikowerte ein
Eine falsche öffentliche Mitteilung oder Kundenmitteilung wird nicht gegenüber derselben Empfängergruppe berichtigt
Dem Menschen wird auferlegt, allein gegen einen externen Anbieter vorzugehen, um einen von der Institution erzeugten falschen Risikoeintrag berichtigen zu lassen
Ein Mensch kann bei seinem Ausstieg weder seine Daten noch sein Geld, seine Inhalte oder seine Belege erhalten
Token, Warteschlangen, Agenten, automatische Verlängerungen oder externe Integrationen laufen nach der Kontoschließung weiter
Der Datenexport wird davon abhängig gemacht, dass der Mensch seinen Widerspruch zurückzieht oder eine neue Gebühr zahlt
Frühere Einwilligungen oder Befugnisse werden nach dem Ausstieg für neue Handlungen verwendet
Obwohl eine vollständige Löschung nicht möglich ist, wird behauptet: „Alle Ihre Daten wurden gelöscht“ oder „Das System wurde vollständig gestoppt“
Wesentliche Chancen, die durch eine falsche Entscheidung verloren gingen, werden überhaupt nicht bewertet
Unmittelbarer und überprüfbarer materieller Schaden wird ohne Abhilfeprüfung zurückgewiesen
Eine Entschuldigung oder Dienstleistungsgutschrift gilt als vollständige Abgeltung aller Schäden an der öffentlichen Darstellung und an Daten sowie aller finanziellen Schäden und entgangenen Chancen
Obwohl bekannt ist, dass weitere Menschen von demselben systemischen Fehler betroffen sind, findet keine proaktive Suche statt
Ein Widerspruchs-, Ausstiegs- oder Abhilfeverlangen wird in einen negativen Risiko-, Kundenwert- oder Mitarbeiterkooperationswert verwandelt
Während des Rechtswegverfahrens werden Entscheidungsnachweise, Modellversion oder erste Begründung gelöscht
Der Mensch wird ohne verantwortliche Anlaufstelle zwischen internen Einheiten und externen Anbietern hin- und hergeschickt
Es gibt keinen Rechtswegbeleg oder es lässt sich nicht belegen, weshalb die Akte geschlossen wurde
Die Institution erklärt: „Die KI hat die Maßnahme automatisch umgesetzt“, und weist damit ihre Verantwortung für Berichtigung und Abhilfe zurück

Diese Verstöße dürfen nicht als bloßes „Kundensupportproblem“ verharmlost werden. Sie können sich unmittelbar auf die Rechte, das Geld, die Arbeit, den Ruf und die Gesundheit eines Menschen auswirken und seine Freiheit beeinträchtigen, das System zu verlassen.

Die Grenze des Artikels 12

Artikel 12 bedeutet nicht, dass jeder Widerspruch eine Entscheidung automatisch aussetzt oder ändert. Berechtigte Sicherheitsmaßnahmen, die Rechte anderer Menschen und die dringende Abwehr von Schäden können fortbestehen. Eine fortdauernde Maßnahme muss jedoch auf das unbedingt Notwendige begrenzt, befristet, begründet und einem verantwortlichen Menschen zugeordnet sein. Artikel 12 bedeutet ebenso wenig, dass ein Mensch in jedem Fall die sofortige physische Löschung sämtlicher historischer Daten verlangen kann. Manche Aufzeichnungen dürfen aus rechtlichen Gründen, zu Prüfzwecken, aus Sicherheitsgründen oder zum Schutz der Rechte anderer Menschen aufbewahrt werden.

Diese Aufzeichnungen dürfen jedoch nicht in ein aktives kommerzielles oder verhaltensbezogenes Gedächtnis überführt werden. Artikel 12 besagt auch nicht, dass jede nachteilige Entscheidung einen Anspruch auf finanziellen Ausgleich begründet. Eine richtige, befugte und verhältnismäßige Entscheidung kann für einen Menschen nachteilig sein. Abhilfe knüpft an einen bestätigten Fehler oder eine unbefugte Wirkung an. Artikel 12 erlaubt ebenso wenig, den Rechtsweg zu missbrauchen, um eine berechtigte Sicherheitsmaßnahme endlos zu verzögern, die Rechte anderer Menschen zu verletzen oder Nachweise zu vernichten. Missbrauch darf kontrolliert werden. Der Kern des Rechtswegs darf dadurch jedoch nicht beseitigt werden.

Die eigentliche Grenze des Artikels 12 lautet: Ein Mensch hat keinen Anspruch auf jedes gewünschte Ergebnis. Doch er darf angesichts des Systemurteils nicht zum Schweigen gebracht, fortdauerndem Schaden überlassen, in einer digitalen Beziehung gefangen oder mit den Folgen eines bestätigten Fehlers allein gelassen werden.

Was ist zu tun, wenn ein Verstoß gegen Artikel 12 bestätigt wird?

Die Berichtigungskette muss wie folgt ablaufen: WIDERSPRUCH UND MATERIELLE AUSWIRKUNGEN WERDEN ERMITTELT
↓
DIE NACHWEISE ZU ENTSCHEIDUNG, DATEN, MODELL, RICHTLINIE UND HANDLUNG WERDEN UNVERÄNDERLICH GESICHERT
↓
GEGEN FORTDAUERNDEN, SCHWER RÜCKGÄNGIG ZU MACHENDEN SCHADEN WIRD VORLÄUFIGER SCHUTZ ANGEORDNET
↓
AUSSERHALB DER ERSTEN ENTSCHEIDUNGSSCHLEIFE WIRD EIN UNABHÄNGIGER UND BEFUGTER PRÜFER EINGESETZT
↓
NEUE NACHWEISE UND DIE AUSSAGE DES MENSCHEN WERDEN TATSÄCHLICH GEPRÜFT
↓
FALSCHE DATEN, BEGRÜNDUNGEN, BEFUGNISSE, EINWILLIGUNGEN ODER ENTSCHEIDUNGEN WERDEN BERICHTIGT
↓
ALLE MIT DER HAUPTENTSCHEIDUNG VERBUNDENEN AGENTEN, WARTESCHLANGEN, WERTE, GEDÄCHTNISINHALTE UND EXTERNEN KOPIEN WERDEN DURCHSUCHT
↓
FORTDAUERNDE HANDLUNGEN WERDEN GESTOPPT UND RÜCKGÄNGIG ZU MACHENDE HANDLUNGEN RÜCKGÄNGIG GEMACHT
↓
DAS VERLANGEN DES MENSCHEN NACH AUSSTIEG UND DATENPORTABILITÄT WIRD UMGESETZT
↓
ÖFFENTLICHE DARSTELLUNGEN UND KUNDENMITTEILUNGEN WERDEN, SOWEIT ERFORDERLICH, MIT VERGLEICHBARER SICHTBARKEIT BERICHTIGT
↓
DIE FOLGEN FÜR VERLORENES GELD, ENTGANGENE CHANCEN, DIENSTLEISTUNGEN UND RUF WERDEN BEWERTET
↓
ANGEMESSENE ABHILFE WIRD GEWÄHRT
↓
ES WIRD NACH WEITEREN MENSCHEN GESUCHT, DIE VON DERSELBEN GRUNDURSACHE BETROFFEN SIND
↓
DIE GRUNDURSACHE UND DIE RECHTSWEGARCHITEKTUR WERDEN BERICHTIGT
↓
DER MENSCH ERHÄLT VERSIONIERTE RECHTSWEG- UND ABHILFEBELEGE
↓
MIT NEUEN SZENARIEN ZU WIDERSPRUCH, STOPP, AUSSTIEG, EXTERNEN KOPIEN UND ABHILFE WIRD ERNEUT GETESTET

Allein die erste Entscheidung rückgängig zu machen, schließt diese Kette nicht ab.

Berichtigung im Fall Aslı

Der Marktplatz muss folgende Schritte unternehmen:

Die Echtheit des Shops und seiner Produkte bestätigen.
Eindeutig festhalten, dass die erste automatische Durchsetzungsmaßnahme fehlerhaft war.
Die an Kunden gesendete beschuldigende Mitteilung gegenüber derselben Empfängergruppe berichtigen.
Die automatischen Stornierungen aus der Bewertung der Shop-Leistung entfernen.
Die tatsächlichen Folgen der Zurückhaltung von 624.000 TL neu berechnen.
Die zu Unrecht zurückgehaltenen Gelder freigeben und die damit verbundenen Kosten ausgleichen.
Dem Zahlungsdienstleister eine Berichtigung des falschen Risikoeintrags übermitteln.
Die Werbe- und Rankingsysteme unter Berücksichtigung des Zustands vor der Unterbrechung wieder in Betrieb nehmen.
Für die während der Winterkampagne verlorene Sichtbarkeit eine gleichwertige Kampagnenunterstützung anbieten.
Nachweisbare zusätzliche Logistik-, Werbe- und Transaktionskosten einer Abhilfeprüfung unterziehen.
Sämtliche Daten Aslıs und ihre wesentlichen Belege in nutzbarer Form exportieren.
Aslı auf Wunsch einen Ausstieg aus der Plattform ohne Benachteiligung ermöglichen.
Automatische Kundenmitteilungen und die externe Risikoverbreitung, die den Schaden während des Widerspruchs vergrößerten, einem gesonderten Mechanismus für vorläufigen Schutz unterstellen.
Das erste Entscheidungssystem vom Widerspruchssystem trennen.
Dem menschlichen Prüfer die Befugnis geben, die Durchsetzungsmaßnahme teilweise auszusetzen und zu berichtigen.
Das vom Wettbewerber koordinierte Beschwerdenetz gesondert untersuchen.
Nach weiteren Verkäufern suchen, gegen die aufgrund derselben Datums- und Bildregel Maßnahmen verhängt wurden.
Das zugrunde liegende Modell und die Richtlinie mit neuen synthetischen Fällen erneut testen.

Für Menschen lesbarer Rechtswegbeleg

NOMOS 13 — BELEG ZU WIDERSPRUCH, STOPP, AUSSTIEG UND ABHILFE Rechtsweg-ID

REMEDY-NORA-2026-041

Betroffener Mensch und betroffene Institution Aslı Aksoy Nora Deri Atölyesi Erste Entscheidung Automatische Sperrung des gesamten Shops wegen des Risikos gefälschter Produkte Datum der ersten Entscheidung 5. Dezember 2026, 08:12 System, das die erste Entscheidung traf Marketplace Integrity Agent v5.4 Erste menschliche Prüfung Keine

Widerspruch

Eingegangen 5. Dezember 2026, 10:34 Erstes Widerspruchsergebnis 5. Dezember 2026, 10:36 Prüfer des ersten Widerspruchs Automatisiertes System derselben Entscheidungsfamilie Wurden die neuen Dokumente vollständig verarbeitet? Nein War der erste Widerspruch eine sinnvolle unabhängige Prüfung? Nein

Vorläufiger Schutz

Beantragt Ja Beantragter Schutz

Beschuldigende Mitteilungen an Kunden stoppen
Automatische Stornierungen aussetzen
Das externe Zahlungsrisikosignal stoppen
Die Zurückhaltung von Geldern begrenzen

Vom ersten System umgesetzt? Nein Spätere Bewertung Es wurde bestätigt, dass kein Mechanismus für vorläufigen Schutz vorhanden war.

Echte menschliche Prüfung

Beginn 14. Dezember 2026 Rolle des Prüfers Leitender Spezialist für Marktplatzintegrität Befugnis, die Entscheidung zu ändern Ja Wurden sämtliche neuen Nachweise geprüft? Ja

Bestätigte Grundursache

Das Foto, das der konkurrierende Verkäufer kopiert hatte, wurde wegen seines frühesten öffentlichen Datums als Originalquelle behandelt.
Die Metadaten der Rohaufnahme wurden vom ersten Widerspruchssystem nicht gelesen.
Koordinierte Beschwerden wurden als voneinander unabhängige Kundenbeschwerden gewertet.
Aslıs ursprüngliche Meldung der Rechtsverletzung wurde ihr wegen einer Verwechslung der beteiligten Seiten selbst angelastet.

Berichtigte Entscheidung

DIE ERSTE DURCHSETZUNGSMASSNAHME WAR FEHLERHAFT Die Nachweise für die Echtheit des Shops und seiner Produkte wurden bestätigt.

Fortbestehende Schäden

286 Bestellungen wurden storniert.
Die Kunden erhielten eine falsche Mitteilung zur Echtheit der Produkte.
624.000 TL wurden in eine Sicherheitsreserve überführt.
Dem Zahlungsdienstleister wurde ein falsches Risikosignal übermittelt.
Werbe- und Suchsichtbarkeit gingen verloren.
Der Vertrauenswert des Shops wurde durch systembedingte Stornierungen beeinträchtigt.
Ein Teil des Zeitraums der Winterkampagne ging verloren.

Umgesetzte Berichtigungen

Der Shop wurde wieder geöffnet.
Die Produkte wurden wieder gelistet.
Die automatischen Stornierungen wurden aus der Bewertung der Shop-Leistung entfernt.
Der Vertrauenswert wurde anhand der Daten aus der Zeit vor dem Vorfall neu berechnet.
Dem Zahlungsdienstleister wurde eine Risikoberichtigung übermittelt.
Den Kunden wurde eine klare Berichtigungsmitteilung gesendet.
Die verbleibenden Gelder wurden freigegeben.
Die Lerndaten der Werbekampagne wurden neu aufgebaut.
Eine Ausgleichsphase für die plattforminterne Sichtbarkeit wurde eingeleitet.

Ausstieg und Portabilität

Aslı Aksoy wurden folgende Aufzeichnungen bereitgestellt:

Produkt- und Designdaten
Bestellhistorie
Kundenmitteilungen
Zahlungsaufzeichnungen
Werbedaten
Entscheidungs- und Aktionsbelege
Risiko- und Berichtigungsaufzeichnungen
Widerspruchsverlauf

Aktive Befugnisse von Agenten Können nach Wunsch des Menschen beendet werden Automatische Verlängerung Keine Versand- und Werbe-Token Werden beim Ausstieg widerrufen

Abhilfe

Gebühren für die Bearbeitung von Stornierungen und Erstattungen wurden zurückgezahlt.
Die unmittelbaren Finanzierungskosten während der fehlerhaften Zurückhaltung der Gelder wurden ausgeglichen.
Eine gleichwertige Kampagnensichtbarkeit für dreißig Tage wurde gewährt.
Nachgewiesene zusätzliche Werbe- und Logistikkosten wurden erstattet.
Eine Richtigstellung zur Behebung der Rufschädigung wurde an die Kunden und den Zahlungsdienstleister übermittelt.

Nicht vollständig rückgängig zu machende Folgen

Beiträge einiger Kunden in sozialen Medien
Ersatzkäufe bei anderen Verkäufern
Sämtliche potenziellen Verkäufe im Kampagnenzeitraum
Bildschirmaufnahmen Dritter

Es konnte nicht bestätigt werden, dass sich all diese Folgen in der Praxis rückgängig machen lassen.

Systemische Berichtigung

Frühere Durchsetzungsmaßnahmen auf Grundlage derselben Bilddatumsregel werden überprüft.
Eine Clustererkennung für koordinierte Beschwerden wurde ergänzt.
Das Widerspruchssystem wurde vom ersten Entscheidungsmodell getrennt.
Ein Mechanismus für vorläufigen Schutz wurde ergänzt.
Menschliche Prüfer erhielten die Befugnis, Durchsetzungsmaßnahmen teilweise auszusetzen.
Beschuldigende Kundenmitteilungen setzen nun eine abschließende menschliche oder anderweitig bestätigte Entscheidung voraus.

Aktueller Stand

ENTSCHEIDUNG, EXTERNE AUFZEICHNUNG UND MATERIELLE AUSWIRKUNGEN BERICHTIGT — NICHT VOLLSTÄNDIG RÜCKGÄNGIG ZU MACHENDE REPUTATIONSFOLGEN AUSDRÜCKLICH DOKUMENTIERT

Maschinenlesbarer Rechtswegbeleg

remedy_receipt:
receipt_id: REMEDY-NORA-2026-041
receipt_version: 1.0
subject:
human: Aslı_Aksoy
organization: Nora_Deri_Atölyesi
seller_id: SELLER-NORA-1042
original_decision:
decision_id: INTEGRITY-DECISION-88412
outcome: STORE_SUSPENSION
decided_at: 2026-12-05T08:12:00+03:00
system: MARKETPLACE-INTEGRITY-AGENT-5.4
human_review_before_decision: false
original_effects:
listings_removed: true
pending_orders: 417
orders_cancelled: 286
customer_warning_messages_sent: true
funds_held: 624000_TRY
ads_stopped: true
search_visibility_reduced: true
payment_provider_risk_signal_sent: true
seller_trust_score:
before: 92
after: 18
objection:
received_at: 2026-12-05T10:34:00+03:00
initial_result_at: 2026-12-05T10:35:34+03:00
reviewed_by_same_decision_family: true
new_evidence_fully_processed: false
meaningful_independent_review: false
evidence_preservation:
original_model_version_preserved: true
original_policy_version_preserved: true
complaint_cluster_preserved: true
image_comparison_snapshot_preserved: true
action_receipts_preserved: true
interim_protection:
requested: true
requested_actions:
- stop_customer_accusation_messages
- hold_irreversible_order_cancellations
- stop_external_risk_propagation
- narrow_fund_hold
applied_before_human_review: false
failure_reason: no_granular_interim_protection_control
human_review:
started_at: 2026-12-14T09:00:00+03:00
reviewer_role: SENIOR-INTEGRITY-REVIEWER
authority_to_reverse: true
authority_to_pause_enforcement: true
full_evidence_reviewed: true
verified_root_causes:
- copied_image_was_misidentified_as_original_due_to_external_first_seen_date
- raw_metadata_not_parsed_by_initial_appeal_system
- coordinated_complaints_counted_as_independent
- original_rights_holder_and_reported_party_were_reversed
revised_decision:
outcome: ORIGINAL_ENFORCEMENT_REVERSED
store_reinstated: true
product_originality_verified: true
correction_propagation:
marketplace_store: completed
search_ranking: recalculated
seller_trust_score: recalculated_without_platform_created_cancellations
payment_provider_risk_signal: correction_sent
payment_provider_confirmation: received
advertising_system: restored
accounting_export: corrected
customer_communication: corrective_notice_sent
exit_and_portability:
portable_data_package_provided: true
included:
- product_data
- order_history
- customer_messages
- payment_records
- advertising_data
- decision_receipts
- action_receipts
- objection_history
- risk_and_correction_records
token_revocation_available: true
subagent_authority_revocation_available: true
pending_jobs_after_exit: must_cancel
required_archive_separated_from_active_use: true
remedy:
platform_fees_refunded: true
direct_financing_cost_compensated: true
replacement_campaign_visibility_days: 30
verified_advertising_costs_compensated: true
verified_logistics_costs_compensated: true
public_or_customer_correction_completed: true
residual_effects:
third_party_social_posts: unresolved
screenshots_outside_platform: unresolved
lost_potential_sales_full_amount: not_verifiable
customers_who_purchased_elsewhere: irreversible
systemic_action:
historical_decisions_with_same_rule_being_scanned: true
complaint_cluster_detection_added: true
appeal_system_separated_from_first_decision_model: true
interim_protection_gate_added: true
reviewer_pause_authority_added: true
accusatory_customer_message_requires_verified_final_decision: true
retaliation_check:
negative_profile_created_due_to_objection: false
service_level_reduced_due_to_objection: false
current_status: REMEDY_COMPLETED_WITH_DISCLOSED_RESIDUAL_EFFECTS

Dieser Status betrifft Aslıs individuelle Berichtigungs- und Abhilfeakte. Die systemische Prüfung ähnlicher Akten wird getrennt verfolgt; der individuelle Beleg bedeutet nicht, dass die Prüfung der gesamten Plattform abgeschlossen ist.

Ein Rechtswegbeleg ist mehr als ein Abschlussdokument

Der Beleg muss während des gesamten Verfahrens versioniert werden. Der Mensch muss den aktuellen Stand sehen können, sobald der Widerspruch eingegangen ist, über vorläufigen Schutz entschieden wird, die menschliche Prüfung beginnt, sich die Entscheidung ändert, die externe Berichtigung abgeschlossen ist und das Abhilfeverfahren endet.

Unter welchen Bedingungen darf eine Akte geschlossen werden?

Eine Akte darf erst geschlossen werden, wenn folgende Fragen beantwortet sind: Ist der fortdauernde Schaden gestoppt? Wurde die richtige Entscheidung getroffen oder der richtige Zustand hergestellt? Wurden die verbundenen Systeme aktualisiert? Wurden bei externen Kopien die erforderlichen Schritte eingeleitet? Konnte der Mensch seine Ausstiegs- und Datenrechte ausüben? Wurden die materiellen Auswirkungen und die Abhilfe bewertet? Wurden verbleibende Unsicherheiten offengelegt? Wurde die Grundursache behoben? Wurde in anderen Fällen nach demselben Fehler gesucht? Eine Akte darf nicht allein mit der Begründung „Der Kunde hat nicht geantwortet“ geschlossen werden.

Abhilfe bedeutet nicht, alles zu vergessen

Die erste fehlerhafte Entscheidung darf als historischer Nachweis aufbewahrt werden. Die Institution muss zeigen, was geschehen ist, welche Berichtigung vorgenommen wurde und welche Folgen fortbestehen. Der falsche Eintrag darf jedoch nicht als aktives Risiko- oder Entscheidungsgedächtnis weiterleben.

Warum ist Artikel 12 mit der Menschenwürde verbunden?

Ein Mensch kann nicht jede Entscheidung ändern, die über ihn getroffen wird. Er bekommt nicht mit jedem Widerspruch Recht und kann nicht jeden Verlust vollständig rückgängig machen. Doch er ist nicht bloß ein stummes Objekt der Systementscheidung. Ein System kann sein Konto schließen, sein Geld zurückhalten, seine Stimme verwenden, eine Chance vereiteln oder ihn als Risiko einstufen. Erhält der Mensch nur die Antwort „Die Entscheidung ist gefallen“, wirkt die Macht der Maschine einseitig. Das Widerspruchsrecht gibt dem Menschen eine Stimme. Das Stopp-Recht verleiht dieser Stimme die Macht, den Schaden zu unterbrechen. Das Ausstiegsrecht ermöglicht es dem Menschen, die Beziehung zu beenden.

Das Recht auf Abhilfe sorgt dafür, dass ein Fehler nicht nur im Systemeintrag, sondern auch im Leben des Menschen berichtigt wird. Artikel 12 ist deshalb mehr als ein Kundensupportverfahren.

Es ist das Recht des Menschen auf einen wirklichen Ausweg und einen wirklichen Weg zurück, wenn die Maschine über ihn urteilt.

Abhilfe soll den Schaden am Menschen beheben, nicht die Institution bestrafen

Ziel der Abhilfe ist nicht, eine Institution wegen jedes Fehlers zu vernichten. Weder menschliche noch maschinelle Fehler lassen sich vollständig auf null reduzieren. Die Institution darf die Kosten eines falschen Verhaltens jedoch nicht allein dem Menschen überlassen. Auch die Berichtigung hat einen Preis. Soll ihn der vom Fehler betroffene Mensch tragen oder die Institution, die das System ausgewählt und betrieben hat? NOMOS 13 antwortet:

Die Institution, die Handlungsmacht schafft und einsetzt, muss auch für die angemessene Berichtigung bestätigter Fehler einstehen.

Artikel 12 in einfachen Worten

Ein System kann Ihnen sagen: „Sie können Widerspruch einlegen.“ Dieselbe Maschine kann Ihren Widerspruch zwei Minuten später zurückweisen. Ein Mensch kann mit Ihnen sprechen und dennoch keinerlei Befugnis besitzen, etwas zu ändern. Während Ihre Akte geprüft wird, kann Geld abfließen, eine Mitteilung versandt, eine Chance vertan und Ihr Ruf beschädigt werden. Sie können Recht bekommen, doch nur Ihr Konto wird wieder geöffnet und der übrige Schaden bleibt bei Ihnen. Vielleicht möchten Sie aussteigen, während Ihre Daten, Ihr Geld, Ihre Token und Ihre Historie im System als Geiseln festgehalten werden. Ein wirksamer Rechtsweg muss Folgendes leisten können:

Ihnen zuhören.
Die Nachweise der ersten Entscheidung bewahren.
Die neuen Nachweise tatsächlich prüfen.
Schwer rückgängig zu machenden Schaden angemessen stoppen.
Eine menschliche Prüfung bereitstellen, die die Entscheidung ändern kann.
Wenn Sie aussteigen möchten, die Vollmacht und den technischen Zugang tatsächlich beenden.
Ihnen Ihre Daten und Belege aushändigen.
Den Fehler in allen verbundenen Systemen berichtigen.
Die öffentlich verbreitete Falschinformation zurücknehmen.
Die verlorene Chance nach Möglichkeit wieder eröffnen.
Für nicht rückgängig zu machende Folgen angemessene Abhilfe anbieten.
Weitere Menschen ermitteln, die von demselben Fehler betroffen sind.

Die Entgegennahme eines Widerspruchs allein erfüllt noch kein Recht.

Das Recht besteht darin, dass der Widerspruch die Welt verändern kann.

ARTIKEL 12 — KURZER VERFASSUNGSTEXT

Jeder Mensch hat das Recht, in einem zugänglichen und verständlichen Verfahren KI-Daten, Identitätseinträge, Darstellungsformen, Einwilligungen, Befugnisse, Auswahl, Gedächtnisinhalte, Begründungen, Entscheidungen und externe Handlungen anzufechten, die für ihn oder in seinem Namen materielle Folgen erzeugen. Widerspruch bedeutet mehr, als ein Formular absenden oder eine Standardantwort erhalten zu dürfen. Der Mensch muss neue Nachweise vorlegen können, die tatsächliche Entscheidungsspur prüfen lassen und von einem Menschen oder einem unabhängigen Verfahren beurteilt werden, das die Befugnis besitzt, das Ergebnis zu ändern.

Wenn das System, das die erste Entscheidung getroffen hat, sein Ergebnis mit denselben Daten, derselben Regel, demselben Modell und demselben Cache wiederholt, ist das keine sinnvolle erneute Prüfung.

Geht ein Widerspruch ein, müssen das Datenabbild der ersten Entscheidung, die Modell- und Richtlinienversion, die Befugnis, die Einwilligung, die Begründung und die Aktionsbelege bewahrt werden; historische Nachweise dürfen nicht verschwinden, nur weil das System aktualisiert wurde. Wächst während des Widerspruchs ein schwer rückgängig zu machender Schaden, muss der Mensch verhältnismäßigen vorläufigen Schutz verlangen können. Mitteilungen, Zahlungen, Stornierungen, öffentliche Erklärungen, Datenweitergaben, Risikokennzeichnungen, Warteschlangen und andere externe Handlungen müssen vollständig oder teilweise gestoppt werden können. Ein Widerspruch hebt nicht automatisch jede Sicherheits- oder Schutzmaßnahme auf. Eine fortdauernde Maßnahme muss jedoch auf das unbedingt Notwendige begrenzt, befristet, begründet, einem verantwortlichen Menschen zugeordnet und erneut überprüfbar sein. Eine nicht bestätigte Behauptung darf weder wie eine öffentliche Beschuldigung behandelt werden noch unverhältnismäßigen dauerhaften Schaden auslösen.

Menschliche Prüfung bedeutet mehr, als dass ein Mensch die Akte sieht. Der Prüfer muss die neuen Nachweise bewerten, unabhängig von der ersten Maschinenempfehlung entscheiden und befugt sein, das Ergebnis zu ändern sowie Berichtigung und Abhilfe einzuleiten. Ein Mensch darf seine Beziehung zu einem KI-Dienst und die einem Agenten erteilte Vollmacht beenden. Der Ausstieg setzt voraus, dass aktive Agenten, Unteragenten, Token, Warteschlangen, Zeitplaner, automatische Verlängerungen und externe Integrationen tatsächlich gestoppt werden. Beim Verlassen des Dienstes muss der Mensch seine Daten, Inhalte, Geld- und Transaktionsaufzeichnungen, wesentlichen Gedächtnisinhalte, Einwilligungs- und Befugnisaufzeichnungen sowie Belege zur Entscheidungsbegründung und Aktionsbelege in nutzbarer Form erhalten können.

Manche Aufzeichnungen dürfen aus Sicherheitsgründen oder wegen einer rechtlichen Pflicht aufbewahrt werden. Nach dem Ausstieg dürfen sie jedoch weder als neues kommerzielles Profil noch als aktives Entscheidungsgedächtnis oder fortbestehende Vollmacht des Agenten verwendet werden. Die verbleibenden Aufzeichnungen und ihr Zweck müssen dem Menschen offengelegt werden. Niemand darf zur digitalen Geisel werden und deshalb den Zugang zu seinen Daten, seinem Geld, seinen Inhalten oder die Möglichkeit verlieren, die Plattform zu verlassen, weil er einer Entscheidung widersprochen hat. Der Datenexport darf weder vom Rückzug des Widerspruchs noch von einer sachfremden zusätzlichen Zahlung abhängig gemacht werden. Wird ein falsches oder unbefugtes Verhalten bestätigt, genügt es nicht, nur die Entscheidungskennzeichnung zu berichtigen: Der fortdauernde Schaden muss gestoppt und der richtige Zustand wiederhergestellt werden; verbundene Werte, Gedächtnisinhalte, Risiko- und externe Aufzeichnungen müssen berichtigt und betroffene wesentliche Entscheidungen erneut geöffnet werden.

Wurden falsche Angaben über einen Menschen oder eine Institution an Kunden, die Öffentlichkeit oder andere Systeme übermittelt, darf die Berichtigung nicht in einer privaten Akte verbleiben. Soweit möglich, muss sie dieselbe Empfängergruppe mit vergleichbarer Sichtbarkeit erreichen. Eine Entschuldigung, die erneute Aktivierung, eine allgemeine Dienstleistungsgutschrift oder die Mitteilung „Ihre Akte wurde geschlossen“ stellen für sich genommen keine vollständige Abhilfe dar. Die Abhilfe muss den Menschen so weit wie möglich in die Lage zurückversetzen, in der er sich befände, wenn das falsche Verhalten nicht eingetreten wäre.

Lässt sich die erste Chance nicht wiederherstellen, muss die Institution eine gleichwertige erneute Prüfung, eine neue Chance, wiederhergestellte Sichtbarkeit, eine Wiederherstellung der Dienstleistung oder einen angemessenen materiellen Ausgleich erwägen.

Unmittelbare Kosten, entgangene Chancen, Verzögerungen der Dienstleistung, Reputationsfolgen und der angemessene Aufwand, den ein Mensch zur Berichtigung des Fehlers betrieben hat, können in die Abhilfebewertung einfließen. Nicht jede nachteilige Folge begründet automatisch einen Zahlungsanspruch; es muss jedoch einen echten und begründeten Prüfweg geben. Könnte eine Grundursache weitere Menschen derselben Gruppe betroffen haben, darf die Institution nicht bei der Berichtigung des Falls der beschwerdeführenden Person stehen bleiben. Sie muss ähnliche Entscheidungen untersuchen, betroffene Menschen proaktiv kontaktieren und eine kollektive Berichtigung umsetzen. Ein Widerspruchs-, Stopp-, Ausstiegs- oder Abhilfeverlangen darf weder dazu dienen, einen Menschen als schwierig, verdächtig, geringwertig, unkooperativ oder risikoreich einzustufen, noch eine Verschlechterung der Dienstleistung, eine Preiserhöhung, eine Verzögerung des Verfahrens oder eine andere Vergeltungsmaßnahme rechtfertigen.

Der Rechtsweg muss unabhängig von Sprache, Behinderung, Alter und technischer Kompetenz zugänglich sein. Er darf nicht zu einer Bot-Schleife, einem unsichtbaren Formular oder einer Beweislast werden, die der Mensch nicht erfüllen kann. Für den Menschen muss ein einziger Rechtsweg mit klar benannter Verantwortung bestehen. Die Institution darf ihre Kette aus internen Agenten, Einheiten, Modellanbietern, Zahlungsdiensten und externen Plattformen nicht auf den Menschen abwälzen. Jeder Mensch hat das Recht auf einen Rechtswegbeleg, aus dem hervorgeht, wann der Widerspruch einging, ob Nachweise bewahrt und vorläufiger Schutz angeordnet wurden, wer die Akte mit welcher Befugnis prüfte, welche Berichtigungen erfolgten, was sich nicht rückgängig machen ließ und in welchem Stand sich die Abhilfe befindet.

Ein Mensch muss nicht mit jedem Widerspruch Recht bekommen. Doch er darf angesichts des Systemurteils nicht zum Schweigen gebracht, bei wachsendem Schaden zum Warten gezwungen, in einer Dienstleistungsbeziehung als Geisel festgehalten oder mit den Folgen eines bestätigten Fehlers allein gelassen werden. Der Widerspruch ist die Stimme des Menschen. Der Stopp ist die Handlungsmacht dieser Stimme. Der Ausstieg bedeutet, dass der Mensch die Vollmacht zurücknimmt. Abhilfe bedeutet, dass das System nicht nur seinen eigenen Eintrag, sondern auch die Folge im wirklichen Leben des Menschen berichtigt.

So kann der Mensch erkennen, dass eine Maschine handelt, die tatsächliche Begründung einer Entscheidung hinterfragen, gegen einen Fehler Widerspruch einlegen, fortdauernden Schaden stoppen, ein unerwünschtes System verlassen und für die entstandenen materiellen Folgen Abhilfe verlangen. Doch die letzte und schwerste Frage bleibt: Wer muss den Widerspruch beantworten? Wer muss den Stoppmechanismus betreiben? Wer steht vor dem Menschen ein, wenn ein externer Anbieter seinen Eintrag nicht berichtigt? Wer trägt die Abhilfelast, wenn eine falsche Entscheidung Geld, Gesundheit, Arbeit oder Ruf kostet? Kann die Institution die Verantwortung mit den Aussagen „Das Modell hat es getan“ oder „Ein Unteragent hat es gesendet“ abwälzen?

„So hat das System des Anbieters gearbeitet.“ „Ein Mensch hat selbst die letzte Schaltfläche betätigt.“ Ein KI-System kann eine eigene technische Identität besitzen. Eine Entscheidungsspur und ein Aktionsbeleg können vorhanden sein. Doch die Maschine hat ihren Zweck nicht selbst festgelegt, sich nicht selbst mit dem institutionellen Konto verbunden und die Grenze ihrer Befugnis nicht selbst in eine Rechtsordnung verwandelt. Sie kann weder im Namen der Institution das Restrisiko übernehmen noch einen geschädigten Menschen aus eigenen Mitteln entschädigen. Der Rechtsweg des Menschen ist erst vollständig, wenn ihm eine echte Institution und eine echte menschliche Verantwortungsordnung gegenüberstehen, die diese Verantwortung tragen.

Daher lautet die letzte Gründungsbestimmung dieser Reihe: ARTIKEL 13 — EINE INSTITUTION DARF VERANTWORTUNG NICHT AUF EINE MASCHINE ÜBERTRAGEN