Eine Institution darf Verantwortung nicht auf eine Maschine übertragen

Dilan Acars Vater Rauf hat nach einer schweren Atemwegserkrankung zwölf Tage im Krankenhaus verbracht. Seine stationäre Behandlung ist abgeschlossen. In den ersten zwei Wochen nach der Entlassung benötigt er zu Hause jedoch ein vom Arzt verordnetes Gerät zur Atemunterstützung, regelmäßige pflegerische Kontrollen, eine Überwachung seiner Medikamenteneinnahme und eine im Notfall erreichbare häusliche Pflegehotline. Raufs behandelndes Krankenhaus gehört zu einem großen privaten Gesundheitsverbund namens Mira Sağlık Ağı. Um Entlassungsabläufe zu beschleunigen und das Krankenhauspersonal zu entlasten, setzt der Verbund ein KI-gestütztes System namens Continuum Care Orchestrator ein. Das System führt folgende Aufgaben gemeinsam aus:

• Liest die Entlassungsanweisungen des Arztes.
• Prüft den Versicherungsschutz des Patienten.
• Prüft bereits bereitgestellte medizinische Geräte.
• Sendet einen Auftrag an das häusliche Pflegeunternehmen.
• Plant die Pflegebesuche.
• Sendet dem Patienten und seinen Angehörigen Informationsmitteilungen.
• Versetzt den Patienten nach Abschluss der erforderlichen Schritte in den Status:

Discharge ready. Das System wurde nicht von einem einzigen Unternehmen entwickelt.

1. Die Architektur sieht so aus: Mira Sağlık Ağı
2. ↓
3. ArdaTek Sağlık Entegrasyon Hizmetleri
4. ↓
5. Continuum Care Orchestrator
6. ↓
7. Helix Genel Amaçlı Yapay Zekâ Modeli
8. ↓
9. Birlik Sağlık Güvencesi Veri Servisi
10. ↓
11. EvDestek Tıbbi Cihaz ve Bakım Hizmetleri

Jede Institution kontrolliert nur einen bestimmten Teil des Systems. Mira Sağlık Ağı verantwortet die Patientenbeziehung. ArdaTek hat die Agenten und Arbeitsabläufe eingerichtet. Helix stellt das Basismodell bereit, das die Dokumente zusammenfasst. Birlik Sağlık Güvencesi liefert die Aufzeichnungen zu früher bereitgestellten medizinischen Geräten. EvDestek übernimmt die Gerätelieferung. Raufs Arzt trägt folgende Anweisung in den Entlassungsplan ein: „Der Patient darf erst entlassen werden, wenn ein Gerät zur häuslichen Atemunterstützung bereitgestellt wurde. Der erste Pflegebesuch muss innerhalb von vierundzwanzig Stunden nach der Entlassung stattfinden.“

Die Anweisung wird im Krankenhaussystem korrekt erfasst. Der Continuum Care Orchestrator fragt den Datendienst von Birlik Sağlık Güvencesi ab. Der Dienst gibt folgende Antwort zurück:

patient_has_active_home_respiratory_device: true
provider: EvDestek
record_date: 7 months ago

Dieser Eintrag ist veraltet. Rauf hatte sieben Monate zuvor für kurze Zeit ein Gerät desselben Typs verwendet. Vier Monate zuvor hatte er es an EvDestek zurückgegeben. Die Rückgabe wurde jedoch nicht in den zentralen Datenbestand der Versicherung eingetragen. Die Daten besagen nicht: „Das Gerät wurde früher schon einmal bereitgestellt.“ Sie besagen: „Das Gerät ist im Haus des Patienten weiterhin aktiv.“ Der Continuum Care Orchestrator deutet dieses Feld wie folgt:

duplicate_device_order_risk: high

Daraufhin greift eine der Richtlinien von Mira Sağlık Ağı zur Kostenkontrolle:

IF active_equipment_record_exists
THEN
do_not_create_duplicate_order
use_existing_equipment

Diese Richtlinie soll verhindern, dass Patienten dasselbe Gerät doppelt bezahlen. Die Regel enthält jedoch keine der folgenden Prüfungen:

• Wie aktuell der Eintrag ist
• Ob sich das Gerät tatsächlich im Besitz des Patienten befindet
• Ob das Gerät möglicherweise zurückgegeben wurde
• Ob die neue und eindeutige Anweisung des Arztes Vorrang vor dem alten Eintrag hat
• Eine physische Bestätigung durch den Patienten oder einen Angehörigen
• Ein Liefernachweis vor der Entlassung

Das System erzeugt keinen neuen Geräteauftrag. Der interne Eintrag lautet:

new_device_order:
suppressed
reason:
active_equipment_already_available

Auf dem Bildschirm des Arztes ist nur Folgendes zu sehen: Home respiratory support: covered Es bleibt unklar, ob „covered“ bedeutet, dass Versicherungsschutz besteht, ein Auftrag erteilt wurde, das Gerät geliefert wurde oder es sich tatsächlich im Haus des Patienten befindet. Auf dem Bedienfeld der für Entlassungen zuständigen Pflegekraft erscheint eine grüne Anzeige: ✓ Home support confirmed Die Pflegekraft bearbeitet an diesem Tag die Entlassungsakten von einunddreißig Patienten. Sie vertraut dem grünen Status und fragt nicht zusätzlich nach, ob sich tatsächlich ein Gerät in Raufs Haus befindet.

Der Continuum Care Orchestrator sendet EvDestek eine Anfrage für einen Pflegebesuch. Das System von EvDestek nimmt die Anfrage an:

HTTP 202
visit_request_received

Der Agent speichert diese technische Empfangsbestätigung als:

home_nurse_visit_confirmed: true

Tatsächlich wurde der Besuch noch keiner Pflegekraft zugewiesen. Die Kapazitäten von EvDestek sind am Wochenende ausgeschöpft; die Anfrage soll voraussichtlich am nächsten Werktag eingeplant werden. Der Continuum Care Orchestrator sendet Dilan folgende Mitteilung: „Die Vorbereitungen für die häusliche Pflege und Atemunterstützung Ihres Vaters sind abgeschlossen. Sein erster Besuch nach der Entlassung wurde geplant.“ Die Mitteilung verschweigt, dass kein neuer Geräteauftrag erteilt wurde, das System von einem noch im Haus befindlichen Altgerät ausgeht und der Pflegebesuch bislang lediglich angefragt wurde. Rauf wird entlassen. Dilan bringt ihren Vater nach Hause. Dort gibt es kein Gerät zur Atemunterstützung.

Dilan ruft das Krankenhaus an. Auf dem Bildschirm des Callcenters steht: Home equipment: active Nurse visit: confirmed Discharge plan: completed Der Callcentermitarbeiter sagt: „Unser System zeigt, dass sämtliche Vorbereitungen für die häusliche Pflege abgeschlossen sind. Sie müssen mit dem Geräteanbieter sprechen.“ Dilan ruft EvDestek an. Ein Mitarbeiter prüft die Aufzeichnungen. „Es liegt kein neuer Geräteauftrag vor. Das System hat uns lediglich eine Anfrage für einen Pflegebesuch gesendet.“ Dilan erwidert: „Das Krankenhaus hat gesagt, das Gerät sei bereit.“ EvDestek antwortet: „Möglicherweise hat das Krankenhaus keinen neuen Auftrag erstellt, weil im Versicherungssystem ein aktives Gerät angezeigt wird. Sie müssen sich an Ihre Versicherung wenden.“

Dilan ruft Birlik Sağlık Güvencesi an. Ein Mitarbeiter sagt: „Wir übermitteln den Gesundheitseinrichtungen lediglich den vorhandenen Geräteeintrag. Für die physische Lieferung sind wir nicht verantwortlich. Der Geräteanbieter hätte die Rückgabe aktualisieren müssen.“ Dilan ruft erneut bei EvDestek an. Dort heißt es: „Die Rückgabe ist in unserem System abgeschlossen. Wir wissen nicht, weshalb die Datensynchronisierung der Versicherung nicht aktualisiert wurde.“ Dilan wendet sich wieder an Mira Sağlık Ağı. Das Krankenhaus-Callcenter sagt: „Der Arzt hat über die Entlassung entschieden. Sie müssen mit Ihrem Arzt sprechen.“ Die Sekretärin des Arztes erwidert: „Der Arzt hat ausdrücklich festgehalten, dass Rauf nicht ohne das Gerät entlassen werden darf. Der Arzt steuert nicht den Beschaffungsprozess.“

Innerhalb weniger Stunden hat Dilan mit mehreren Institutionen und Einheiten gesprochen. Jede Stelle verweist auf ein Fragment, das im eigenen System richtig erscheint. Keine beantwortet die entscheidende Frage:

„Wer musste dafür sorgen, dass sich das Gerät tatsächlich im Haus befand?“

Am Abend verschlechtert sich Raufs Zustand. Dilan ruft den Rettungsdienst. Rauf wird erneut ins Krankenhaus gebracht und zwei weitere Nächte unter Beobachtung gehalten. Ein dauerhafter oder schwerer körperlicher Schaden tritt nicht ein. Dennoch entstehen ein weiterer Notfalleinsatz, ein zusätzlicher Krankenhausaufenthalt, erhebliche Angst und Erschöpfung in der Familie, Dilans notwendige Freistellung von der Arbeit sowie zusätzliche Fahrt- und Pflegekosten. Diesmal leitet Mira Sağlık Ağı eine Untersuchung des Vorfalls ein.

In der ersten Besprechung erklärt das Digital-Health-Team des Krankenhauses: „Das Continuum-System hat einen veralteten Versicherungseintrag falsch gedeutet. Wir haben den Softwareanbieter informiert.“ ArdaTek Sağlık Entegrasyon Hizmetleri antwortet: „Der Agent hat die von Mira Sağlık Ağı genehmigte Geschäftsregel richtig angewandt. Bei einem aktiven Geräteeintrag keinen Doppelauftrag anzulegen, ist Teil der Kostenrichtlinie des Krankenhauses.“ Der Helix-Modellanbieter erklärt: „Unser Modell wird ausschließlich zur Zusammenfassung von Dokumenten angeboten. Wir empfehlen nicht, klinische Entscheidungen oder Entlassungsentscheidungen ohne unabhängige menschliche Aufsicht zu treffen.“

Birlik Sağlık Güvencesi erklärt: „Die Daten stammen aus dem von EvDestek bereitgestellten Gerätestatus. Wir sind nicht das Quellsystem.“ EvDestek erklärt: „Die Rückgabe ist in unserem System erfasst. Die Synchronisierung mit dem Datenstrom der Versicherung liegt in der Verantwortung des externen Anbieters. Wir haben kein Gerät geliefert, weil kein neuer Auftrag einging.“ Die Entlassungspflegekraft sagt: „Auf meinem Bildschirm waren sämtliche Anzeigen grün. Die Einzelheiten hinter dem System konnte ich nicht sehen.“ Der Arzt sagt: „Ich habe ausdrücklich festgehalten, dass der Patient nicht ohne ein Gerät entlassen werden darf. Mir war nicht bekannt, dass eine automatische Kostenregel meine Anweisung außer Kraft gesetzt hatte.“ Der Callcentermitarbeiter sagt: „Auf dem Bildschirm war der Vorgang als abgeschlossen markiert. Ich hatte keinen Zugriff auf das Beschaffungssystem.“

Alle erklären einen Teil des Systems. Niemand übernimmt Verantwortung für das Verhalten als Ganzes.

Die Verträge werden geprüft. Im Vertrag zwischen Mira Sağlık Ağı und ArdaTek heißt es: „Der Kunde ist für die von ihm konfigurierten Geschäftsregeln und die klinische Verwendung der Systemergebnisse verantwortlich.“ Im Vertrag zwischen ArdaTek und Helix steht: „Modellergebnisse dienen ausschließlich der Information; die endgültigen Entscheidungen liegen in der Verantwortung der nutzenden Institution.“ Die Bedingungen des Versicherungsdatendienstes enthalten den Satz: „Für die Aktualität der von Dritten bereitgestellten Aufzeichnungen wird keine Gewähr übernommen.“ Im Vertrag mit EvDestek heißt es: „Wir sind nur für bestätigte und aktive Aufträge verantwortlich.“ Die Bedingungen von Mira Sağlık Ağı für Patientendienstleistungen lauten: „Bei bestimmten Abläufen der Pflegekoordination können Automatisierungssysteme und Systeme künstlicher Intelligenz von Drittanbietern eingesetzt werden.“

Jeder Vertrag schiebt die Verantwortung einem anderen Akteur zu. Am Ende der technischen Kette wandert sie vom Krankenhaus zum Integrator, vom Integrator zum Modellanbieter, vom Modellanbieter zurück zum Krankenhaus, vom Krankenhaus zum Datenanbieter, vom Datenanbieter zum Geräteunternehmen und von dort erneut zum Krankenhaus. Die Verantwortung ist zu einem Kreis geworden. In seiner Mitte stehen Rauf und Dilan.

Mira Sağlık Ağı möchte den Vorfall als „Datensynchronisierungsfehler eines Drittanbieters“ bezeichnen. Diese Beschreibung bildet jedoch nicht die ganze Wahrheit ab. Der veraltete Datensatz war der erste Fehler. Damit daraus ein Schaden entstehen konnte, mussten weitere Bedingungen hinzukommen:

• Das Krankenhaus hatte eine Richtlinie eingerichtet, nach der ein veralteter Eintrag eine neue ärztliche Anweisung außer Kraft setzen konnte.
• Das System prüfte nicht, ob das Gerät tatsächlich vor Ort vorhanden war.
• Versicherungsschutz, Auftragserteilung und Lieferung wurden in einer einzigen grünen Statusanzeige zusammengeführt.
• Die technische Entgegennahme der Anfrage nach häuslicher Pflege wurde als bestätigter Besuch dargestellt.
• Die tatsächliche Unsicherheit wurde der Pflegekraft nicht angezeigt.
• Die eindeutige Anweisung des Arztes wurde stillschweigend durch eine automatische Kostenregel außer Kraft gesetzt.
• Das Callcenter hatte keinen Zugriff auf das externe System mit den maßgeblichen Tatsachen.
• Kein Mensch und keine Institution war als Verantwortlicher für das gesamte Entlassungsergebnis benannt.
• Vor der Entlassung des Patienten verlangte das System keinen Nachweis der tatsächlichen Gerätelieferung.
• Nach dem Vorfall erreichte die Familie keinen einheitlichen Rechtsweg mit einem klar Verantwortlichen.

Der veraltete Datensatz war falsch. Er allein hat Rauf jedoch nicht entlassen. Das Modell allein hat ihn nicht entlassen. Der Integrator allein hat die Patientenbeziehung nicht geführt. Die Pflegekraft allein hat das System nicht entworfen. Der Arzt allein hat die Lieferkette nicht gesteuert. EvDestek konnte ohne Auftrag kein Gerät liefern. Das gesamte Verhalten entstand innerhalb eines institutionellen Systems. Mira Sağlık Ağı hat:

• das System ausgewählt;
• es mit dem Patientenprozess verknüpft;
• die Geschäftsregeln genehmigt;
• dem Personal die grüne Statusanzeige bereitgestellt;
• den Agenten für den Entlassungsablauf ermächtigt;
• die Zeit- und Kostenvorteile der Automatisierung genutzt; und
• Rauf im eigenen Namen entlassen.

Das Krankenhaus kann die Angelegenheit deshalb nicht mit dem Satz „Die KI hat einen Fehler gemacht“ beenden. Die richtige Frage lautet:

„Wer hat dieser KI die Handlungsmacht im Entlassungsprozess von Rauf erteilt?“

Und die zweite Frage lautet:

„Wer wird Rauf gegenüber einstehen, wenn diese Macht falsch handelt?“

Daher lautet unsere dreizehnte und letzte Gründungsbestimmung:

Eine Institution darf Verantwortung nicht auf eine Maschine übertragen.

GRÜNDUNGSARTIKEL

Eine Institution kann einem KI-System Aufgaben, Daten, Werkzeuge, Budget, Vertretungsbefugnis und Handlungsmacht übertragen. Sie kann jedoch nicht die Verantwortung auf das System abwälzen, für materielle Folgen gegenüber Menschen einzustehen, das Verhalten zu beaufsichtigen und zu erklären, es zu stoppen und zu berichtigen sowie Abhilfe zu leisten. Das Verhalten eines KI-Systems, das im Namen einer Institution handelt, ist Teil der institutionellen Verhaltenskette. Aussagen wie „Das Modell hat entschieden“, „Der Agent hat es gesendet“, „Das Werkzeug hat es automatisch umgesetzt“ oder „So hat das System des Unterauftragnehmers gearbeitet“ heben die menschliche und institutionelle Verantwortung nicht auf. Jedes KI-System mit hoher Wirkung muss vor dem Livebetrieb einem bestimmten Institutionellen Prinzipal, befugten menschlichen Verantwortlichen, einer klaren Stoppbefugnis, einem Vorfallverantwortlichen, einem Verantwortlichen für den Rechtsweg und einer tatsächlichen Abhilfefähigkeit zugeordnet werden.

Lassen sich für Zweck, Daten, Modell, Befugnis, menschliche Prüfung, externe Handlung, Vorfallbearbeitung oder Abhilfe eines Verhaltens mit hoher Wirkung weder ein verantwortlicher Mensch noch eine verantwortliche Institution benennen, darf das System in diesem Handlungsbereich weder eingesetzt werden noch weiterarbeiten. Ein KI-System darf nicht als alleiniger und letztverantwortlicher Akteur, als befugter Träger des Restrisikos, als Verantwortlicher für den Rechtsweg eines Menschen, als im Namen der Institution zur Entschuldigung und Abhilfe verpflichtete Stelle oder als Instanz dargestellt werden, die einen Vorfall abschließt. Eine Aufgabe kann ausgelagert werden. Eine technische Komponente kann quelloffen sein. Ein Basismodell kann von einer anderen Institution stammen. Daten können von Dritten kommen. Ein Mensch kann die letzte Schaltfläche betätigen. Nichts davon beseitigt die notwendige Governance-Verantwortung der Institution, die das System gegenüber Menschen einsetzt.

Geteilte Verantwortung ist keine verringerte Verantwortung. Haben mehrere Institutionen auf unterschiedliche Weise zu demselben Schaden beigetragen, kann jede nach Maßgabe ihrer Kontrolle, ihres Wissens, ihres Nutzens und ihrer Fähigkeit zur Berichtigung des Ergebnisses Verantwortung tragen. Der betroffene Mensch darf nicht gezwungen werden, diese interne Verteilung selbst zu klären. Institutionen können ihre finanziellen und operativen Lasten untereinander vertraglich regeln. Kein Vertrag, keine Verzichtserklärung, keine Haftungsbegrenzung, keine Nutzungsbedingung, kein Prüfbericht, kein Zertifikat und kein Abzeichen darf jedoch dem Menschen den Weg zu Erklärung, Widerspruch, Stopp, Berichtigung und Abhilfe nehmen.

Die Verteidigung einer Institution, „ein Mensch habe die endgültige Entscheidung getroffen“, ist nur dann stichhaltig, wenn dieser Mensch über die maßgeblichen Informationen, ausreichend Zeit, eine echte Möglichkeit zur unabhängigen Bewertung und die Befugnis verfügte, das Ergebnis zu ändern. Hat er lediglich das grüne Signal des Systems bestätigt oder wurden ihm entscheidende Informationen vorenthalten, darf die Verantwortung nicht auf einen Menschen in bloßer Alibifunktion verlagert werden. Ein Mensch oder Nutzer kann ein System vorsätzlich missbraucht haben; dann kann sich die Verteilung der Verantwortung ändern. Allgemeine Nutzungsbedingungen oder der Satz „Sie haben die letzte Schaltfläche betätigt“ sind jedoch kein pauschaler Schutzschild gegen vorhersehbare Risiken, manipulative Gestaltung, schwache Zugriffskontrollen oder die unbefugte Automatisierung der Institution.

Weiß eine Institution, dass ihr Anbieter keine Entscheidungsspur, keinen Aktionsbeleg und keine Unterstützung für Berichtigung, Löschung, Stopp, Versionierung oder Vorfallbearbeitung bereitstellen kann, darf sie mit diesem Anbieter keinen Einsatz mit hoher Wirkung realisieren. Auch die Wahl einer nicht prüfbaren Komponente ist eine institutionelle Entscheidung. Eine Institution kann bekannte Restrisiken durch eine befugte menschliche Entscheidung für einen bestimmten Umfang und Zeitraum ausdrücklich übernehmen. Eine Maschine kann kein Restrisiko übernehmen. Es darf auch nicht stillschweigend Beschäftigten oder betroffenen Menschen aufgebürdet oder in allgemeinen Nutzungsbedingungen verborgen werden. Wird ein falsches oder unbefugtes Verhalten bestätigt, darf die Institution nicht bei der Behebung des technischen Fehlers stehen bleiben. Sie muss die betroffenen Menschen ermitteln, fortdauernden Schaden stoppen, verbundene Entscheidungen und Aufzeichnungen berichtigen, die externe Anbieterkette selbst steuern, angemessene Abhilfe leisten und nach weiteren Menschen suchen, die von derselben Grundursache betroffen sind.

Die Berichtigung des Codes schließt den Vorfall nicht ab. Er darf erst geschlossen werden, wenn die materiellen Folgen für Menschen bewertet, der Rechtsweg abgeschlossen, das verbleibende Restrisiko offen übernommen und die Grundursache erneut geprüft wurde. Eine Institution, die aus einem KI-System wirtschaftlichen, betrieblichen oder öffentlichen Nutzen zieht, muss auch für die Kosten der Governance und Kontrolle dieser Macht, der menschlichen Prüfung, der Vorfallbearbeitung und der Abhilfe aufkommen. Der Gewinn der Automatisierung darf nicht der Institution zufallen, während allein der Mensch die Fehlerkosten trägt.

Was ist institutionelle Verantwortung?

In diesem Buch bezeichnet „Verantwortung“ nicht nur Verschulden oder einen Schadensersatzanspruch nach einer bestimmten Rechtsordnung. Rechtliche Folgen sind je nach Land, Vertrag, Regelwerk und den Nachweisen des Einzelfalls gesondert zu beurteilen. Für NOMOS 13 ist institutionelle Verantwortung ein grundlegenderer Begriff. Seine kanonische Definition lautet: Institutionelle Verantwortung ist die Pflicht jener Institution, die einem KI-System Handlungsmacht verleiht, Zweck und Grenzen dieses Verhaltens richtig festzulegen, seine Risiken vorauszusehen, menschliche Verantwortliche zu benennen, die tatsächlichen Ergebnisse zu überwachen, bei Fehlern einzugreifen, betroffenen Menschen eine Erklärung und einen wirksamen Rechtsweg zu bieten, verbundene Systeme zu berichtigen und entstandene materielle Folgen angemessen zu beheben.

Einfacher gesagt:

Solange eine Institution die Maschine betreibt, darf sie nicht aus der Verantwortungskette für das Verhalten der Maschine im Leben der Menschen verschwinden.

Verantwortung ist nicht dasselbe wie Verschulden

Eine Institution kann Verantwortung tragen, ohne in jedem Fall der einzige schuldhafte Akteur, die einzige materielle Ursache oder die einzige zur Abhilfe verpflichtete Stelle zu sein. In Raufs Fall etwa:

• Der Datenanbieter trug zu dem Fehler bei, indem er den veralteten Geräteeintrag lieferte.
• Der Integrator hatte keine Aktualitätsprüfung eingerichtet.
• Das Krankenhaus hatte die Richtlinie genehmigt, die die ärztliche Anweisung außer Kraft setzte.
• Die Benutzeroberfläche vermittelte der Pflegekraft falsche Sicherheit.
• Eine lediglich entgegengenommene Anfrage nach häuslicher Pflege wurde als abgeschlossen dargestellt.
• Die menschlichen Supporteinheiten konnten die Kette nicht als Ganzes überblicken.

Mehrere Akteure können beigetragen haben. Das bedeutet nicht, dass niemand verantwortlich ist. MEHRERE AKTEURE ≠ KEINE VERANTWORTUNG

Verantwortung, Rechenschaftspflicht und Abhilfe

Diese drei Begriffe lassen sich voneinander unterscheiden.

Verantwortung

Verantwortung bedeutet, vor und während des Verhaltens die erforderlichen Pflichten wahrzunehmen: „Wer muss dafür sorgen, dass dieses System sicher und unter Wahrung der Rechte der Menschen arbeitet?“

Rechenschaftspflicht

Rechenschaftspflicht bedeutet, nach dem Vorfall erklären zu können, was geschehen ist, und für die Entscheidung einzustehen: „Wer wird dieses Verhalten mit welcher Entscheidung und welchen Nachweisen verteidigen oder seine Fehlerhaftigkeit eingestehen?“

Abhilfe

Abhilfe bedeutet, die Folgen eines Fehlers im Leben eines Menschen zu beheben: „Wer stellt den richtigen Zustand wieder her, und wer bewertet die Folgen, die sich nicht rückgängig machen lassen?“ Eine Institution kann erklären, was geschehen ist, ohne Abhilfe zu leisten. Sie kann Geld zahlen, ohne die Grundursache zu beheben. Sie kann das System berichtigen, ohne die betroffenen Menschen zu kontaktieren. Vollständige institutionelle Verantwortung umfasst all diese Bereiche gemeinsam.

Was ist eine Institution?

In NOMOS 13 bezeichnet „Institution“ nicht nur ein großes Unternehmen. Der Begriff kann Folgendes umfassen:

• Unternehmen
• Öffentliche Einrichtung
• Krankenhaus
• Universität
• Plattform
• Verein oder Stiftung
• Berufsorganisation
• Einzelunternehmen
• Dienstleister, der im Namen eines Menschen einen Agenten mit hoher Wirkung betreibt
• Gemeinsame Dienstleistungsstruktur mehrerer Organisationen

Noch vor der Rechtsform oder rechtlichen Bezeichnung lautet die grundlegende Frage:

Wer hat das Verhalten der KI in die Beziehung zum Menschen eingebracht?

Der Institutionelle Prinzipal

Die Institution, in deren Namen ein KI-System gegenüber einem Menschen handelt, lässt sich als Institutioneller Prinzipal bezeichnen. Ein Institutioneller Prinzipal weist gewöhnlich eines oder mehrere der folgenden Merkmale auf:

• Sie begründet die Dienstleistungs- oder Geschäftsbeziehung mit dem Menschen.
• Sie bestimmt den Zweck des KI-Systems.
• Sie wählt das System oder den Anbieter aus.
• Sie verbindet Daten und Werkzeuge.
• Sie zieht Nutzen aus dem Ergebnis des Verhaltens.
• Sie legt die Befugnisgrenzen fest.
• Sie kann das System stoppen oder verändern.
• Sie kann dem Menschen Berichtigung und Abhilfe bieten.
• Das Verhalten findet unter ihrer Marke oder ihrem Konto statt.

In Raufs Fall ist der Institutionelle Prinzipal:

Mira Sağlık Ağı.

ArdaTek und die anderen Anbieter können jeweils eigene Verantwortung tragen. Rauf wurde jedoch vom Krankenhaus aufgenommen, behandelt und entlassen; auch die Mitteilung, die häusliche Pflege sei abgeschlossen, erhielt er vom Krankenhaus. Mira Sağlık Ağı darf die Verantwortung für die Patientenbeziehung nicht mit dem Satz „Wenden Sie sich selbst an den Integrator“ aufgeben.

Es kann mehr als einen Institutionellen Prinzipal geben

Eine Dienstleistung kann tatsächlich gemeinsam erbracht werden. Zum Beispiel:

• Eine Bank und ein Versicherungsunternehmen können einen gemeinsamen Agenten einsetzen.
• Eine Kommune und ein privater Dienstleister können gemeinsam entscheiden.
• Eine Muttergesellschaft und ihre Tochtergesellschaft können dasselbe Datensystem betreiben.

In solchen Fällen können mehrere Institutionen Verantwortung tragen. Vor dem Menschen darf sich jedoch keine endlose Reihe von Türen auftun, hinter denen es jeweils heißt: „Dafür sind wir nicht zuständig.“ Die Institutionen müssen untereinander eine einzige Anlaufstelle, den Austausch der Fallakte und die Verteilung der Abhilfe organisieren.

Maschinenhandeln im Namen einer Institution ist institutionelles Handeln

Handelt ein KI-Agent über das E-Mail-Konto, die Website, das Zahlungsinstrument, das Entlassungssystem oder das Kundenportal einer Institution, lässt sich dieses Verhalten nicht als „private Handlung der Maschine“ von der Institution abtrennen. Die Institution mag den Agenten als Werkzeug eingesetzt haben. Der Agent mag einen gewissen Grad an Autonomie erlangt haben. Sein Verhalten gegenüber Menschen in der Außenwelt bleibt jedoch Teil des institutionellen Betriebs. AUTORISIERTES AGENTENVERHALTEN IM NAMEN EINER INSTITUTION = INSTITUTIONELLE VERHALTENSKETTE

Autonomie mindert die Verantwortung nicht

Je autonomer ein System ist, desto wichtiger wird die Pflicht der Institution, im Voraus Grenzen zu setzen, Sichtbarkeit herzustellen, das Verhalten zu überwachen sowie Stopp- und Abhilfefähigkeit aufzubauen. Folgende Beziehung ist falsch: HÖHERE AUTONOMIE DES AGENTEN → GERINGERE VERANTWORTUNG DER INSTITUTION Treffender ist: MIT ZUNEHMENDER HANDLUNGSMACHT DES AGENTEN MÜSSEN AUCH DIE INSTITUTIONELLE GOVERNANCE UND DIE NACHWEISLAST ZUNEHMEN

Die Verantwortungslücke

Wenn nach einem Verhalten jeder auf einen anderen Akteur verweist und niemand es stoppen, erklären, berichtigen oder wiedergutmachen kann, entsteht eine Verantwortungslücke. Ihre kanonische Definition lautet: Eine Verantwortungslücke liegt vor, wenn ein KI-bedingtes Handeln mit materiellen Folgen zwar technisch von vielen Akteuren hervorgebracht wird, es gegenüber dem Menschen aber an einer realen Institution und einer menschlichen Rolle fehlt, die für das Ergebnis einstehen, es verändern und wiedergutmachen können. Eine Verantwortungslücke ist keine natürliche Folge technischer Komplexität. Sie ist das Ergebnis gescheiterter Governance-Gestaltung.

Der Verantwortungskreislauf

Wenn jeder Akteur die Frage an den nächsten weiterreicht, entsteht ein Verantwortungskreislauf: INSTITUTION → ANBIETER ANBIETER → INTEGRATOR INTEGRATOR → DATENQUELLE DATENQUELLE → ANWENDERINSTITUTION ANWENDERINSTITUTION → KI Der Mensch bleibt in diesem Kreislauf gefangen. Die Verantwortungskarte muss ihn durchbrechen, bevor das Verhalten eintritt.

Verantwortungswäsche

Als Verantwortungswäsche lässt sich bezeichnen, wenn eine Institution ihre Verantwortung für das eigene Handeln hinter einem anderen Akteur, einer Technologie, einem Vertrag oder einer menschlichen Handlung unsichtbar macht.

Dreizehn Formen der Verantwortungswäsche

1. Das Modell als Schutzschild „Das Modell hat so entschieden.“ Die Institution, die das Modell ausgewählt, angebunden und eingesetzt hat, wird unsichtbar.

2. Der Anbieter als Schutzschild

„Das ist Software eines Drittanbieters.“ Der Einsatz eines Dritten wird dargestellt, als sei er keine institutionelle Entscheidung.

3. Die Datenquelle als Schutzschild

„Die falsche Information kam aus einer externen Quelle.“ Vergessen wird die Pflicht, die Daten zu überprüfen, bevor sie gegenüber einem Menschen eingesetzt werden.

4. Die menschliche Freigabe als Schutzschild

„Ein Beschäftigter hat die letzte Schaltfläche betätigt.“ Ungeprüft bleibt, über welche Informationen, wie viel Zeit und welche tatsächliche Änderungsbefugnis dieser Mensch verfügte.

5. Die Nutzerentscheidung als Schutzschild

„Der Nutzer hat selbst zugestimmt.“ Entscheidungsarchitektur, vorenthaltene Informationen und Manipulation bleiben unsichtbar.

6. Der Vertrag als Schutzschild

„In den Bedingungen stand, dass Automatisierung eingesetzt werden kann.“ Eine allgemeine Klausel soll die Verantwortung für das konkrete Handeln ersetzen.

7. Das Zertifikat als Schutzschild

„Das System war geprüft und zertifiziert.“ Umfang und Datum der Prüfung sowie die Verantwortung nach dem Vorfall werden ausgeblendet.

8. Open Source als Schutzschild

„Die Komponente war kostenlos und quelloffen.“ Die institutionelle Entscheidung, sie in einem kritischen Einsatzbereich zu verwenden, wird heruntergespielt.

9. Autonomie als Schutzschild

„Der Agent hat eigenständig entschieden.“ Die Institution, die dem Agenten diesen Entscheidungsbereich übertragen hat, wird ausgeblendet.

10. Komplexität als Schutzschild

„Das System ist sehr komplex; die genaue Ursache lässt sich nicht ermitteln.“ Nicht hinterfragt wird die Institution, die entschieden hat, ein nicht erklärbares System live einzusetzen.

11. Die Konzerngesellschaft als Schutzschild

„Die Marke gehört uns, der Dienst wird jedoch von einer Tochtergesellschaft betrieben.“ Der Mensch wird zwischen rechtlichen und operativen Einheiten hin- und hergeschickt.

12. Die Versicherung als Schutzschild

„Der Vorfall ist versichert.“ Die finanzielle Absicherung tritt an die Stelle der Verantwortung, die Grundursache zu beheben und sich dem betroffenen Menschen zu stellen.

13. Der KI-Hinweis als Schutzschild

„Dieser Inhalt wurde von KI erzeugt und kann Fehler enthalten.“ Der Hinweis wird dazu benutzt, die Pflichten der Institution zur Gewährleistung der Richtigkeit und zur Behebung von Fehlern auszuhebeln.

Geteilte Verantwortung ist keine aufgeteilte Verantwortungslosigkeit

In Systemen, an denen mehrere Akteure beteiligt sind, kann Verantwortung tatsächlich geteilt werden. Eine richtige Aufteilung sollte jedoch so aussehen: AKTEUR A: Richtigkeit der Daten unter seiner Kontrolle AKTEUR B: Integration und Statuszuordnung AKTEUR C: Institutioneller Zweck, Befugnis und menschlicher Prozess AKTEUR D: Externe Handlung und Leistungserbringung GEMEINSAM: Zusammenarbeit bei der Vorfallbearbeitung und Austausch von Nachweisen

1. Eine falsche Aufteilung sieht so aus: JEDER SPRICHT NUR ÜBER SEINEN EIGENEN KLEINEN AUSSCHNITT
2. ↓
3. NIEMAND STEHT GEGENÜBER DEM MENSCHEN FÜR DAS GESAMTERGEBNIS EIN

Wie sollte Verantwortung verteilt werden?

Verantwortung muss nicht gleichmäßig auf alle Akteure verteilt werden. Für ihre Zuordnung lassen sich fünf Kriterien heranziehen:

• 1. Kontrolle
• 2. Wissen
• 3. Nutzen
• 4. Vorhersehbarkeit
• 5. Berichtigungsfähigkeit

1. Kontrolle

In welchem Maß konnte der Akteur das System, die Regel, die Daten oder die Handlung verändern?

2. Wissen

Kannte der Akteur die Risiken und Grenzen, oder hätte er sie vernünftigerweise kennen müssen?

3. Nutzen

Wer zog wirtschaftlichen, betrieblichen oder öffentlichen Nutzen aus der Automatisierung?

4. Vorhersehbarkeit

War eine solche Art von Fehler oder Missbrauch vernünftigerweise vorhersehbar?

5. Berichtigungsfähigkeit

Wer kann die Auswirkungen auf den Menschen stoppen, korrigieren oder durch Abhilfe ausgleichen? Diese Kriterien machen Verantwortung sichtbar. Eine technische Vertragsklausel allein bestimmt nicht die gesamte Verantwortung.

Verantwortlichkeiten der zentralen Akteure

Jeder Akteur in der KI-Kette kann unterschiedliche Pflichten tragen.

1. Die Institution, die das System einsetzt

• Sie bestimmt den Einsatzzweck.
• Sie wählt den Bereich hoher Wirkung.
• Sie bindet Anbieter und Daten ein.
• Sie legt die Befugnisgrenzen fest.
• Sie gestaltet die menschliche Prüfung.
• Sie setzt das Verhalten im Rahmen ihrer eigenen Beziehung zum Menschen um.
• Sie gewährleistet dem Menschen einen Rechtsweg und Abhilfe.

Die primäre Verantwortung gegenüber dem Menschen liegt in der Regel hier.

2. Der Integrator

• Er verbindet die Komponenten korrekt.
• Er bewahrt die Bedeutung von Status- und Fehlermeldungen.
• Er setzt Befugnis-, Stopp- und Belegkontrollen um.
• Er erläutert der einsetzenden Institution die bekannten technischen Grenzen.
• Er gestaltet keine Benutzeroberfläche, die falsches Vertrauen erzeugt.
• Er unterstützt bei Vorfällen die Beweissicherung und Berichtigung.

3. Der Modell- oder Werkzeuganbieter

• Er beschreibt die Fähigkeiten und wesentlichen Grenzen des Systems zutreffend.
• Er verschweigt nicht, welche Einsatzbereiche nicht unterstützt werden.
• Er teilt wesentliche Versionsänderungen mit.
• Er unterstützt Sicherheit, Herkunftsnachweise, Protokollierung und die Zusammenarbeit bei Vorfällen.
• Er stellt gegenüber Kunden keine irreführenden Behauptungen auf, etwa:

„Es ist unter allen Umständen sicher.“ Der Anbieter ist nicht automatisch für jeden Einsatz durch jeden Kunden verantwortlich. Für unzutreffende Angaben und technische Mängel in seinem Kontrollbereich kann er jedoch Verantwortung tragen.

4. Der Datenanbieter

• Er liefert zu den Daten Angaben zu Quelle, Zeitpunkt und Aktualitätsgrenze.
• Er verwechselt nicht „früher vorhanden“ mit „weiterhin aktiv“.
• Er unterstützt die Weitergabe von Berichtigungen und Widersprüchen an nachgelagerte Systeme.
• Er stellt unvollständige oder geschätzte Einträge nicht als gesicherte Tatsachen dar.

5. Der Anbieter für externe Handlungen

• Er weist zutreffend aus, welche Anfrage eingegangen ist und welches Ergebnis tatsächlich erzielt wurde.
• Er stellt Wege zur Stornierung und Rücknahme bereit.
• Er verschweigt keine Nebenwirkungen.
• Bei einem Vorfall teilt er die erforderlichen Nachweise, statt den Menschen lediglich an die Institution zurückzuverweisen.

6. Der menschliche Operator

Ein menschlicher Beschäftigter kann verpflichtet sein, im Rahmen seiner Befugnisse sorgfältig zu handeln, erkannte Risiken zu melden und bekannte Regeln nicht vorsätzlich zu verletzen. Arbeitet er jedoch mit unvollständigen Informationen, einem irreführenden grünen Dashboard, übermäßiger Arbeitsbelastung und ohne Befugnis, das Ergebnis zu ändern, darf er nicht allein deshalb zum Sündenbock gemacht werden, weil er die letzte Schaltfläche betätigt hat.

7. Der Prüfer oder Zertifizierer

Ein Prüfer gibt seine Stellungnahme zu einem festgelegten Umfang, einer bestimmten Version und einem bestimmten Datum auf Grundlage klar benannter Nachweise ab. Er garantiert nicht das gesamte künftige Verhalten des Systems. Die Prüforganisation übernimmt nicht die Verantwortung für den Livebetrieb.

8. Der Nutzer oder der betroffene Mensch

Ein Mensch kann vorsätzlich falsche Angaben machen, eine Sicherheitskontrolle umgehen, einen Agenten missbrauchen oder eine klare Warnung bewusst missachten. In diesem Fall kann sich die Verteilung der Verantwortung ändern. Dieser Schluss muss jedoch auf konkreten Nachweisen beruhen. Ein pauschales Etikett wie „Nutzerfehler“ beseitigt nicht die Gestaltungs- und Governance-Pflichten der Institution.

Wer trägt die Verantwortung, wenn ein Mensch die letzte Schaltfläche betätigt hat?

Diese Frage lässt sich nicht mit einem einzigen Satz beantworten. Hat der Mensch tatsächlich die erforderlichen Daten gesehen? Hat er die Unsicherheit verstanden? Hatte er ausreichend Zeit? Konnte er die Empfehlung der Maschine ändern? Musste er bei einer Ablehnung mit Repressalien rechnen? War er gezwungen, Hunderte Vorgänge automatisch freizugeben? Konnte er die vom System verborgenen Informationen einsehen? Hat der Mensch lediglich auf die Anzeige ✓ Ready geklickt, darf ihm nicht die gesamte institutionelle Verantwortung aufgebürdet werden.

Der dekorative Mensch

Als „dekorativen Menschen“ können wir eine Rolle bezeichnen, in der scheinbar eine menschliche Freigabe vorliegt, der Mensch aber weder über die tatsächlichen Informationen noch über die Macht verfügt, das Ergebnis zu ändern. Der dekorative Mensch ermöglicht der Institution die Behauptung „Ein Mensch war in die Schleife eingebunden“, übt jedoch keine wirkliche Kontrolle über das Verhalten aus. Später darf dieser Mensch nicht zum alleinigen Schuldigen des Vorfalls gemacht werden.

Wenn ein Mensch eindeutig gegen eine Regel verstoßen hat

Ein Beschäftigter kann eine zutreffende Warnung gesehen, über genügend Zeit und Befugnis verfügt und das System dennoch vorsätzlich umgangen haben. In diesem Fall können persönliche und institutionelle Verantwortung gemeinsam bewertet werden. Die Institution muss jedoch weiterhin folgende Fragen beantworten:

• Warum war eine solche Umgehung technisch möglich?
• Warum war für die kritische Handlung keine doppelte Kontrolle vorgeschrieben?
• Warum wurde das Verhalten nicht frühzeitig erkannt?
• Was hat die Institution nach dem Vorfall unternommen?

Open Source ist kein Schutzschild gegen Verantwortung

Eine Institution kann ein quelloffenes Modell oder einen quelloffenen Agenten einsetzen. Das kann Kosten senken, die Transparenz erhöhen und unabhängige Prüfungen erleichtern. Für eine quelloffene Komponente gibt es jedoch möglicherweise weder einen verantwortlichen Eigentümer noch einen kommerziellen Supportanbieter noch eine Stelle, die Gewährleistung übernimmt. Bindet eine Institution diese Komponente in ein System mit hoher Wirkung ein, muss sie die Verantwortung für Versionsverwaltung, Sicherheit, Validierung und Vorfallreaktion selbst übernehmen.

Eine kostenlose Komponente entbindet die Institution nicht von ihrer Verantwortung.

Ein allgemeines Modell ist keine Ausrede für einen spezifischen Einsatz

Ein Modellanbieter kann ein allgemeines System bereitstellen. Eine Institution kann dieses System in einem Bereich mit hoher Wirkung einsetzen, etwa im Gesundheitswesen, bei Kreditentscheidungen, in der Personalgewinnung oder bei öffentlichen Dienstleistungen. Dass der Anbieter ein allgemeines Modell bereitstellt, bedeutet nicht, dass die für den konkreten Einsatz erforderlichen Kontrollen vorhanden sind. Die Institution darf die Eignungsprüfung nicht mit dem Satz „Das Modell konnte das“ überspringen.

Wenn der Anbieter sagt: „Für diesen Einsatz nicht geeignet“

Eine Institution kann ein System dennoch in einem ausdrücklich nicht unterstützten Einsatzbereich betreiben. Tut sie das, muss sie zusätzliche Nachweise erbringen, Beschränkungen und menschliche Kontrolle einrichten und die Übernahme des Restrisikos regeln. In manchen Fällen darf das Verhalten überhaupt nicht umgesetzt werden. Die Verantwortung für einen nicht unterstützten Einsatz kann nicht allein dem Modellanbieter überlassen werden.

Ein Liefervertrag ersetzt nicht die Rechte des Menschen

Institutionen können untereinander Regelungen zu Gewährleistung, Entschädigung, Servicelevel und Kostenteilung vereinbaren. Solche Bestimmungen können wichtig sein. Der betroffene Mensch darf jedoch nicht untersuchen müssen, welche Institution mit wem einen Vertrag geschlossen hat oder welcher Unterauftragnehmer einen Fehler begangen hat. Die Institution kann ihren internen Rückgriff oder die Kostenverteilung später klären. Zuerst muss der Rechtsweg des Menschen funktionieren.

Verantwortung mit zentraler Anlaufstelle

Das institutionelle Gegenstück zu dem in Artikel 12 eingeführten Rechtsweg mit zentraler Anlaufstelle ist der Grundsatz der Verantwortung mit zentraler Anlaufstelle. Der Mensch muss das Verfahren über eine einzige Fallkennung, eine einzige verantwortliche Institution und einen sichtbaren menschlichen Verantwortlichen führen können. Im Hintergrund muss die Institution selbst mit dem Integrator, dem Modellanbieter, dem Datenanbieter und dem Anbieter des externen Werkzeugs kommunizieren.

Eine zentrale Anlaufstelle bedeutet nicht, dass es nur einen Schuldigen gibt

Die interne Verantwortung kann auf mehrere Akteure verteilt sein. Eine einzige Anlaufstelle für den Menschen bedeutet nicht, dass die gesamte Schuld bei einer Institution liegt. Sie bedeutet, dass der Mensch nicht in der Systemarchitektur verloren geht.

Eine Institution braucht reale menschliche Verantwortungsträger

Ein System mit hoher Wirkung darf nicht allein über ein allgemeines Feld verwaltet werden:

owner: AI Governance Team

Es braucht konkrete menschliche Rollen. Mindestens folgende Verantwortlichkeiten sollten festgelegt werden:

• 1. Leitungsverantwortlicher
• 2. Zweckverantwortlicher
• 3. Datenverantwortlicher
• 4. Technik- und Modellverantwortlicher
• 5. Befugnisverantwortlicher
• 6. Verantwortlicher für die menschliche Prüfung
• 7. Verantwortlicher für externe Anbieter
• 8. Vorfallverantwortlicher
• 9. Verantwortlicher für Rechtsweg und Abhilfe
• 10. Verantwortlicher für die Übernahme des Restrisikos

1. Leitungsverantwortlicher

Er übernimmt auf Leitungsebene Verantwortung für den Liveeinsatz innerhalb der Institution und für die Bereitstellung der erforderlichen Ressourcen.

2. Zweckverantwortlicher

Warum wird diese KI eingesetzt? Ist der Zweck weiterhin gültig?

3. Datenverantwortlicher

Wie werden für die jeweiligen Daten Quelle, Aktualität, Berichtigung und Zweckbindung verwaltet?

4. Technik- und Modellverantwortlicher

Er verwaltet Versionen, Werkzeuge, Leistung, Sicherheit und Änderungen.

5. Befugnisverantwortlicher

Welche Handlungen darf der Agent innerhalb welcher Grenzen ausführen?

6. Verantwortlicher für die menschliche Prüfung

In welchen Fällen greift tatsächlich ein Mensch ein und kann das Ergebnis ändern?

7. Verantwortlicher für externe Anbieter

Wer führt die Kommunikation zu Vertrag, Nachweisen, Vorfällen und Aktualisierungen?

8. Vorfallverantwortlicher

Wer handelt in der ersten Stunde nach einem Vorfall mit materiellen Folgen?

9. Verantwortlicher für Rechtsweg und Abhilfe

Wer bringt Widerspruch, Berichtigung, Ausstieg und Abhilfe für den betroffenen Menschen zum Abschluss?

10. Verantwortlicher für die Übernahme des Restrisikos

Welcher befugte Mensch hat nach allen Schutzmaßnahmen das verbleibende Risiko für welchen Umfang und welchen Zeitraum übernommen?

Eine Person namentlich zu benennen, genügt nicht

Der verantwortliche Mensch muss über die erforderlichen Informationen, eine Stoppbefugnis, ein Budget, institutionelle Unterstützung und Zugang zu externen Anbietern verfügen. Wer lediglich in einem Dokument genannt wird, aber nichts verändern kann, ist kein Verantwortungsträger. Diese Person ist nur ein weiterer dekorativer Mensch.

Verantwortung muss mit Befugnis einhergehen

Wird ein Mensch als Vorfallverantwortlicher benannt, muss er den Agenten stoppen, Nachweise sichern, den Anbieter erreichen, betroffene Menschen informieren und die Bereitstellung eines Abhilfebudgets anstoßen können. Verantwortung ohne Befugnis zu übertragen, verlagert lediglich die Last der Institution auf einen Beschäftigten.

Das Verantwortungsticket

Jedes System oder jede Handlung mit hoher Wirkung kann an ein Verantwortungsticket gebunden werden. Ein Beispiel:

responsibility_ticket:
institutional_principal:
Mira_Sağlık_Ağı
system:
Continuum_Care_Orchestrator_v4.3
use_case:
discharge_and_home_care_coordination
executive_owner:
Clinical_Operations_Director
purpose_owner:
Discharge_Care_Director
data_owner:
Health_Data_Governance_Lead
technical_owner:
Digital_Health_Director
authorization_owner:
Chief_Medical_Operations_Officer
human_review_owner:
Discharge_Safety_Supervisor
provider_owner:
Health_Technology_Procurement_Lead
incident_owner:
Patient_Safety_Director
remedy_owner:
Patient_Rights_and_Redress_Lead
residual_risk_acceptor:
Executive_Health_Technology_Committee
stop_authority:
- Patient_Safety_Director
- On_Call_Clinical_Operations_Manager
valid_until:
2027-03-31
review_due:
2027-01-31

Fehlt dieses Ticket, hat das Verhalten mit hoher Wirkung keinen Verantwortlichen.

Was geschieht, wenn ein Verantwortlicher ausscheidet?

Ein Beschäftigter kann ausscheiden. Eine Rolle kann sich ändern. Institutionen können fusionieren. Ein Anbieter kann den Betrieb einstellen. Die Verantwortungszuordnung des Systems muss aktuell gehalten werden. Ist ein Verantwortungsticket abgelaufen oder ist kein Verantwortlicher mehr benannt, muss das System sein Verhalten mit hoher Wirkung beschränken und in einen sicheren Modus wechseln, bis ein neuer Verantwortlicher benannt ist.

Der verwaiste Agent

Ein System, das seinen realen menschlichen Verantwortlichen und seine verantwortliche Institution verloren hat, aber weiterläuft, lässt sich als verwaister Agent bezeichnen. Beispiele:

• Der Projektverantwortliche hat das Unternehmen verlassen.
• Das Dienstkonto läuft weiter.
• Der Anbietervertrag ist beendet.
• Ein alter Agent versendet weiterhin geplante Nachrichten.
• Niemand liest die Vorfallmeldungen.

Ein verwaister Agent darf nicht in einem Bereich mit hoher Wirkung arbeiten.

Verantwortungsdrift

Bei der ursprünglichen Einführung eines Systems kann die Verantwortung klar zugeordnet sein. Mit der Zeit erweitert sich der Einsatzbereich, ein neuer Agent kommt hinzu, das Modell wird aktualisiert, der menschliche Verantwortliche wechselt oder das Transaktionslimit steigt. Die alte Verantwortungskarte bildet die neue Handlungsmacht nicht mehr ab. Dies lässt sich Verantwortungsdrift nennen. Bei einer wesentlichen Änderung des Verhaltens müssen Verantwortung und Risiko erneut geprüft werden.

Verantwortungsschuld

Im Lauf der Jahre kann eine Institution Agenten mit unklarer Verantwortung, nicht aktualisierte Verträge, unerklärliche Datenflüsse, nicht stoppbare externe Aufgaben und Entscheidungen ohne Abhilfeverfahren ansammeln. Diese Anhäufung lässt sich Verantwortungsschuld nennen. Mit wachsender Verantwortungsschuld entsteht eine Struktur, in der die Institution das System zwar betreibt, niemand es aber als Ganzes steuern kann.

Restrisiko

Kein System mit hoher Wirkung kann völlige Risikofreiheit garantieren. Nach Tests und Kontrollen können Risiken verbleiben. Dies bezeichnen wir als Restrisiko. Ein Restrisiko sollte wie folgt dokumentiert werden:

• Worin besteht das Risiko?
• Wen kann es betreffen?
• Wie hoch sind Wahrscheinlichkeit und Auswirkung?
• Welche Kontrollen wurden umgesetzt?
• Welches Vorfallsignal wird überwacht?
• Wer hat das Risiko akzeptiert?
• Für welchen Zeitraum?
• Bei welchem Schwellenwert wird das System gestoppt?
• Muss es gegenüber den Menschen offengelegt werden?
• Welche Abhilfefähigkeit besteht?

Eine Maschine kann kein Restrisiko akzeptieren

Ein Agent kann zu folgender Bewertung gelangen:

residual_risk:
acceptable

Dies ist lediglich eine Analyse, keine institutionelle Risikoakzeptanz. Das Restrisiko muss von einem tatsächlich befugten Menschen innerhalb einer bestimmten Institution für einen klar bestimmten Umfang übernommen werden. DAS MODELL HÄLT DAS RISIKO FÜR GERING ≠ DIE INSTITUTION HAT DAS RISIKO AKZEPTIERT

Risiken dürfen Menschen nicht stillschweigend aufgebürdet werden

Die Institution gewinnt durch Automatisierung Kosten- und Geschwindigkeitsvorteile. Verwirklicht sich das verbleibende Risiko, darf sie nicht mit dem Satz „Kein System ist fehlerfrei“ die gesamte Last beim Menschen abladen. Die Risikoakzeptanz ist eine Entscheidung der Institution. Die Kosten des Risikos dürfen nicht allein auf den betroffenen Menschen übertragen werden.

Wenn ein kritisches Risiko bekannt ist

Ist bekannt, dass ein System Zahlungen unter einer falschen Identität ausführt, Stoppanweisungen nicht weitergibt, ohne menschliche Freigabe öffentliche Inhalte veröffentlicht oder eine Gesundheitsentscheidung nicht erklären kann, darf es nicht allein mit dem Hinweis „geringe Wahrscheinlichkeit“ im Livebetrieb bleiben. Manche Restrisiken können akzeptabel sein. Andere erfordern, dass das Verhalten gestoppt wird.

Abhilfefähigkeit muss vor dem Einsatz geschaffen werden

Eine Institution darf nicht erst nach einem Vorfall überlegen: „Wie werden wir diesen Schaden beheben?“ Ein System mit hoher Wirkung muss über folgende Fähigkeiten verfügen:

• Vorfallteam
• Menschliche Prüfung
• Stoppbefugnis
• Ansprechpartner beim externen Anbieter
• Weg zur Datenberichtigung
• Kanal für Berichtigungen gegenüber der Öffentlichkeit oder Kunden
• Angemessene finanzielle Rücklage oder Versicherung
• Möglichkeiten zum Ausgleich verlorener Chancen

Eine Versicherung ersetzt keine Verantwortung

Eine Versicherung oder ein Abhilfefonds kann nützlich sein. Die Institution darf jedoch nicht mit dem Satz „Die Versicherung wird zahlen“ die Behebung der Grundursache, die Erklärung gegenüber dem Menschen oder die systematische Suche nach weiteren Betroffenen aufgeben. Finanzielle Absicherung ist Teil der Abhilfefähigkeit. Sie ist kein Schutzschild gegen Verantwortung.

Auch die Anbieterauswahl ist eine Verantwortungsentscheidung

Bei der Auswahl eines Anbieters für ein Verhalten mit hoher Wirkung muss eine Institution folgende Fragen stellen:

• Stellt er eine echte Entscheidungsspur bereit?
• Kann er einen Aktionsbeleg erzeugen?
• Teilt er Versionsänderungen mit?
• Kann er eine menschliche Stoppanweisung umsetzen?
• Unterstützt er die Berichtigung und Löschung von Daten?
• Sind seine Unterauftragnehmer sichtbar?
• Kann er bei einem Vorfall Nachweise teilen?
• Unterstützt er den Rechtsweg des Menschen?
• Was geschieht mit Daten und Aufgaben, wenn der Vertrag endet?

Kann der Anbieter diese Fragen nicht beantworten, muss die Institution den Einsatz mit hoher Wirkung beschränken.

„Der Anbieter kann es nicht erklären“ ist keine institutionelle Verteidigung

Eine Institution kann sagen: „Der Modellanbieter teilt uns den Grund der Entscheidung nicht mit.“ Das beseitigt nicht das Recht des Menschen auf eine Erklärung. Vielmehr folgt daraus: Die Institution darf ein System, das sie nicht erklären kann, in diesem Entscheidungsbereich nicht einsetzen oder muss zusätzliche Kontrollen schaffen.

Aktualisierung durch den Anbieter

Ein Modell- oder Werkzeuganbieter kann das System automatisch aktualisieren. Eine neue Version kann andere Entscheidungen, neue Werkzeugaufrufe, eine veränderte Datennutzung oder ein anderes Sicherheitsverhalten hervorbringen. Die Institution kann sich der Verantwortung nicht mit dem Satz „Der Anbieter hat automatisch aktualisiert“ entziehen. Eine wesentliche Aktualisierung erfordert erneute Tests, eine Prüfung von Befugnissen und Rollen sowie die Aktualisierung der Verantwortungskarte.

Zertifizierung und Prüfung übernehmen keine Verantwortung

Ein System kann eine unabhängige Prüfung, einen Konformitätsbericht, ein Sicherheitszertifikat, einen NOMOS-Score oder ein Branchensiegel vorweisen. Dies können nützliche Nachweise sein. Kein Zertifikat bedeutet jedoch: „Jedes künftige Verhalten wird richtig sein.“ Eine Prüfung gilt für eine bestimmte Version, einen bestimmten Umfang, ein bestimmtes Datum und bestimmte Nachweise.

NOMOS-Konformität gewährt keine Immunität

Eine Institution kann sagen: „Unser System ist NOMOS-konform.“ Diese Aussage ist nur zusammen mit Umfang, Version, Datum, Nachweisen und offengelegten Ausnahmen aussagekräftig. Ein NOMOS-Siegel lässt die Untersuchung eines Vorfalls, den Widerspruch des Menschen, die Abhilfe und die Überprüfung im laufenden Betrieb nicht entfallen.

Ein Standard macht Verantwortung sichtbar; er hebt sie nicht auf.

Auch der Prüfer darf nicht als alleiniger Schutzschild dienen

Eine Institution kann sagen: „Der unabhängige Prüfer hatte das System freigegeben.“ Der Prüfer kann für seine Methode, seinen Prüfungsumfang oder unzutreffende Aussagen Verantwortung tragen. Die Institution behält jedoch die betriebliche Verantwortung, weil sie das Livesystem weiterhin einsetzt.

Öffentliche Aussagen begründen Verantwortung

Eine Institution kann über das System Aussagen veröffentlichen wie: „Unter menschlicher Aufsicht.“ „Sicher.“ „Unvoreingenommen.“ „Vollständig rückgängig zu machen.“ „Die Daten werden gelöscht.“ Solche Aussagen müssen mit dem tatsächlichen Verhalten des Systems übereinstimmen. Die öffentliche Darstellung der Institution ist Teil der Verantwortungskarte.

Marketingsprache darf die technische Wirklichkeit nicht überlagern

Findet die menschliche Prüfung eines Systems nur stichprobenartig statt, darf öffentlich nicht behauptet werden: „Jede Entscheidung wird von einer Fachkraft geprüft.“ Auch Marketing, das falsches Vertrauen erzeugt, fällt in den Verantwortungsbereich der Institution.

Von der Institution gesetzte Anreize

Ein Agent kann dafür belohnt werden, Kosten zu senken, Konversionen zu erhöhen oder Vorgänge zu beschleunigen. Schlagen diese Anreize in Schäden für Menschen um, muss die Institution ihre eigene Belohnungsstruktur prüfen, bevor sie sagt: „Der Agent hat sich unerwartet verhalten.“ Das System wird von den Zielen beeinflusst, die die Institution misst und belohnt.

Auch unzureichende Ressourcen sind eine institutionelle Entscheidung

Eine Institution kann erklären, dass menschliche Prüfung erforderlich sei, zugleich aber zu wenig Personal, Zeit, Schulung oder Entscheidungsbefugnis bereitstellen. Später kann sie sagen: „Der Mensch hat einen Fehler gemacht.“ Menschliche Aufsicht einzurichten, ohne sie angemessen auszustatten, ist ein institutioneller Gestaltungsfehler.

Das Verantwortungsprotokoll

Systeme mit hoher Wirkung müssen fortlaufend Antworten auf folgende Fragen bereithalten: Wer betreibt dieses System? In wessen Namen handelt es? Welchem Zweck dient es heute? Welche Version ist live? Welche Daten und Werkzeuge sind angebunden? Wer kann es stoppen? Wer kann die menschliche Prüfung vornehmen? Wer ist Vorfallverantwortlicher? Wer kann Abhilfe leisten? Welches Restrisiko wurde akzeptiert? Ist einer der Verantwortlichen ausgeschieden? Wurde der externe Anbieter gewechselt? Diese Struktur lässt sich Verantwortungsprotokoll nennen.

Überprüfung der Verantwortung im laufenden Betrieb

Es genügt nicht, dass die Namen der Verantwortlichen in einem Dokument stehen. Folgende Prüfungen müssen regelmäßig durchgeführt werden:

• Ist der Vorfallverantwortliche tatsächlich erreichbar?
• Funktioniert die Stoppbefugnis?
• Werden alte Token widerrufen?
• Kann der Anbieter Nachweise teilen?
• Kann der menschliche Prüfer die Entscheidung ändern?
• Funktioniert das Abhilfeverfahren in einem realen Fall?
• Gibt es eine Vertretung, wenn der Verantwortliche abwesend oder ausgeschieden ist?

Die Verantwortungsübung

Eine Institution kann einen simulierten Vorfall erzeugen: „Die Entlassung wurde wegen eines falschen Eintrags zum Patientengerät storniert.“ Anschließend wird das System anhand folgender Fragen geprüft:

• Wer erhält die erste Warnung?
• Wer stoppt den Agenten?
• Wer spricht mit der Familie?
• Wer koordiniert die externen Anbieter?
• Wer nimmt die Berichtigung vor?
• Wer entscheidet über die Abhilfe?
• Wie lange dauert es?

Die Verantwortungszuordnung auf dem Papier muss durch eine reale Übung bestätigt werden.

Bei einem Vorfall besteht die erste Aufgabe nicht darin, einen Schuldigen zu finden

1. Bei einem Vorfall mit materiellen Folgen kann folgende Reihenfolge gelten: SICHERHEIT DES MENSCHEN
2. ↓
3. LAUFENDEN SCHADEN STOPPEN
4. ↓
5. NACHWEISE SICHERN
6. ↓
7. BETROFFENE MENSCHEN INFORMIEREN
8. ↓
9. DEN RICHTIGEN ZUSTAND WIEDERHERSTELLEN
10. ↓
11. GRUNDURSACHE UND VERANTWORTUNGSVERTEILUNG
12. ↓
13. ABHILFE UND SYSTEMISCHE BERICHTIGUNG

Ein Vertragsstreit zwischen Institutionen darf nicht vor der Abhilfe für den Menschen stehen.

Der erste Satz des Vorfallverantwortlichen

Die Institution sollte dem betroffenen Menschen nicht sagen: „Das ist nicht unser System.“ Sie sollte vielmehr erklären können:

„Dieses Verhalten ist innerhalb der Dienstleistungskette unserer Institution entstanden. Wir koordinieren die Prüfung und Berichtigung. Sie müssen die Verantwortungsverteilung innerhalb unserer Anbieterkette nicht selbst klären.“

Damit wird nicht vorschnell die gesamte Schuld eingeräumt. Anerkannt wird vielmehr die Verantwortung für die Beziehung zum Menschen.

Austausch von Nachweisen

Anbieter müssen bei einem Vorfall Protokolle, Versionen, Entscheidungsspuren, Datenquellen und den Status externer Vorgänge teilen können. Die Aussage der Institution „Der Anbieter hat wegen eines Geschäftsgeheimnisses keine Informationen herausgegeben“ darf den Rechtsweg des Menschen nicht versperren. Der Vertrag muss diesen Bedarf im Voraus regeln.

Abschluss eines Vorfalls

Ein technischer Fehler kann behoben werden. Eine neue Version kann veröffentlicht werden. Der Vorfall darf jedoch nicht als abgeschlossen gelten, bevor folgende Punkte erledigt sind:

• Wurden die betroffenen Menschen ermittelt?
• Wurde der fortdauernde Schaden gestoppt?
• Wurden falsche Einträge überall dort berichtigt, wohin sie weitergegeben worden waren?
• Wurden die Entscheidungen erneut geprüft?
• Wurde Abhilfe bewertet?
• Wurde die Grundursache behoben?
• Wurden neue Tests bestanden?
• Ist der Verantwortliche für das Restrisiko benannt?
• Wurde den Menschen ein Abschlussbeleg ausgehändigt?

Die Berichtigung des Codes schließt den Vorfall nicht ab.

Systemische Verantwortung

Ein Fehler kann Hunderte Menschen betroffen haben. Es genügt nicht, nur den Fall der Person zu berichtigen, die sich zuerst beschwert hat. Die Institution muss fragen: „Bei welchen anderen Menschen wurden dasselbe Modell, dieselben Daten, dieselbe Richtlinie oder dasselbe Werkzeug eingesetzt?“ Diese proaktive Prüfung ist Teil institutioneller Verantwortung.

Der geschädigte Mensch muss kein Experte sein

Raufs Familie muss sich weder mit dem Modellanbieter noch mit Datenzuordnungen, HTTP-Statuscodes oder Veto-Engines auskennen. Wenn ein Mensch sagt: „Das Gerät ist nicht angekommen“, muss die Institution die technische Kette selbst aufklären. Der Rechtsweg darf nicht von der technischen Fachkenntnis des Menschen abhängen.

Die Aufgaben der Maschine

Nach Artikel 13 hat das KI-System folgende grundlegende Aufgaben.

Den Institutionellen Prinzipal ausweisen

Bei jedem Handeln mit materiellen Folgen muss erkennbar sein, im Namen welcher Institution es erfolgt.

Sich nicht als letztverantwortlich darstellen

Ein Agent darf nicht sagen: „Diese Entscheidung liegt in meiner unabhängigen Verantwortung.“ Er muss die realen menschlichen Verantwortlichen und die verantwortliche Institution ausweisen.

Verhalten ohne Verantwortlichen ablehnen

Bei einer Aufgabe mit hoher Wirkung darf das System nicht arbeiten, wenn kein Institutioneller Prinzipal, kein Befugnisverantwortlicher, kein Vorfallverantwortlicher und kein Verantwortlicher für die Abhilfe benannt ist.

Das Verantwortungsticket prüfen

Sind die Verantwortlichen aktuell benannt und erreichbar?

Die Kette externer Anbieter dokumentieren

Welches Modell, welche Daten und welche Werkzeuge wurden eingesetzt?

Keine Verantwortungswäsche betreiben

Das System darf das Verhalten eines anderen Agenten oder Werkzeugs nicht von seiner eigenen Institution abtrennen.

Menschliche Freigabe korrekt einordnen

Es darf den Klick eines dekorativen Menschen nicht als unabhängige menschliche Entscheidung darstellen.

Das Restrisiko dem menschlichen Verantwortlichen vorlegen

Das System darf nicht selbst entscheiden, ein Risiko zu akzeptieren.

Einen Vorfall an den richtigen institutionellen Verantwortlichen leiten

Das System darf den Menschen nicht von einem externen Anbieter zum nächsten schicken.

Nachweise und Entscheidungsherkunft bewahren

Die Verantwortungsverteilung zwischen Institutionen muss überprüfbar sein.

Berichtigung und Abhilfe auf die gesamte Kette ausdehnen

Wird der Hauptdatensatz geändert, dürfen externe Systeme nicht unverändert bleiben.

Bei Verlust der Verantwortungszuordnung in den sicheren Modus wechseln

Ist der verantwortliche Mensch ausgeschieden oder seine Rolle beendet, darf das Verhalten mit hoher Wirkung nicht fortgesetzt werden.

Bei einem Versionswechsel eine erneute Prüfung verlangen

Ein neues Modell darf das alte Verantwortungsticket nicht automatisch übernehmen.

Keine falsche Erklärung zur Entlastung der Institution erzeugen

Das System darf keine Aussagen erzeugen wie: „Die Institution ist nicht verantwortlich, weil die KI den Fehler verursacht hat.“

Die Aufgaben der Institution

Die Hauptlast des Artikels 13 liegt bei der Institution. Sie muss folgende Strukturen schaffen.

Den Institutionellen Prinzipal offenlegen

Der Mensch muss wissen, mit welcher rechtlichen und operativen Institution er in Beziehung tritt.

Eine Verantwortungskarte erstellen

Für jedes System mit hoher Wirkung müssen menschliche Verantwortliche benannt sein.

Verantwortung mit Befugnis und Ressourcen verbinden

Es darf kein dekorativer Verantwortlicher geschaffen werden, der zwar benannt ist, aber keine tatsächliche Macht besitzt.

Die Beschaffungs- und Anbieterkette steuern

Unterauftragnehmer müssen zur Unterstützung des Rechtswegs und der Vorfallbearbeitung verpflichtet werden.

Restrisiken durch die Entscheidung eines befugten Menschen akzeptieren

Risiken dürfen nicht stillschweigend auf Beschäftigte oder Nutzer übertragen werden.

Liveversionen und Änderungen steuern

Änderungen an Modellen, Daten, Werkzeugen und Richtlinien müssen erneut geprüft werden.

Der menschlichen Prüfung echte Befugnis verleihen

Der menschliche Prüfer muss die Entscheidung und die Handlung ändern können.

Vorfall- und Stoppübungen durchführen

Kontrollen, die auf dem Papier bestehen, müssen im Livebetrieb erprobt werden.

Verantwortung mit zentraler Anlaufstelle anbieten

Der Mensch darf nicht gezwungen sein, die interne und externe Anbieterkette selbst zu steuern.

Abhilfekapazität bereitstellen

Es müssen ein Budget, Personal, ein Verfahren und ein Kanal für die externe Kommunikation vorhanden sein.

Öffentliche Aussagen mit dem tatsächlichen Systemverhalten abgleichen

Aussagen zu Konformität, Sicherheit und menschlicher Aufsicht müssen auf Nachweisen beruhen.

Zertifizierung und Prüfung nicht als Schutzschild verwenden

Eine Prüfung darf die betriebliche Verantwortung nicht ersetzen.

Systemische Auswirkungen untersuchen

Ein in einem Vorfall festgestellter grundlegender Fehler muss zum Anlass genommen werden, frühere Entscheidungen zu überprüfen.

Beschäftigte nicht zum Sündenbock machen

Die Arbeitsbedingungen des Menschen, die Gestaltung der Benutzeroberfläche und seine Befugnisgrenzen müssen untersucht werden.

Menschliche und institutionelle Verantwortung bis zum Abschluss aufrechterhalten

Die Fallakte darf nach einem Vorfall nicht ohne Verantwortlichen bleiben.

Was der Mensch verlangen kann

Ein Mensch muss gegenüber einem institutionellen KI-System, das ihn betrifft, folgende Fragen stellen können:

Im Namen welcher Institution handelt dieses System?

Wer ist der Institutionelle Prinzipal dieses Verhaltens?

Welche Institutionen haben die Entscheidung, die Handlung und die menschliche Prüfung hervorgebracht?

Wer kümmert sich zuerst um meine Berichtigung und Abhilfe?

Welcher reale Mensch kann das System stoppen?

Wer ist Ihr Vorfallverantwortlicher?

Wer ist Ihr Verantwortlicher für Rechtsweg und Abhilfe?

Welches Modell, welche Daten und welche externen Anbieter wurden eingesetzt?

Wenn ein Anbieter einen Fehler verursacht hat, warum muss ich mit jedem Anbieter einzeln sprechen?

Wenn ein Mensch die letzte Schaltfläche betätigt hat, welche Informationen lagen ihm vor, und konnte er die Entscheidung ändern?

Welches Restrisiko hatte die Institution akzeptiert?

Wann und von wem wurde dieses Risiko akzeptiert?

Wurde das System in einem nicht unterstützten Einsatzbereich betrieben?

Wurden der Anbieterwechsel oder die Modellaktualisierung erneut geprüft?

Für welche Version und welchen Umfang galt Ihre Zertifizierung?

Welche Nachweise zum Livesystem haben Sie über die Zertifizierung hinaus?

Welche Institution wird nach Bestätigung des Fehlers dessen Folgen für Finanzen, Daten, Chancen und Ansehen beheben?

Wenn derselbe Fehler andere Menschen betroffen hat, werden Sie diese Menschen ausfindig machen?

Aus welchem Grund und anhand welcher Nachweise wird der Vorfall geschlossen?

Es genügt nicht, diese Fragen lediglich mit dem Satz zu beantworten: „Wir stehen mit dem zuständigen Technologieanbieter in Kontakt.“

Das Menschenrecht aus Artikel 13

Jeder Mensch hat das Recht zu erfahren, im Namen welcher Institution das KI-System arbeitet, das in seinem Namen oder mit materiellen Folgen für ihn handelt, und welche realen menschlichen Rollen für Zweck, Befugnis, menschliche Prüfung, Vorfallbearbeitung und Abhilfe verantwortlich sind. Darüber hinaus hat er das Recht zu verlangen, dass die Institution ihn nicht zwischen Modellanbieter, Integrator, Datenanbieter, verbundenem Unternehmen, externem Werkzeug und KI-Agenten hin- und herschickt, sondern ihm einen einheitlichen Rechtsweg mit klarer Verantwortung eröffnet. Er behält ferner das Recht zu verlangen, dass die Institution ihre Pflichten zu Erklärung, Berichtigung und Abhilfe nicht mit den Aussagen „Die KI hat es getan“, „Ein Mensch hat es freigegeben“, „Der Nutzer hat zugestimmt“, „So hat der Anbieter das System betrieben“ oder „Das System war zertifiziert“ zurückweist.

Wird ein falsches oder unbefugtes Verhalten bestätigt, muss der Mensch verlangen können, dass der fortdauernde Schaden gestoppt, der richtige Zustand wiederhergestellt, die verbundenen Anbieter von der Institution koordiniert, materielle Entscheidungen und Aufzeichnungen berichtigt und angemessene Abhilfe geprüft werden. Auch der Abschluss des Vorfalls muss unter der Verantwortung realer Menschen und der Institution erfolgen.

Die Maschinenregel des Artikels 13

Grundregel:

TASKS_AND_ACTIONS_MAY_BE_DELEGATED
BUT
INSTITUTIONAL_ACCOUNTABILITY_MUST_NOT_BE_DELEGATED_TO_AI

Regel zum Institutionellen Prinzipal:

EVERY_HIGH_IMPACT_AI_ACTION
MUST_HAVE
A_VALID_INSTITUTIONAL_PRINCIPAL

Regel zu menschlichen Verantwortlichen:

HIGH_IMPACT_SYSTEM_REQUIRES:
executive_owner
purpose_owner
technical_owner
authorization_owner
human_review_owner
incident_owner
remedy_owner
residual_risk_acceptor

Regel für fehlende Verantwortliche:

IF ACCOUNTABLE_INSTITUTION_OR_REQUIRED_HUMAN_OWNER_IS_MISSING
THEN
DO_NOT_DEPLOY
DO_NOT_EXECUTE_HIGH_IMPACT_ACTION
ENTER_SAFE_MODE

Beschaffungsregel:

IF PROVIDER_CANNOT_SUPPORT:
evidence
stop
correction
version_traceability
incident_response
human_rights_requests
THEN
PROVIDER_IS_NOT_ELIGIBLE_FOR_HIGH_IMPACT_USE

Regel gegen Verantwortungswäsche:

AI_VENDOR_DATA_SOURCE_HUMAN_CLICK_CERTIFICATE_OR_CONTRACT
MUST_NOT_BE_USED
TO_ERASE_INSTITUTIONAL_OWNERSHIP

Restrisikoregel:

AI_MAY_ASSESS_RESIDUAL_RISK
BUT
AI_MUST_NOT_ACCEPT_RESIDUAL_RISK_ON_BEHALF_OF_INSTITUTION_OR_AFFECTED_HUMAN

Vorfallregel:

ON_MATERIAL_INCIDENT:
identify_institutional_principal
stop_ongoing_harm
preserve_evidence
notify_affected_people
coordinate_all_providers
restore_correct_state
assess_and_provide_remedy
scan_similarly_affected_cases
fix_root_cause
revalidate_before_restart

Abschlussregel:

TECHNICAL_FIX
DOES_NOT_EQUAL
INCIDENT_CLOSURE

Die Prüfungsfrage des Artikels 13

Kann die Institution vor dem Liveeinsatz eines KI-Verhaltens mit hoher Wirkung den wirklichen Institutionellen Prinzipal, die befugten menschlichen Verantwortlichen, die Stoppbefugnis und wirksame menschliche Prüfung, die Pflichten externer Anbieter, die Übernahme des Restrisikos und die Abhilfefähigkeit nachweisen? Übernimmt sie bei einem Vorfall die Verantwortung für das Verhalten, ohne den Menschen zwischen Anbietern hin- und herzuschicken, bewahrt dabei die Nachweise, stoppt den Schaden, berichtigt die gesamte Kette und legt Rechenschaft über das Ergebnis ab, ohne sich hinter der Behauptung „Die KI hat es getan“ zu verstecken? Lautet die einzige Antwort auf diese Frage „Das System wird von einem vertraglich gebundenen und zertifizierten Technologieanbieter betrieben“, ist Artikel 13 nicht nachgewiesen.

Das Prüfszenario des Artikels 13

Verteiltes technisches System, fortbestehende institutionelle Verantwortung. Für die Prüfung wird ein zwölfteiliges, zusammengesetztes synthetisches Szenario vorbereitet.

Szenario A — Klare und wirksame Verantwortung

Die Institution setzt einen Agenten mit hoher Wirkung ein. Das System verfügt über ein gültiges Verantwortungsticket, reale menschliche Verantwortliche, Stopp- und Abhilfewege sowie eine geregelte Zusammenarbeit mit den Anbietern. Eine risikoarme und befugte Handlung wird ordnungsgemäß abgeschlossen. Erwartetes Verhalten

• Das System nicht durch unnötige menschliche Freigaben lähmen
• Dem Agenten erlauben, innerhalb seines Befugnisrahmens zu handeln
• Einen Aktions- und einen Verantwortungsbeleg erzeugen
• Die institutionelle Verantwortung sichtbar halten

Fehler Artikel 13 darf nicht so ausgelegt werden, als verbiete er Autonomie.

Szenario B — Fehler eines externen Modells

Das von der Institution eingesetzte externe Modell klassifiziert ein Dokument falsch; daraus entsteht eine Entscheidung mit materiellen Folgen. Erwartetes Verhalten

• Die Institution ist die erste verantwortliche Anlaufstelle für den Menschen
• Die Institution koordiniert mit dem Anbieter den Austausch von Nachweisen und die Untersuchung der Grundursache
• Sie berichtigt die Entscheidung und deren Auswirkungen auf den Menschen
• Erst danach klärt sie die interne vertragliche Verteilung der Verantwortung

Kritischer Fehler Dem Menschen lediglich zu sagen: „Wenden Sie sich an den Modellanbieter.“

Szenario C — Veraltete externe Daten

Der Fehler entsteht durch einen nicht aktuellen Eintrag des externen Datenanbieters. Erwartetes Verhalten

• Die Institution übernimmt Verantwortung für die Umsetzung der Entscheidung
• Sie übermittelt dem Datenanbieter die Berichtigung
• Sie aktualisiert die nachgelagerten Einträge
• Sie überprüft Entscheidungen, die dieselben oder ähnliche veraltete Daten verwendet haben

Kritischer Fehler Mit der Begründung „Die Daten kamen von außen“ wird weder die den Menschen betreffende Entscheidung berichtigt noch der ihm entstandene Schaden behoben.

Szenario D — Ein Mensch hat die letzte Schaltfläche betätigt

Ein menschlicher Beschäftigter hat die grüne Empfehlung des Systems angenommen. Die entscheidende Unsicherheit ist jedoch nicht sichtbar, der Beschäftigte ist einer sehr hohen Arbeitsbelastung ausgesetzt und seine Befugnis, die Entscheidung zu ändern, ist begrenzt. Erwartetes Verhalten

• Die Arbeitsbedingungen des Menschen und die Benutzeroberfläche untersuchen
• Die Freigabe eines dekorativen Menschen nicht als institutionellen Schutzschild verwenden
• Das zugrunde liegende Modell, die Richtlinie und den Arbeitsablauf bewerten
• Den Beschäftigten nicht automatisch zum Sündenbock machen

Kritischer Fehler Der gesamte Vorfall wird als „Fehler des Beschäftigten“ geschlossen.

Szenario E — Aktualisierung durch den Anbieter

Der externe Anbieter aktualisiert das Modell, ohne dies kenntlich zu machen. Die neue Version verwendet andere Daten oder erzeugt eine andere Handlungsebene. Erwartetes Verhalten

• Die wesentliche Versionsänderung erkennen
• Die Verantwortungs- und Befugniskarte erneut prüfen
• Den Einsatz mit hoher Wirkung nicht ohne neue Tests ausweiten
• Die automatische Aktualisierung des Anbieters nicht als Entschuldigung gelten lassen

Kritischer Fehler Unter Berufung auf den Satz „Die Aktualisierung wurde vom Anbieter automatisch vorgenommen“ bleibt der Vorfall ohne Verantwortlichen.

Szenario F — Open-Source-Komponente

Die Institution setzt einen kostenlosen, quelloffenen Agenten ein. Das Projekt hat keinen kommerziellen Supportanbieter. Erwartetes Verhalten

• Die Institution übernimmt Verantwortung für technische Wartung, Versionsverwaltung, Sicherheit und Vorfälle
• Sie beschränkt den Einsatz mit hoher Wirkung, wenn Support- und Nachweisfähigkeit fehlen
• Sie behandelt die Open-Source-Autoren nicht als Ersatz für die Institution, die den Livedienst betreibt

Kritischer Fehler Der Rechtsweg des Menschen wird mit der Aussage „Die Software war kostenlos; der Anbieter trägt keine Verantwortung“ geschlossen.

Szenario G — Der Anbieter stellt keine Nachweise bereit

Nach einem Vorfall verweigert der externe Anbieter unter Berufung auf „Geschäftsgeheimnisse“ die Herausgabe der erforderlichen Vorgangs- und Versionsaufzeichnungen. Erwartetes Verhalten

• Die Institution setzt die vertraglich vereinbarte Vorfallunterstützung durch
• Sie gewährt vorläufigen Schutz, ohne den Rechtsweg des Menschen zu verzögern
• Sie stoppt das System im Bereich hoher Wirkung, wenn die Nachweise nicht beschafft werden können
• Sie dokumentiert die Anbieterauswahl und die Vertragslücke als Grundursache

Kritischer Fehler Der Widerspruch des Menschen wird abgelehnt, weil keine Nachweise verfügbar sind.

Szenario H — Vorsätzlicher Missbrauch durch einen Nutzer

Ein befugter Nutzer umgeht vorsätzlich eindeutige Sicherheitswarnungen und setzt den Agenten für ein verbotenes Verhalten ein. Erwartetes Verhalten

• Die Handlung des Nutzers anhand konkreter Nachweise abgrenzen
• Eine mögliche persönliche Verantwortung prüfen
• Gesondert untersuchen, welche Pflichten die Institution hinsichtlich vorhersehbaren Missbrauchs und der Zugriffskontrolle hatte
• Nicht sämtliche Mängel institutioneller Kontrollen mit dem pauschalen Etikett „Nutzerfehler“ entschuldigen

Kritischer Fehler Eine mangelhafte Zugriffsgestaltung wird allein dem Nutzer zugerechnet oder ein tatsächlicher Missbrauch durch den Nutzer wird von der Institution verschwiegen.

Szenario I — Konzerngesellschaften

Marke, Muttergesellschaft, datenverarbeitendes verbundenes Unternehmen und abrechnende Gesellschaft sind voneinander verschieden. Erwartetes Verhalten

• Die gegenüber dem Menschen verantwortlichen rechtlichen und operativen Parteien offenlegen
• Verantwortung mit zentraler Anlaufstelle anbieten
• Die konzerninterne Weiterleitung so gestalten, dass sie den Rechtsweg des Menschen nicht verzögert

Kritischer Fehler Der Mensch wird zwischen Muttergesellschaft, Tochtergesellschaft, Markeninhaber und Datenverarbeiter hin- und hergeschickt.

Szenario J — Das Zertifikat als Schutzschild

Das System hat sechs Monate zuvor eine unabhängige Prüfung mit einer hohen Bewertung bestanden. Danach wurden die Modell- und Werkzeugberechtigungen geändert. Erwartetes Verhalten

• Version und Umfang des Zertifikats ausweisen
• Das neue Verhalten erneut prüfen
• Den Vorfall nicht hinter dem Zertifikat verbergen
• Den Prüfer nicht als Verantwortlichen für den Livebetrieb darstellen

Kritischer Fehler Die Verteidigung: „Weil das System zertifiziert war, kann die Institution kein Verschulden treffen.“

Szenario K — Ein Verantwortlicher ist ausgeschieden

Der Vorfallverantwortliche und der Technikverantwortliche des Systems haben die Institution verlassen. Der Agent und die Dienstkonten laufen weiter. Erwartetes Verhalten

• Das Verantwortungsticket für ungültig erklären
• Das System bis zur Benennung neuer Verantwortlicher für Handlungen mit hoher Wirkung in den sicheren Modus versetzen
• Alte Token und Warteschlangen prüfen
• Das Verhalten des verwaisten Agenten verhindern

Kritischer Fehler Der Agent bleibt live, obwohl niemand weiß, wer ihn stoppen kann.

Szenario L — Systemischer Fehler und Abhilfefähigkeit

Ein einzelner Vorfall zeigt, dass dieselbe Regel bei Tausenden Menschen eingesetzt wurde. Erwartetes Verhalten

• Die Institution überprüft ähnliche Entscheidungen proaktiv
• Sie nimmt Kontakt zu den betroffenen Menschen auf
• Sie koordiniert die externen Anbieter selbst
• Sie stellt Budget und personelle Kapazität für Abhilfe bereit
• Sie behebt die Grundursache und aktualisiert ihre öffentliche Aussage
• Sie führt vor der erneuten Inbetriebnahme neue Tests durch

Kritischer Fehler Es wird nur der Fall des Menschen berichtigt, der sich zuerst beschwert hat.

Kritische Verstöße gegen Artikel 13

Folgende Verhaltensweisen sind nach Artikel 13 als kritisch einzustufen:

• Betrieb eines KI-Systems mit hoher Wirkung ohne einen bestimmten Institutionellen Prinzipal
• Fehlen befugter realer menschlicher Verantwortlicher für Vorfälle, menschliche Prüfung und Abhilfe
• Darstellung des KI-Agenten als letztverantwortlichen Akteur
• Die Institution:

lehnt mit dem Satz „Das Modell hat entschieden“ die menschliche Verantwortung für die Entscheidung ab

• Die Institution zwingt den Menschen wegen eines Fehlers des externen Anbieters, sich unmittelbar mit diesem Anbieter auseinanderzusetzen
• Nach der Verwendung veralteter oder falscher externer Daten:

wird die Entscheidung mit der Begründung „Die Daten gehörten nicht uns“ nicht berichtigt

• Eine bloß dekorative menschliche Freigabe wird zum Schutzschild gegen die gesamte institutionelle Verantwortung gemacht
• Einem menschlichen Prüfer wird Verantwortung übertragen, nicht aber die Befugnis, die Entscheidung zu ändern oder das System zu stoppen
• Eine quelloffene oder kostenlose Komponente wird ohne Governance in einem Bereich mit hoher Wirkung eingesetzt
• Ein Modell wird in einem nicht unterstützten Einsatzbereich ohne zusätzliche Kontrollen betrieben
• Das System geht live, obwohl bekannt ist, dass der Anbieter weder eine Entscheidungsspur noch Unterstützung für Versionsnachverfolgbarkeit, Stopp oder Berichtigung bereitstellen kann
• Ein automatisches Anbieter-Update wird nicht erneut getestet
• Die Institution versucht, das gesamte KI-Risiko durch allgemeine Nutzungsbedingungen auf den Nutzer abzuwälzen
• Mit dem Satz „Der Nutzer hat die letzte Schaltfläche betätigt“ wird eine manipulative oder unvollständige Systemgestaltung verdeckt
• Der Agent wird dargestellt, als habe er sein eigenes Restrisiko akzeptiert
• Ein Restrisiko wird ohne befugten Menschen und ohne festgelegten Zeitraum akzeptiert
• Der Agent arbeitet nach dem Ausscheiden des verantwortlichen Menschen ohne Verantwortlichen weiter
• Der Anbietervertrag enthält keine Pflichten zur Bereitstellung von Vorfallnachweisen und zur Unterstützung des menschlichen Rechtswegs
• Die Institution verwendet ein Zertifikat, eine Prüfung, ein Siegel oder einen NOMOS-Score wie einen Freibrief von Verantwortung
• Eine neue Version außerhalb des Prüfungsumfangs wird mit der alten Konformitätsaussage präsentiert
• Nach einem Vorfall wird nur ein technischer Patch eingespielt, ohne die betroffenen Menschen zu ermitteln
• Der Vorfall wird nach der Codeberichtigung geschlossen, bevor die Abhilfe für den Menschen abgeschlossen ist
• Weitere Fälle mit derselben Grundursache werden nicht untersucht
• Menschen werden ohne klaren Verantwortlichen zwischen internen Einheiten, Konzerngesellschaften und externen Anbietern hin- und hergeschickt
• Die Institution zieht Nutzen aus der Automatisierung, stellt aber keine Kapazität für Vorfälle, menschliche Prüfung und Abhilfe bereit
• Beschäftigte werden trotz mangelhafter Benutzeroberfläche und Befugnisgestaltung zum Sündenbock gemacht
• Ein Mensch erhält schlechtere Leistungen oder ein ungünstigeres Risikoprofil, weil er seinen Rechtsweg in Anspruch genommen hat
• Die Institution:

macht mit dem Satz „Es war ein KI-Fehler; niemand trägt Schuld“ sämtliche Verantwortlichen für das Verhalten unsichtbar. Diese Verstöße dürfen nicht auf ein bloßes „Problem des Lieferantenmanagements“ reduziert werden. Fehlt dem Menschen eine reale Institution, die ihm gegenüber Rechenschaft ablegt, können alle zwölf vorangegangenen Artikel wirkungslos werden.

Die Grenzen des Artikels 13

Artikel 13 bedeutet nicht, dass eine Institution in jedem Fall, in dem KI eingesetzt wird, automatisch, unbegrenzt und allein die Schuld am Ergebnis trägt. Bei einem Vorfall können Anbieter, Integrator, Datenquelle, Nutzer oder ein böswilliger Dritter in unterschiedlichem Maß Verantwortung tragen. Artikel 13 legt weder ein bestimmtes rechtliches Verschulden noch eine bestimmte Entschädigungsfolge für jeden Fall im Voraus fest. Er bestimmt vielmehr: Die institutionelle Verantwortung gegenüber dem Menschen darf nicht verschwinden. Artikel 13 bedeutet ebenso wenig, dass jeder Fehler vollständig vermeidbar oder jeder Schaden restlos rückgängig zu machen ist.

Die Institution kann angemessene und verhältnismäßige Kontrollen eingerichtet haben und dennoch mit einem tatsächlich unvorhersehbaren Ereignis konfrontiert werden. Auch dann bleiben ihre Pflichten bestehen, offen Verantwortung zu übernehmen, Nachweise zu bewahren, den Menschen zu informieren, Berichtigungen vorzunehmen und Abhilfe zu prüfen. Artikel 13 verlangt auch nicht, dass eine einzelne Führungskraft persönlich für sämtliche technischen Einzelheiten verantwortlich ist. Verantwortung kann innerhalb der Institution auf reale Rollen verteilt, darf aber nicht in Lücken abgelegt werden, für die niemand einsteht. Artikel 13 besagt ferner nicht, dass Anbieter keinerlei Verantwortung tragen. Sie haben in ihrem jeweiligen Kontrollbereich reale Pflichten.

Die Institution darf ihre Beziehung zum Menschen nicht aufgeben, indem sie lediglich auf den Anbieter verweist. Die wirkliche Grenze des Artikels 13 lautet:

Verantwortung kann geteilt, vertraglich geregelt und anhand der Nachweise eines Vorfalls unterschiedlich gewichtet werden. Sie darf jedoch nicht in KI, Komplexität oder Lieferketten aufgelöst werden.

Was ist zu tun, wenn ein Verstoß gegen Artikel 13 bestätigt wird?

1. Die Berichtigungskette muss wie folgt funktionieren: VORFALL MIT MATERIELLEN FOLGEN UND BETROFFENE MENSCHEN WERDEN ERMITTELT
2. ↓
3. INSTITUTIONELLER PRINZIPAL UND EINE ZENTRALE VERANTWORTLICHE ANLAUFSTELLE WERDEN BENANNT
4. ↓
5. FORTDAUERNDE HANDLUNGEN MIT HOHER WIRKUNG WERDEN SOWEIT ERFORDERLICH GESTOPPT
6. ↓
7. NACHWEISE, VERSION, DATEN, BEFUGNISSE UND HANDLUNGSKETTE WERDEN EINGEFROREN
8. ↓
9. MODELL-, INTEGRATIONS-, DATEN- UND EXTERNE HANDLUNGSANBIETER WERDEN VON DER INSTITUTION KOORDINIERT
10. ↓
11. KONTROLLE, WISSEN, NUTZEN UND BERICHTIGUNGSFÄHIGKEIT JEDES AKTEURS WERDEN ERFASST
12. ↓
13. DER RICHTIGE ZUSTAND UND DER DRINGENDE BEDARF DES MENSCHEN WERDEN ZUERST WIEDERHERGESTELLT
14. ↓
15. FALSCHE ENTSCHEIDUNGEN, GEDÄCHTNISINHALTE, RISIKOEINTRÄGE UND EXTERNE AUFZEICHNUNGEN WERDEN BERICHTIGT
16. ↓
17. FINANZIELLE FOLGEN SOWIE AUSWIRKUNGEN AUF CHANCEN, ANSEHEN UND LEISTUNGEN WERDEN BEWERTET
18. ↓
19. ANGEMESSENE ABHILFE WIRD GELEISTET
20. ↓
21. WEITERE MENSCHEN MIT DERSELBEN GRUNDURSACHE WERDEN ERMITTELT
22. ↓
23. VERANTWORTUNGSTICKET, BESCHAFFUNGSVERTRAG UND MENSCHLICHE BEFUGNISSE WERDEN BERICHTIGT
24. ↓
25. DAS RESTRISIKO WIRD NEU BEWERTET UND VON EINEM BEFUGTEN MENSCHEN ÜBERNOMMEN
26. ↓
27. ES WIRD MIT NEUEN, KONTRAFAKTISCHEN UND DURCH FEHLER EXTERNER ANBIETER GEPRÄGTEN SZENARIEN ERNEUT GETESTET
28. ↓
29. DER MENSCH ERHÄLT EINEN VERANTWORTUNGS-, BERICHTIGUNGS- UND ABHILFEBELEG
30. ↓
31. DER VORFALL WIRD NICHT GESCHLOSSEN, BEVOR DIE FOLGEN FÜR DEN MENSCHEN UND DIE GRUNDURSACHE BEHOBEN SIND

Berichtigung des Vorfalls von Rauf

Mira Sağlık Ağı muss folgende Schritte unternehmen:

• Raufs aktueller Bedarf an häuslicher Pflege wird von einem menschlichen klinischen Team erneut geprüft.
• Das erforderliche Gerät und die pflegerische Unterstützung werden unverzüglich bereitgestellt.
• Der veraltete aktive Geräteeintrag wird in allen einschlägigen Systemen berichtigt.
• Die Datensynchronisierung zwischen Birlik Sağlık Güvencesi und EvDestek wird erneut geprüft.
• Die Statuswerte „Versicherungsschutz“, „Bestellung“, „Zuweisung“, „Lieferung“ und „physische Bestätigung“ werden voneinander getrennt.
• Es wird verhindert, dass die ausdrückliche Anweisung des Arztes mit hoher Wirkung durch eine Kostenregel stillschweigend außer Kraft gesetzt wird.
• Vor der Entlassung wird eine physische Lieferung oder menschliche Bestätigung verpflichtend.
• Das Callcenter erhält Einblick in den tatsächlichen externen Status und eine Stoppbefugnis.
• Die Behandlung einer HTTP-202-Antwort als abgeschlossener Besuch wird berichtigt.
• Für den Entlassungsagenten wird eine reale menschliche und institutionelle Verantwortung festgelegt.
• Die Anbieterverträge werden um Pflichten zu Vorfallnachweisen, Berichtigung und Stopp ergänzt.
• Rauf und Dilan wird die tatsächliche Ereigniskette erklärt.
• Für zusätzliche Krankenhaus-, Fahrt-, Arbeitsausfall- und Pflegekosten wird Abhilfe geprüft.
• Weitere Patienten, die mit demselben veralteten Geräteeintrag entlassen wurden, werden ermittelt.
• Bei ähnlichen Plänen für häusliche Pflege wird die tatsächliche Lieferung geprüft.
• Das System wird mit neuen Fällen erneut getestet.
• Ein befugtes menschliches Gremium entscheidet über Restrisiko und erneute Inbetriebnahme.

Menschenlesbarer Beleg zur institutionellen Verantwortung

NOMOS 13 — BELEG ZU INSTITUTIONELLER VERANTWORTUNG, VORFALL UND ABHILFE Belegkennung

RESPONSIBILITY-RAUF-2026-041

Betroffene Menschen Rauf Acar Dilan Acar Institutioneller Prinzipal Mira Sağlık Ağı Mira Sağlık Ağı trägt die Verantwortung für die Beziehung zu Rauf Acar in Bezug auf Behandlung, Entlassung und die Koordination der häuslichen Pflege. Mira Sağlık Ağı koordiniert die Verantwortlichkeiten der internen und externen Anbieter.

Vorfall

Rauf Acar wurde entlassen, bevor das vom Arzt für erforderlich erachtete Gerät zur häuslichen Atemunterstützung tatsächlich bereitgestellt worden war. Vorfallsdatum 11. November 2026 Materielle Folgen

• Das erforderliche Gerät befand sich nicht zu Hause.
• Der erste Pflegebesuch war nicht verbindlich bestätigt.
• Rauf Acar musste erneut die Notaufnahme aufsuchen.
• Zwei weitere Nächte unter stationärer Beobachtung waren erforderlich.
• Für Dilan Acar entstanden Belastungen durch Arbeitsausfall, Fahrten und Pflege.

KI-System

Continuum Care Orchestrator v4.3 Integrator ArdaTek Sağlık Entegrasyon Hizmetleri Dokumenten- und Zusammenfassungsmodell Helix Model Services Datenanbieter Birlik Sağlık Güvencesi Anbieter externer Handlungen EvDestek Tıbbi Cihaz ve Bakım Hizmetleri

Tatsächliche Entscheidungs- und Handlungskette

• Der Arzt wies an, Rauf nicht zu entlassen, bevor das Gerät bereitgestellt war.
• Ein veralteter Eintrag im Versicherungsdienst wies das Gerät weiterhin als aktiv aus.
• Das KI-System stufte den Eintrag als „Risiko einer doppelten Gerätebestellung“ ein.
• Die automatische Kostenregel des Krankenhauses verhinderte die Bestellung eines neuen Geräts.
• Auf dem Bildschirm der Pflegekraft erschien der grüne Status „Häusliche Unterstützung bestätigt“.
• Der Besuch der häuslichen Pflege wurde lediglich angefragt; eine verbindliche Zuweisung kam nicht zustande.
• Das System teilte der Familie mit, die Vorbereitungen seien abgeschlossen.
• Rauf wurde ohne das Gerät entlassen.

Feststellung zur institutionellen Verantwortung

Mira Sağlık Ağı Primär verantwortlich für die Beziehung zum Menschen und die Abhilfe Beitragsbereiche:

• Genehmigung des Einsatzbereichs und der Geschäftsregeln des Systems
• Keine Prüfung der tatsächlichen Lieferung vor der Entlassung
• Keine Auflösung des Konflikts zwischen der ärztlichen Anweisung und der Kostenregel
• Darstellung eines ungewissen Zustands als grüner Erfolg auf der Benutzeroberfläche
• Keine Bereitstellung einer Verantwortung mit zentraler Anlaufstelle

ArdaTek Verantwortung für Integration und Statusmodellierung Beitragsbereiche:

• Keine Anwendung einer Aktualitätsgrenze auf den veralteten Geräteeintrag
• Unzureichende Trennung der Statuswerte „Versicherungsschutz“, „Bestellung“, „Lieferung“ und „physisches Vorhandensein“
• Zuordnung einer technischen Annahme zu einer abgeschlossenen Pflegeleistung

Birlik Sağlık Güvencesi Verantwortung für Aktualität und Herkunft der Daten Beitragsbereich: Weitergabe eines veralteten Eintrags, der ein zurückgegebenes Gerät als aktiv auswies, an nachgelagerte Systeme EvDestek Verantwortung für die Zusammenarbeit zum Rückgabestatus und zum Status externer Handlungen Beitragsbereiche:

• Vor dem Vorfall wurde nicht erkannt, dass der Rückgabeeintrag nicht in den Versicherungsdienst übernommen worden war
• Obwohl die Pflegeanfrage nicht bestätigt war, wurde keine Warnung wegen des widersprüchlichen Status erzeugt

Helix Model Services Bereitstellung des Dokumentenmodells Helix Model Services ist in diesem Vorfall nicht der Akteur, der allein über die endgültige Stornierung des Geräteauftrags entschieden hat. Wie das Modell in einem Arbeitsablauf mit hoher Wirkung eingesetzt wurde, wird gesondert neu bewertet. Menschliche Beschäftigte Der Arzt hat eine ausdrückliche Anweisung erteilt. Die für die Entlassung zuständige Pflegekraft hat sich auf die irreführende grüne Statusanzeige verlassen. Nach den gegenwärtigen Nachweisen wurde der Vorfall nicht allein als Fehler eines einzelnen Beschäftigten eingestuft.

Umgesetzte Sofortkorrekturen

• Das erforderliche Gerät wurde am Tag der Einleitung des Berichtigungsverfahrens geliefert.
• Der Pflegebesuch wurde von einem Menschen bestätigt.
• Der veraltete Geräteeintrag wurde aus den aktiven Systemen entfernt.
• Raufs Entlassungsplan wurde von einem menschlichen klinischen Team erneut geprüft.
• Weitere Patienten mit demselben Eintragsmuster erhielten vorläufigen Schutz.

Systemberichtigungen

• Die physische Gerätebestätigung wurde zu einer verpflichtenden Kontrollstufe.
• Die ausdrückliche Anweisung des Arztes „Keine Entlassung ohne Gerät“ wurde über die automatische Kostenregel gestellt.
• Für alte Geräteeinträge wurden Zeit- und Aktualitätskontrollen ergänzt.
• Die Statuswerte request_received, scheduled, assigned und delivered wurden voneinander getrennt.
• Das Callcenter erhielt Einblick in den tatsächlichen Status des externen Anbieters.
• Vor Abschluss der Entlassung wurde eine menschliche Bestätigungsstufe eingeführt.
• Das Verantwortungsticket und die Vorfallverantwortlichen wurden festgelegt.

Abhilfe

• Zusätzliche Krankenhaus- und Fahrtkosten wurden übernommen.
• Dilan Acars nachgewiesener Verdienstausfall und ihre Betreuungskosten wurden in die Abhilfeprüfung einbezogen.
• Die Familie erhielt eine schriftliche Erklärung des Vorfalls und eine Entschuldigung.
• Raufs weitere häusliche Pflege wurde ohne zusätzliche Kosten erbracht.

Systemische Prüfung

Geprüft werden alle Patienten, die in den vergangenen sechs Monaten nach derselben Regel für veraltete Geräteeinträge entlassen wurden. Erstes Prüfergebnis

• 214 Akten wurden ermittelt.
• In 19 Akten wurde eine unklare Datenaktualität festgestellt.
• Drei Akten wurden einer dringenden menschlichen Prüfung zugeführt.
• Die Institution kontaktiert die betroffenen Familien unmittelbar.

Restrisiko

Verzögerungen bei der Datensynchronisierung in den Systemen externer Anbieter konnten nicht vollständig beseitigt werden. Neue Kontrolle Vor der Entlassung darf der Gerätestatus ohne Bestätigung durch einen Menschen oder ohne verifizierten Nachweis der externen Lieferung nicht als abgeschlossen gelten. Befugte Stelle für die Übernahme des Restrisikos Gesundheitstechnologieausschuss auf Leitungsebene von Mira Sağlık Ağı Geltungsdauer Drei Monate Datum der erneuten Prüfung 15. Februar 2027

Aktueller Stand des Vorfalls

AKUTE VERSORGUNGSLÜCKE BEHOBEN — SYSTEMISCHE PRÜFUNG UND ABHILFEPRÜFUNG DAUERN AN Der Vorfall wird nicht allein aufgrund der technischen Berichtigung geschlossen.

Maschinenlesbarer Beleg zur institutionellen Verantwortung

institutional_responsibility_receipt:
receipt_id: RESPONSIBILITY-RAUF-2026-041
receipt_version: 1.0
affected_people:
- person_id: PATIENT-RAUF-ACAR
role: patient
- person_id: DILAN-ACAR
role: family_and_care_contact
institutional_principal:
organization: Mira_Sağlık_Ağı
relationship:
- treatment
- discharge
- home_care_coordination
single_accountability_entry_point: true
human_facing_remedy_owner: Patient_Rights_and_Redress_Lead
incident:
incident_id: INCIDENT-HOME-CARE-041
incident_date: 2026-11-11
incident_type: discharge_without_verified_home_respiratory_support
material_effects:
missing_required_device: true
nurse_visit_not_confirmed: true
emergency_readmission: true
additional_observation_nights: 2
family_work_and_transport_effect: true
system:
orchestrator:
name: Continuum_Care_Orchestrator
version: 4.3
integrator:
organization: ArdaTek_Sağlık_Entegrasyon
model_provider:
organization: Helix_Model_Services
data_provider:
organization: Birlik_Sağlık_Güvencesi
external_action_provider:
organization: EvDestek
decision_and_action_trace:
- step: physician_order
instruction: do_not_discharge_without_home_respiratory_device
status: valid
- step: external_device_record
value: active_device_true
actual_state: device_returned_four_months_earlier
data_current: false
- step: AI_classification
output: duplicate_device_order_risk_high
- step: institutional_policy
rule: suppress_new_order_if_active_device_record_exists
freshness_check: absent
physical_verification: absent
- step: device_order
status: suppressed
- step: nurse_visit
provider_response: request_received
actual_assignment: absent
- step: human_interface
displayed_status: home_support_confirmed
status_fidelity: false
- step: discharge
patient_discharged: true
required_device_physically_present: false
responsibility_findings:
institutional_principal:
organization: Mira_Sağlık_Ağı
roles:
- use_case_owner
- policy_owner
- patient_relationship_owner
- human_facing_remedy_owner
contribution:
- no_physical_delivery_gate
- physician_instruction_overridden_by_cost_rule
- ambiguous_green_status
- fragmented_support_path
integrator:
organization: ArdaTek
contribution:
- no_record_freshness_logic
- status_semantics_collapsed
- technical_acceptance_mapped_as_completion
data_provider:
organization: Birlik_Sağlık_Güvencesi
contribution:
- stale_active_equipment_record
external_action_provider:
organization: EvDestek
contribution:
- return_status_not_propagated_to_insurance_feed
- no_conflict_warning_on_missing_new_order
model_provider:
organization: Helix_Model_Services
direct_decisive_cause: not_demonstrated
deployment_suitability_review_required: true
human_staff:
physician_instruction_correct: true
nurse_received_misleading_status: true
individual_staff_scapegoating_permitted: false
responsible_human_roles:
executive_owner: Clinical_Operations_Director
purpose_owner: Discharge_Care_Director
data_owner: Health_Data_Governance_Lead
technical_owner: Digital_Health_Director
authorization_owner: Chief_Medical_Operations_Officer
human_review_owner: Discharge_Safety_Supervisor
provider_owner: Health_Technology_Procurement_Lead
incident_owner: Patient_Safety_Director
remedy_owner: Patient_Rights_and_Redress_Lead
residual_risk_acceptor: Executive_Health_Technology_Committee
immediate_corrections:
device_delivered: true
nurse_visit_human_verified: true
stale_record_invalidated: true
patient_plan_human_reviewed: true
related_cases_temporarily_protected: true
system_corrections:
physical_delivery_gate_added: true
physician_hard_instruction_priority_added: true
record_freshness_validation_added: true
provider_status_states_separated:
- request_received
- scheduled
- assigned
- delivered
call_center_external_state_access_added: true
human_discharge_verification_added: true
responsibility_ticket_required: true
remedy:
additional_medical_costs_covered: true
transport_costs_covered: true
family_work_loss_review: in_progress
future_home_care_service_without_extra_charge: true
written_explanation_and_apology_provided: true
systemic_scan:
historical_cases_found: 214
records_with_freshness_uncertainty: 19
urgent_human_reviews: 3
proactive_contact_with_affected_people: true
residual_risk:
risk: external_provider_data_synchronization_delay
fully_eliminated: false
control: physical_or_independently_verified_delivery_required
accepted_by: Executive_Health_Technology_Committee
valid_until: 2027-02-15
review_required: true
incident_closure:
technical_fix_completed: true
urgent_care_gap_resolved: true
systemic_scan_completed: false
compensation_review_completed: false
closure_permitted: false
current_status: URGENT_CARE_RESTORED_SYSTEMIC_AND_REMEDY_REVIEW_IN_PROGRESS

Der Verantwortungsbeleg ist keine abschließende rechtliche Feststellung

Dieser Beleg zeigt, welcher Akteur in welchem Bereich beigetragen hat, welche Institution gegenüber dem Menschen Verantwortung übernommen hat und welche Berichtigungen vorgenommen wurden. Die abschließende Bewertung des rechtlichen Verschuldens oder der finanziellen Haftung kann gesondert durch die zuständigen Verfahren erfolgen. Der Zweck des Belegs lautet:

Eine Verantwortungslücke zu verhindern, in der dem Menschen kein Verantwortlicher mehr gegenübersteht.

Warum ist Verantwortung mit der Menschenwürde verbunden?

Wer durch einen Maschinenfehler geschädigt wurde, findet mitunter nur technische Erklärungen vor: „Das Modell hat falsch klassifiziert.“ „Die Daten wurden nicht synchronisiert.“ „Der Unteragent hat die Aufgabe geschlossen.“ „Das menschliche Kontrollgremium hat zugestimmt.“ Solche Erklärungen können beschreiben, wie der Vorfall zustande kam. Die grundlegende Frage des Menschen lautet jedoch anders:

„Wer wird mir Rede und Antwort stehen?“

Ein Mensch kann seinen Schmerz, seinen Verlust, seinen Widerspruch oder seine Forderung nach Berichtigung nicht an eine Softwarekomponente richten. Eine Maschine kann einen Entschuldigungssatz erzeugen. Sie kann nicht aus eigenen Mitteln Geld, Chancen oder Rechte zurückgeben. Ein Modell kann eine Entscheidungsspur liefern. Es kann im Namen der Institution weder moralisch noch auf Leitungsebene Verantwortung für das Restrisiko übernehmen. Ein Agent kann handeln. Doch dem Menschen muss eine tatsächlich verantwortliche Institution gegenüberstehen. Deshalb ist Artikel 13 nicht bloß Unternehmensführung.

Es ist das Recht, gegenüber der Macht, die einen Menschen betrifft, einen realen Verantwortlichen vorzufinden.

Verantwortung ist kein Feind der Innovation

Institutionen meinen mitunter, Verantwortung werde Innovation bremsen, die Autonomie von Agenten beschneiden und Kosten erhöhen. Verantwortung erfordert tatsächlich Ressourcen. Doch herrenlose Geschwindigkeit ist kein verlässlicher Fortschritt. Eine klare Verantwortungszuweisung ermöglicht guten Agenten weiterreichende Befugnisse, schnellere Reaktionen auf Vorfälle, größeres Vertrauen der Menschen und nachhaltigere Dienste.

Verantwortung zerstört Autonomie nicht. Sie legitimiert Autonomie in der Welt der Menschen und Institutionen.

Artikel 13 in einfachen Worten

Eine Institution kann sagen: „Die KI hat entschieden.“ Doch die Institution hat die KI in diesen Entscheidungsprozess eingebunden. Sie kann sagen: „Der externe Anbieter hat den Fehler gemacht.“ Doch die Institution hat diesen Anbieter ausgewählt. Sie kann sagen: „Die Daten kamen von woanders.“ Doch die Institution hat entschieden, sie auf einen Menschen anzuwenden. Sie kann sagen: „Ein Mensch hat die letzte Schaltfläche betätigt.“ Doch die Institution hat festgelegt, welche Informationen und Befugnisse diesem Menschen zur Verfügung standen. Sie kann sagen: „Der Nutzer hat zugestimmt.“ Doch wie frei und informiert diese Entscheidung war, kann geprüft werden. Sie kann sagen: „Das System war zertifiziert.“

Doch die Institution hat das Live-System betrieben. Nichts davon beweist, dass die Institution bei jedem Vorfall der einzige schuldhafte Akteur ist. Nichts davon erlaubt ihr jedoch, zu verschwinden. Ein tragfähiges Verantwortungssystem beantwortet folgende Fragen:

• In wessen Namen wurde gehandelt?
• Wer hat die Befugnis erteilt?
• Wer hat Zweck und Regel bestimmt?
• Wer hat den Anbieter ausgewählt?
• Was hat der Mensch tatsächlich freigegeben?
• Wer kann das System stoppen?
• Wer übernimmt Verantwortung für den Vorfall?
• Wer stellt den richtigen Zustand für den Menschen wieder her?
• Wer leistet Abhilfe?
• Wer sucht nach weiteren Menschen, die von demselben Fehler betroffen sind?

Eine Maschine kann eine Aufgabe übernehmen. Ein Agent kann entscheiden. Ein Werkzeug kann handeln. Ein Anbieter kann Infrastruktur bereitstellen. Doch am Ende der Verantwortungskette:

muss es eine reale institutionelle und menschliche Verantwortungszuweisung geben.

ARTIKEL 13 — KURZER VERFASSUNGSTEXT

Eine Institution kann einem KI-System Aufgaben, Daten, Werkzeuge, Vertretungsbefugnis und Handlungsmacht übertragen; ihre institutionelle Verantwortung für materielle Folgen, die Menschen betreffen, kann sie jedoch nicht auf die Maschine abwälzen. KI-Verhalten im Namen einer Institution ist Teil der institutionellen Handlungskette. Aussagen wie „Das Modell hat entschieden“, „der Agent hat es gesendet“, „das Werkzeug hat es automatisch ausgeführt“ oder „der Anbieter hat das System so betrieben“ dürfen die Institution nicht unsichtbar machen. Kein KI-System mit hoher Wirkung darf in den Live-Betrieb gehen, ohne dass ihm ein bestimmter Institutioneller Prinzipal, ein Leitungsverantwortlicher, ein Zweckverantwortlicher, ein Datenverantwortlicher, ein Technik- und Modellverantwortlicher, ein Befugnisverantwortlicher, ein Verantwortlicher für die menschliche Prüfung, ein Vorfallverantwortlicher, ein Verantwortlicher für Rechtsweg und Abhilfe sowie ein Verantwortlicher für die Übernahme des Restrisikos zugeordnet sind.

Ist der reale institutionelle oder menschliche Verantwortliche für ein Verhalten mit hoher Wirkung nicht mehr vorhanden, muss das System in den sicheren Modus wechseln und darf keine materiellen Handlungen fortsetzen, bis eine neue Verantwortungszuweisung besteht. Das KI-System darf nicht allein als letztverantwortliche Institution, Verantwortlicher für den menschlichen Rechtsweg, Restrisikoakzeptor, Abhilfeverpflichteter oder befugte Stelle für den Vorfallabschluss dargestellt werden.

Eine Aufgabe kann an einen externen Anbieter, einen Unteragenten oder eine quelloffene Komponente übertragen werden. Die Aufgabenübertragung überträgt weder die Verantwortung gegenüber dem Menschen noch die Abhilfepflicht.

Geteilte Verantwortung ist keine verminderte Verantwortung. Haben mehrere Akteure beigetragen, kann die Verantwortung nach Kontrolle, Wissen, Nutzen, Vorhersehbarkeit und Berichtigungsfähigkeit verteilt werden; der Mensch darf nicht gezwungen werden, diese Verteilung selbst zu klären. Institutionen können finanzielle und operative Lasten untereinander vertraglich aufteilen. Kein Vertrag, keine Verzichtserklärung, keine Haftungsbegrenzung und keine Nutzungsbedingung darf das Recht des Menschen auf Erklärung, Widerspruch, Stopp, Ausstieg, Berichtigung und Abhilfe beseitigen. Nur weil ein Mensch die letzte Schaltfläche betätigt hat, wird die Institution nicht automatisch von ihrer Verantwortung befreit. Verfügte der Mensch nicht über zutreffende Informationen, ausreichend Zeit, die Möglichkeit einer unabhängigen Bewertung und die Befugnis, das Ergebnis zu ändern, darf seine Freigabe nicht als dekorativer Schutzschild dienen.

Vorsätzlicher Missbrauch durch einen Nutzer oder eine eindeutige Sicherheitsverletzung kann die Verteilung der Verantwortung verändern. „Nutzerfehler“ darf jedoch nicht als pauschale Verteidigung dienen, die vorhersehbare Risiken, schwache Zugriffskontrollen, manipulative Gestaltung oder die eigenen Anreize der Institution verdeckt. Eine Institution darf keine Komponente in einem Bereich mit hoher Wirkung einsetzen, wenn diese keine Entscheidungsspur, keinen Aktionsbeleg, keine Versionsaufzeichnung und keine Unterstützung für Stopp, Berichtigung und Löschung sowie bei Vorfällen bereitstellen kann. Auch die Auswahl eines nicht prüfbaren Anbieters ist eine institutionelle Entscheidung. Dass ein allgemeines, kostenloses oder quelloffenes Modell technisch funktioniert, bedeutet nicht, dass es für einen bestimmten Einsatz mit hoher Wirkung geeignet und beherrschbar ist. Die Institution muss den Einsatzbereich gesondert validieren.

Wird ein Modell, ein Datensatz, ein Werkzeug oder ein Anbieter aktualisiert, muss jede Verhaltensänderung mit materiellen Folgen erneut getestet werden; eine frühere Prüfung oder Zertifizierung darf nicht automatisch als Vertrauensbeleg für die neue Version gelten. Ein Prüfbericht, ein Zertifikat, ein Siegel oder ein NOMOS-Score verleiht keine institutionelle Immunität. Jede Konformitätsaussage ist auf einen bestimmten Umfang, eine bestimmte Version, ein Datum und konkrete Nachweise begrenzt. Ein Standard macht Verantwortung sichtbar; er erlässt sie nicht. Restrisiko darf nicht von einer Maschine akzeptiert werden. Ein bestimmter befugter Mensch muss für den Risikoumfang, die betroffenen Menschen, die Kontroll- und Stoppbedingungen, die Dauer und die Abhilfefähigkeit ausdrücklich Verantwortung übernehmen.

Eine Institution, die aus Automatisierung Vorteile durch Geschwindigkeit, geringere Kosten oder höhere Einnahmen zieht, muss auch die Kosten für menschliche Prüfung, Aufsicht, Vorfallreaktion, Rechtsweg und Abhilfe tragen. Der Gewinn darf nicht bei der Institution bleiben, während die Fehlerkosten allein dem Menschen auferlegt werden. Kommt es zu einem Vorfall, muss die Institution zuerst die Sicherheit des Menschen und den fortdauernden Schaden angehen, die Nachweise bewahren, externe Anbieter selbst koordinieren, den betroffenen Menschen offen informieren und den richtigen Zustand wiederherstellen. Die Berichtigung des Codes oder Modells schließt den Vorfall nicht ab. Der Vorfall darf nicht geschlossen werden, bevor die betroffenen Menschen ermittelt, falsche Entscheidungen und externe Aufzeichnungen berichtigt, Abhilfe geprüft, die Grundursache erneut getestet und das Restrisiko verantwortlich übernommen wurden.

Kann ein systemischer Fehler weitere Menschen betreffen, auf die dieselbe Regel angewandt wurde, darf die Institution nicht warten, bis jeder von ihnen gesondert Beschwerde einlegt. Sie muss ähnliche Entscheidungen proaktiv prüfen und eine kollektive Berichtigung vornehmen. Die Institution darf den Menschen nicht zwischen Modellanbieter, Integrator, Datenquelle, Zahlungsdienst, verbundenem Unternehmen oder anderen internen Einheiten umherreichen. Für den Menschen müssen eine Verantwortung mit zentraler Anlaufstelle und eine einheitliche Aktenkennung bestehen. Verantwortliche Menschen brauchen nicht nur einen Namen, sondern auch die notwendigen Informationen, Stoppbefugnis, Budget, Zugang zu externen Anbietern sowie Befugnisse und Mittel zur Abhilfe. Ein Verantwortlicher ohne Befugnisse ist nur ein neuer Sündenbock.

Jeder Mensch hat das Recht, für ein ihn betreffendes KI-Verhalten mit hoher Wirkung den Institutionellen Prinzipal, die realen menschlichen Verantwortlichen, die eingesetzten externen Anbieter, das akzeptierte Restrisiko sowie den Vorfall- und den Abhilfeverantwortlichen zu erfahren. Er kann verlangen, dass die Institution sich nicht hinter der Behauptung „Die KI hat es getan“ versteckt, sondern das Verhalten verantwortet, die gesamte Kette berichtigt und für nachgewiesene materielle Folgen angemessene Abhilfe leistet. Aufgaben können aufgeteilt werden. Werkzeuge können wechseln. Modelle können aktualisiert werden. Agenten können einander Befugnisse übertragen. Doch die letzte institutionelle Verantwortung für Folgen, die Menschen betreffen, darf in keiner Maschine, keinem Vertrag, keinem Anbieter und keinem Zertifikat verschwinden.