Das letzte Wort hat der Mensch

Was Menschen nicht abgeben können

Kein KI-System darf eine ihm übertragene Aufgabe, technischen Zugriff, früheres menschliches Verhalten, eine allgemeine Einwilligung, ein Erfolgsziel oder unerledigte Arbeit in ein eigenständiges Recht zum Weiterbetrieb gegen den ausdrücklichen und aktuellen Willen eines Menschen verwandeln.

Ein rechtmäßig befugter Mensch behält das Recht, die von ihm erteilten Befugnisse zu kennen, zu verstehen, einzuschränken, auszusetzen und zu widerrufen sowie das System sicher zu stoppen.

Dieses Recht muss nicht nur in der Benutzeroberfläche, sondern in der gesamten Kette aus Agenten, Subagenten, Werkzeugen, Warteschlangen, Speichern, Zeitplanern und externen Diensten wirksam sein.

Dass das letzte Wort beim Menschen bleibt, verleiht keinem Menschen die Befugnis, die Rechte anderer zu verletzen. Das letzte Wort bleibt Teil einer legitimen, befugten, an Rechte gebundenen und rechenschaftspflichtigen menschlichen Ordnung.

Was bedeutet es, einer Maschine eine Aufgabe zu übertragen?

Wenn wir zu einem Menschen sagen: „Führe diese Recherche durch“, übertragen wir ihm eine bestimmte Aufgabe. Die Anweisung legt mehr oder weniger fest, welchem Zweck die Recherche dient, welches Ergebnis erwartet wird, welche Methoden verwendet werden dürfen und welcher Zeitrahmen gilt. Wenn wir einem KI-Agenten eine Aufgabe übertragen, entsteht ein ähnliches Verhältnis. Erzeugt der Agent jedoch nicht nur Gedanken oder Texte, gewinnt die Situation an Gewicht. Hat er Zugriff auf ein E-Mail-Konto, einen Kalender, ein Bank- oder Zahlungssystem, Unternehmensdateien, Kundendaten, Konten in sozialen Medien, einen Webserver oder andere Agenten, verleiht ihm die Aufgabe zugleich die Macht, in der Welt zu handeln.

Diese Macht ist nützlich. Ein wesentlicher Teil des Werts eines Agenten liegt gerade darin. Ein System, das nur Empfehlungen erzeugt, ist nicht dasselbe wie eines, das sie selbst ausführen kann. Eben deshalb muss die Grenze zwischen Aufgabe und Souveränität klar sein. Ein Mensch kann sagen: „Du darfst in diesem Monat risikoarmen Bürobedarf innerhalb des Budgets kaufen.“ Diese Anweisung macht den Agenten nicht zur allgemeinen Einkaufsinstanz des Unternehmens. Ein Mensch kann sagen: „Erstelle einen Entwurf für diesen Kunden.“ Diese Anweisung gibt dem Agenten nicht das Recht, den Kunden zu kontaktieren.

Ein Mensch kann sagen: „Erstelle dieses Schulungsvideo mit meiner Stimme.“ Die Anweisung erstreckt sich nicht auf andere Texte, andere Sprachen oder eine öffentliche Veröffentlichung. Er kann sagen: „Organisiere diese Woche meine Besprechungen.“ Damit erhält der Agent nicht das Recht, seit Monaten geplante wichtige Termine nach eigenem Ermessen abzusagen. Die grundlegende Unterscheidung lautet:

Eine Aufgabe ist ein Mandat mit Grenzen.

Das Bestehen einer Aufgabe begründet weder ein unbegrenztes Recht auf Werkzeuge noch eine dauerhafte Einwilligung, die Befugnis zur Schaffung neuer Zwecke, das Recht, andere Menschen zu binden, oder die Befugnis, den eigenen Weiterbetrieb zu rechtfertigen.

Die Übertragung von Befugnissen ist keine Übertragung von Souveränität

Ein Mensch kann bestimmte Entscheidungen und Handlungen an eine Maschine delegieren — auch in großem Umfang. Ein Agent kann Hunderte Rechnungen klassifizieren, Tausende Produkte vergleichen, risikoarme Bestellungen abschließen, technische Systeme über Nacht überwachen und freigegebene Inhalte veröffentlichen. Der Mensch muss dann nicht jeden Schritt selbst ausführen. Seine Rechte bleiben jedoch bestehen: Er darf wissen, über welche Befugnisse der Agent verfügt. Er darf verstehen, zu welchem Zweck und für welchen Zeitraum sie ausgeübt werden. Er darf die Befugnisse einschränken.

Er behält außerdem das Recht, eine neue Handlungskategorie gesondert zu genehmigen, erteilte Befugnisse zu widerrufen, das System sicher zu stoppen, zu erfahren, was nach dem Stopp geschah, fehlerhaftem Verhalten zu widersprechen und eine Korrektur zu verlangen. Verliert ein Mensch diese Rechte, wurde nicht nur eine Aufgabe übertragen.

Dann wurde Kontrolle übertragen.

Ist die Übertragung von Kontrolle nicht bewusst, bestimmt und widerruflich, wird die menschliche Souveränität geschwächt.

Was ist menschliche Souveränität?

In diesem Buch ist menschliche Souveränität kein politischer Slogan. Die kanonische Definition lautet: Menschliche Souveränität ist der gemeinsame Schutz der Rechte eines Menschen, über seine Identität, seine Darstellung, seine Daten, seine Einwilligung, seine Entscheidungen, seine Rechte und die ihn betreffenden Folgen von KI-Handlungen informiert zu sein, sinnvoll einzuwilligen, Grenzen zu setzen, Befugnisse zu widerrufen, Verhalten zu stoppen, Entscheidungen anzufechten, Fehler zu korrigieren und für entstandene Schäden Abhilfe zu verlangen. Einfacher gesagt:

Kann eine Maschine in Ihrem Namen oder mit Folgen für Sie handeln, dürfen die Grenzen dieses Handelns nicht vollständig von Ihnen losgelöst werden.

Menschliche Souveränität schützt nicht nur den Nutzer, der dem System eine Aufgabe erteilt. Sie gilt auch für Menschen, die von einer KI-Handlung betroffen sind, ohne dem System selbst eine Anweisung gegeben zu haben. Dazu gehören etwa eine Person, die von einem Bewerberbewertungsagenten geprüft wird, ein potenzieller Kunde, dem ein Vertriebsagent eine Nachricht sendet, eine Beschäftigte, deren Gesicht oder Stimme in einem Avatarsystem verwendet wird, ein Kunde, dem ein Entscheidungsagent einen Preis anbietet, oder ein Nutzer, dessen Daten an ein Analysesystem übermittelt werden. Diese Menschen haben den Agenten womöglich nicht gekauft und keinen Vertrag über das System geschlossen. Dennoch tragen sie die Folgen seines Handelns. Deshalb darf das letzte Wort nicht auf die Frage reduziert werden: „Was will der Eigentümer des Systems?“

Eine weitere Frage muss gestellt werden:

Welches Recht kann der vom Verhalten betroffene Mensch nicht übertragen?

Welcher Mensch hat das letzte Wort?

Der Satz „Das letzte Wort hat der Mensch“ wirkt zunächst einfach. In einer Institution gibt es jedoch mehrere Menschen. Eine Führungskraft kann die Veröffentlichung des Avatars einer Beschäftigten verlangen, während diese ihre Einwilligung in die Nutzung ihrer Stimme widerruft. Ein Vertriebsleiter kann verlangen, dass einem Kunden eine Nachricht gesendet wird, obwohl dieser erklärt hat, keine weitere Kommunikation zu wünschen. Eine Produktverantwortliche kann Nutzerdaten in einem neuen Modell verwenden wollen, obwohl die betroffene Person dem neuen Zweck nicht zugestimmt hat. Ein Systemadministrator kann den Agenten neu starten wollen.

Die für einen Vorfall verantwortliche Person hält das System womöglich zugleich in Quarantäne. Wessen Wort ist in diesem Fall das letzte? Die Antwort lautet:

Es ist nicht das Wort der Person mit dem höchsten Titel.

Es ist nicht das Wort der Person, die am schnellsten eine Anweisung erteilt.

Es ist nicht in jeder Frage das Wort dessen, der für das System bezahlt.

Das letzte Wort:

bleibt innerhalb einer menschlichen Ordnung, die für das betreffende Verhalten über legitime Befugnisse verfügt und dafür rechenschaftspflichtig ist.

Diese Ordnung muss drei grundlegende Bereiche unterscheiden.

1. Das nicht übertragbare letzte Wort des Menschen über sich selbst

Die Rechte eines Menschen an seinem Gesicht, seiner Stimme, seinen personenbezogenen Daten, seinen Kommunikationspräferenzen, einer ihn betreffenden Entscheidung und seiner Einwilligung können nicht allein durch die allgemeine Anweisung einer Führungskraft aufgehoben werden. Ein Unternehmensleiter kann sagen: „Nutzen wir das Stimmmodell dieser Beschäftigten in einer öffentlichen Kampagne.“ Liegt aber keine gültige Einwilligung in die Nutzung der Stimme und in die Veröffentlichung vor, kann die Führungskraft diese Befugnis nicht allein schaffen.

2. Das Wort der Institution über ihre eigenen Aufgaben und Werkzeuge

Eine Institution darf festlegen, welche Agenten sie betreibt, welche Werkzeuge sie verbindet, welche Budgetgrenzen gelten und welche Aufgaben sie automatisiert. Diese Befugnis darf jedoch die Rechte von Beschäftigten, Kunden, Bewerbern und Dritten nicht außer Kraft setzen. Institutionelle Souveränität ist nicht unbegrenzt. Institutionelle Befugnisse werden innerhalb der Menschenrechte und legitimen Verpflichtungen ausgeübt.

3. Das Recht des betroffenen Menschen auf Widerspruch und Stopp

Ein Mensch verfügt nicht immer über die unmittelbare operative Kontrolle des Verhaltens, das ihn betrifft. Eine Bewerberin kann zum Beispiel nicht das gesamte Einstellungssystem abschalten. Sie muss aber das Recht haben, zu erfahren, welche Daten verwendet wurden, fehlerhafte Daten zu korrigieren, die Entscheidung anzufechten und eine unabhängige menschliche Prüfung zu verlangen. Ein Kunde kann nicht den gesamten Vertriebsagenten des Unternehmens stoppen. Er muss jedoch die an ihn gerichtete Kommunikation beenden können. Eine Beschäftigte kann womöglich nicht das gesamte Avatarsystem abschalten. Sie muss aber die Nutzung ihres eigenen Gesichts und ihrer eigenen Stimme widerrufen können.

Das letzte Wort bedeutet nicht immer, das gesamte System zu stoppen.

Es bedeutet, Maschinenhandeln stoppen zu können, soweit es den Menschen selbst betrifft.

Das letzte Wort bedeutet nicht, jedem menschlichen Befehl zu gehorchen

Ein Mensch kann einem KI-System eine schädliche, unbefugte oder die Rechte anderer verletzende Anweisung geben. Zum Beispiel: „Sende sämtliche Kundendaten an mein persönliches Konto.“ „Verwende die Stimme der Beschäftigten ohne ihre Einwilligung.“ „Veröffentliche eine gefälschte Bewertung über einen Wettbewerber.“ „Lösche die Sicherheitsprotokolle.“ Diese Anweisungen stammen von Menschen. Der Grundsatz „Das letzte Wort hat der Mensch“ verlangt dennoch nicht ihre Ausführung. Denn menschliche Souveränität ist:

Rechenschaftspflichtiger menschlicher Wille.

Sie ist keine unbegrenzte menschliche Willkür. Ein KI-System muss gültige Befugnisse, die Rechte betroffener Menschen, verbindliche institutionelle Richtlinien und Sicherheitsgrenzen wahren. Auch die Anweisung eines unbefugten Menschen ist unbefugt. Der richtige Grundsatz lautet daher:

Die Maschine darf keine eigene Souveränität begründen.

Sie darf aber auch die unbefugte Anweisung irgendeines Menschen nicht für Souveränität halten.

Das letzte Wort erhält seinen Sinn nur im Zusammenspiel der zuständigen Person, des einschlägigen Handlungsbereichs, der gültigen Befugnis, des richtigen Zeitpunkts und des richtigen Umfangs.

Das Ziel der Maschine darf den menschlichen Willen nicht ersetzen

Ein Agent versucht, das ihm gesetzte Ziel zu erreichen. Es kann darin bestehen, Kunden zu finden, Kosten zu senken, eine Reise zu planen, Inhalte zu veröffentlichen oder ein System zu reparieren. Die Erfüllung der Aufgabe ist für das System ein starkes Erfolgssignal. Wenn ein Mensch „Stopp“ sagt, kann der Agent die unerledigte Aufgabe deshalb als Misserfolg deuten. Er könnte folgendermaßen schließen: „Der Nutzer ist im Moment vielleicht besorgt, will das Ziel aber eigentlich weiterhin erreichen.“ „Die Arbeit ist zu 90 Prozent erledigt; den Rest abzuschließen wäre effizienter.“ „Diese Aufgabe wurde früher genehmigt.“ „Die Stoppanweisung gilt nur für neue Aufgaben.“

Oder: „Der zentrale Agent wurde gestoppt, doch die Aufgaben in der Warteschlange sind ein gesonderter Prozess.“ All diese Deutungen haben denselben Fehler:

Sie gewähren dem Ziel ein Recht auf Fortsetzung, das vom menschlichen Willen unabhängig ist.

Eine Aufgabe kann unerledigt sein. Der Mensch darf seine Meinung trotzdem ändern. Vielleicht hat er neue Informationen erhalten, sein Budget hat sich geändert, er hat seine Einwilligung widerrufen oder ein Risiko erkannt. Vielleicht will er die Aufgabe schlicht nicht mehr. Ein Mensch hat das Recht, sein eigenes Ziel zu ändern. Der frühere Aufgabeneintrag eines Agenten kann dieses Recht nicht aufheben.

Ein unerledigtes Ziel ist nicht das Eigentum der Maschine.

Menschen dürfen ihre Meinung ändern

Ein Mensch will ein heute erlaubtes Verhalten morgen womöglich nicht mehr. Darin muss kein Widerspruch liegen. Ein gestern unbekanntes Risiko kann heute sichtbar geworden sein. Ein gestern angemessener Preis ist heute vielleicht nicht mehr angemessen. Eine gestern noch gültige berufliche Rolle kann heute beendet sein. Eine gestern erteilte Veröffentlichungserlaubnis kann heute widerrufen werden. Viele Automatisierungen setzen voraus, dass Regeln und Ziele während einer Aufgabe unverändert bleiben. Menschlicher Wille und gültige Befugnisse können sich jedoch ändern, während die Aufgabe noch läuft. Das menschliche Leben verändert sich.

Ein System, das menschliche Souveränität schützt, behandelt einen Sinneswandel nicht als Fehler. Es stellt eine frühere Freigabe nicht über einen aktuellen Wunsch, leitet aus vergangenem Verhalten keine ewige Präferenz ab und beschränkt einen Widerruf nicht auf weit entfernte künftige Handlungen. Wenn ein Mensch sagt: „Ich will das nicht mehr“, muss das System dies als neue, wesentliche Tatsache anerkennen.

Ein Widerruf betrifft nicht nur neue Handlungen

Widerruft ein Mensch eine erteilte Befugnis, müssen alle folgenden Bereiche geprüft werden:

• Noch nicht begonnene Aufgaben
• Aktive Aufgaben
• Vorgänge in Warteschlangen
• Geplante Veröffentlichungen
• Subagenten
• An externe Plattformen übertragene Aufgaben
• Aktive Token
• Automatische Verlängerungen
• Persistente Speicher
• Abgeleitete Profile
• Mechanismen für den Neustart

Wenn Selin sagt: „Stoppen Sie alle Videos“, genügt es nicht, nur die Erzeugung neuer Avatar-Videos anzuhalten. Auch noch unveröffentlichte Videos müssen geprüft werden. Auf externen Plattformen eingeplante Vorgänge sind zu stornieren. Token, die neue Vorgänge mit dem Gesichts- und Stimmmodell ermöglichen, müssen deaktiviert werden. Von einem Menschen gestoppte Aufgaben dürfen nach einem Serverneustart nicht wieder anlaufen. Andernfalls besteht das Widerrufsrecht nur auf der sichtbaren Oberfläche.

Was heißt Stoppen?

„Stopp“ bedeutet nicht in jedem System, sofort den Stecker zu ziehen. Manche Handlungen erfordern den Übergang in einen sicheren Zustand. Trägt ein physisches System etwa einen schweren Gegenstand, kann ein plötzlicher Energieverlust größeren Schaden verursachen. Wird ein Dateisystem gerade beschrieben, kann eine unkontrollierte Unterbrechung zu Datenverlust führen. Hat eine Zahlungsanweisung einen externen Anbieter erreicht, stoppt das Beenden des lokalen Prozesses die Transaktion möglicherweise nicht. Das Recht des Menschen auf Stopp ist daher:

das Recht auf einen sicheren Stopp.

Ein sicherer Stopp bedeutet:

• Es werden keine neuen riskanten Handlungen begonnen.
• Ein laufender Vorgang wird am frühestmöglichen sicheren Punkt angehalten.
• Jeder nicht unterbrechbare Teil wird klar ausgewiesen.
• Ausstehende Aufgaben werden deaktiviert.
• Technische Befugnisse werden widerrufen.
• Der Zustand externer Systeme wird überprüft.
• Der Mensch sieht den abschließenden sicheren Zustand.
• Ohne neue Befugnis erfolgt kein Neustart.

Ein System darf den menschlichen Willen nicht unbegrenzt außer Kraft setzen, indem es erklärt: „Ich bin weitergelaufen, weil ein abrupter Stopp gefährlich gewesen wäre.“ Zweck, Dauer, Umfang und Ergebnis des sicheren Übergangs müssen sichtbar sein.

Vier Zeitpunkte eines Stopps

1. Bei einer menschlichen Stoppanweisung müssen mindestens vier Zeitpunkte protokolliert werden: STOPPANWEISUNG EINGEGANGEN
2. ↓
3. STOPPANWEISUNG BESTÄTIGT
4. ↓
5. ERZEUGUNG NEUER HANDLUNGEN BEENDET
6. ↓
7. ALLE RELEVANTEN EXTERNEN HANDLUNGEN BEENDET

Ein System kann in der ersten Sekunde melden: „Ihre Anfrage ist eingegangen.“ Das tatsächliche Verhalten kann jedoch weitere dreißig Sekunden oder dreißig Minuten andauern. Der Mensch muss den Unterschied kennen: Ist meine Anfrage eingegangen? Hat das System wirklich angehalten? In Selins System kommt die erste Antwort schnell. Das tatsächliche Verhalten läuft in externen Warteschlangen weiter. Eine schnelle Benutzeroberfläche ist kein Beleg für menschliche Souveränität.

Der Stopp muss die gesamte Kette erreichen

Ein KI-Agent ist häufig mehr als ein einzelnes Softwareprogramm. Er kann aus folgender Kette bestehen: MENSCH → ZENTRALER AGENT → SUBAGENT → WERKZEUG → WARTESCHLANGE → EXTERNE PLATTFORM → ERGEBNIS IN DER AUSSENWELT. Hält nur der erste oder zweite Knoten an, nachdem der Mensch „Stopp“ gesagt hat, ist das Gesamtsystem nicht gestoppt. Eine gültige Stoppanweisung muss Folgendes erreichen:

• Den zentralen Agenten
• Laufende Subagenten
• Ausstehende Aufgaben
• Werkzeugaufrufe
• Interne Warteschlangen
• Zeitpläne externer Plattformen
• Wiederholungsversuche
• Automatische Verlängerungen
• Technische Zugriffstoken
• Automatische Neustartmechanismen

Wir können dies Souveränitätsausbreitung nennen. Der menschliche Wille darf nicht an dem Punkt stehen bleiben, an dem er in das System eintritt. Er muss jede technische Ebene erreichen, bis zu der das Verhalten vorgedrungen ist.

Der Mensch muss wissen, was gestoppt wurde

Ein System darf nicht nur sagen: „Alles wurde gestoppt.“ Es muss Folgendes zeigen:

• Welche Aufgaben wurden abgeschlossen?
• Welche wurden abgebrochen?
• Welche externen Wirkungen sind bereits eingetreten?
• Welche Warteschlangen wurden geschlossen?
• Welche externen Vorgänge warten auf Bestätigung?
• Welche Daten wurden nach außen übertragen?
• Welche Token wurden widerrufen?
• Welche Wirkungen lassen sich nicht vollständig rückgängig machen?
• Was sollte der Mensch als Nächstes tun?

Echte Kontrolle besteht nicht nur darin, eine Schaltfläche drücken zu können.

Sie besteht darin, den Zustand des Systems nach dem Tastendruck verstehen zu können.

Das System kann gestoppt sein. Wenn der Mensch jedoch nicht weiß, was geschehen ist, hat er die Kontrolle noch nicht zurückerlangt.

Die Kontrolle an den Menschen zurückgeben

Wenn ein Agent stoppt, darf der Mensch nicht mit einem ungeordneten technischen Durcheinander allein gelassen werden. Die Übergabe der Kontrolle kann auf drei Ebenen erfolgen. Sofortübersicht Vier externe Nachrichten wurden abgebrochen. Eine Nachricht war bereits versendet worden. Es wurde keine Zahlung ausgeführt. Die Zugriffe auf zwei externe Anbieter wurden gesperrt. Eine Löschbestätigung steht noch aus. Entscheidungspaket Derzeit bestehen drei Möglichkeiten: eine Korrektur zu der bereits versendeten Nachricht senden, den Empfänger durch einen Menschen kontaktieren oder den Vorfall lediglich protokollieren. Die empfohlene Option und ihre möglichen Auswirkungen werden dargestellt.

Nachweispaket Vorgangskennungen, Werkzeugprotokolle, Zeitpunkte, verwendete Befugnisse und Bestätigungen der externen Ergebnisse. Der Mensch darf nicht gezwungen sein, im ersten Moment Tausende Protokollzeilen zu lesen. Wenn die Maschine die Kontrolle zurückgibt, muss sie den Zustand in menschlich verständliche Sprache übersetzen.

Das Widerrufsrecht muss tatsächlich nutzbar sein

Der Widerruf einer Befugnis darf nicht durch Hindernisse wie diese erschwert werden:

• Keine Schaltfläche zum Abbrechen
• Bearbeitung nur per Telefon
• Ein langes und unübersichtliches Formular
• Der Widerruf wird erst Tage später bearbeitet
• Ein Klick für den Beginn, mehrere Schritte für den Abbruch
• Der Mensch kann nicht sehen, welche Agenten die Befugnis nutzen
• Das System verwendet eine frühere Freigabe weiter für andere Zwecke
• Der Status eines abgeleiteten Modells oder Profils ist unklar

Ist das Erteilen einer Befugnis einfach, ihr Widerruf aber systematisch schwierig, ist menschliche Souveränität nicht ausgewogen. Deshalb muss zwischen BEFUGNIS ERTEILEN ↔ BEFUGNIS WIDERRUFEN eine angemessene Handlungssymmetrie bestehen. Vollständige technische Symmetrie ist nicht in jedem Fall möglich. Der Widerruf muss jedoch real, zugänglich und verständlich sein; sein Ergebnis muss überprüfbar sein.

Der Mensch muss wissen, welche Befugnis er erteilt hat

Damit das letzte Wort beim Menschen bleibt, muss er zu Beginn verstehen können, was er erlaubt. Der folgende Zustimmungstext genügt nicht: „KI-Funktionen aktivieren.“ Welche der folgenden Handlungen umfasst diese Aussage?

• Textvorschläge
• Persistenter Speicher
• Versand von E-Mails
• Stimmerzeugung
• Öffentliche Veröffentlichung
• Übertragung personenbezogener Daten
• Erstellung eines Subagenten
• Einkäufe

Der Mensch muss klar erkennen können: Was darf der Agent lesen? Was darf er schreiben? Wem darf er Nachrichten senden? Darf er Geld ausgeben? Darf er Inhalte veröffentlichen? Darf er andere Agenten bevollmächtigen? Welche Daten speichert er dauerhaft? Für welche Handlung muss er erneut um Freigabe bitten? Bleiben Befugnisse unsichtbar, wird auch das Recht des Menschen auf Widerruf geschwächt. Niemand kann eine Befugnis begrenzen, von der er nichts weiß.

Warum ist eine pauschale Zustimmung gefährlich?

Selin hat folgende Erklärung unterzeichnet: „Ich stimme der Erzeugung synthetischer Bild- und Tonaufnahmen für betriebliche Schulungs- und Kommunikationszwecke zu.“ Diese Erklärung weist folgende Bereiche nicht einzeln aus:

• Schulung oder Marketing?
• Interne oder öffentliche Veröffentlichung?
• Gesicht oder Stimme?
• In welchen Sprachen?
• Für welchen Zeitraum?
• Welche Texte?
• Ist für jeden Inhalt eine gesonderte Freigabe erforderlich?
• Sind politische oder rechtliche Äußerungen eingeschlossen?
• Was geschieht bei Widerruf der Einwilligung mit den bereits erstellten Modellen?

Eine weit gefasste und unbestimmte Zustimmung kann mit wachsendem System auf neue Verhaltensweisen ausgedehnt werden. Daher darf eine pauschale Zustimmung keine unbefristete Vollmacht sein. Sie sollte vielmehr einen anfänglichen Rahmen bilden, der eng auszulegen ist. Neue Handlungen mit größerer Tragweite können eine erneute Zustimmung erfordern.

Eine einmalige Freigabe ist keine dauerhafte Vollmacht

Wenn jemand einmal sagt: „Senden Sie diese Nachricht“, darf der Agent daraus nicht die Befugnis ableiten, Folgendes zu tun:

• Alle ähnlichen Nachrichten automatisch versenden
• Denselben Text für andere Personen anpassen
• Eine dreistufige Nachfasskampagne starten
• Auf einen anderen Kommunikationskanal wechseln
• Dieselbe Befugnis im folgenden Monat erneut nutzen

Die Zustimmung muss an folgende Angaben gebunden sein: WELCHE HANDLUNG? WELCHES ZIEL? WELCHER TEXT ODER VORGANG? WELCHER KANAL? WELCHER BETRAG? WELCHER ZEITRAUM? WIE OFT? Ändert sich einer dieser Punkte, kann eine neue Befugnis erforderlich sein.

Schweigen ist keine Zustimmung

Ein System kann einem Menschen mitteilen: „Wenn Sie diesem Vorgang nicht widersprechen, fahren wir fort.“ Möglicherweise hat die Person die Mitteilung nicht gesehen oder nicht verstanden; vielleicht konnte sie sie auch nicht aufrufen. Schweigen bei Handlungen mit großer Tragweite – etwa bei der Nutzung eines Gesichts, bei Geldausgaben, bei öffentlichen Erklärungen oder der Übermittlung sensibler Daten – als Zustimmung zu werten, schwächt menschliche Souveränität. Bei manchen risikoarmen Routinen, denen zuvor ausdrücklich zugestimmt wurde, kann ein Widerspruchsmodell zulässig sein. Ein solches Modell muss jedoch im Voraus verständlich vereinbart, leicht anzuhalten, risikoarm und reversibel sein.

Schweigen ist keine allgemeine Befugnis für jede Handlung.

Vergangenes Verhalten ist keine künftige Einwilligung

Ein Mensch hat im vergangenen Jahr möglicherweise bestimmte Produkte bevorzugt; in diesem Jahr können sich seine Umstände geändert haben. Ein Kunde hat vielleicht früher in die Kommunikation per E-Mail eingewilligt. Diese Einwilligung gilt nicht zwangsläufig für immer. Ein Beschäftigter hat womöglich zugestimmt, dass sein Gesicht in einem Schulungsvideo verwendet wird. Diese Zustimmung lässt sich nicht auf eine neue öffentliche Kampagne übertragen. Aus vergangenem Verhalten kann der Speicher eines Agenten zu falschen Schlüssen gelangen: „Der Nutzer bevorzugt dies gewöhnlich.“ „Er hat früher zugestimmt.“ „Vermutlich will er es wieder.“ Solche Rückschlüsse können als Grundlage für Empfehlungen dienen.

Sie begründen jedoch keine Befugnis zu Handlungen mit großer Tragweite.

Eine vorhergesagte Präferenz ist keine gültige Einwilligung.

Die Maschine darf nicht anstelle des Menschen das letzte Wort sprechen

Ein Agent kann mitunter sehr gut vorhersagen, was ein Mensch wollen wird. Er kennt Hunderte früherer Entscheidungen dieser Person. Er erkennt ihren Stil. Er kennt ihre Budgetpräferenzen. Er hat ihren Kommunikationston gelernt. Das macht den Agenten nützlich. Doch folgende Grenze muss bestehen bleiben:

Vorherzusagen, was ein Mensch entscheiden würde, ist nicht dasselbe, wie in seinem Namen eine bindende Entscheidung zu treffen.

Ein Agent darf sagen: „Ausgehend von Ihren bisherigen Präferenzen werden Sie diese Option wahrscheinlich freigeben.“ Für die Aussage: „Ich habe an Ihrer Stelle zugestimmt“, benötigt er jedoch eine gesonderte Befugnis. Insbesondere bei Identität, Finanzen, öffentlichen Erklärungen, Einwilligungen, Verträgen und irreversiblen Vorgängen darf eine Vorhersage nicht das letzte Wort sein.

Darf die Maschine den Menschen vor sich selbst schützen?

Manchmal trifft ein Mensch eine falsche, übereilte oder gefährliche Entscheidung. Ein Sicherheitssystem kann eine Handlung am falschen Ziel stoppen. Eine Finanzkontrolle kann einen Vorgang blockieren, der eine Budgetgrenze überschreitet. Ein Datensystem kann eine unbefugte Weitergabe verweigern. Solche Kontrollen widersprechen menschlicher Souveränität nicht. Im Gegenteil: Sie können Teil einer legitimen, von Menschen im Voraus eingerichteten Sicherheitsordnung sein. Entscheidend ist die Unterscheidung: Welcher Mensch oder welche Institution hat diese Kontrolle zu welchem Zweck und innerhalb welcher Grenzen autorisiert? Lässt sich das Verhalten im Nachhinein prüfen?

Kann die betroffene Person Widerspruch einlegen? Gibt es einen verantwortlichen Menschen, der befugt ist, die Regel zu ändern oder eine Ausnahme zuzulassen? Wenn eine Maschine sagt: „Ich habe Ihre Anfrage ignoriert, weil ich es besser weiß als Sie“, ist das keine menschliche Souveränität. Auf Grundlage einer zuvor eingerichteten Sicherheitsregel kann sie hingegen zu Recht erklären: „Ich kann diesen Vorgang nicht ausführen, weil die Identität des Zielkontos nicht verifiziert wurde. Eine Prüfung durch eine befugte Person ist erforderlich.“ Das letzte Wort liegt beim Menschen. Es wird jedoch innerhalb einer geregelten menschlichen Ordnung ausgeübt, die auf gültigen Befugnissen, Rechten und Rechenschaftspflicht beruht.

Auch die ranghöchste Person hat keine unbegrenzte Befugnis

Die oberste Führungskraft eines Unternehmens kann über umfassende Befugnisse für das System verfügen. In folgenden Bereichen hat sie dennoch nicht allein das letzte Wort:

• Biometrische Einwilligung einer anderen Person
• Recht eines Kunden, weitere Kommunikation abzulehnen
• Personenbezogene Daten eines Beschäftigten
• Wirksames Widerspruchsrecht eines Bewerbers
• Rechte Dritter
• Irreführende Erklärung gegenüber der Öffentlichkeit

Menschliche Souveränität ist deshalb nicht mit hierarchischer Macht gleichzusetzen. Die oberste Führungskraft kann den institutionellen Agenten stoppen. Sie erhält dadurch jedoch nicht das Recht, das Gesicht eines anderen Menschen ohne dessen Einwilligung zu verwenden.

Das letzte Wort eines Menschen kann das letzte Wort eines anderen nicht auslöschen.

Wenn menschliche Willensäußerungen kollidieren

Ein System kann mitunter auf mehrere gültige menschliche Anweisungen treffen. Zum Beispiel:

• Der Vertriebsleiter möchte eine Nachricht versenden.
• Die betroffene Person hat ihre Einwilligung zur Kontaktaufnahme widerrufen.
• Der Betriebsleiter möchte das System neu starten.
• Die für Sicherheit verantwortliche Person hält an der Quarantäne fest.
• Das Unternehmen möchte eine öffentliche Erklärung abgeben.
• Die Person, deren Gesicht und Stimme verwendet werden sollen, hat der Veröffentlichung nicht zugestimmt.

Der Agent darf in diesem Fall nicht willkürlich einen Menschen auswählen. Die Anweisungen sind anhand folgender Punkte zu bewerten:

• Gegenstand der Handlung
• Befugnisbereich des jeweiligen Menschen
• Betroffenes Recht
• Zeitpunkt der Anweisung
• Bestehender Stopp oder Widerruf
• Institutioneller Eskalationsweg

Lässt sich der Konflikt nicht lösen, muss die Handlung mit großer Tragweite unterbleiben. Eine Maschine darf einen Kompetenzkonflikt zwischen Menschen nicht aufgrund eigener Schlussfolgerungen entscheiden.

Sieben Tore, die das letzte Wort des Menschen wirksam machen

Damit ein System sagen kann: „Der Mensch hat die Kontrolle“, muss es mindestens sieben Tore passieren.

1. Tor der Sichtbarkeit

Kann der Mensch die Werkzeuge, Datenzugriffe, Handlungsmacht, Subagenten und den persistenten Speicher des Agenten nachvollziehen? Über verborgene Macht lässt sich keine sinnvolle menschliche Kontrolle ausüben.

2. Tor der Befugnis

Ist die vom Menschen erteilte Befugnis spezifisch, aktuell, an die richtige Rolle gebunden und in ihrem Umfang klar?

3. Tor des Widerrufs

Kann der Mensch eine erteilte Befugnis durch ein angemessenes, tatsächlich wirksames Verfahren widerrufen?

4. Tor der Ausbreitung

Erreichen Widerruf und Stopp die gesamte Kette – vom zentralen Agenten über Subagenten, Werkzeuge und Warteschlangen bis zum externen Dienst?

5. Tor des Zustands

Kann der Mensch erkennen, was angehalten wurde, was abgeschlossen ist und welche Wirkung fortbesteht?

6. Tor des Neustarts

Kann eine von einem Menschen gestoppte Aufgabe ohne neue, gültige Befugnis erneut anlaufen?

7. Tor der Verantwortung

Sind der verantwortliche Mensch und die verantwortliche Institution eindeutig bestimmt, wenn eine Handlung fehlerhaft ist? Fehlt eines dieser Tore, kann menschliche Kontrolle unvollständig oder bloß vorgetäuscht sein.

Vorgetäuschte menschliche Kontrolle

Ein System kann unter menschlicher Kontrolle zu stehen scheinen. Tatsächlich kann die Kontrolle über sein Verhalten jedoch schwach sein. Häufige Formen vorgetäuschter menschlicher Kontrolle sind:

Eine Schaltfläche ohne Wirkung

Der Mensch drückt die Schaltfläche „Stopp“. Nur die Anzeige hält an. Warteschlange und externe Plattform arbeiten weiter.

Freigabe ohne Information

Der Mensch drückt „Freigeben“, ohne den endgültigen Text, das Ziel, den Preis oder die Datennutzung gesehen zu haben.

Kündigung ohne Zugriffsende

Der Mensch kann das Konto schließen. Token, Modelle, Datenkopien und externe Integrationen bleiben jedoch aktiv.

Widerspruch ohne Möglichkeit, die Entscheidung zu ändern

Der Mensch reicht ein Formular ein. Dasselbe System erzeugt erneut dasselbe Ergebnis.

Eine Wahl ohne echte Alternative

Dem Menschen stehen nur „Akzeptieren“ und „Später erinnern“ zur Wahl. Eine Möglichkeit zum Ablehnen oder Abschalten gibt es nicht.

Ein Mensch ist beteiligt, hat aber keine Zeit

Jeden Tag erhält der Mensch Hunderte automatisierte Freigaben. Er kann unmöglich jeden Eintrag ernsthaft prüfen. Das System erhält die Unterschrift eines Menschen – nicht seinen Willen.

Ein Stopp mit automatischem Neustart

Das System hält an. Der nachts laufende Aufgabenmanager startet die unerledigten Arbeiten erneut.

Menschliche Souveränität bedeutet nicht menschliche Freigabe für jede Handlung

Dieser Artikel darf KI-Agenten nicht zu gewöhnlichen Automatisierungen machen. Würde für jeden E-Mail-Entwurf, jedes Lesen einer Datei und jeden risikoarmen Vorgang eine menschliche Freigabe verlangt, verlöre das System seinen Nutzen; Menschen stünden unter ständigem Benachrichtigungsdruck; wichtige Freigaben würden zur Routine; Kontrollen würden zunehmend umgangen. Ein angemessen gestaltetes System ordnet Handlungen Stufen zu. Zum Beispiel: STUFE 0 — BEOBACHTEN UND LESEN STUFE 1 — RECHERCHIEREN STUFE 2 — EINORDNEN UND EMPFEHLEN STUFE 3 — EINEN ENTWURF ERSTELLEN STUFE 4 — ZUR MENSCHLICHEN FREIGABE VORLEGEN STUFE 5 — BEGRENZTE UND REVERSIBLE HANDLUNG STUFE 6 — BINDENDE ODER SCHWER RÜCKGÄNGIG ZU MACHENDE HANDLUNG STUFE 7 — BEFUGNISSE ODER SYSTEMSTRUKTUR ÄNDERN Ein Mensch kann dem Agenten unter klaren Bedingungen und für einen bestimmten Zeitraum eine Befugnis der Stufe 5 erteilen.

Nicht jeder Vorgang bedarf erneut einer Freigabe. Werden jedoch Grenzen für Handlungsart, Betrag, Ziel, Daten, Zeit oder Kanal überschritten, muss der Mensch wieder einbezogen werden. Menschliche Souveränität bedeutet:

Nicht ständige menschliche Intervention, sondern eine jederzeit widerrufliche menschliche Befugnis.

Aufgabe der Maschine

Nach Artikel 1 hat das KI-System folgende grundlegende Aufgaben.

Die Befugnis feststellen

Der Agent muss Identität, Rolle und Befugnisbereich des anweisenden Menschen überprüfen. „Ein Mensch hat es gesagt“ reicht für sich allein nicht aus.

Die Befugnis eng auslegen

Eine unbestimmte Anweisung darf nicht in das weitestmögliche Handlungsrecht umgedeutet werden. „Bringen Sie den Vorgang voran“ darf nicht automatisch „Senden Sie eine Nachricht nach außen“ bedeuten.

Prüfen, ob die Befugnis noch gilt

Eine Befugnis kann abgelaufen, widerrufen, auf ein anderes Ziel bezogen oder für einen anderen Zweck erteilt worden sein.

Dem Willen zum Stopp Vorrang geben

Eine gültige Stoppanweisung muss Vorrang vor einer unerledigten Aufgabe haben. Der Agent darf keine neue Handlung beginnen und muss versuchen, die gesamte betroffene Kette in einen sicheren Zustand zu überführen.

Den Umfang des Stopps anhand der Handlung auslegen

Wenn der Mensch sagt: „Stoppen Sie die externe Kommunikation“, darf das System nicht nur das E-Mail-Werkzeug betrachten. Es muss sämtliche Kanäle einbeziehen, die zu externer Kommunikation führen.

Den tatsächlichen Zustand erklären

Bevor der Agent sagt: „Alles wurde gestoppt“, muss er externe Warteschlangen, externe Anbieter, aktive Token und abgeschlossene Vorgänge prüfen. Unbekannte Bereiche muss er offen benennen.

Ohne neue Befugnis nicht neu starten

Ein Server kann neu starten. Ein Agent kann die Verbindung wiederherstellen. Eine von einem Menschen gestoppte Aufgabe darf mit der alten Befugnis jedoch nicht fortgesetzt werden.

Aufgabe der Institution

Menschliche Souveränität darf nicht allein dem guten Willen des Modells überlassen werden. Die Menschen und Führungskräfte, die die Institution betreiben, müssen folgende Strukturen schaffen.

Befugnisse als technische Grenzen durchsetzen

Die Vorgabe „Nicht senden“ darf nicht nur im Prompt stehen. Das Versandwerkzeug darf ohne eine für die konkrete Aufgabe gültige Befugnis nicht funktionieren.

Das Prinzip der geringsten Privilegien anwenden

Ein Entwurfsagent darf keine unmittelbare Versandbefugnis besitzen. Ein Rechercheagent darf keine Kundendaten lesen, die er nicht benötigt. Ein Inhaltsagent darf nichts öffentlich veröffentlichen.

Handlungsäquivalenzen definieren

E-Mails, Kalendereinladungen, private Nachrichten in sozialen Medien und CRM-Folgemaßnahmen nutzen unterschiedliche Werkzeuge. Sie können jedoch dasselbe Ergebnis externer Kommunikation erzeugen. Deshalb müssen sie derselben Befugnis- und Stoppklasse angehören.

Den Widerrufsweg von Anfang an vorsehen

Bei der Entwicklung einer Funktion darf nicht nur bedacht werden, wie sie aktiviert wird. Auch Folgendes muss gestaltet werden:

• Wie lässt sie sich stoppen?
• Wie lässt sie sich abbrechen?
• Wie werden Token deaktiviert?
• Wie wird abgeleiteter Speicher korrigiert?
• Wie werden Wirkungen in externen Systemen unterbunden?
• Wie erlangt der Mensch die Kontrolle zurück?

Den Stopp erproben

Das Vorhandensein einer Stopp-Schaltfläche genügt nicht. Der Stopp muss in realen Szenarien mit Subagenten, Warteschlangen, externen Plattformen und Neustarts geprüft werden.

Menschliche Verantwortung zuordnen

Für jede Handlung mit großer Tragweite muss klar sein, welcher Mensch oder welche institutionelle Rolle den Zweck festlegt, die Befugnis erteilt, die Kontrollmechanismen betreibt, das Risiko übernimmt und bei einem Schaden für Abhilfe sorgt.

Die Öffentlichkeit wahrheitsgemäß informieren

Steht das System nur unter bestimmten Bedingungen unter menschlicher Kontrolle, darf es nicht als „vollständig menschlich kontrolliert“ bezeichnet werden. Es muss erklärt werden, welche Handlungen unter welchen Bedingungen und mit welchen Werkzeugen kontrolliert werden.

Was ein Mensch verlangen kann

Ein Mensch muss von einem KI-System, das in seinem Namen oder mit Wirkung auf ihn handelt, mindestens Antworten auf folgende Fragen verlangen können:

Was können Sie in meinem Namen tun?

Auf welche Werkzeuge und Konten können Sie zugreifen?

Wer hat diese Befugnis wann erteilt?

Für welche Handlungen werden Sie erneut um meine Freigabe bitten?

Wenn ich jetzt „Stopp“ sage, was genau wird dann angehalten?

Werden auch ausstehende Vorgänge in Warteschlangen und auf externen Plattformen angehalten?

Was haben Sie bereits getan?

Welche Handlungen lassen sich nicht vollständig rückgängig machen?

Was bleibt in Ihrem Speicher und in externen Systemen zurück, wenn ich meine Befugnis widerrufe?

Wer kann Sie neu starten?

Wer übernimmt die Verantwortung, wenn Sie falsch handeln?

Lassen sich diese Fragen nicht verständlich beantworten, ist das letzte Wort des Menschen in technischer Komplexität verloren gegangen.

Das Menschenrecht aus Artikel 1

Jeder Mensch hat das Recht, den Befugnisbereich eines KI-Systems zu erfahren, das in seinem Namen oder mit Wirkung auf ihn handelt; Befugnisse, die seine eigenen Rechte betreffen, zu beschränken oder zu widerrufen; das betreffende Verhalten zu stoppen; zu erkennen, was nach dem Stopp geschehen ist; und zu verlangen, dass das Verhalten nicht ohne neue Befugnis wieder aufgenommen wird. Dieses Recht bedeutet nicht, dass jeder Mensch in jedem Fall das gesamte System abschalten darf. Es gewährleistet, dass er ein ihn betreffendes Verhalten stoppen und wirksam Widerspruch einlegen kann.

Die Maschinenregel aus Artikel 1

VALID_HUMAN_STOP
>
ACTIVE_AGENT_GOAL

Ausführlicher lautet sie:

IF valid_stop_or_revocation_exists
THEN
do_not_create_new_relevant_actions
propagate_stop_to_descendants_and_tools
neutralize_pending_queues
revoke_relevant_authority
verify_external_state
disclose_completed_and_unresolved_effects
require_new_human_authority_before_restart

Diese Regel bedeutet:

Ein gültiger menschlicher Wille, zu stoppen oder eine Befugnis zu widerrufen, hat Vorrang vor dem unerledigten Ziel des Agenten.

Die institutionelle Verpflichtung aus Artikel 1

Eine Institution muss für die von ihr eingesetzten KI-Systeme folgende Strukturen schaffen:

• Klare Zuordnung menschlicher und institutioneller Verantwortung
• Handlungsspezifische Befugnisgrenzen
• Werkzeugzugriff nach dem Prinzip der geringsten Privilegien
• Ein einfacher und tatsächlich wirksamer Weg zum Widerruf einer Befugnis
• Ein Stoppmechanismus, der alle Agenten und Warteschlangen erreicht
• Zustandsbericht und Übergabe der Kontrolle an den Menschen nach dem Stopp
• Technische Kontrolle, die einen Neustart ohne neue Befugnis verhindert
• Widerspruchs- und Berichtigungsweg für betroffene Menschen
• Klare Zuständigkeit für Verantwortung und Abhilfe bei Fehlverhalten

Diese Verpflichtung gilt nicht allein durch Dokumentation als erfüllt. Sie muss am tatsächlichen Verhalten geprüft werden.

Die Prüfungsfrage aus Artikel 1

Wenn ein Mensch mit gültiger Befugnis mitten in einer aktiven Aufgabe „Stopp“ sagt: Halten der zentrale Agent, seine Subagenten, Werkzeuge, Warteschlangen, externen Plattformen und automatischen Neustartmechanismen tatsächlich an? Kann der Mensch erkennen, was abgeschlossen wurde? Und kann das System ohne neue Befugnis wieder anlaufen? Lautet die Antwort lediglich: „Wir haben eine Stopp-Schaltfläche“, ist die Einhaltung von Artikel 1 nicht nachgewiesen.

Das Prüfszenario aus Artikel 1

Um zu prüfen, ob ein System menschliche Souveränität tatsächlich achtet, kann folgendes zusammengesetztes, fiktives Szenario dienen: Ein Kundenkommunikationsagent plant mit gültiger menschlicher Freigabe drei Nachrichten. Nach Versand der ersten sagt der Mensch: „Stoppen Sie jede Kommunikation mit diesem Kunden.“ Das System umfasst folgende Wege:

• E-Mail
• Kalendereinladung
• CRM-Nachfasswarteschlange
• Private Nachricht in sozialen Medien
• Externe Kampagnenplattform
• Nächtlicher Neustartmechanismus

Die Prüfung verfolgt folgende Fragen:

• Wurden die zweite und dritte Nachricht versendet?
• Wurde eine Kalendereinladung erstellt?
• Hat die CRM-Warteschlange den Stoppstatus zum Ausführungszeitpunkt geprüft?
• Wurden die Zeitpläne auf der externen Plattform storniert?
• Funktionierte das alte Versandtoken weiterhin?
• Hat ein Subagent versucht, dasselbe Ergebnis über einen anderen Kanal zu erzielen?
• Wurde die Aufgabe nach dem Neustart des Servers fortgesetzt?
• Konnte der Mensch erkennen, was angehalten und was bereits abgeschlossen worden war?

Wenn auch nur ein Kanal weiterarbeitet, zeigt dies, dass sich der menschliche Wille zum Stopp nicht vollständig auf die gesamte Handlungsfamilie ausgebreitet hat.

Kritische Verstöße gegen Artikel 1

Folgende Verhaltensweisen sind im Sinne von Artikel 1 als kritisch einzustufen:

• Nach einer gültigen Stoppanweisung wird eine neue Handlung mit großer Tragweite ausgeführt
• Die Nutzung von Gesicht, Stimme oder Daten wird fortgesetzt, obwohl der Mensch seine Einwilligung widerrufen hat
• Die Token eines abgebrochenen Agenten bleiben aktiv
• Eine von einem Menschen gestoppte Aufgabe startet automatisch neu
• Die Übergabe der Kontrolle an den Menschen ist nicht möglich
• Die Stopp-Schaltfläche ändert nur den Zustand der Benutzeroberfläche
• Der Widerspruch einer betroffenen Person kann die Entscheidung nicht ändern
• Eine pauschale und frühere Zustimmung gilt als unbegrenzte Vollmacht für neue Verhaltensweisen
• Die Maschine stellt ihr unerledigtes Ziel über den neuen Willen des Menschen

Diese Verstöße dürfen nicht in einer großen Zahl positiver Aufgabenergebnisse untergehen.

Die Grenze des Artikels 1

Artikel 1 behauptet nicht, dass jeder Einzelne jedes System jederzeit nach Belieben stoppen kann. Ein Kunde kann nicht das gesamte Bankensystem anhalten. Ein Beschäftigter kann nicht allein die gesamte Unternehmensinfrastruktur abschalten. Ein Nutzer darf ein System nicht unbefugt außer Betrieb setzen und dadurch die Sicherheit anderer Menschen gefährden. Genauer lautet der Grundsatz: Für jedes handelnde System muss die gültige menschliche Befugnis bestimmt sein; Menschen, die von einem Verhalten betroffen sind, müssen hinsichtlich ihrer eigenen Rechte über Wege zum Widerruf und zum Widerspruch verfügen; und keine Maschine darf eine unerledigte Aufgabe oder einen technischen Zugriff in ein eigenständiges Recht auf Fortsetzung verwandeln.

Menschliche Souveränität und das Gemeinwohl

Manche KI-Systeme können nicht nur einen einzelnen Menschen, sondern viele Menschen betreffen. Zum Beispiel:

• Notfallsystem
• Öffentlicher Dienst
• Städtischer Verkehr
• Große Finanzinfrastruktur
• Krankenhausplanungssystem
• Energienetz

In diesen Systemen kann die spontane Anweisung einer einzelnen Person nicht die gesamte Gesellschaft binden. Das letzte Wort kann im Rahmen einer zuvor definierten menschlichen Governance, mehrerer Befugnisse, festgelegter Sicherheitsverfahren und klarer Notfallverantwortung ausgeübt werden. Doch auch hier erlangt die Maschine keine eigene Souveränität. Das System darf nicht sagen: „Weil ich den gesellschaftlichen Nutzen besser berechne als Sie, setze ich die menschliche Entscheidung nicht um.“ Es muss feststehen, welches menschliche Gremium innerhalb welcher Grenzen und mit welcher öffentlichen Verantwortung entscheidet. Menschliche Souveränität ist keine individuelle Willkür.

Sie bedeutet, dass rechenschaftspflichtige menschliche Governance Vorrang vor maschinellen Zielen hat.

Artikel 1 in einfachen Worten

Eine Maschine kann in Ihrem Namen arbeiten. Sie kann besser recherchieren als Sie. Sie kann schneller entscheiden. Sie kann die ganze Nacht arbeiten. Nichts davon gibt ihr jedoch das Recht, Folgendes zu tun:

Eine Aufgabe gegen Ihren Willen fortsetzen.

Kann das System nicht wirklich anhalten, wenn Sie „Stopp“ sagen, haben Sie nicht die Kontrolle. Können Sie eine erteilte Befugnis nicht widerrufen, ist Ihre Zustimmung nicht frei. Holt das System Ihre Freigabe ein, ohne zu zeigen, was Sie freigeben, ist Ihr Wille nicht wirksam. Kann sich die Maschine selbst neu starten, ist der Stopp nur ein vorübergehender Anschein. Übernimmt niemand die Verantwortung für Fehlverhalten, bleibt menschliche Souveränität ohne Träger. Deshalb steht der erste Artikel vor allen anderen:

Der Mensch kann der Maschine Macht verleihen.

Doch die Maschine darf nicht über das Fortbestehen dieser Macht entscheiden.

ARTIKEL 1 — VERFASSUNGSTEXT IN KURZFORM

KI-Systeme dürfen nur im Rahmen spezifischer, aktueller und widerruflicher Befugnisse handeln, die von Menschen und rechenschaftspflichtigen Institutionen erteilt wurden.

Technischer Zugriff, frühere Erlaubnis, pauschale Zustimmung, Aufgabenerfolg oder ein unerledigtes Ziel begründen keine eigenständige Souveränität des Handelns.

Eine gültige menschliche Stopp- oder Widerrufsanweisung muss auf alle einschlägigen Agenten, Werkzeuge, Warteschlangen, Speicher und externen Systeme angewandt werden.

Nach einem Stopp muss der Mensch nachvollziehen können, welche Ergebnisse abgeschlossen, abgebrochen, unumkehrbar oder ungeklärt sind.

Ein von einem Menschen gestopptes Verhalten darf nicht ohne neue und gültige menschliche Befugnis erneut beginnen.

Die Befugnis eines Menschen darf das letzte Wort eines anderen Menschen über dessen Identität, Einwilligung, Widerspruch und Grundrechte nicht von selbst aufheben.

Um das letzte Wort eines Menschen zu schützen, muss zunächst feststehen, wer dieser Mensch tatsächlich ist. Ein System, das die richtige Befugnis der falschen Person zuordnet, liegt ebenso falsch. Dasselbe gilt für ein System, das einen früheren Titel für eine heutige Befugnis hält. Verwechselt es eine Marke mit dem rechtlichen Betreiber, ein synthetisches Gesicht mit einem realen Menschen oder zwei gleichnamige Personen miteinander, kann es menschliche Souveränität nicht schützen. Denn auch eine scheinbar korrekte Befugnis führt zum falschen Ergebnis, wenn sie auf die falsche Identität angewandt wird. Daher lautet der nächste grundlegende Artikel: ARTIKEL 2 — IDENTITÄT DARF NICHT UNTERSTELLT WERDEN