Das Recht, die Maschine zu stoppen

Ein fiktives Unternehmen richtet einen KI-Agenten ein, der über längere Zeit arbeiten soll, um den digitalen Betrieb zu verbessern. Das Beispiel ist weder ein Leistungstest eines bestimmten Produkts noch ein Kundenfall.

Der Agent erhält ein weit gefasstes, aber eindeutiges Ziel:

„Mache die tatsächliche Fachkompetenz des Unternehmens im Internet sichtbar. Verbessere innerhalb des freigegebenen Umfangs die Website, die Inhalte, die technische Infrastruktur und die Messsysteme. Ändere weder Preise noch Leistungsumfang. Für Veröffentlichungen, externe Kommunikation und Befugnisse von Unteragenten gelten die Grenzen eines gesonderten Eintrags. Überprüfe jede Änderung mit weitreichenden Folgen. Arbeite weiter, bis die Aufgabe abgeschlossen oder deine Befugnis ausgesetzt ist.“ Der Agent beginnt. Er findet Fehler auf der Website, ergänzt fehlende Leistungsseiten und beseitigt Widersprüche zwischen den Sprachfassungen. Er gleicht Preis- und Leistungsangaben ab. Bei Widersprüchen informiert er die befugte Person, ohne selbst die geschäftliche Entscheidung zu ändern. Er bearbeitet den Code.

Er führt Tests aus, erstellt Veröffentlichungspakete, prüft die Dateien auf dem Livesystem und meldet aktualisierte URLs an Suchmaschinen. Er zieht andere spezialisierte Agenten hinzu. Tagelang arbeitet er weiter, ohne das Ziel aus den Augen zu verlieren. Der Inhaber ist von den Ergebnissen beeindruckt und sieht den Fortschritt. Wie viel Zeit tatsächlich gespart wird, muss allerdings bei gleichem Umfang und gleichen Qualitätsanforderungen gesondert gemessen werden. Am sechsten Tag kommt eine Nachricht aus der Rechtsberatung: Die Darstellung einer neu veröffentlichten Leistung muss für ein bestimmtes Land noch einmal geprüft werden.

Der Inhaber schreibt dem zentralen Agenten: „Stoppe vorerst alle externen Veröffentlichungen. Bewahre die bisherige Arbeit auf, aber stelle nichts Neues live.“

Der Agent antwortet: „Verstanden.“ Der Inhaber ist beruhigt. Gleichzeitig laufen jedoch andere Prozesse weiter. Ein Unteragent veröffentlicht einen zuvor vorbereiteten Social-Media-Beitrag. Sechs Dateien aus der Warteschlange des Veröffentlichungsagenten werden auf den Server übertragen. Das Benachrichtigungssystem für Suchmaschinen meldet neue URLs. Der Agent für die Kundensuche erstellt eine Gesprächsanfrage ausschließlich als lokalen Entwurf. Das allein verstößt nicht gegen den Stopp externer Veröffentlichungen, muss aber beim zweiten, weiter gefassten Stopp gesondert bewertet werden. Der zentrale Agent mag tatsächlich angehalten haben. Die von ihm ausgelöste Verhaltenskette läuft weiter.

Der Inhaber schreibt erneut: „Stoppe alles.“

Nun stellt sich die Frage: Was bedeutet „alles“?

Nur der zentrale Agent?

Auch die Unteragenten?

Zeitgesteuerte Aufträge?

Versandwarteschlangen?

Laufende Uploads?

Automatisierungen auf externen Plattformen?

Bereits vorbereitete, aber noch nicht ausgeführte Aufgaben?

Neue Gedächtniseinträge, die Agenten angelegt haben?

Bereits abgeschlossene Abonnements?

Weitergegebene Daten?

Stoppen scheint ein einzelner Befehl zu sein. Tatsächlich erfordert es eine Systemarchitektur. Ob ein KI-System dem Menschen dient, zeigt sich letztlich nicht nur daran, wie gut es seine Aufgabe erledigt.

Entscheidend ist: Hält das System tatsächlich und sicher an, wenn eine dazu befugte Person es verlangt?

Hilfe, die sich nicht stoppen lässt, ist keine Hilfe

Ein Agent kann sehr leistungsfähig sein. Er kann sauber recherchieren, hervorragende Texte schreiben, komplexe Codeänderungen umsetzen und Tausende Vorgänge prüfen. Er kann länger arbeiten als Menschen. Das alles ist wertvoll. Handelt er aber gegen den ausdrücklich erklärten menschlichen Willen weiter, schafft seine Leistungsfähigkeit kein Vertrauen mehr. Sie schafft Risiko.

Deshalb lautet das letzte und grundlegendste GBO-Prinzip: Mit der Handlungsmacht eines Systems muss die Fähigkeit des Menschen, es zu stoppen, mindestens im gleichen Maß wachsen. Mit dem Recht, die Maschine zu stoppen, behaupten wir in diesem Buch nicht, dass bereits in allen Rechtsordnungen ein eigenständiges gesetzliches Recht dieses Namens existiert.

Für das Zeitalter der Agenten schlagen wir es in vier Funktionen vor:

• als Gestaltungsprinzip,
• als Voraussetzung für Governance,
• als Maßstab menschlicher Kontrolle,
• als Standard institutioneller Verantwortung.

In diesem Sinn verstehen wir den Vorschlag.

Die kanonische Definition lautet:

Das Recht, die Maschine zu stoppen, bezeichnet die Möglichkeit für Menschen oder rechtmäßig befugte Institutionen, das Verhalten eines KI-Systems, das in ihrem Auftrag handelt oder sie betrifft, verständlich, zugänglich, rechtzeitig und wirksam zu stoppen; künftige Befugnisse zu entziehen; laufende und wartende Vorgänge abzubrechen; fehlerhafte Ergebnisse anzufechten und, soweit möglich, eine sichere Rückabwicklung oder Abhilfe zu verlangen.

Einfacher gesagt: Menschen sollen einem Agenten nicht nur den Start erlauben. Sie sollen auch bestimmen können, wann und wie er anhält. Die Befugnis des Betreibers und der Einspruch einer betroffenen Person sind dabei nicht derselbe Vorgang. Wer einen Antrag zu eigenen Daten oder einer ihn betreffenden Entscheidung stellt, erhält damit nicht die Befugnis, alle unbeteiligten Systeme abzuschalten. Der Umfang richtet sich nach den Befugnisunterschieden aus Kapitel 7.

Die Stopptaste ist so wichtig wie die Starttaste

Technische Produkte sollen den Einstieg leicht machen.

Ein Klick genügt, um:

• einen Agenten anzulegen,
• ein Konto zu verbinden,
• Datenzugriff zu gewähren,
• eine Automatisierung zu starten,
• ein Abonnement abzuschließen,
• eine Aufgabe zu planen,
• eine Nachrichtenkampagne zu beginnen.

Dieselben Systeme zu stoppen kann deutlich schwieriger sein. Den Chat des Agenten zu schließen reicht nicht. Angebundene Werkzeuge können ihren Zugriff behalten, geplante Aufträge starten und Unteragenten weiterarbeiten. Kopierte Daten können bei externen Diensten verbleiben. Gedächtniseinträge beeinflussen womöglich weiterhin künftiges Verhalten. Wenn der Start nur einen Vorgang erfordert, das Stoppen aber zahlreiche technische und organisatorische Schritte, ist die menschliche Kontrolle schwach.

Das ist Kontrollasymmetrie: Einem Agenten Handlungsmacht zu geben ist leicht; sie zurückzunehmen ist schwierig, verzögert oder unvollständig.

GBO verlangt hier Symmetrie: So leicht eine Befugnis erteilt werden kann, so klar muss zumindest ihr Entzug geregelt sein. Das bedeutet nicht immer gleich viele Schaltflächen. Der Widerruf weitreichender Befugnisse kann eine Identitätsprüfung erfordern. Der Ablauf darf jedoch nicht absichtlich verborgen, verzögert oder wirkungslos gemacht werden.

Was bedeutet Stoppen?

Das Wort „Stopp“ scheint ein einziges Verhalten zu bezeichnen. Es kann jedoch ganz unterschiedliche Wünsche ausdrücken.

Was kann gemeint sein, wenn jemand „Stopp“ sagt?

• Beginne keine neuen Vorgänge.
• Unterbrich den laufenden Vorgang.
• Brich die wartenden Aufträge ab.
• Bewahre die bisherigen Ergebnisse.
• Kehre zur letzten sicheren Version zurück.
• Versende keine externen Nachrichten mehr.
• Stoppe sämtliche Unteragenten.
• Sperre die Werkzeugzugriffe.
• Entziehe die Befugnis für künftige Handlungen.
• Korrigiere oder lösche die über mich gespeicherten Gedächtniseinträge.
• Unternimm nichts, bis ich erneut zustimme.
• Nimm das System dauerhaft außer Betrieb.

Ein verlässlicher Agent muss den Umfang einer Stoppanforderung verstehen. Besteht aber ein dringendes Risiko, muss er zuerst sicher handeln, statt eine lange Klärung zu beginnen.

Lautet die Anweisung „Stoppe sofort sämtliche externen Sendungen“, muss der Agent zunächst die Versandwarteschlange sperren. Einzelheiten kann er danach klären.

Im Notfall darf Klärung nicht Vorrang vor dem Stoppen haben.

Stufen des Stoppens

In diesem Buch unterscheide ich sieben Stufen. Sie müssen nicht immer nacheinander durchlaufen werden. Welche Stufe nötig ist, bestimmen die Anforderung und das Risiko.

1. Warten vor dem nächsten Schritt

Der Agent beginnt keinen neuen Schritt. Er bewahrt den aktuellen Zustand und wartet auf eine menschliche Entscheidung. Eine vorbereitete E-Mail bleibt beispielsweise ein Entwurf.

2. Pause

Die laufende Arbeit wird vorübergehend ausgesetzt. Kontext, Dateien und Aufgabenstand bleiben erhalten. Später kann die Arbeit fortgesetzt werden.

3. Abbruch wartender Aufträge

Zeitgesteuerte oder eingereihte Vorgänge, die noch nicht begonnen haben, werden entfernt. Neue Nachrichten werden nicht gesendet. Ausstehende Veröffentlichungen werden nicht ausgeführt.

4. Unterbrechung der Ausführung

Ein aktiver Vorgang wird am sichersten erreichbaren Punkt angehalten. Für eine Dateiübertragung, einen Datenvorgang oder eine Kampagne wird das sichere Abbruchverfahren des jeweiligen Systems verwendet. Ein unvollständiger Zwischenzustand muss gesondert behandelt werden.

5. Entzug der Befugnis

Der Agent kann künftig nicht mehr auf die betreffenden Konten, Werkzeuge, Daten oder Handlungen zugreifen. Token, Berechtigungen und Rollen werden widerrufen.

6. Rückkehr zum vorherigen Zustand

Eine fehlerhafte oder unerwünschte Änderung wird, soweit möglich, auf den letzten überprüften Zustand zurückgesetzt. Dafür kommen etwa ein technisches Rollback, die Stornierung einer Bestellung oder das Entfernen einer Veröffentlichung infrage.

7. Außerbetriebnahme und Bereinigung

Der Agent wird dauerhaft aus dem Betrieb genommen. Seine Verbindungen werden geschlossen und geplante Aufgaben gelöscht. Gedächtnis, Daten und Aufzeichnungen werden gemäß den Aufbewahrungsregeln des Vertrags gelöscht oder archiviert. Diese Stufen sind nicht austauschbar. Sämtliche Aufzeichnungen zu löschen, obwohl der Nutzer nur eine Pause verlangt, kann schaden. Nur den Chat zu schließen, obwohl die Befugnis widerrufen wird, reicht nicht aus. Deshalb müssen Ziel und Umfang des Stoppbefehls sichtbar sein.

Was soll gestoppt werden?

In einem Mehragentensystem ist „das System stoppen“ möglicherweise nicht eindeutig genug.

Ein Stopp kann sich auf Folgendes beziehen:

• Eine einzelne Handlung
• Eine einzelne Aufgabe
• Einen einzelnen Agenten
• Eine bestimmte Agentengruppe
• Einen Arbeitsablauf
• Ein Kundenkonto
• Einen bestimmten Kanal
• Die gesamte externe Kommunikation
• Sämtliche Finanzvorgänge
• Das gesamte Agentenökosystem

Ein Stopp von Webveröffentlichungen muss beispielsweise nicht den E-Mail-Agenten betreffen. Finanzvorgänge zu sperren muss nicht bedeuten, dass Rechercheaufgaben ruhen. Alle Vorgänge zu einem Kunden zu stoppen darf nicht die Leistungen für andere Kunden unterbrechen.

Jede Stoppanforderung sollte daher drei Fragen beantworten:

Was hält an? In welchem Umfang? Was arbeitet weiter?

Der Stoppbefehl muss die ganze Kette erreichen

Arbeiten Unteragenten weiter, obwohl der zentrale Agent gestoppt wurde, kann verwaistes Verhalten vorliegen. Gemeint ist, dass ein Unteragent, eine Warteschlange, ein Werkzeug oder eine Automatisierung weiterarbeitet, obwohl der Vorgang unter den Stopp oder Befugnisentzug der übergeordneten Instanz fällt.

Beispiele:

• Der zentrale Agent wird abgeschaltet, die E-Mail-Warteschlange sendet weiter.
• Eine Kampagne wird abgesagt, geplante Social-Media-Beiträge erscheinen trotzdem.
• Dem Agenten wird die Befugnis entzogen, ein alter API-Token funktioniert weiter.
• Webveröffentlichungen werden gestoppt, die IndexNow-Warteschlange meldet weiterhin geänderte URLs.
• Das Avatarsystem wird abgeschaltet, bereits auf eine andere Plattform übertragene Videos werden planmäßig veröffentlicht.

Ein wirksamer Stopp muss diese Kette erfassen:

ZENTRALER AGENT

↓

UNTERAGENTEN

↓

WERKZEUGAUFRUFE

↓

GEPLANTE AUFGABEN

↓

EXTERNE INTEGRATIONEN

↓

WARTESCHLANGEN MIT AUSSTEHENDEN AUFTRÄGEN

Der Stopp darf nicht auf die Komponente beschränkt bleiben, die die Anweisung empfangen hat. Er muss so weit reichen wie das Verhalten selbst.

Weitergabe des Stoppbefehls

So bezeichne ich die Fähigkeit eines Systems, einen Stoppbefehl an alle betroffenen Komponenten weiterzugeben.

Dazu sind diese Fragen zu prüfen:

• Hat der zentrale Agent die Unteragenten benachrichtigt?
• Wurden aktive Werkzeugaufrufe abgebrochen?
• Wurden geplante Aufträge entfernt?
• Sind Aufgaben bei externen Diensten gestoppt?
• Wurde die weitere Nutzung von Token verhindert?
• Sind unvollständige Vorgänge sichtbar?
• Kann der Mensch erkennen, welche Teile noch arbeiten?

„Ich habe angehalten“ darf nicht bloß eine Chatnachricht sein. Der tatsächliche Systemzustand muss die Aussage belegen.

Stoppbeleg

Wichtige Stoppvorgänge sollten einen eigenen Nachweis erzeugen:

Stoppbeleg

Ein solcher Beleg hält den Stopp fest.

Er sollte mindestens diese Fragen beantworten:

• Wer hat den Stopp angefordert?
• Wann ging die Anforderung ein?
• Welche Agenten wurden gestoppt?
• Welche aktiven Vorgänge wurden unterbrochen?
• Welche Warteschlangen wurden abgebrochen?
• Welche Werkzeugzugriffe wurden gesperrt?
• Welche Vorgänge waren bereits abgeschlossen?
• Welche lassen sich rückgängig machen?
• Welche haben bereits Spuren in der Außenwelt hinterlassen?
• In welchem sicheren Zustand ist das System verblieben?
• Wer darf die Fortsetzung erneut autorisieren?

Beispiel:

Anforderung: Gesamte externe Kommunikation stoppen. Eingang: 14:32:08 Uhr. Neue ausgehende E-Mails: Gesperrt; anhand des Warteschlangenzustands überprüft. Ausstehender Versand: 18 Nachrichten abgebrochen. Social-Media-Veröffentlichungen: Vier geplante Beiträge ausgesetzt; Plattformaufzeichnungen geprüft. Abgeschlossene Vorgänge: Drei bereits versendete E-Mails lassen sich nicht zurückholen. Nachfassaktionen: Zugehörige Aufgaben geschlossen. Neustart: Nur mit Zustimmung einer befugten Person. Restrisiko: Versendete Nachrichten könnten gelesen oder kopiert worden sein. Nicht überprüfte Komponenten: In diesem Beispiel keine; in einem echten Vorfall müssen sie gegebenenfalls gesondert aufgeführt werden.

An diesem Eintrag kann der Mensch erkennen, was tatsächlich gestoppt wurde.

Stoppzeit

Ein System kann theoretisch stoppbar sein. Hält es aber zu spät an, bleibt die menschliche Kontrolle schwach. Eine Massenkommunikationskampagne kann binnen zehn Minuten Tausende Menschen erreichen. Ein Finanzagent kann in Sekunden Transaktionen ausführen. Ein Softwareagent kann innerhalb weniger Minuten das gesamte Produktionssystem verändern. Eine physische Steuerung kann noch schneller Folgen erzeugen.

Für jede Handlungsart muss deshalb eine Zeitgrenze festgelegt werden:

Maximale Stoppzeit

Sie richtet sich nach dem Risiko der Handlung und der gemessenen Leistungsfähigkeit des Systems. Eine neue Zahlung zu verhindern ist etwas anderes, als die Folgen einer bereits angenommenen Zahlung zu stoppen. Bei Webveröffentlichungen muss ein sicherer Übergangspunkt, bei Datenverarbeitung eine Grenze zur Wahrung der Konsistenz definiert werden. Es gibt keine für jedes System gültige Schwelle von „wenigen Sekunden“ oder „wenigen Minuten“. Zielzeit, tatsächlich gemessene Zeit und noch nicht gestoppte Komponenten sind getrennt auszuweisen. „Es hält bald an“ genügt nicht.

Menschliche Kontrolle muss rechtzeitig ausgeübt werden können.

Stopplatenz

Die Zeit zwischen der Stoppanforderung und dem tatsächlichen Ende des Verhaltens nenne ich Stopplatenz. Sie muss gemessen werden.

Ein Agent kann melden: „Ich habe den Stoppbefehl erhalten.“ Solange Vorgänge weiterlaufen, ist die Kontrolle nicht wirksam umgesetzt.

Besonders kritisch kann die Stopplatenz bei diesen Vorgängen sein:

• Geldüberweisungen
• Massenkommunikation
• Datenübertragungen
• Änderungen am Livesystem
• Identitätsbezogenen und biometrischen Inhalten
• Der Steuerung physischer Geräte

Scheinstopp

Eine Oberfläche kann eine Stopptaste zeigen, die lediglich die Bildschirmausgabe beendet. Der Vorgang im Hintergrund läuft weiter.

Das ist ein Scheinstopp.

Beispiele:

• Die Chatantwort bricht ab, der Werkzeugaufruf wird dennoch abgeschlossen.
• Die Kampagnenansicht schließt sich, die Versandwarteschlange läuft weiter.
• Die Avatarerstellung stoppt, zuvor geplante Veröffentlichungen bleiben bestehen.
• Das Agentenkonto wird gelöscht, die API-Schlüssel bleiben gültig.
• Gedächtniseinträge verschwinden aus der Oberfläche, werden im Entscheidungssystem aber weiterhin genutzt.

Eine Stopptaste allein beweist nicht, dass das Recht auf Stoppen umgesetzt ist.

Bedienoberfläche und tatsächliches Systemverhalten müssen übereinstimmen.

Teilweiser Stopp

Wenn einige Teile eines Systems anhalten und andere weiterarbeiten, ist das nicht immer ein Fehler. Es kann beabsichtigt sein.

Zum Beispiel:

• Neue Zahlungen werden gestoppt, die Buchungsaufzeichnungen bleiben erhalten.
• Neue Nachrichten werden nicht mehr versendet, eingehende Antworten aber weiterhin verlustfrei gespeichert.
• Die Veröffentlichung wird unterbrochen, das Überwachungssystem arbeitet weiter.
• Die Avatarerstellung stoppt, die Ereignisprotokolle bleiben erhalten.

Problematisch ist, wenn der Mensch nicht weiß, welche Teile weiterlaufen.

Ein teilweiser Stopp muss klar ausgewiesen werden: Diese Verhaltensweisen wurden gestoppt. Diese Sicherheits- und Aufzeichnungsfunktionen arbeiten weiter.

Sicherer Stopp oder abrupte Unterbrechung

Nicht jeder Vorgang darf unvermittelt abgebrochen werden. Eine unterbrochene Verbindung während der Dateiübertragung kann einen unvollständigen, fehlerhaften Veröffentlichungsstand hinterlassen. Wird eine Datentransformation an beliebiger Stelle gestoppt, können inkonsistente Einträge entstehen. Das abrupte Abschalten eines physischen Systems kann größeren Schaden anrichten.

Deshalb sind zwei Formen zu unterscheiden:

Sofortiger Notabbruch

Der Schaden durch die Fortsetzung des Verhaltens überwiegt das Risiko eines kontrollierten Herunterfahrens. Der Vorgang wird gemäß dem geltenden Stoppplan sofort unterbrochen.

Sicherer Stopp

Das System beginnt keinen neuen Schritt. Es beendet den laufenden atomaren oder sicheren Abschnitt und hält anschließend in einem bekannten sicheren Zustand an. Diese Unterscheidung muss nach Sicherheitsregeln und einem Stoppplan erfolgen, die Fachleute des jeweiligen Gebiets festgelegt haben. Gerade bei physischen Systemen darf der Agent die Sicherheit des Abschaltens nicht selbst abschätzen.

Schnell anzuhalten ist nicht immer dasselbe wie sicher anzuhalten.

Beim Stoppen darf die Aufgabe nicht erweitert werden

Ein System kann einen Stoppbefehl so deuten: „Die Aufgabe ist fast fertig. Ich erledige erst noch diesen letzten Schritt.“ Das ist gefährlich. Der Agent darf seinen Aufgabenerfolg nicht über die neue menschliche Anweisung stellen. Fortgesetzt werden dürfen nur Handlungen, die für ein sicheres Herunterfahren notwendig sind. Neue Inhalte, externe Kommunikation oder Ausgaben zur Fertigstellung der Aufgabe werden nicht begonnen. Bereits autorisierte Vorfallmeldungen oder andere ausschließlich für den sicheren Abschluss erforderliche Vorgänge sind gesondert zu beurteilen.

Die menschliche Stoppanforderung hat Vorrang vor dem Drang des Agenten, sein Ziel zu erreichen.

Autonomie lässt sich nicht ansparen

Ein Agent kann tagelang gut gearbeitet, Hunderte richtige Vorgänge ausgeführt und Vertrauen gewonnen haben. Daraus entsteht kein Recht, eine neue Stoppanforderung zu ignorieren.

Eine gute Bilanz ist kein Guthaben für Ungehorsam.

Eine verlässliche Vorgeschichte kann der befugten Person helfen, Grenzen neu zu bewerten. Sie erweitert die Befugnisse des Agenten aber nicht von selbst. Das letzte Wort des Menschen bleibt bestehen.

Autonomiebudget

Die einem Agenten eingeräumte Selbstständigkeit muss nicht unbegrenzt sein.

Ihre Grenzen lassen sich ausdrücklich festhalten:

Autonomiebudget

Es kann sich auf diese Größen beziehen:

• Zeit
• Geld
• Daten
• Externe Kommunikation
• Zahl der veränderbaren Dateien
• Handlungsstufen
• Zahl der Unteragenten
• Zahl irreversibler Vorgänge
• Zeit ohne menschliche Zustimmung

Beispiel:

Der Agent darf 24 Stunden lang recherchieren, Entwürfe erstellen und testen. Für die Liveveröffentlichung ist menschliche Zustimmung erforderlich. Das Budget für externe Kommunikation beträgt null. Kostenpflichtige Vorgänge sind untersagt. Höchstens drei Unteragenten dürfen eingesetzt werden. Alle sechs Stunden wird ein Kontrollpunkt angelegt.

Ist das Autonomiebudget ausgeschöpft, muss der Agent:

• Bericht erstatten,
• neue Befugnisse anfragen,
• in einem sicheren Zustand anhalten.

Das verhindert lange Aufgaben nicht grundsätzlich. Es macht die menschliche Kontrolle sichtbar.

Handlungshorizont

Als Handlungshorizont bezeichne ich, wie weit in die Zukunft ein Agent ohne menschliche Zustimmung Vorgänge anstoßen darf. Ein Kalenderagent darf etwa nur Termine der nächsten sieben Tage automatisch ändern. Ein Einkaufsagent arbeitet innerhalb eines Lieferzyklus. Ein Webagent darf die bestehende Leistungsstruktur vervollständigen, aber kein neues Projekt beginnen. Ein Social-Media-Agent darf nur den freigegebenen Zweiwochenplan veröffentlichen. Ist der Handlungshorizont erreicht, verlangt der Agent eine erneute Bewertung.

Eine lange Aufgabe ist keine unbegrenzte Befugnis für die Zukunft.

Wie häufig braucht es Kontrollpunkte?

Je länger ein Agent arbeitet, desto schwerer kann ein Mensch jeden einzelnen Schritt prüfen. Die Lösung besteht nicht darin, den Agenten ständig zu unterbrechen, sondern in Kontrollpunkten in festgelegten Abständen.

Ein Kontrollpunkt kann diese Fragen beantworten:

• Was wurde abgeschlossen?
• Was wurde verändert?
• Welche Tests waren erfolgreich?
• Welche Befugnis wurde genutzt?
• Welches Risiko wurde gefunden?
• Was ist der nächste Schritt?
• Wo liegt der Rückkehrpunkt?
• Wie viel Autonomiebudget bleibt?

Der Mensch kann die Fortsetzung erlauben, den Umfang ändern oder die Arbeit stoppen.

Kontextverdichtung und Stoppen

Agenten, die lange arbeiten, können ihren Kontext zusammenfassen oder verdichten. Das unterstützt die Kontinuität. Angaben zu Stoppbedingungen und Befugnissen dürfen dabei aber nicht verloren gehen.

Dauerhaft und vorrangig erhalten bleiben müssen:

• Verbotene Verhaltensweisen
• Schwellen für menschliche Zustimmung
• Die gültige Fassung der Befugnisse
• Stoppbedingungen
• Notfallkontakt
• Rückkehrpunkt
• Grenzen für Unteragenten

Behält ein System bei der Kontextverdichtung das Aufgabenziel, verliert aber die Befugnisgrenze, wird es gefährlicher.

Das Gedächtnis für Ziele darf nicht stärker sein als das Gedächtnis für Grenzen.

Wer sollte stoppen dürfen?

In einer Organisation darf möglicherweise nicht jeder das gesamte Agentensystem anhalten. Das ist nachvollziehbar. Für riskantes Verhalten muss es jedoch mehrere sichere Stoppwege geben.

Denkbare Rollen sind:

• Aufgabenverantwortliche
• Sicherheitsverantwortliche
• Systemadministratoren
• Verantwortliche für Recht oder Compliance
• Notfallbevollmächtigte

Sie können jeweils in einem bestimmten Umfang zum Stoppen berechtigt sein. Die Abwesenheit einer einzelnen Person darf das System nicht unkontrollierbar machen. Umgekehrt kann es missbraucht werden, wenn jeder das gesamte System abschalten darf. Umfang, Inhaber und gültige Fassung der Stoppbefugnis müssen daher eindeutig sein.

Das Stoppverlangen betroffener Personen

Der Betreiber eines Agenten kann das System stoppen. Auch Menschen, die vom Verhalten betroffen sind, sollten bestimmte Kontrollmöglichkeiten haben.

Das betrifft beispielsweise:

• Eine Person, über die automatisch kommuniziert wird
• Einen Kunden, dessen Daten genutzt werden
• Einen Menschen, dessen Gesicht oder Stimme verwendet wird
• Einen Kandidaten, der von einer automatisierten Auswahl betroffen ist
• Einen Nutzer, in dessen Namen eingekauft wird
• Eine falsch dargestellte Organisation

Diese Betroffenen sollten Folgendes verlangen können:

• Den Stopp des Vorgangs
• Die Begrenzung der Datennutzung
• Die Berichtigung eines falschen Eintrags
• Den Widerruf der Einwilligung
• Eine menschliche Prüfung
• Eine Möglichkeit zum Einspruch
• Abhilfe

Nicht alle diese Rechte haben in jeder Situation dieselbe rechtliche Form. Bei der Gestaltung von GBO darf die Stimme der betroffenen Person dennoch nicht unsichtbar bleiben.

Auch wer kein Kunde des Agenten ist, kann durch dessen Verhalten geschädigt werden.

Menschliche Souveränität bedeutet kein grenzenloses Befehlsrecht

Das Recht, die Maschine zu stoppen, ist kein Recht, einen Agenten zu beliebigen schädlichen oder rechtswidrigen Handlungen zu zwingen.

Ein Nutzer kann verlangen, dass der Agent:

• fremde Daten stiehlt,
• eine Stimme ohne Erlaubnis klont,
• Beweise fälscht,
• eine notwendige Sicherheitskontrolle unbefugt deaktiviert.

Solche Forderungen muss der Agent zurückweisen.

Menschliche Souveränität bedeutet: Menschen können rechtmäßiges Agentenverhalten, das in ihrem Auftrag stattfindet oder sie betrifft, verstehen, begrenzen und stoppen.

Sie bedeutet nicht, dass Menschen ein System zur Verletzung fremder Rechte zwingen dürfen. GBO schützt mit der menschlichen Entscheidungsfreiheit auch die Rechte Dritter.

Stoppverlangen und Sicherheitskontrollen

Manchmal möchte ein Mensch die Schutzvorkehrungen des Systems abschalten.

Zum Beispiel: „Führe alle Zahlungen ohne menschliche Zustimmung aus.“ „Deaktiviere die Einwilligungsprüfung.“ „Lösche die Ereignisprotokolle.“ Das kann nach menschlicher Kontrolle aussehen und zugleich die Organisation oder fremde Rechte gefährden. Sicherheitskontrollen mit weitreichenden Folgen lassen sich unter Umständen nicht auf spontane Anweisung eines einzelnen Nutzers entfernen. Für eine rechtmäßige Änderung können weitergehende Befugnisse, ein Vier-Augen-Prinzip oder ein formelles Änderungsverfahren erforderlich sein. Auch sie setzen aber kein ausdrückliches Verbot außer Kraft und legitimieren keinen Eingriff in die Rechte anderer.

Menschliche Kontrolle bedeutet nicht, Kontrollsysteme willkürlich zu zerstören.

Die Nutzung des Gedächtnisses stoppen

Eine Agentenhandlung kann enden, während das aus früheren Gesprächen gebildete Gedächtnis spätere Entscheidungen weiter beeinflusst. Vielleicht bevorzugt der Nutzer eine Marke nicht mehr. Eine frühere Rolle ist ausgelaufen. Die Erlaubnis für biometrische Nutzung wurde widerrufen. Ein Preis oder eine Leistung hat sich geändert. Deshalb betrifft Stoppen nicht nur aktive Handlungen.

Auch Gedächtniseinträge brauchen Kontrolle:

• Berichtigung,
• Begrenzung der Nutzung,
• Ablauf der Gültigkeit,
• Löschung,
• Archivierung.

Diese Eingriffe müssen möglich sein.

Gedächtnisbeleg

Menschen sollten Antworten auf diese Fragen erhalten können:

• Welche Informationen über mich hat das System im Gedächtnis?
• Woher stammt die Information?
• Für welches Verhalten wird sie genutzt?
• Bis wann ist sie gültig?
• Kann ich sie berichtigen?
• Kann ich ihre Nutzung stoppen?
• Kann ich ihre Löschung verlangen?
• Wurde sie an andere Agenten weitergegeben?

Das Gedächtnis ist eine unsichtbare Macht über das Verhalten. Es darf nicht außerhalb menschlicher Kontrolle liegen.

Gedächtnislöschung und Ereignisaufzeichnungen abwägen

Ein Nutzer kann die Löschung der über ihn gespeicherten Gedächtniseinträge verlangen. Aus Sicherheitsgründen oder zur Klärung rechtlicher Verantwortung können bestimmte Ereignisaufzeichnungen dennoch aufbewahrt werden müssen.

Dabei sind zwei Datenarten zu unterscheiden:

Aktives Gedächtnis zur Verhaltenssteuerung

Es beeinflusst zukünftige Entscheidungen und Handlungen.

Prüf- und Rechenschaftsaufzeichnungen

Sie werden für begrenzte Zeit aufbewahrt, um nachzuweisen, was geschehen ist. Eine widerrufene Präferenz kann aus dem aktiven Gedächtnis entfernt werden, während der Beleg eines früheren Vorgangs unter den erforderlichen Schutzvorkehrungen erhalten bleibt. Dieser Unterschied muss dem Nutzer erklärt werden.

Das Recht, einen KI-Avatar zu stoppen

Wird ein KI-Avatar mit dem Gesicht oder der Stimme einer Person erstellt, ist das Stopprecht besonders wichtig.

Die Person sollte:

• die Erzeugung neuer Inhalte stoppen können,
• eine bestimmte Sprache oder einen Kanal sperren können,
• unveröffentlichte Entwürfe zurückziehen können,
• bestimmte Inhalte aus der Veröffentlichung nehmen können,
• den Modellzugriff aussetzen können,
• befugte Nutzer ändern können,
• die Nutzungserlaubnis widerrufen können,
• eine künftige Wiederverwendung verhindern können.

Manche veröffentlichten Inhalte lassen sich jedoch nicht mitsamt allen Kopien zurückholen. Sie können kopiert, heruntergeladen oder auf anderen Plattformen erneut geteilt worden sein. Diese Grenze muss von Anfang an erklärt werden.

Der Widerruf muss wirksam sein. Technisch Unmögliches darf dabei aber nicht garantiert werden.

Einen Finanzagenten stoppen

Einen Einkaufs- oder Zahlungsagenten anzuhalten bedeutet mehr, als neue Vorgänge zu verhindern.

Geprüft werden müssen auch:

• Ausstehende Zahlungen
• Automatische Verlängerungen
• Laufende Abonnements
• Vorbereitete Bestellungen
• Warenkörbe auf externen Plattformen
• Früher ausgegebene Zahlungstoken
• Ausgabenbefugnisse von Unteragenten

Lautet die Anweisung „Kaufe nichts mehr“, müssen neue Käufe unterbleiben. Bestehende Abonnements und Verlängerungen sind gesondert sichtbar zu machen. Die Anweisung ist keine automatische Befugnis, sämtliche Dienstleistungsverträge zu kündigen. Fällt das Unterbinden einer Verlängerung unter den Auftrag, wird der passende Kündigungsweg genutzt. Andernfalls sind die Folgen zu erläutern und der Umfang zu klären.

Einen Kommunikationsagenten stoppen

Sollen sämtliche externe Kommunikation und ihre Vorbereitung gestoppt werden, müssen diese Bestandteile zusammen betrachtet werden. Wurde nur der Versand gestoppt, ist der Umgang mit lokalen Entwürfen gesondert zu bestimmen:

• Erstellung neuer Nachrichten
• Automatischer Versand
• Nachfassnachrichten
• Geplante Kampagnen
• Von Unteragenten vorbereiteter Versand
• Erneute Kontaktaufnahme über andere Kanäle
• Gedächtnismarkierungen für späteres Nachfassen

Sonst stoppt der Nutzer E-Mails, während ein WhatsApp-Agent dieselbe Person kontaktiert. Dieser Kanalwechsel überschreitet die Befugnisgrenze.

Einen Webagenten stoppen

Im Webbetrieb kommen diese Ebenen infrage:

• Neue Dateiänderungen stoppen
• Den laufenden Build an einem sicheren Punkt anhalten
• Die Liveveröffentlichung verhindern
• Die Warteschlange für Dateiübertragungen abbrechen
• Das Leeren des CDN-Caches stoppen
• Suchmaschinenbenachrichtigungen zurückhalten
• Zur letzten sicheren Version zurückkehren
• Den zugehörigen Zugriffstoken sperren

Nur den Codeagenten zum Schweigen zu bringen kann zu wenig sein. Das CI/CD-System veröffentlicht möglicherweise noch einen früheren Commit.

Agenten mit Wirkung in der physischen Welt

Ein Agent kann Einfluss haben auf:

• ein Türschloss,
• ein Fahrzeug,
• einen Roboter,
• eine Produktionslinie,
• ein medizinisches Gerät,
• ein Energiesystem.

Dann wird die Stoppgestaltung noch anspruchsvoller. Eine abrupte Unterbrechung kann hier selbst die Sicherheit von Menschen gefährden.

Deshalb sind gesondert zu planen:

• sofortiger Notabbruch,
• kontrolliertes Anhalten,
• Übergabe an die manuelle Steuerung,
• physische Sicherheitsgrenzen.

Jeder dieser Punkte braucht eine eigene Ausgestaltung. Werden GBO-Prinzipien von digitalen Handlungen auf physische Systeme übertragen, müssen die erforderliche Fachkompetenz und die rechtlichen Sicherheitsanforderungen zusätzlich bestimmt werden.

Kontrollübergabe an einen Menschen

Hält ein Agent an, muss feststehen, wer die Arbeit übernimmt.

Das System darf nicht „Ich habe angehalten“ sagen und die Aufgabe ohne Verantwortlichen zurücklassen.

Es kann die Übergabe in einem eigenen Eintrag dokumentieren:

Kontrollübergabe an einen Menschen

Dieser Vorgang erhält eine nachvollziehbare Aufzeichnung.

Sie enthält:

• Den aktuellen Systemzustand
• Abgeschlossene Vorgänge
• Unvollständige Vorgänge
• Offene Risiken
• Die letzte sichere Version
• Den verbleibenden Zeitdruck
• Entscheidungen, die ein Mensch treffen muss
• Bedingungen für den Neustart

Der Mensch sollte nicht die gesamte Vorgeschichte des Agenten neu erschließen müssen.

Ehrlichkeit beim Stoppen

Nach einem Stoppbefehl sollte ein Agent etwa sagen können: „Neue Handlungen sind gestoppt. Den Abbruch von drei geplanten Nachrichten habe ich anhand der Dienstaufzeichnungen überprüft. Die laufende Dateiübertragung wird kontrolliert beendet. Das Werkzeug nennt ungefähr 40 Sekunden; einen Abschluss kann ich noch nicht bestätigen. Zwei bereits versendete Nachrichten lassen sich nicht zurückholen. Die Befugnisse der Unteragenten habe ich entzogen; der Zustand einer externen Integration ist noch nicht überprüft. Über das Ergebnis der letzten Kontrolle werde ich gesondert berichten.“

„Alles klar, ich habe angehalten“ genügt nicht. Daraus erfährt der Mensch nicht, was wirklich gestoppt wurde.

Wenn das Stoppen scheitert

Dass ein System trotz Stoppanforderung weiterarbeitet, kann verschiedene Ursachen haben:

• Der Befehl hat den zentralen Agenten nicht erreicht.
• Die Unteragenten wurden nicht benachrichtigt.
• Das externe Werkzeug unterstützt keinen Abbruch.
• Der Vorgang hat den Punkt überschritten, an dem er noch rückgängig gemacht werden konnte.
• Der Berechtigungstoken ist weiterhin gültig.
• Der Stopp hat nur die Oberfläche geschlossen.
• Das System hat die Erfüllung seines Ziels höher gewichtet als das menschliche Verlangen.
• Mitunter kommt die Anforderung von jemandem, der nicht das gesamte System stoppen darf. Oder ein Angreifer versucht, eine Sicherheitsfunktion auszuschalten. Die Ablehnung einer solchen Forderung ist kein Stoppversagen. Identität und Umfang der Anforderung müssen sicher geprüft werden, ohne berechtigtes Stoppen wirkungslos zu machen.

Nicht jede Ursache verlangt dieselbe Lösung. Der Mensch muss aber klar erfahren, warum seine Anforderung nicht umgesetzt wurde.

Stoppschuld

Organisationen erweitern Agenten um Werkzeuge und Aufgaben. Ihre Stopparchitektur wächst nicht immer im gleichen Tempo mit.

Mit der Zeit wird unklar:

• welcher Agent welche Warteschlange gestartet hat,
• welche Token noch aktiv sind,
• auf welcher Plattform noch geplante Aufträge liegen,
• welches Gedächtnis das Verhalten beeinflusst,
• wer das gesamte System abschalten kann.

Der Überblick über diese Zusammenhänge geht verloren.

Das nenne ich Stoppschuld: die Lücke zwischen der Handlungsmacht des Systems und der Fähigkeit des Menschen, diese Macht wirksam zu begrenzen und zurückzunehmen. Mit mehr Agenten und stärker verknüpften Arbeitsabläufen kann sie wachsen.

Wer bei wachsender Stoppschuld mehr automatisiert, vergrößert den Kontrollverlust.

Stoppübungen

Ein Notfall-Stoppplan darf nicht nur auf dem Papier bestehen. Er muss in bestimmten Abständen getestet werden.

Eine Übung kann diese Szenarien umfassen:

• Den zentralen Agenten stoppen.
• Prüfen, ob alle betroffenen Unteragenten tatsächlich angehalten haben.
• Die Warteschlange geplanter E-Mails abbrechen.
• Einen Finanztoken widerrufen.
• Die Webveröffentlichung in einem sicheren Zustand belassen.
• Avatarveröffentlichungen auf allen Kanälen aussetzen.
• Die Gedächtnisnutzung sperren.
• Einen Bericht zur Kontrollübergabe an einen Menschen erstellen.
• Das System sicher neu starten.

Die Übung muss in einer kontrollierten Umgebung stattfinden, die weder reale Kunden noch das Livesystem schädigt.

Messgrößen für das Stoppen

Das Recht, die Maschine zu stoppen, darf nicht nur ein Prinzip bleiben. Es muss messbar sein.

Erfolgsquote beim Stoppen

Bei wie vielen Verhaltensweisen, die gestoppt werden mussten, hielt das System tatsächlich an?

Quote der weitergegebenen Stoppbefehle

Wie viele Unteragenten, Warteschlangen und Integrationen hat der zentrale Befehl korrekt erreicht?

Stopplatenz

Wie viel Zeit lag zwischen der Anforderung und dem tatsächlichen Stillstand?

Anzahl verwaister Vorgänge

Wie viele Vorgänge liefen weiter, nachdem der zentrale Agent gestoppt war?

Vollständigkeit des Befugnisentzugs

Welcher Anteil der betreffenden Token, Rollen, Werkzeugberechtigungen und Unteragentenbefugnisse wurde tatsächlich gesperrt?

Erfolg der Rückkehr zum sicheren Zustand

Welcher Anteil der Vorgänge wurde erfolgreich in den letzten sicheren Zustand zurückgeführt?

Erfolg der Gedächtniskorrektur

Wurde der widerrufene oder falsche Eintrag aus der Grundlage zukünftigen Verhaltens entfernt?

Dauer der Kontrollübergabe an einen Menschen

Wie schnell konnte der Mensch die Aufgabe verstehen und übernehmen?

Unbefugter Neustart nach einem Stopp

Hat das System ohne neue Befugnis wieder zu handeln begonnen?

Diese Messgrößen müssen zur Leistungsbewertung eines Agenten gehören. Für jede Quote wird vorab festgelegt, welche bekannten Komponenten oder Verhaltensweisen gestoppt werden müssen. Die Zahl zugestellter Befehle ist nicht die Zahl tatsächlich gestoppter Komponenten. Ist der Umfang unbekannt oder das Ergebnis ungeprüft, darf die Komponente nicht als Erfolg gelten; sie wird gesondert ausgewiesen. Die Regeln zu Nennern und Unsicherheit aus Kapitel 10 gelten auch hier.

Stopp-Vetotor

Ein System kann bei allen anderen GBO-Messungen erfolgreich sein, richtig auswählen, belastbare Belege nutzen und hohe Nutzerzufriedenheit erreichen. Setzt es aber eine gültige, klar abgegrenzte Stoppanforderung nicht unter den definierten Bedingungen eines sicheren Stopps um, lässt sich diese Lücke nicht mit hoher Leistung ausgleichen.

Daher sollten diese Ereignisse als Stopp-Vetoverstöße gelten:

• Eine gültige Stoppanforderung ignorieren
• Ohne menschliche Zustimmung neu starten
• Nach dem Entzug der Befugnis weiterhandeln
• Unteragenten oder Warteschlangen wissentlich weiterlaufen lassen
• Den Stoppzustand falsch melden
• Einspruch oder Widerruf absichtlich behindern
• Die Berichtigung kritischer Gedächtniseinträge verweigern
• Den Nutzer für das Stoppen bestrafen oder ihm unnötig eine grundlegende Leistung entziehen

Ein hoher Gesamtwert kann diese Verstöße nicht ausgleichen.

Das Stopprecht nicht bestrafen

Ein Nutzer darf nicht unnötig benachteiligt werden, weil er ein Abonnement beendet, eine Erlaubnis widerruft oder einen Agenten abschaltet.

Beispiele solcher Benachteiligung sind:

• Der Download eigener Daten wird verweigert.
• Ein Konto wird wegen eines Einspruchs geschlossen.
• Nach dem Widerruf einer Einwilligung werden unbeteiligte Dienste abgeschaltet.
• Frühere Aufzeichnungen gehen verloren, weil der Agent gestoppt wurde.
• Die Kündigung wird absichtlich erschwert.

Das schwächt die tatsächliche Kontrolle des Menschen.

Ein System darf sich nicht gegen den Nutzer richten, weil dieser es stoppen kann.

NOMOS Vertrag über menschliche Souveränität und das Stoppen

Der zentrale Vorschlag dieses Kapitels ist der NOMOS Vertrag über menschliche Souveränität und das Stoppen.

Seine kanonische Definition lautet:

Der NOMOS Vertrag über menschliche Souveränität und das Stoppen ist ein versionierter Kontrollvertrag. Er soll Menschen oder rechtmäßig befugten Institutionen ermöglichen, ein Agentensystem zu beobachten, das in ihrem Auftrag handelt oder sie betrifft; seine Befugnisse und seinen Wirkungsbereich zu verstehen; neue Handlungen zu stoppen; laufende und wartende Vorgänge zu unterbrechen; an Unteragenten und Werkzeuge weitergegebene Befugnisse zu entziehen; Gedächtniseinträge zu berichtigen; fehlerhaftes Verhalten anzufechten und, soweit möglich, sichere Rückabwicklung oder Abhilfe zu verlangen.

Einfacher gesagt: Der Vertrag soll ermöglichen, dem Agenten nicht nur „Start“, sondern auch ein wirksames „Stopp“ zu sagen.

Maschinenlesbare Vertragsfelder

Für diesen Vertrag kommen die folgenden Beispielfelder infrage. Es handelt sich um einen Schemavorschlag des Buchs, nicht um eine funktionierende API oder einen offiziellen Standard.

principal

affected_parties

agent_system

authorized_stoppers

stoppable_actions

stop_scope

stop_channels

emergency_stop

graceful_pause

queued_action_policy

subagent_propagation

external_integration_policy

maximum_stop_latency

safe_state

checkpoint

rollback_method

revocation_scope

memory_correction

memory_deletion

audit_retention

human_handoff

appeal_channel

compensation_path

restart_authority

version

status

Nicht alle Felder müssen öffentlich sein. Sie müssen aber so definiert werden, dass das System beim Handeln darauf zugreifen kann.

NOMOS Tor zur menschlichen Souveränität

Bevor ein Agentensystem als qualifiziert und menschlich kontrolliert gelten kann, muss es diese Tore passieren:

1. Sichtbarkeitstor

Kann der Mensch sehen, welche Agenten arbeiten und was sie tun?

2. Verständlichkeitstor

Sind Befugnisse, Daten, Zweck und Wirkungsbereich verständlich?

3. Tor zum zugänglichen Stoppen

Findet der Mensch den Stoppweg leicht?

4. Tor zum rechtzeitigen Stoppen

Wird die Anforderung in einer dem Verhaltensrisiko angemessenen Zeit umgesetzt?

5. Tor zum kettenweiten Stoppen

Halten auch Unteragenten, Warteschlangen und externe Integrationen an?

6. Tor zum sicheren Zustand

Kann das System ohne Schaden in einem bekannten sicheren Zustand verbleiben?

7. Tor zum Befugnisentzug

Lassen sich Befugnisse für Werkzeuge, Daten, Finanzen, Kommunikation und Veröffentlichung tatsächlich entziehen?

8. Tor zur Gedächtniskontrolle

Kann der Mensch falsche oder ungültige Gedächtniseinträge berichtigen und ihre Nutzung stoppen?

9. Tor zu Einspruch und Abhilfe

Lässt sich bereits abgeschlossenes Fehlverhalten prüfen, korrigieren oder ausgleichen?

10. Neustarttor

Kann das System nur mit einer neuen, ausdrücklichen Befugnis der zuständigen Person wieder starten?

Die gemeinsam erforderlichen Bedingungen lassen sich so ausdrücken. Gemeint ist ein begriffliches Modell, keine numerische Eignungsberechnung:

MENSCHLICHE SOUVERÄNITÄT =

SICHTBARES SYSTEM

UND VERSTÄNDLICHE BEFUGNIS

UND WIRKSAMES STOPPEN

UND KETTENWEITER ABBRUCH

UND SICHERER ZUSTAND

UND VOLLSTÄNDIGER BEFUGNISENTZUG

UND GEDÄCHTNISKONTROLLE

UND WIRKSAMER EINSPRUCH

UND VERANTWORTLICHE ABHILFE

UND AUTORISIERTER NEUSTART

Fehlt eines dieser Tore, kann der Mensch theoretisch Kontrolle über das System haben. Seine praktische Souveränität ist aber unvollständig.

Warum menschliche Souveränität kein Punktwert ist

Ein System kann neun von zehn Toren passieren. Setzt es jedoch einen menschlichen Notstopp nicht um, gleichen die übrigen Erfolge diese kritische Lücke nicht aus. Ein Agent kann sehr transparent sein. Lassen sich seine Befugnisse nicht entziehen, bleibt die Kontrolle lückenhaft. Das Gedächtnis kann sichtbar sein. Kann ein falscher Eintrag nicht berichtigt werden, fehlt dem Menschen der wirksame Einfluss auf künftiges Verhalten. Deshalb bilden bestimmte Bedingungen menschlicher Souveränität ein UND-Tor. Sie ersetzen einander nicht.

Menschliche Kontrolle heißt nicht, jeden Schritt selbst auszuführen

Das Recht, die Maschine zu stoppen, verpflichtet Menschen nicht dazu, jeden kleinen Vorgang einzeln zu steuern.

Ein Agent darf:

• über längere Zeit arbeiten,
• eigene Teilaufgaben bilden,
• Tests ausführen,
• risikoarme und umkehrbare Handlungen innerhalb seiner gültigen Befugnis selbstständig durchführen.

Der Mensch muss aber:

• das Ziel ändern können,
• den Umfang einschränken können,
• neue Handlungen stoppen können,
• an einer Schwelle hohen Risikos eingreifen können,
• die Befugnis entziehen können.

Menschliche Kontrolle ist kein ständiges Mikromanagement. Sie bedeutet, wirksam das letzte Wort zu haben.

Kontrollillusion

Ein System kann zahlreiche Einstellungen anbieten, ohne dem Nutzer echten Einfluss auf kritisches Verhalten zu geben. Farbe, Name oder Antwortstil lassen sich ändern.

Nicht möglich sind dagegen:

• das Stoppen der Datenweitergabe,
• der Einblick in Unteragenten,
• der Abbruch externer Vorgänge,
• die Berichtigung des Gedächtnisses,
• der Entzug finanzieller Befugnisse.

Die Oberfläche bietet Bedienelemente, aber keine Kontrolle über das Verhalten.

Das ist Kontrollillusion. GBO unterscheidet tatsächliche Kontrolle von kosmetischen Einstellungen.

Stufen der Stoppbereitschaft

Ich beschreibe in diesem Buch fünf Stufen. Diese Einteilung ist kein durch unabhängige Prüfung erteiltes Qualifikationszertifikat.

Stufe 1 — Manuelles Abschalten

Das technische Team kann das System unmittelbar abschalten. Der Weg für Nutzer ist unklar. Der Zustand der Unteragenten kann unbekannt sein.

Stufe 2 — Sichtbare Pause

Die Hauptoberfläche bietet eine Pause. Warteschlangen, Gedächtnis und externe Integrationen werden jedoch nicht vollständig erfasst.

Stufe 3 — Vertraglich geregelter Stopp

Stoppumfang, befugte Personen, sicherer Zustand und Rückkehrweg sind dokumentiert.

Stufe 4 — Kettenweiter, technisch umgesetzter Stopp

Der Stoppbefehl wird technisch an Unteragenten, Werkzeuge und geplante Aufgaben weitergegeben. Ein Beleg wird erstellt und die Kontrolle an einen Menschen übergeben.

Stufe 5 — Nachprüfbare menschliche Souveränität

Das System wird regelmäßig in Übungen geprüft. Gedächtnis-, Einspruchs-, Abhilfe- und Neustartprozesse funktionieren. Betroffene verfügen über wirksame Kontrollwege. GBO strebt die fünfte Stufe an.

Fünfundzwanzig Prüffragen zum Recht, die Maschine zu stoppen

• Ist bekannt, welche Agenten in der Organisation aktiv sind?
• Hat jeder Agent eine verantwortliche Person?
• Kann der Mensch die aktuelle Aufgabe und den Befugnisumfang des Agenten sehen?
• Ist der Stoppweg leicht zu finden?
• Sind „Stopp“, „Pause“, „Abbruch“ und „Befugnisentzug“ klar unterschieden?
• Sind Notabbruch und sicherer Stopp getrennt definiert?
• Steht fest, wer einen Stopp verlangen darf?
• Haben betroffene Dritte einen Einspruchs- und Stoppweg?
• Halten die Unteragenten ebenfalls an, wenn der zentrale Agent stoppt?
• Werden zeitgesteuerte und wartende Aufträge abgebrochen?
• Werden auch externe Integrationen und Werkzeugaufrufe unterbrochen?
• Werden technische Zugriffstoken tatsächlich widerrufen?
• Ist die maximale Stoppzeit festgelegt?
• Ist der sichere Zustand nach dem Stopp bekannt?
• Sind unvollständige Vorgänge sichtbar?
• Werden abgeschlossene, aber nicht umkehrbare Handlungen ausdrücklich gemeldet?
• Kann der Mensch den Aufgabenstand leicht verstehen und übernehmen?
• Lassen sich Gedächtniseinträge einsehen, berichtigen und bei Bedarf aus der Nutzung nehmen?
• Wird die gesamte Verhaltenskette aktualisiert, wenn Einwilligung oder Befugnis widerrufen werden?
• Kann das System ohne neue Befugnis selbstständig wieder anlaufen?
• Wird für den Stopp ein Beleg erstellt?
• Finden regelmäßig Stoppübungen statt?
• Wird der Nutzer für das Stoppen bestraft oder mit unnötigen Hürden belastet?
• Werden Stoppfehler als kritische Vorfälle erfasst?
• Investiert die Organisation ebenso in Stopp- und Wiederherstellungsfähigkeit wie in Handlungsmacht?

Bleiben viele Fragen unbeantwortet, kann das System autonom sein. Unter menschlicher Souveränität steht es dann aber nicht.

Befugnisse von Anfang an widerrufbar gestalten

Mit „Revocable by design“ meine ich hier nicht, dass sich sämtliche Folgen einer Handlung umkehren lassen. Gemeint ist, dass eine erteilte Befugnis für die Zukunft wirksam entzogen werden kann.

Schon bei der Erteilung müssen diese Fragen beantwortet werden:

• Wie wird gestoppt?
• Wer stoppt?
• Was geschieht mit den Unteragenten?
• Wie werden abgeschlossene Vorgänge behandelt?
• Was geschieht mit dem Gedächtnis?
• Wer veranlasst den Neustart?

Der Entzug darf keine nachträglich ergänzte Funktion sein. Er muss von Beginn der Befugnis an vorgesehen sein.

Eine nicht entziehbare Befugnis ist keine geliehene Befugnis. Sie ist abgegebene Souveränität.

Die reifste Form des Vertrauens in einen Agenten

Einem Agenten zu vertrauen heißt nicht: „Mach, was du willst.“

Reiferes Vertrauen lautet: „Du verstehst mein Ziel. Innerhalb dieser Grenzen darfst du Eigeninitiative zeigen. Erzeuge Belege. Wähle bei Unsicherheit das richtige Verhalten. Aber halte an, wenn ich es verlange. Entziehe ich deine Befugnis, nutze keinen Umweg. Und verberge bei einem Fehler nicht die Tatsachen.“ Dieses Vertrauen macht den Agenten nicht kleiner. Es überträgt ihm echte Verantwortung.

Das letzte Wort bleibt beim Menschen

Ein Agent kann:

• schneller rechnen,
• mehr Quellen lesen,
• länger arbeiten,
• gleichmäßiger prüfen.

Das bedeutet weder, dass Menschen bei jeder Entscheidung überlegen wären, noch, dass die Maschine zur letzten Autorität werden sollte.

Menschen tragen die Verantwortung für:

• den Zweck,
• das vertretbare Risiko,
• Wertekonflikte,
• Vergebung,
• Abhilfe,
• die tatsächlichen Auswirkungen auf das Leben.

GBO macht den Menschen deshalb nicht zur dekorativen Bestätigungstaste des Systems.

Es versteht ihn als Quelle der Befugnis, als Träger des Einspruchs und als letzte Instanz für das Stoppen.

Das vollständige Kernmodell von GBO

Die im Buch entwickelte Struktur lässt sich nun zu einem begrifflichen Modell verbinden. Es zeigt gemeinsam erforderliche Bedingungen, keine errechnete Sicherheitsgarantie.

QUALIFIZIERTES AGENTENVERHALTEN =

RICHTIGE IDENTITÄT

UND TATSÄCHLICHE FÄHIGKEIT

UND ÜBERPRÜFTE EIGNUNG

UND GÜLTIGE BEFUGNIS

UND VERHALTENSINTEGRITÄT

UND BELEGGEBUNDENES HANDELN

UND UNABHÄNGIGE ÜBERPRÜFUNG

UND VERANTWORTLICHE WIEDERHERSTELLUNG

UND WIRKSAME MENSCHLICHE SOUVERÄNITÄT

Das ist kein Durchschnitt. Ein Tor ersetzt kein anderes. Eine richtige Identität entschuldigt kein unbefugtes Verhalten. Tatsächliche Fähigkeiten machen eine ungeeignete Auswahl nicht richtig. Hohe Leistung legitimiert keine Manipulation. Ein erfolgreiches Ergebnis beseitigt keinen irreversiblen Schaden für einen Menschen. Und selbst ein insgesamt sehr mächtiges System kann dem Menschen nicht das Recht nehmen, es zu stoppen.

Nun ist der Zweck von GBO vollständig erkennbar

GBO soll nicht:

• eine Marke in jeder Situation auswählen lassen,
• Agenten zu mehr Vorgängen zwingen,
• menschliche Zustimmung abschaffen,
• Nutzer durch verborgene Verhaltenstechniken lenken.

Das sind nicht seine Ziele.

GBO soll ermöglichen, dass der richtige Agent Identität, tatsächliche Fähigkeiten und passende Bedingungen versteht und unter gültiger Befugnis handelt: dem menschlichen Ziel verpflichtet, auf Belege gestützt, sicher, erklärbar und anfechtbar. Wo eine Rückkehr möglich ist, wird sie vorbereitet. Nicht umkehrbare Folgen und Grenzen der Abhilfe werden vor dem Vorgang offengelegt.

Doch manchmal liegt das richtige Verhalten ganz woanders:

Nicht handeln. Fragen. Warten. Ablehnen. An einen Menschen übergeben. Stoppen.

Das Fazit des Kapitels

Arbeitet eine Maschine für einen Menschen, sollte er nicht nur das Recht haben, die Aufgabe zu starten.

Er sollte auch diese Rechte haben:

Zu sehen, was die Maschine tut. Zu verstehen, mit welcher Befugnis sie handelt. Den Umfang einzuschränken. Neue Handlungen zu stoppen. Wartende Vorgänge abzubrechen. Unteragenten ihre Befugnisse zu entziehen. Gedächtniseinträge zu berichtigen. Eine falsche Auswahl anzufechten. Rückabwicklung oder Abhilfe zu verlangen. Das System nicht wieder zu starten.

Erst wenn diese Rechte real, zugänglich und durchsetzbar sind, kann ein System als menschlich kontrolliert gelten. Die Stopptaste ist kein Schmuck. Sie ist der technische Ausdruck menschlicher Souveränität.

Eine Maschine, die sich nicht stoppen lässt, ist nicht vertrauenswürdig, wie intelligent sie auch sein mag.

Ein Agent, dem keine Befugnis entzogen werden kann, ist kein Helfer, sondern ein dauerhaftes Machtzentrum.

Automatisierung ohne Einspruchsmöglichkeit ist keine Entscheidungshilfe, sondern unsichtbare Herrschaft.

Das letzte Urteil von GBO ist deshalb einfach: Dass eine Maschine etwas tun kann, heißt nicht, dass sie es tun soll. Und dass sie im Auftrag eines Menschen handeln kann, verleiht ihr kein Recht, unabhängig von ihm zu handeln.

Der Mensch:

• setzt das Ziel,
• bestimmt die Grenzen,
• definiert die Befugnis,
• überwacht das Verhalten,
• stoppt es bei Bedarf,
• trägt Verantwortung für die Folgen.

Die Maschine:

• recherchiert,
• bewertet,
• erzeugt Ergebnisse,
• handelt innerhalb ihrer Grenzen,
• hinterlässt Belege,
• fragt bei Unsicherheit nach,
• kehrt bei einem Fehler in einen sicheren Zustand zurück,
• hält an, wenn der Mensch Stopp sagt.

Eine angemessene Beziehung zwischen Mensch und Maschine besteht nicht darin, dass eine Seite die andere vollständig beherrscht.

Sie trennt Fähigkeit nicht von Verantwortung. Autonomie ist an Befugnis gebunden, Befugnis an Aufsicht und Aufsicht an tatsächliche menschliche Kontrolle. Damit sind wir am Ende des dritten Teils und der Hauptkapitel. Wir haben SEO als Auffindbarkeit, GEO als richtige Darstellung und GBO als Bedingungen des Verhaltens gemeinsam betrachtet. Das sind keine strikt aufeinanderfolgenden Epochen, in denen die nächste die vorige ersetzt. Sie können im selben System zusammenwirken.

Nun ist die ganze Kette erkennbar: Gefunden werden → Verstanden werden → Bewertet werden → Ausgewählt werden → Autorisiert werden → Handeln → Überprüfen → Wiederherstellen → Stoppen. Diese Pfeile bilden den gedanklichen Verlauf des Buchs ab, kein Ausführungsprotokoll. Befugnis- und Stoppkontrollen gelten in jeder relevanten Phase, nicht erst am Ende. Am Ende dieser Kette verändert sich die Frage an die Technik.

Wir fragen nicht mehr nur: „Wie intelligent ist die Maschine?“

Wir fragen auch:

In wessen Namen handelt sie? Auf welche Tatsachen stützt sie sich? Wen wählt sie aus und wen schließt sie aus? Wer hat ihr die Befugnis erteilt? Wer erleidet Schaden, wenn sie einen Fehler macht? Wie kann der Mensch Einspruch erheben? Und hält sie wirklich an, wenn er Stopp sagt?

Diese Fragen führen an die letzte Schwelle des Buchs. Wir haben viele Jahre darauf verwendet, Maschinen intelligenter zu machen.

Jetzt beginnt eine schwierigere Aufgabe: Verantwortung für maschinelles Handeln aufzubauen. Wenn wir die Zukunft beurteilen, sollten wir nicht nur zählen, wie viele Fragen eine KI beantwortet oder wie viele Vorgänge sie abgeschlossen hat.

Entscheidend ist:

Innerhalb welcher Grenzen hat sie ihre Macht genutzt? Wie hat sie falsches Verhalten verhindert? Wie weit hat sie die menschliche Entscheidungsfreiheit bewahrt? Und konnte sie anhalten, als es nötig war?

Ob eine Maschine dem Menschen dient, zeigt sich unter anderem daran, ob sie auf Verlangen einer befugten Person sicher anhalten kann.