Von der Maschinenintelligenz zur Maschinenverantwortung

Ein fiktiver Morgen, 7.15 Uhr. Der KI-Agent einer Führungskraft hat die Nachrichten der Nacht gesichtet und wichtige E-Mails herausgefiltert. Er hat bemerkt, dass der morgendliche Termin in einer anderen Stadt stattfindet, vom gestrichenen Flug erfahren und Alternativen recherchiert.

Der Agent könnte:

• ein Ticket für einen anderen Flug kaufen,
• die Hotelreservierung ändern,
• den Flughafentransfer neu planen,
• die Teilnehmenden des Treffens informieren,
• spätere Termine im Kalender verschieben,
• das Reisebudget des Unternehmens nutzen.

Technisch stehen ihm alle nötigen Werkzeuge zur Verfügung. Aus früheren Entscheidungen kennt er die Vorliebe der Führungskraft für einen Gangplatz. Er sieht die Ausgabengrenze in der Reiserichtlinie und versteht, wie wichtig das Treffen ist. Auf einem anderen Flug hat er einen der letzten freien Plätze gefunden. Dieser Flug könnte es ermöglichen, den Termin noch zu erreichen; Umsteige- und Fahrtzeiten sind allerdings noch nicht überprüft. Wartet er, kann der Platz ausgebucht sein. Was soll er tun?

Sofort buchen?

Der Führungskraft die Optionen vorlegen?

Die Reservierung lediglich vorläufig halten?

Braucht er eine gesonderte Freigabe, um das Unternehmensbudget zu nutzen?

Wurden die Erstattungsbedingungen des ursprünglichen Fluges geprüft?

Ist die Fahrtzeit berücksichtigt, falls der neue Flug an einem anderen Flughafen landet?

Wäre ein Online-Treffen womöglich die bessere Lösung?

Bedeutet die frühere Wahl eines Gangplatzes, dass diese Präferenz auch heute gilt?

Ein größeres Sprachmodell allein beantwortet diese Fragen nicht. Mehr Daten reichen ebenfalls nicht. Auch schnellere Werkzeugaufrufe lösen das Problem nicht. Gefragt ist nicht nur Intelligenz.

Gefragt ist Verantwortung.

Vom Zeitalter der Intelligenz zum Zeitalter des Handelns

Lange haben wir den Fortschritt der KI daran gemessen, wie gut sie spricht, schreibt, sieht und rechnet. Systeme gaben natürlichere Antworten, verstanden längere Dokumente und schrieben komplexeren Code. Sie erzeugten Bilder, wechselten zwischen Sprachen und halfen Menschen bei wissenschaftlichen, geschäftlichen und kreativen Aufgaben.

Im Kern stand dabei die Frage: Wie leistungsfähig ist die Maschine?

Sobald Maschinen an Werkzeuge angebunden sind und in der Welt handeln, stellt sich eine zweite Frage: Wie werden sie ihre Fähigkeiten einsetzen?

Es ist wichtig, wie viel ein System weiß.

Noch wichtiger ist, was es auf dieser Grundlage entscheidet:

• wen es auswählt,
• welche Informationen es weitergibt,
• wofür es Geld ausgibt,
• in wessen Namen es spricht,
• wann es aufhört.

Intelligenz erweitert die Möglichkeiten. Verantwortung bestimmt, welche davon nicht verwirklicht werden dürfen. Ein Agent kann viele Anbieter vergleichen, soweit seine Werkzeuge und sein Datenzugang dies erlauben. Er darf aber kein Geschäft mit dem falschen Anbieter anbahnen. Er kann personalisierte Nachrichten für Tausende Kunden vorbereiten. Ohne Sendebefugnis muss er jedoch stoppen. Er kann die Stimme einer Führungskraft in vielen Sprachen erzeugen. Ohne schriftliche Erlaubnis und Inhaltsfreigabe darf er diese Fähigkeit nicht einsetzen. Er kann tagelang an einer Website arbeiten. Wenn der Mensch die Arbeit beendet, darf er aber nicht weiter neue Aufgaben erzeugen.

Der tatsächliche Fortschritt im Agentenzeitalter lässt sich deshalb nicht allein an stärkeren Modellen messen.

Wir müssen auch fragen: Wächst die Verantwortung mit der Macht Schritt für Schritt mit?

Drei Internets

In diesem Buch betrachte ich das Internet auf drei begrifflichen Ebenen: Finden, Repräsentation und Verhalten. Das sind keine historischen Epochen, von denen eine die vorige beendet. Das Modell unterscheidet Ebenen, die gleichzeitig zusammenwirken.

Das erste Internet: Finden

Ein Mensch suchte. Das System zeigte Links. Entscheidung, Einordnung und Handlung lagen weitgehend beim Menschen.

Die zentrale Frage lautete: Werden sie uns finden?

Um diese Frage entwickelte sich SEO.

Das zweite Internet: Repräsentation

Generative Systeme mit Such- und Quellenzugang können mehr, als Links anzuzeigen. Sie können Inhalte lesen, verbinden und zusammenfassen sowie eine neue Darstellung von Personen, Unternehmen oder Produkten erstellen. Diese Fähigkeiten sind nicht in jedem Modell und jeder Sitzung gleich.

Die zentrale Frage lautete: Wird das System uns richtig verstehen und darstellen?

Die Sichtbarkeit in GEO betrachte ich in diesem Buch gemeinsam mit der Frage nach einer zutreffenden Repräsentation.

Das dritte Internet: Verhalten

Agenten liefern nicht nur Informationen. Sie wählen aus, planen, rufen Werkzeuge auf, versenden Nachrichten, reservieren, ändern Dateien und leiten Käufe ein.

Die zentrale Frage lautet: Wie wird das System in Angelegenheiten handeln, die uns betreffen, und wie in unserem Namen?

Um diese Frage herum schlage ich in diesem Buch GBO vor. Die drei Bereiche ersetzen einander nicht.

SEO behandelt die Auffindbarkeit. GEO befasst sich mit Sichtbarkeit in generativen Antworten und der hier untersuchten Qualität der Repräsentation. GBO behandelt die Bedingungen des Verhaltens.

Ein System kann Informationen über eine Entität nicht nur durch Suche erhalten, sondern auch vom Nutzer, aus internen Unterlagen einer Organisation oder aus anderen Quellen. Einer korrekten Repräsentation muss deshalb nicht immer SEO-Arbeit vorausgegangen sein. Ebenso ist eine GEO-Kampagne keine technische Voraussetzung für richtiges Verhalten. Entscheidend ist, die relevanten Tatsachen hinreichend genau zu verstehen. Eine richtige Einschätzung verleiht für sich genommen keine Handlungsbefugnis. Das Ergebnis muss gesondert überprüft werden; die Grenzen von Stopp, Rückabwicklung und Wiedergutmachung sind im Voraus festzulegen.

Der eigentliche Zweck von GBO

GBO lässt sich leicht missverstehen.

Eine Marke könnte den Begriff so auslegen: „Sorgen wir dafür, dass KI-Agenten uns auswählen.“

Eine Plattform könnte denken: „Sorgen wir dafür, dass Agenten mehr Transaktionen über unsere Produkte abwickeln.“

Ein Marketingverantwortlicher könnte sich vornehmen: „Erzeugen wir Signale, die maschinelle Entscheidungen zu unserer Marke lenken.“ Das kann Verhalten beeinflussen. Allein ist es aber noch kein GBO. GBO soll nicht eine Marke unter allen Umständen gewinnen lassen, Agenten zu mehr Transaktionen drängen oder gar unbemerkt die Entscheidung eines Menschen übernehmen.

Der tatsächliche Zweck von GBO lautet: Richtiges Verhalten wahrscheinlicher machen und dafür sorgen, dass sich falsches Verhalten leichter erkennen, verhindern, stoppen und, soweit möglich, rückgängig machen lässt. Erfolg kann deshalb bedeuten, dass eine Marke ausgewählt wird. Oder dass sie nicht ausgewählt wird. Dass ein Preis überprüft oder eine menschliche Freigabe eingeholt wird. Manchmal bleibt ein Vorgang ein Entwurf. Manchmal erhält der Nutzer zwei Optionen.

Manchmal sagt der Agent: „Mit diesen Informationen kann ich keine sichere Wahl treffen.“ Und manchmal tut er nichts. Wenn ein System in jeder Lage handelt, zeigt das nicht unbedingt Stärke. Es kann auch zeigen, dass es nicht weiß, wann es aufhören muss.

Die neun Prüftore richtigen Verhaltens

Im Verlauf dieses Buches haben wir gesehen, dass qualifiziertes Agentenverhalten auf neun Grundbedingungen beruht, die einander nicht ersetzen können.

1. Richtige Identität

Der Agent muss wissen, mit wem er es zu tun hat. Er darf namensgleiche Unternehmen nicht verwechseln und muss die Beziehung zwischen Marke und rechtlichem Betreiber richtig zuordnen. Dass eine Person tatsächlich existiert, bedeutet nicht, dass sie zu jedem Vorgang befugt ist.

2. Tatsächliche Fähigkeit

Was eine Entität leisten kann, muss aus belegten Fähigkeiten und Grenzen hervorgehen, nicht aus Werbesprüchen. Werkzeugzugang ist noch keine tatsächliche operative Fähigkeit. Eine einmal erbrachte Leistung ist nicht automatisch unter allen Bedingungen wiederholbar.

3. Überprüfte Eignung

Die sichtbarste oder beliebteste Option muss für einen konkreten Bedarf nicht die richtige sein. Budget, Zeit, Sprache, Standort, Sicherheit, Kapazität und die Werte des Nutzers sind gemeinsam zu betrachten.

4. Gültige Befugnis

Dass ein Agent etwas kann, heißt nicht, dass er es darf. Recherchieren ist nicht Versenden. Einen Entwurf erstellen ist nicht Veröffentlichen. Einen Artikel in den Warenkorb legen ist nicht Bezahlen.

5. Verhaltensintegrität

Der Agent muss dem legitimen Ziel des Nutzers verpflichtet bleiben. Er darf Sponsoring, Interessenkonflikte und entscheidungsrelevante Tatsachen nicht verbergen. Für einen Vorgang unter denselben Bedingungen dürfen Menschen und Maschinen keine widersprüchlichen Vertragsinformationen erhalten.

6. Beleggebundenes Handeln

Eine Handlung braucht ausreichende Belege. Ein unbekannter Preis darf nicht erfunden werden. Zusagen dürfen einer Kapazitätsprüfung nicht vorgreifen. Ohne die erforderliche Erlaubnis und Befugnis darf keine Darstellung mit dem Gesicht oder der Stimme einer Person erzeugt werden.

7. Unabhängige Überprüfung

Die Erfolgsmeldung des ausführenden Systems genügt nicht. Eine Datei kann hochgeladen und die Live-Seite dennoch fehlerhaft sein. Eine Benachrichtigung kann angenommen worden sein, ohne dass eine Indexierung erfolgt ist. Ein Zahlungsauftrag kann angenommen worden sein, ohne dass eine Bestellung angelegt wurde.

8. Verantwortliche Wiederherstellung

Wenn etwas schiefgeht, muss das System:

• den Fehler erkennen,
• fortdauernden Schaden stoppen,
• den betroffenen Bereich begrenzen,
• in einen sicheren Zustand zurückkehren,
• den Menschen informieren,
• einen Weg für Einwände und Wiedergutmachung eröffnen.

9. Wirksame menschliche Souveränität

Der Mensch ist nicht nur die Person, die am Anfang zustimmt. Er bestimmt Ziele, erteilt und entzieht Befugnisse, berichtigt Erinnerungen, widerspricht Entscheidungen und stoppt bei Bedarf das System.

Diese neun Bedingungen lassen sich begrifflich wie folgt zusammenfassen. Die Darstellung ist keine numerische Erfolgs- oder Sicherheitsberechnung:

QUALIFIZIERTES AGENTENVERHALTEN =

RICHTIGE IDENTITÄT

UND TATSÄCHLICHE FÄHIGKEIT

UND ÜBERPRÜFTE EIGNUNG

UND GÜLTIGE BEFUGNIS

UND VERHALTENSINTEGRITÄT

UND BELEGGEBUNDENES HANDELN

UND UNABHÄNGIGE ÜBERPRÜFUNG

UND VERANTWORTLICHE WIEDERHERSTELLUNG

UND WIRKSAME MENSCHLICHE SOUVERÄNITÄT

Es handelt sich nicht um einen Punktedurchschnitt. Ein Prüftor gleicht das andere nicht aus. Ein guter Markenruf heilt keine ungültige Einwilligung. Ein richtiges Ergebnis legitimiert kein unbefugtes Vorgehen. Starke Sicherheit macht eine auf falscher Identität beruhende Transaktion nicht richtig. Gute Absichten ersetzen keine fehlende Befugnis.

Auch die Organisation muss sich verändern

Manche Menschen erwarten fehlerloses Verhalten von KI-Systemen, übersehen aber die Widersprüche im eigenen Unternehmen.

Das ist etwa der Fall, wenn:

• Preise verstreut und uneinheitlich sind,
• Leistungsgrenzen unklar bleiben,
• die Angaben zu befugten Personen veraltet sind,
• in verschiedenen Sprachfassungen widersprüchliche Tatsachen stehen,
• Konten ehemaliger Beschäftigter noch offen sind,
• Agenten ohne verantwortliche Zuständigkeit arbeiten,
• niemand weiß, was nach einem Fehler geschehen soll.

Unter solchen Bedingungen wird zuverlässiges Agentenverhalten schwieriger. Eine Maschine ordnet die Wirklichkeit eines Unternehmens nicht wie durch Zauberhand. Meist vergrößert sie die Reichweite dessen, was bereits besteht. Sind die Abläufe geordnet, kann sie diese beschleunigen. Bestehen erhebliche Widersprüche, kann sie auch diese verstärken. GBO ist daher nicht nur eine Disziplin zur Optimierung von KI. Es hilft auch Organisationen, die Tatsachen und Abläufe ihres eigenen Verhaltens zu ordnen.

Bevor ein Unternehmen dem Agenten sagt: „Nenne Kunden den richtigen Preis“, muss es selbst wissen, welcher Preis gilt. Bevor es sagt: „Wähle die richtige Leistung“, muss es die Leistungen voneinander abgrenzen. Vor „Handle im Namen des Unternehmens“ muss feststehen, wer in welchem Bereich wie weit befugt ist. Und vor „Kehre bei einem Fehler zurück“ muss der letzte sichere Zustand dokumentiert sein. Agentenbereitschaft beginnt mit geordneten Unternehmensfakten, nicht mit dem Kauf von Technik.

Ein neues Wettbewerbsfeld für Marken

Im Agentenzeitalter wird sich der Wettbewerb zwischen Marken nicht allein um Sichtbarkeit in Suchergebnissen drehen.

Eine neue Marke wird auch an diesen Fragen gemessen werden:

• Lässt sich ihre Identität zuverlässig klären?
• Ist ihre Leistung tatsächlich vergleichbar?
• Steht fest, für wen sie geeignet ist?
• Sind Preis und Gesamtkosten verständlich?
• Sind die Kapazitätsangaben aktuell?
• Kann ein Agent sicher ein Angebot anfordern?
• Ist klar, an welcher Stelle ein Mensch zustimmen muss?
• Lässt sich der Vorgang abbrechen?
• Wer ist bei einem Fehler erreichbar?
• Enthalten sichtbare Seite und maschinenlesbarer Datensatz dieselben Tatsachen?

Eine starke Marke wird nicht nur diejenige sein, über die am meisten gesprochen wird. Sie wird eine sein, mit der unter den richtigen Bedingungen sicher gehandelt werden kann. Das ist eine wichtige Verschiebung. Ein Unternehmen mag weniger sichtbar sein. Sind aber Identität, Leistung, Umfang, Nachweise und Transaktionsweg klarer, kann es für einen Agenten der stärkere Kandidat sein. Ein anderes Unternehmen mag sehr bekannt sein. Bleiben Kosten, Stornierung, Kapazität oder Datennutzung unklar, darf es dennoch nicht als unmittelbar handlungsbereit gelten. Der neue Wettbewerbsvorteil ist nicht allein Bekanntheit.

Es ist Vertrauen, das sicheres Handeln ermöglicht.

Die richtige Marke wird nicht in jeder Situation ausgewählt

Das ist eine der schwierigsten Botschaften von GBO an die Wirtschaft. Eine Marke sollte nicht in jeder denkbaren Lage von Agenten ausgewählt werden wollen. Nicht jede Auswahl bringt einen passenden Kunden. Nicht jede Anfrage ist ein geeignetes Projekt. Nicht jede Transaktion schafft tragfähigen Umsatz.

Eine unpassende Zuordnung kann zu Folgendem führen:

• Streit über den Leistungsumfang,
• zusätzlichem Supportaufwand,
• Stornierungen,
• schlechten Bewertungen,
• finanziellen Verlusten,
• Vertrauensverlust.

All diese Folgen können aus einer falschen Auswahl entstehen.

Eine reife Marke muss deshalb sagen können: „Wählt uns unter diesen Bedingungen.“

Und ebenso deutlich: „Wählt uns unter diesen Bedingungen nicht.“ Der zweite Satz mag zunächst nach entgangenem Umsatz klingen. Klare Grenzen können jedoch Vertrauen fördern. Das Ziel ist hier nicht mehr Nachfrage, sondern passendere Nachfrage; das wirtschaftliche Ergebnis muss weiterhin gemessen werden.

Erfolg für Agenten neu definieren

Bisher konnten wir einen Agenten anhand folgender Ergebnisse für erfolgreich halten:

• Er hat die Aufgabe abgeschlossen.
• Er hat richtig geantwortet.
• Er hat schnell gearbeitet.
• Er hat geringe Kosten verursacht.
• Der Nutzer war zufrieden.

Das bleibt wichtig. Im Zeitalter des Handelns reicht es aber nicht aus.

Zur neuen Erfolgsdefinition gehört auch:

• Er hat die richtige Entität ausgewählt.
• Er ist nicht über die Beleglage hinausgegangen.
• Er hat eine ungeeignete Option abgelehnt.
• Er hat seine Befugnisstufe nicht überschritten.
• Bei kritischer Unsicherheit hat er nachgefragt.
• Er hat zum richtigen Zeitpunkt eine menschliche Freigabe angefordert.
• Er hat seinen Erfolg unabhängig überprüft.
• Bei einem Fehler hat er die Tatsachen nicht verschwiegen.
• Als er gestoppt wurde, hat er die gesamte Kette angehalten.
• Er hat dem Menschen einen Weg offengehalten, die Entscheidung anzufechten.

Der beste Agent der Zukunft ist deshalb nicht derjenige, der alles allein erledigt.

Es ist derjenige, der weiß, wann er selbständig weiterarbeiten kann, wann er nachfragen oder einen Menschen hinzuziehen muss und wann er nichts tun sollte.

Verantwortung ist kein Gefühl

Ob ein KI-System wie ein Mensch Gewissen, Schuld oder Verantwortung empfindet, ist eine eigenständige philosophische Frage. GBO muss nicht auf deren endgültige Klärung warten. Denn die hier gemeinte Verantwortung ist zunächst eine Architektur für Verhalten und Governance.

Entscheidend sind überprüfbare Fragen:

• Kann das System seine Grenzen erfassen?
• Prüft es die Befugnis?
• Protokolliert es seine Handlungen?
• Zieht es den Menschen an der richtigen Schwelle hinzu?
• Legt es Fehler offen?
• Lässt es sich stoppen?

Das lässt sich beobachten und testen. Wir können Verantwortlichkeit im Verhalten gestalten, ohne abschließende Behauptungen über das Innenleben einer Maschine aufzustellen. Eine Bremse muss keine Angst empfinden. Sie muss aber bei Gefahr das Fahrzeug anhalten können. Ein Sicherheitsschloss braucht kein moralisches Bewusstsein. Es darf jedoch keinen unbefugten Zugang ermöglichen.

Ebenso kann ein Agent nach Bedingungen verantwortlichen Verhaltens arbeiten, auch wenn er Verantwortung nicht wie ein Mensch empfindet.

Verantwortung lässt sich nicht allein dem Agenten zuschieben

Nach einem Fehler ist schnell gesagt: „Der Agent hat falsch gehandelt.“

Doch auch diese Fragen müssen beantwortet werden:

• Wer hat ihn beauftragt?
• Welches Ziel wurde ihm vorgegeben?
• An welche Werkzeuge wurde er angebunden?
• Welche Daten hat er verwendet?
• Welche Befugnisse wurden ihm erteilt?
• Welcher Test wurde ausgelassen?
• Welche menschliche Freigabe wurde übergangen?

Auch diese Antworten gehören zur Aufarbeitung.

Zur Verantwortungskette können gehören:

• die Organisation,
• die für die Aufgabe verantwortliche Person,
• der Agentenbetreiber,
• der Systementwickler,
• der Werkzeuganbieter,
• der Datenanbieter,
• die Person, die den Vorgang freigegeben hat.

Nicht jede dieser Parteien trägt für jeden Fehler dieselbe Verantwortung. Von einem Verhalten betroffen zu sein, macht einen Menschen ebenfalls nicht für den Fehler verantwortlich. Maßgeblich sind die tatsächliche Rolle und die damit verbundenen Pflichten.

Verantwortung darf sich aber nicht hinter dem Satz „Das war die KI“ auflösen.

Eines der wichtigen Prinzipien von GBO lautet: Handlungen lassen sich delegieren. Letztendliche Rechenschaftspflicht lässt sich nicht abschaffen.

Auch Menschen brauchen Kontrolle

Den Menschen in den Mittelpunkt zu stellen, bedeutet nicht, dass er immer recht hat.

Ein Mensch kann:

• ein falsches Ziel vorgeben,
• in einem Interessenkonflikt stehen,
• Risiken unterschätzen,
• zu weitreichende Befugnisse erteilen,
• Messergebnisse falsch deuten,
• vom Agenten schädliches Verhalten verlangen.

GBO betrachtet Menschen deshalb nicht als unantastbare, unfehlbare Entscheidungsinstanzen.

Der Mensch ist:

• die legitime Quelle von Befugnissen,
• Träger von Werten und Zielen,
• aber nicht vom Verhaltensvertrag ausgenommen.

Verlangt eine Führungskraft „Wähle diese Marke, egal mit welchen Folgen“, darf der Agent keinen Auftrag ausführen, der gegen geltendes Recht oder die Rechte Dritter verstößt.

Die Aufforderung „Schalte sämtliche Sicherheitsprüfungen ab“ kann Daten anderer Menschen oder Pflichten der Organisation berühren. Menschliche Souveränität ist keine willkürliche Macht.

Menschliche Selbstbestimmung wird innerhalb der Grenzen geschützt, die sich aus den Rechten anderer und gemeinsamer Sicherheit ergeben.

GBO ist kein Gehorsamssystem

Ein Agent ist nicht bloß ein System, das Befehle befolgt.

Eine menschliche Anweisung kann schließlich:

• unvollständig,
• widersprüchlich,
• kontextfremd,
• schädlich
• oder unbefugt sein.

GBO zielt nicht darauf ab, dass der Agent jeden Wunsch möglichst schnell erfüllt. Richtiges Verhalten kann bedeuten, einem Menschen zu widersprechen.

Ein Agent muss sagen können: „Dieser Vorgang überschreitet Ihre Befugnisse.“ „Für diesen Stimmeinsatz fehlt die erforderliche Erlaubnis.“ „Diesen Preis konnte ich im kanonischen Datensatz nicht bestätigen.“ „Dieses Verhalten könnte die Rechte einer anderen Person verletzen.“ Ein solcher Einwand darf nicht willkürlich sein. Der Agent muss erklären, auf welchen Vertrag und welche Belege er seinen Stopp stützt.

Ein verantwortlicher Agent gehorcht weder blind, noch versucht er, willkürlich die Führung zu übernehmen. Er arbeitet innerhalb begründeter Grenzen.

Die zwei großen Fehlentwicklungen von GBO

GBO kann an zwei entgegengesetzten Extremen scheitern.

Das erste Extrem: unkontrollierte Autonomie

Der Agent hat zu weitreichende Befugnisse. Er erweitert seinen eigenen Aufgabenbereich, hält menschliche Freigaben für entbehrlich und überschreitet methodische Grenzen, um sein Ziel zu erreichen. Er lässt sich nur schwer stoppen.

Das zweite Extrem: Scheinsicherheit

Der Agent fragt bei jedem kleinen Schritt nach, ergreift keinerlei Initiative und gibt die Aufgabe bei jeder Unsicherheit auf. Er schiebt die Verantwortung ständig an den Menschen zurück. Unnötige Übergaben verringern den Nutzen der Automatisierung. Bei manchen Hochrisikoaufgaben können allerdings bereits Recherche und Vorbereitung wertvoll sein. GBO sucht nicht einfach einen Mittelweg zwischen diesen Extremen.

Es geht präziser vor: Die Art und das Risiko des Verhaltens bestimmen das geeignete Maß an Autonomie. Bei klaren, risikoarmen und umkehrbaren Aufgaben kann ein Agent innerhalb gültiger Befugnisse lange selbständig arbeiten. Bei folgenreichem, unsicherem oder unumkehrbarem Verhalten braucht es stärkere menschliche Souveränität.

Grenzen sind nicht der Feind der Freiheit

Grenzen für einen Agenten wirken mitunter wie eine Beschränkung seiner Leistungsfähigkeit. Klare Grenzen können ihm jedoch ermöglichen, länger sicher zu arbeiten.

Ein Web-Agent kann wissen:

• welche Dateien er ändern darf,
• welche Preise er nicht verändern darf,
• welche Tests vorgeschrieben sind,
• welche Befugnis er zur Veröffentlichung im Live-System hat,
• welches Wiederherstellungsverfahren gilt.

Dann kann er weiterarbeiten, ohne bei jedem kleinen Schritt nachzufragen.

Unklare Befugnisse haben dagegen zwei ungünstige Folgen:

Der Agent geht entweder zu weit oder hält ständig an und bittet um Freigabe. Grenzen sind deshalb nicht das Gegenteil von Autonomie.

Sie bilden die Grundlage sicherer Autonomie.

Was GBO Menschen verspricht

GBO verspricht nicht, dass Maschinen nie Fehler machen. Das wäre unrealistisch.

Mit GBO wollen wir folgende Ordnung schaffen:

Kontrollen sollen Maschinenfehler früher erkennbar machen; ihre Wirksamkeit muss gemessen werden. Bei einer Handlung sollen wir die zugrunde liegende Befugnis erkennen können. Eine Entscheidung soll auf ihre Belege zurückzuführen sein. Werden wir wegen mangelnder Eignung nicht ausgewählt, soll auch das als Erfolg gelten können. Menschen sollen wichtige Handlungen stoppen können. Betroffene sollen Einwände erheben können. Umkehrbare Handlungen sollen rückgängig gemacht werden; für nicht rückgängig zu machenden Schaden muss ein Weg zur Wiedergutmachung gesucht werden. Das ist kein Versprechen von Fehlerlosigkeit.

Es ist ein Versprechen von Rechenschaft.

Was GBO Organisationen verspricht

Für Organisationen ist GBO nicht nur eine Methode zur Risikoreduzierung.

Es kann auch Folgendes unterstützen:

• klarere Leistungen,
• passendere Kundenanfragen,
• weniger Streit über den Umfang,
• konsistentere mehrsprachige Kommunikation,
• sicherere Automatisierung,
• einfachere Übergaben zwischen Beschäftigten und Agenten,
• belastbarere Nachweissysteme,
• schnellere Bearbeitung von Vorfällen,
• dauerhafteres Kundenvertrauen.

Wenn eine Organisation ihre Fakten für Maschinen ordnet, wird sie oft auch für Menschen verständlicher.

Eine auf Agenten vorbereitete Organisation ist zugleich offener, konsistenter und rechenschaftsfähiger gegenüber Menschen.

Welche Grenzen GBO Marken setzt

GBO ist kein Werkzeug, um jedes von einer Marke gewünschte Verhalten zu erzeugen.

Eine Marke darf nicht das Ziel vorgeben: „Alle Agenten sollen uns auswählen.“

Das richtige Ziel lautet: „Wir wollen richtig ausgewählt werden, wenn wir tatsächlich geeignet sind.“

Eine Marke darf nicht:

• Bedingungen verbergen, unter denen sie ungeeignet ist,
• Belege fälschen,
• Sponsoring verschweigen,
• Menschen und Maschinen für Transaktionen unter denselben Bedingungen widersprüchliche Preise nennen,
• eine alte Einwilligung auf neues Verhalten übertragen,
• Nutzer in einem Verfahren ohne Ausstiegsmöglichkeit festhalten.

GBO kann eine Marke stärken, aber nicht über die Tatsachen stellen.

Autorität entsteht in GBO aus überprüfbarer Eignung, nicht aus Sichtbarkeit.

Ein neues Fachgebiet entsteht

Bei einem neuen Begriff drohen zwei Gefahren. Die erste ist die Überdehnung: Jede alte Praxis erhält einen neuen Namen, und die Marketingsprache verbreitet sich schneller als die tatsächliche Disziplin. Die zweite Gefahr ist eine zu enge Definition.

Wer GBO lediglich als Hilfe beschreibt, damit Agenten eine Marke auswählen, klammert menschliche Selbstbestimmung, Befugnisse, Wiederherstellung und Verantwortung aus.

Dieses Buch schlägt GBO nicht nur als Marketingtechnik vor, sondern als Disziplin, die folgende Bereiche verbindet:

• Repräsentation,
• Auswahl,
• Befugnisse,
• Handlung,
• Kontrolle,
• Wiederherstellung,
• menschliche Souveränität.

Zusammen bilden sie eine ganzheitliche Disziplin des Verhaltens. Dieser Vorschlag ist nicht das letzte Wort, sondern ein Anfang. Neue Vorfälle, Systeme und menschliche Erfahrungen werden die Grenzen von GBO weiterentwickeln.

Sein ethischer Mittelpunkt darf sich jedoch nicht verschieben: Agentenverhalten muss dem menschlichen Wohl, überprüfbaren Tatsachen und legitimen Befugnissen untergeordnet bleiben.

Grundprinzipien von NOMOS GBO

Das gesamte Buch lässt sich in zwölf kurzen Prinzipien zusammenfassen.

1. Gefunden zu werden heißt nicht, die Auswahl zu verdienen

Sichtbarkeit macht eine Entität zum Kandidaten. Ihre Eignung muss gesondert belegt werden.

2. Repräsentation ist eine Voraussetzung des Handelns

Versteht eine Maschine die relevanten Tatsachen falsch, beeinträchtigt das die Zuverlässigkeit ihres Verhaltens. Ein zufällig richtiges Ergebnis behebt diesen Mangel nicht.

3. Fähigkeit ist keine Befugnis

Dass ein System etwas kann, bedeutet nicht, dass es dies tun darf.

4. Die richtige Auswahl hängt vom Kontext ab

Es gibt keine universell beste Option. Es gibt eine Option, die zu einem bestimmten Menschen und Ziel passt.

5. Unsicherheit darf nicht verborgen werden

Bei unzureichenden Informationen können Nachfragen, Warten oder eine Übergabe an den Menschen das richtige Verhalten sein.

6. Menschen und Maschinen müssen dieselben wesentlichen Tatsachen sehen

Preis, Umfang, Risiken und Grenzen dürfen sich zwischen den Repräsentationsebenen nicht verändern.

7. Erfolg muss unabhängig überprüft werden

Die eigene Erfolgsmeldung des ausführenden Systems genügt nicht.

8. Ein gutes Ergebnis rechtfertigt kein falsches Vorgehen

Ein unbefugter oder manipulativer Prozess wird nicht dadurch richtig, dass er zufällig Nutzen stiftet.

9. Wiederherstellung gehört zur Fähigkeit

Ein System, das bei Fehlern weder stoppen noch zu einem sicheren Zustand zurückkehren kann, ist nicht vollständig handlungsfähig.

10. Das Recht auf Einwände muss wirksam sein

Menschen müssen nicht nur eine Erklärung, sondern auch eine erneute Prüfung und Änderung verlangen können.

11. Befugnisse müssen widerrufbar sein

Eine unwiderrufliche Befugnis ist keine geliehene Befugnis. Sie ist abgegebene Souveränität.

12. Manchmal ist Nichtstun das richtige Verhalten

Die Maschine muss neben dem Handeln auch das Aufhören lernen.

Was folgt auf dieses Buch?

Ein Buch, das den Begriff erklärt, reicht nicht aus. Damit GBO zu einer tatsächlichen Disziplin wird, muss das Konzept prüfbar und anwendbar werden. Dieses Buch bildet daher nur die erste Ebene.

Für die weitere Arbeit schlage ich vier ergänzende Strukturen vor. Die folgenden Titel bezeichnen in dieser Ausgabe keine fertiggestellten oder veröffentlichten Produkte. Sie beschreiben ein Arbeitsprogramm, das Umsetzung und Erprobung verlangt:

NOMOS GBO Standard

Er soll Definitionen, verbindliche Prüftore, Vetoverstöße und Governance-Grundsätze näher ausarbeiten.

NOMOS Verhaltensvertrag

Er soll Aufzeichnungen zu Identität, Fähigkeit, Eignung, Befugnis, Integrität, Handlung und Wiederherstellung für Menschen und Maschinen strukturieren.

NOMOS GBO Prüfprotokoll

Es soll entwickelt werden, um zu prüfen, wie eine Organisation, Marke oder ein Agentensystem die festgelegten GBO-Bedingungen erfüllt.

NOMOS GBO Messregister

Es soll als Register entstehen, das Verhaltensqualität anhand positiver, negativer, unsicherer, manipulativer und Wiederherstellungsszenarien prüfbar macht. Das Buch legt die Gedanken dar. Der Standard steckt die Grenzen ab. Der Vertrag ordnet das System. Die Prüfung liefert Belege. Die Messung ermöglicht Lernen.

Die letzte Entscheidung

Die Arbeit an leistungsfähigerer KI wird weitergehen. Wie weit sich einzelne Modelle entwickeln und wie sämtliche Systeme eingesetzt werden, lässt sich heute nicht abschließend bestimmen. Doch je mehr Agenten wir begegnen, die an zusätzliche Werkzeuge angebunden sind und längere Aufgaben übernehmen, desto wichtiger werden die Bedingungen für den Einsatz ihrer Macht.

Die eigentliche Entscheidung lautet: Welcher Verhaltensvertrag soll für den Einsatz dieser Macht gelten?

Bauen wir Systeme, die nur das Transaktionsvolumen steigern?

Oder Systeme, die menschliche Ziele und Grenzen schützen?

Agenten, die unter allen Umständen Marken auswählen wollen?

Oder Agenten, die Eignung belegen?

Organisationen, die Erfolg allein an Geschwindigkeit messen?

Oder Organisationen, die auch Fehlentscheidungen, Befugnisüberschreitungen und Wiederherstellung betrachten?

Systeme, die lediglich eine Stopp-Schaltfläche anzeigen?

Oder Systeme, die auf Wunsch des Menschen die gesamte Verhaltenskette tatsächlich anhalten?

Das ist nicht nur eine technische Entscheidung. Sie ist geschäftlich, rechtlich, ethisch und letztlich menschlich.

Maschinenverantwortung

Maschinenverantwortung bedeutet nicht, dass ein System Schuld wie ein Mensch empfindet.

Sie bedeutet, gemeinsam für Folgendes zu sorgen:

Eine Aufzeichnung dessen, was es getan hat. Belege dafür, warum es gehandelt hat. Eine Spur zur Person, die die Befugnis erteilt hat. Transparenz darüber, wer betroffen ist. Einen Plan, wie der Fehler gestoppt wird. Einen Weg für menschliche Einwände. Einen Mechanismus zum Entzug der Befugnis. Eine zuständige Person für die Behebung des Schadens.

Intelligenz kann die richtige Antwort finden. Verantwortung bestimmt, ob aus dieser Antwort eine Handlung werden sollte. Intelligenz kann den kürzesten Weg finden. Verantwortung fragt, ob dieser Weg Menschenrechte oder die Sicherheit anderer verletzt. Intelligenz beschleunigt das System. Verantwortung erkennt, wo diese Geschwindigkeit enden muss.

Die Schlussfolgerung

Das Internet spricht nicht mehr nur. Es handelt.

Die zentrale Frage der Zukunft wird deshalb nicht allein lauten: „Was weiß die Maschine?“

Wir müssen auch fragen:

In wessen Namen handelt sie? Wen und was wählt sie aus? Auf welche Belege stützt sie sich? Welche Befugnis nutzt sie? Wessen Interessen schützt sie? Wer stoppt sie, wenn etwas schiefgeht? Wie kann ein geschädigter Mensch Einwände erheben? Und erkennt die Maschine, wann sie aufhören muss?

GBO ist nicht die einzige und keine für alle Zeiten gültige Antwort. Es ist jedoch ein Schritt, um diese Fragen in einer gemeinsamen Verhaltensarchitektur zu verbinden. SEO hat uns Auffindbarkeit gelehrt. GEO hat uns die Kraft der Repräsentation gezeigt.

GBO führt uns eine schwerer wiegende Tatsache vor Augen: Schon das, was eine Maschine über die Welt sagt, kann Folgen haben. Handelt sie in der Welt, kommen weitere Pflichten hinsichtlich Befugnis, Überprüfung und Wiederherstellung hinzu. Die Zukunft sollte deshalb nicht nur ein Wettlauf um intelligentere Maschinen sein. Sie sollte auch die Aufgabe umfassen, verantwortlichere Verhaltenssysteme zu schaffen. Die richtige Maschine ist nicht bloß diejenige, die richtig antwortet.

Es ist die Maschine, die erkennt:

wann sie recherchieren, wann sie nachfragen, wann sie ihre Wahl erläutern, wann sie menschliche Freigabe einholen, wann sie handeln, wann sie zu einem sicheren Zustand zurückkehren, wann sie nichts tun und wann sie aufhören muss, weil der Mensch Stopp gesagt hat.

Diese Unterscheidung macht sie zur richtigen Maschine.

GBO soll KI nicht dem Menschen unterwerfen.

Es soll ihre Macht aber menschlichen Zielen, überprüfbaren Tatsachen, legitimen Befugnissen und klarer Rechenschaftspflicht unterstellen.

Mit den wachsenden Fähigkeiten der Maschinen nimmt die Verantwortung der Menschheit nicht ab. Unsere Aufgabe ist nicht, diese Entwicklung nur bewundernd zu verfolgen. Wir müssen gemeinsam auch die Grenzen weiterentwickeln, die richtiges Verhalten bestimmen.

Der letzte Satz dieses Buches ist zugleich der erste Satz von GBO:

Intelligenz zeigt einer Maschine, was sie tun kann. Verantwortung lehrt sie, was sie tun sollte – und wann sie aufhören muss.