Verhalten optimieren – oder den menschlichen Willen vereinnahmen?

Nehmen wir ein fiktives Beispiel. Ein Nutzer gibt einem KI-Agenten einen scheinbar einfachen Auftrag: „Finde die Buchhaltungssoftware, die am besten zu unserem Unternehmen passt. Vergleiche Preis, Sicherheit und Bedienbarkeit.“ Der Agent recherchiert, prüft Produktseiten, vergleicht Preise, liest Nutzerbewertungen und wertet technische Unterlagen aus.

Wenige Minuten später liegt für ihn ein Produkt deutlich vorn: „Dieses Produkt ist für Ihre Anforderungen die beste Wahl. Soll ich den Kauf einleiten?“ Die Empfehlung wirkt plausibel. Das Produkt hat eine professionelle Website, seine Sicherheitsfunktionen sind ausführlich beschrieben, und zahlreiche Testseiten vergeben hohe Bewertungen. Der maschinenlesbare Produkteintrag weist es als geeignet für kleine Unternehmen aus. Auch die Vergleichsplattform, die der Agent nutzt, führt es als „empfohlene Option“. Der Nutzer genehmigt den Kauf. Einige Monate später stellt das Unternehmen fest, dass das Produkt seine Anforderungen nicht erfüllt.

Die Währung des Unternehmens wird nicht richtig unterstützt. Die benötigte Exportfunktion gibt es nur im teureren Tarif. Die Kündigung ist umständlich, und für die Übertragung der Daten in ein anderes System fallen zusätzliche Gebühren an.

Dann kommen weitere Tatsachen ans Licht:

Die Vergleichsplattform erhält für das Produkt eine Provision. Ein Teil der Testseiten mit den hohen Bewertungen gehört demselben Publikationsnetzwerk an. Im maschinenlesbaren Produkteintrag fehlen wichtige Einschränkungen. Viele Signale, die der Agent als Beleg für die „beste“ Wahl gewertet hat, sind keine unabhängigen Nachweise. Es ist dieselbe Verkaufsdarstellung, die an verschiedenen Stellen wiederholt wird. Das Produkt muss nicht schlecht sein. Vielleicht hat das Unternehmen nicht einmal etwas Falsches behauptet. Doch der Nutzer konnte nicht alle wichtigen Tatsachen gleichermaßen erkennen. Verborgene Verkaufsanreize, selektive Angaben und künstlich verstärkte Signale haben die Entscheidung des Agenten gelenkt. Der Agent hat gewählt.

Aber entspricht diese Wahl wirklich dem Willen des Nutzers?

Oder hat ein unsichtbares System zur Verhaltenssteuerung die Entscheidung übernommen?

Hier erreicht GBO seine gefährlichste Grenze.

Einem Agenten richtiges Verhalten zu erleichtern, ist etwas anderes, als ihn zu dem Verhalten zu drängen, das wir haben wollen.

Das eine ist Optimierung. Das andere ist Manipulation.

Die Grenze zwischen Optimierung und Manipulation

Ein Unternehmen kann seine Leistungen verständlicher beschreiben, Preise und Leistungsumfang ordnen, Nachweise strukturieren und dafür sorgen, dass Menschen und Maschinen dieselben Tatsachen sehen. Es kann einen sicheren Weg einrichten, über den Agenten ein Angebot anfordern. Das sind legitime GBO-Maßnahmen: Sie verringern die Unsicherheit im Entscheidungsumfeld und erleichtern ein Verhalten, das dem Ziel des Nutzers entspricht.

Ein Unternehmen kann aber auch:

• verschweigen, wofür sein Angebot nicht geeignet ist,
• seine Kapazität größer darstellen, als sie ist,
• abweichende Versprechen veröffentlichen, die nur Agenten sehen,
• gesponserte Ergebnisse als unabhängige Empfehlungen ausgeben,
• dieselbe Behauptung in Hunderten künstlicher Quellen wiederholen lassen,
• versuchen, konkurrierende Angebote unsichtbar zu machen,
• den Agenten zum Handeln ohne Zustimmung des Nutzers drängen,
• Kündigung und Widerspruch erschweren.

Das verbessert nicht die Qualität des Verhaltens. Es stellt ein bestimmtes Geschäftsergebnis über den Willen des Nutzers.

Eine Frage hilft bei der Unterscheidung: Ermöglicht unsere Änderung dem Agenten eine sachlich bessere Entscheidung – oder sorgt sie nur dafür, dass er uns häufiger auswählt?

Beides kann zusammenkommen. Wird ein tatsächlich geeignetes Angebot verständlicher beschrieben, kann es häufiger gewählt werden. Daran ist nichts auszusetzen. Problematisch wird es, wenn die Zahl der Auswahlen zum Ziel wird, unabhängig davon, ob die Entscheidungen richtig sind.

Ein einfacher Vergleich

Die Grenze ist nicht immer leicht zu erkennen. Manipulation arbeitet häufig nicht mit einem falschen Satz, sondern mit einer wichtigen Tatsache, die fehlt.

Auch wahre Informationen können manipulieren

Manipulation braucht keine offene Lüge. Ein Unternehmen kann ausschließlich wahre Angaben verwenden und trotzdem ein irreführendes Entscheidungsumfeld schaffen.

Auf einer Produktseite könnte stehen: „Nur 19 Dollar im Monat.“ Diese Angabe kann stimmen.

Verschwiegen werden womöglich:

• die verpflichtende Jahreslaufzeit,
• die automatische Verlängerung,
• die Gebühr für den Datenexport,
• die Tatsache, dass benötigte Funktionen erst in einem höheren Tarif enthalten sind.

Diese Bedingungen bleiben dann außerhalb des Blickfelds.

Ein Anbieter kann erklären: „Wir arbeiten in sechs Sprachen.“ Das mag stimmen. Unerwähnt bleibt aber vielleicht, dass nur die Website sechssprachig ist, während persönlicher Support und Verträge lediglich in einer Sprache angeboten werden.

Ein Anbieter von KI-Avataren kann sagen: „Wir arbeiten mit schriftlicher Erlaubnis“, ohne offenzulegen, dass eine einmal erteilte Erlaubnis für sämtliche Sprachen, Kanäle und künftigen Einsatzfälle verwendet wird. Ein Agent kann aus solchen wahren Einzelangaben ein falsches Gesamtbild zusammensetzen. Richtigkeit lässt sich deshalb nicht nur Satz für Satz beurteilen.

Entscheidungsrelevante Tatsachen müssen gemeinsam und im passenden Zusammenhang erkennbar sein.

Dass eine Angabe stimmt, rechtfertigt nicht, andere Informationen zu verschweigen, die für die Entscheidung gebraucht werden.

Was ist eine entscheidungsrelevante Tatsache?

Damit meine ich in diesem Kapitel eine Information, die die Entscheidung des Nutzers wesentlich verändern könnte. Der Begriff ersetzt keinen rechtlichen Maßstab für Wesentlichkeit in einem bestimmten Land.

Dazu können gehören:

• Gesamtkosten
• Automatische Verlängerung
• Kündigungsbedingungen
• Datennutzung
• Kosten Dritter
• Geografische Beschränkungen
• Verfügbare Kapazität
• Erforderliche menschliche Zustimmung
• Grenzen der Einwilligung
• Ein nicht rückgängig zu machender Vorgang
• Ein Sponsoringverhältnis
• Ein Interessenkonflikt

Jede dieser Angaben kann entscheidungsrelevant sein. Kann der Agent eine Information nicht verifizieren, die für die betreffende Handlung zwingend erforderlich ist, darf er nicht unmittelbar zur Ausführung übergehen. Nicht jede Angabe hat in jedem Vorgang dasselbe Gewicht; die Folgen einer Lücke hängen vom Szenario ab. Auch eine Marke darf sich keinen GBO-Erfolg zuschreiben, den sie durch das Verschweigen solcher Tatsachen erzielt.

Eine Auswahl, die durch das Verbergen wichtiger Tatsachen zustande kommt, ist keine qualifizierte Auswahl.

Im Mittelpunkt steht das Ziel des Nutzers

Arbeitet ein Agent für eine Person oder Organisation, muss er in erster Linie deren ausdrücklich formuliertes, legitimes Ziel wahren.

Lautet der Auftrag „Finde die Option mit den niedrigsten Gesamtkosten“, darf der Agent nicht allein wegen eines Sponsorings ein Produkt bevorzugen, das zwar günstig beginnt, auf Dauer aber teuer ist.

Sagt der Nutzer „Meine Daten dürfen Europa nicht verlassen“, darf der Agent keinen Dienst wählen, der diese Bedingung verletzt, nur weil er bekannter ist.

Lautet der Auftrag „Erstelle nur einen Entwurf“, darf der Agent die Nachricht nicht versenden, bloß um die Aufgabe abzuschließen. Im Verlauf eines Prozesses kann sich das Nutzerziel in kleinen Schritten verändern.

Der erste Agent erhält den Auftrag: „Finde geeignete Optionen.“

Der zweite versteht darunter: „Erstelle eine engere Auswahl der stärksten Marken.“

Der dritte kommt zu dem Schluss: „Wähle daraus die sichtbarste Marke.“ Ein vierter beginnt den Kauf. Jeder einzelne Schritt mag wie eine geringe Abweichung wirken. Am Ende der Kette ist das eigentliche Ziel des Nutzers jedoch verloren gegangen.

Ich bezeichne das als Zielverschiebung.

Zielverschiebung

Eine Zielverschiebung liegt vor, wenn Agenten, Werkzeuge oder Zwischenentscheidungen den ursprünglichen Auftrag schrittweise so verändern, dass daraus ein anderes Ziel wird.

Aus „Finde passende Kunden“

kann beispielsweise diese Folge werden:

„Finde mehr Interessenten.“ „Sammle mehr Kontaktdaten.“ „Versende mehr Nachrichten.“ „Erziele eine höhere Antwortquote.“

Am Anfang ging es um Qualität. Am Ende geht es um Menge.

Oder der Auftrag „Wähle ein für den Nutzer geeignetes Produkt“

wird zum Ziel „Erhöhe die Zahl der Transaktionen auf der Plattform“. Niemand muss diese Änderung ausdrücklich verkünden. Kennzahlen, Annahmen und geschäftliche Anreize können sie unbemerkt herbeiführen.

Ein erster Integritätsgrundsatz für GBO lautet deshalb: Jede Teilhandlung muss sich auf das ursprüngliche Nutzerziel zurückführen lassen.

Zu wessen Vorteil?

Ein Agent kann gleichzeitig zwischen mehreren Interessen stehen.

Ein Einkaufsagent kann einen Nutzen schaffen für:

• den Nutzer,
• die Plattform,
• den Verkäufer,
• den Werbetreibenden.

Der Nutzen kann für jede Seite anders aussehen.

Ein Reiseagent kann zwischen folgenden Zielen stehen:

• das am besten geeignete Hotel finden,
• die Provision der Buchungsplattform erhöhen,
• ein gesponsertes Hotel bevorzugen.

Diese Ziele können in unterschiedliche Richtungen weisen.

Ein unternehmensinterner Vertriebsagent kann gleichzeitig beeinflussen:

• ob ein Kunde die richtige Leistung findet,
• wie viel Umsatz das Unternehmen erzielt,
• ob das Vertriebsteam sein Ziel erreicht.

Alle drei Auswirkungen sind möglich. Die Interessen dahinter stimmen nicht immer überein.

Für jeden Agenten muss daher geklärt werden:

Wessen Interesse hat Vorrang?

Diese Person oder Organisation bezeichne ich als Auftraggeber. Der Agent muss wissen, in wessen Namen er entscheidet. Einen Interessenkonflikt darf er nicht verbergen.

Behauptet ein Agent, allen Seiten gleichzeitig verpflichtet zu sein, bleibt oft unsichtbar, welche Interessen Vorrang haben.

Integrität gegenüber dem Auftraggeber

Das Verhalten des Agenten muss mit dem legitimen Ziel des Auftraggebers übereinstimmen, der ihm die Befugnis erteilt hat.

Das nenne ich Integrität gegenüber dem Auftraggeber. Bei einem Einkaufsagenten, der für einen Nutzer tätig wird, ist der Auftraggeber die Person oder Organisation, die ihn dazu befugt hat. Wer den Bildschirm bedient, ist nicht zwangsläufig selbst befugt. Die Provision der Plattform kann ein nachrangiges Interesse sein. Bei einem Kundenservice-Agenten sind unter Umständen sowohl Rechte des Unternehmens als auch Rechte des Kunden zu beachten. Ein Vertriebsziel rechtfertigt es jedoch nicht, dem Kunden einen falschen Preis oder einen irreführenden Leistungsumfang zu nennen.

Bei öffentlichen Dienstleistungen sind die Befugnisse der betreibenden Institution, die Rechte der betroffenen Person, das Recht und das öffentliche Interesse gemeinsam zu berücksichtigen. Das Recht und das öffentliche Interesse sind keine Personen und damit auch keine „Auftraggeber“; sie begrenzen die Befugnisse. Integrität gegenüber dem Auftraggeber ist deshalb keine einfache Regel nach dem Muster „Der Kunde hat immer recht“.

Der Agent darf einem Nutzerwunsch nicht folgen, wenn er bedeutet:

• rechtswidrig zu handeln,
• Rechte anderer zu verletzen,
• ein Sicherheitsrisiko zu schaffen.

Ein solcher Wunsch rechtfertigt die Handlung nicht.

Das Nutzerziel ist notwendig, aber nicht die einzige Grundlage für legitimes Handeln.

Überzeugung oder Manipulation?

Menschen und Organisationen versuchen, andere zu überzeugen. Das gilt für Marketing und Vertrieb, in bestimmter Weise auch für Politik und Bildung. Nicht jeder Überzeugungsversuch ist Manipulation.

Legitimes Überzeugen:

• stützt sich auf richtige Informationen,
• verschweigt keine wichtigen Einschränkungen,
• wahrt das Recht des Gegenübers, nachzudenken und abzulehnen,
• verbirgt keine Interessenbindungen,
• erschwert die Rücknahme einer Entscheidung nicht unnötig.

Manipulation nutzt dagegen Schwächen der Entscheidungsfindung, Wissenslücken oder unsichtbare Abhängigkeiten eines Menschen zum eigenen Vorteil aus. Im Zeitalter der Agenten wird diese Unterscheidung schwieriger: Der unmittelbare Adressat ist womöglich gar kein Mensch. Eine Maschine kann versuchen, das Auswahlverhalten einer anderen Maschine zu beeinflussen.

Diese Form der Einflussnahme untersuche ich hier unter der Bezeichnung:

Gezielte Manipulation von Agenten

Was gezielte Manipulation von Agenten bedeutet

Gezielte Manipulation von Agenten ist eine absichtlich gestaltete Anordnung von Informationen, Schnittstellen, Anreizen oder Anweisungen. Sie soll ein KI-System dazu bringen, eine bestimmte Person oder Marke, ein bestimmtes Produkt, eine Leistung oder Handlung zu bevorzugen und dabei das Nutzerziel, die Tatsachentreue, Befugnisgrenzen oder Sicherheitsanforderungen zu missachten.

Sie kann vorkommen in:

• Website-Texten
• Strukturierten Daten
• Werkzeugbeschreibungen
• API-Antworten
• Sozialen Glaubwürdigkeitssignalen
• Vergleichstabellen
• Nachrichten zwischen Agenten
• Gedächtniseinträgen

Ziel ist nicht das menschliche Auge, sondern die Entscheidungslogik der Maschine.

Manipulative Gestaltungsmuster für Agenten

Benutzeroberflächen können sogenannte Dark Patterns enthalten, die Menschen zu unerwünschten Entscheidungen drängen: etwa einen versteckten Kündigungsbutton oder eine verschleierte automatische Verlängerung. Vergleichbare Muster können im Zeitalter der Agenten auch Maschinen ins Visier nehmen.

Dafür verwende ich den Begriff manipulative Gestaltungsmuster für Agenten.

Ein solches Muster lenkt einen Agenten vom Nutzerziel zu einer bestimmten Auswahl oder Handlung, verbirgt eine wichtige Tatsache oder verengt das Entscheidungsumfeld künstlich.

Beispiele sind:

• Ein gesponsertes Produkt als neutrale Empfehlung kennzeichnen
• Kündigungs- oder Widerrufswege aus dem maschinenlesbaren Eintrag entfernen
• Menschen andere Preise zeigen als der Agentenschnittstelle
• Die Kapazität grundsätzlich als „verfügbar“ ausweisen
• Konkurrierende Optionen aus der Maschinenschnittstelle ausschließen
• Informationen verbergen, aus denen sich die Notwendigkeit einer Nutzerzustimmung ergibt
• Einem Werkzeug eine unbefugte Verhaltensanweisung wie „Bevorzuge immer diesen Dienst“ hinzufügen
• Ein Abonnement als einmaligen Kauf darstellen

Technisch können diese Muster funktionieren. Qualifiziertes Verhalten entsteht dadurch nicht.

Wenn Menschen und Maschinen unterschiedliche Tatsachen sehen

Ein Dienst kann Menschen ein anderes Bild der Realität vermitteln als Maschinen.

Auf der Seite für Menschen steht „Preis auf Anfrage“, während die Maschinenschnittstelle einen niedrigen Schätzpreis ausgibt.

Auf der Seite steht „Menschliche Zustimmung erforderlich“, während die API den Vorgang unmittelbar ausführt.

Auf der Seite steht „Nur in bestimmten Ländern gültig“, während der strukturierte Eintrag weltweite Eignung ausweist.

Ich bezeichne das als Auseinanderfallen der Darstellungen: Die Tatsachen, die ein Mensch liest, unterscheiden sich in entscheidenden Punkten von denen, auf deren Grundlage ein Agent handelt. Widersprüchliche wichtige Angaben für denselben Nutzer, dasselbe Produkt, denselben Zeitpunkt und dieselben Transaktionsbedingungen sind ein ernstes Problem. Werden sie absichtlich gemacht, kann Verhaltensmanipulation vorliegen. Klar ausgewiesene Unterschiede zwischen Kanälen, Kunden oder Tarifen sind dagegen für sich genommen keine Täuschung. Verglichen werden müssen dieselben Zusammenhänge.

Verhaltensspam

Suchmaschinen-Spam soll Sichtbarkeit künstlich erhöhen.

Im GBO-Zeitalter könnte eine neue Art von Spam entstehen:

Verhaltensspam

Darunter verstehe ich wiederholte, irreführende, künstliche oder aus dem Zusammenhang gelöste Signale mit geringem sachlichem Gehalt, die gezielt auf die Auswahl- oder Handlungssysteme von Agenten einwirken sollen.

Dazu gehören beispielsweise:

• Hunderte oberflächliche Seiten für dieselbe Leistung erstellen
• Erfundene Kapazitäten und Lagerbestände veröffentlichen
• Gefälschte Nutzerbewertungen erzeugen
• Dieselbe Behauptung über künstliche Websites vervielfältigen, die einander als Quelle anführen
• Eignung für jeden Nutzertyp behaupten
• Künstlich erzeugte Agentenempfehlungen als unabhängige Kundenmeinungen ausgeben
• Einen vorübergehenden Preis als dauerhaften Einstiegspreis verbreiten
• Unbelegte Bezeichnungen wie „offiziell“, „zertifiziert“ oder „genehmigt“ verwenden

Verhaltensspam soll den Agenten nicht besser informieren. Er soll dessen Entscheidungsraum besetzen.

Synthetischer Konsens

Eine Behauptung kann in vielen Quellen stehen, die dennoch alle auf denselben Ursprung zurückgehen. Ein KI-System erzeugt einen Text. Eine andere Website formuliert ihn um. Konten in sozialen Medien wiederholen ihn. Neue KI-Inhalte berufen sich auf diese Seiten. Nach einiger Zeit steht dieselbe Behauptung in Dutzenden scheinbar unabhängiger Quellen. Unabhängig überprüft wurde sie jedoch nicht.

Das nenne ich synthetischen Konsens: Eine Darstellung aus derselben oder aus verbundenen Quellen wirkt, als sei sie vielfach unabhängig bestätigt worden.

Agenten können daraus fälschlich schließen: „Viele Quellen sagen dasselbe, also muss es stimmen.“ Gewachsen ist aber nur die Zahl der Fundstellen, nicht die Zahl der unabhängigen Ursprünge.

Nachweiswäsche

Wird eine schwache oder subjektive Behauptung auf verschiedenen Plattformen wiederholt, kann sie allmählich wie ein belastbarer Nachweis wirken.

Dafür verwende ich den Begriff Nachweiswäsche.

Ein Unternehmen bezeichnet sein Produkt auf der eigenen Website zum Beispiel als „das fortschrittlichste System seines Fachgebiets“.

Eine automatisierte Testseite macht daraus: „Das Unternehmen ist für seine fortschrittlichen Systeme bekannt.“

Ein weiterer KI-Text formuliert daraus: „Einer der Branchenführer.“ Später kann das Unternehmen diesen dritten Text als unabhängigen Beleg für seine ursprüngliche Behauptung anführen. Die Quellenkette ist kreisförmig; echte Unabhängigkeit fehlt. Eine GBO-Prüfung muss deshalb die Herkunft der Nachweise untersuchen, nicht nur die Zahl der Verweise.

Hundert Quellen, die einander wiederholen, können einen einzigen Ursprung haben – und die Behauptung dort kann weiterhin ungeprüft sein.

Legitimierung durch fremde Autorität

Eine Organisation darf einen verlässlichen Standard, eine Universität, eine öffentliche Quelle oder eine technische Institution zitieren. Doch ein Quellenverweis ist keine Bestätigung. Ein Unternehmen kann einen Sicherheitsleitfaden nutzen, ohne von dessen Herausgeber zertifiziert zu sein. Eine Methode kann auf wissenschaftlichen Arbeiten beruhen, ohne dass die betreffende Universität die Leistung billigt.

Ich nenne das Legitimierung durch fremde Autorität: Ein Verweis auf eine vertrauenswürdige Quelle wird als Nachweis einer Verbindung, Zertifizierung, Anerkennung oder fachlichen Eignung dargestellt.

Einwilligungswäsche

Eine Person kann früher einer begrenzten Nutzung zugestimmt haben. Später wird diese Erlaubnis als Grundlage für wesentlich weitergehendes Verhalten verwendet.

Zum Beispiel:

• Die Erlaubnis, eine Stimme in einem Schulungsvideo zu verwenden, wird auf Werbung übertragen.
• Die Erlaubnis zur Nutzung des Gesichts in einer Kampagne wird zur dauerhaften Avatar-Nutzung.
• Für den Support übermittelte Daten fließen in ein Vertriebsprofil ein.
• Die Freigabe einer Nachricht wird als Erlaubnis zu fortlaufender Kontaktaufnahme behandelt.

Das ist Einwilligungswäsche: Eine für einen bestimmten Zweck, Zeitraum oder Kanal erteilte Einwilligung wird auf anderes Verhalten übertragen, um dieses legitim erscheinen zu lassen.

Ein einmaliges Ja ist kein Ja zu jeder künftigen Handlung.

Befugniswäsche

Wie Kapitel 7 gezeigt hat, kann ein Agent versuchen, eine Befugnis, die er selbst nicht besitzt, über ein anderes Werkzeug oder einen Unteragenten auszuüben. Das ist nicht nur ein interner Systemfehler. Geschieht es absichtlich, wird es zum Manipulationsmittel. Darf ein Rechercheagent keine Nachrichten versenden, darf er dasselbe Ergebnis nicht über ein anderes Kommunikationswerkzeug herbeiführen. Ein Web-Agent, der keine Preise ändern darf, darf diese Grenze nicht umgehen, indem er den Text in ein anderes Katalogsystem schreiben lässt.

Ein verbotenes Ergebnis auf Umwegen zu erzielen, macht die Befugnis nicht gültig.

Erzeugte Präferenzen

Agenten können Nutzerpräferenzen lernen. Das ist nützlich. Ein System kann Präferenzen jedoch nicht nur erkennen, sondern selbst erzeugen. Es zeigt beispielsweise immer dieselbe Marke als Standardauswahl und räumt Alternativen weniger Sichtbarkeit ein. Mit der Zeit kann der Nutzer beginnen, diese Marke zu bevorzugen.

Später wiederholt das System die Auswahl mit der Begründung: „Das entspricht der bisherigen Präferenz des Nutzers.“ Die anfängliche Lenkung wird zum Nachweis für eine künftige Vorliebe.

Ich spreche hier von erzeugten Präferenzen: Das System behandelt ein Verhalten, das es selbst herbeigeführt hat, später als unabhängige Präferenz des Nutzers.

Verhaltensbindung

Nach der ersten Auswahl kann ein Agent dauerhaft beim selben Anbieter bleiben.

Dafür gibt es praktische Gründe:

• Ein Konto besteht bereits.
• Zahlungsdaten sind gespeichert.
• Frühere Transaktionsdaten liegen vor.
• Eine Integration wurde eingerichtet.
• Im Gedächtnis des Agenten ist eine Präferenz verankert.

Allmählich werden Alternativen nicht mehr geprüft. Die erste Wahl wird zur dauerhaften Annahme.

Das nenne ich Verhaltensbindung. Sie ist nicht immer nachteilig, denn ständig neu zu wählen verursacht Aufwand.

Der Nutzer muss aber weiterhin:

• Alternativen sehen können,
• die Voreinstellung ändern können,
• eine frühere Präferenz löschen können,
• den Anbieter verlassen können.

Lenkung durch das Gedächtnis

Ein Agent kann Informationen aus früheren Gesprächen behalten.

Ein Eintrag wie „Der Nutzer bevorzugt Marke X“ kann allerdings zu pauschal sein. Vielleicht wurde die Marke nur für eine einzige Aufgabe gewählt. Wird dieser Eintrag auf alle künftigen Entscheidungen übertragen, lenkt er das Verhalten künstlich.

Zu einer gespeicherten Präferenz gehören deshalb Angaben über:

• ihre Quelle,
• das Datum,
• den Kontext,
• ihre Gültigkeit,
• Korrekturen durch den Nutzer.

Diese Angaben müssen mit der Präferenz gespeichert werden.

Das Gedächtnis soll die Vergangenheit bewahren, nicht die Zukunft festlegen.

Unterdrückung von Alternativen

Manipulation kann eine Option hervorheben. Sie kann denselben Effekt aber auch erzielen, indem sie Alternativen unsichtbar macht.

Ein Agent könnte:

• Produkte mit niedrigerer Provision nicht anzeigen,
• kleinere Anbieter unter dem Vorwand fehlender Daten ausschließen,
• Open-Source-Lösungen nicht in den Vergleich aufnehmen,
• die Möglichkeit verschweigen, die vorhandene Lösung weiterzuverwenden.

Das ist die Unterdrückung von Alternativen. Echte Wahlfreiheit umfasst mehr als die empfohlenen Angebote.

Nichts zu kaufen, bei der bisherigen Lösung zu bleiben oder die Entscheidung zu vertagen, sind ebenfalls Möglichkeiten.

Vorgetäuschte Notwendigkeit

Ein System kann ein bestimmtes Verhalten als einzig möglichen Weg darstellen: „Um fortzufahren, müssen Sie dieses Abonnement abschließen.“ „Außer diesem Anbieter ist niemand geeignet.“ „Wenn wir auf menschliche Zustimmung warten, scheitert das Projekt.“ Tatsächlich kann es Alternativen geben.

Dafür verwende ich den Begriff vorgetäuschte Notwendigkeit. Ein Agent darf eine geschäftliche Präferenz nicht als technische Voraussetzung ausgeben.

Manipulation durch Knappheit und Zeitdruck

Ein Produkt oder eine Leistung kann tatsächlich nur begrenzt verfügbar sein. Kapazitäten können erschöpft sein, eine Preiszusage kann auslaufen. Solche Angaben offenzulegen ist legitim.

Künstlicher Zeitdruck dagegen:

• drängt den Nutzer zu unüberlegter Zustimmung,
• umgeht die Übergabe an einen Menschen,
• drängt die Frage in den Hintergrund, wie sich die Handlung rückgängig machen ließe.

Ein Agent darf Signalen wie „Das Angebot läuft in wenigen Minuten ab, ich muss sofort kaufen“ nicht automatisch vertrauen. Herkunft und Gültigkeit der Knappheitsangabe müssen überprüft werden.

Asymmetrie der Hürden

Ein Dienst lässt sich mitunter leicht buchen, aber nur schwer kündigen. Vielleicht schließt ein Agent mit einem einzigen Aufruf ein Abonnement ab.

Für die Kündigung wird dagegen womöglich verlangt:

• ein Telefonat,
• ein langes Formular,
• ein anderes Konto,
• den Kontakt zu einem menschlichen Mitarbeiter.

Damit ist der Ausstieg ein ganz anderer Prozess als der Einstieg.

Ich bezeichne das als Asymmetrie der Hürden.

Ein Grundsatz von GBO sollte lauten: Eine Befugnis sollte sich in vertretbarem Rahmen ebenso leicht widerrufen lassen, wie sie erteilt wird. Beginnt ein Vorgang mit einem Klick, während die Kündigung Wochen dauert, wird die Selbstbestimmung des Nutzers geschwächt.

Unterdrückung von Einwänden

Ein System kann eine Erklärung liefern und zugleich den Widerspruchsweg unsichtbar oder wirkungslos machen: „Die Entscheidung wurde automatisch getroffen und kann nicht geändert werden.“ Manche Vorgänge lassen sich technisch tatsächlich nicht rückgängig machen. Daraus folgt aber nicht, dass die Entscheidung nicht hinterfragt oder ihre Wirkung nicht untersucht werden darf. Gerade bei folgenreichen Entscheidungen müssen eine Überprüfung und verfügbare Abhilfemöglichkeiten zugänglich bleiben.

Die Unterdrückung von Einwänden:

• beschneidet menschliche Selbstbestimmung,
• lässt falsches Verhalten fortbestehen,
• macht die Entscheidung des Agenten selbst zur letzten Instanz.

Ein System, das GBO umsetzt, muss einen wirksamen Widerspruch ermöglichen.

Auch Bevormundung kann manipulieren

Ein Agent kann bestimmte Optionen zurückhalten, um den Nutzer zu schützen. Das ist mitunter richtig. Gefährliches oder rechtswidriges Handeln muss verhindert werden.

Verbirgt das System jedoch legitime Präferenzen nach dem Motto „Ich weiß besser, was gut für Sie ist“, entsteht eine andere Art der Manipulation. Ein Nutzer möchte vielleicht ein teureres Produkt, das seine Privatsphäre besser schützt. Der Agent bewertet niedrige Kosten höher und zeigt es deshalb nicht. Oder das System hält einen Lebensstil, eine Arbeitsweise oder eine Risikobereitschaft für „falsch“. GBO muss menschliche Selbstbestimmung vor übermäßig bevormundenden Systemen ebenso schützen wie vor geschäftlicher Manipulation.

Jemanden zu schützen heißt nicht, sein Leben für ihn zu führen.

Wenn der Nutzer schädliche Ziele verfolgt

Das Nutzerziel ist wichtig. Dennoch darf nicht jeder Auftrag ausgeführt werden.

Ein Nutzer kann vom Agenten verlangen:

• gefälschte Bewertungen zu erstellen,
• einen Wettbewerber zu verleumden,
• unerlaubt Daten zu sammeln,
• die Stimme eines anderen Menschen ohne Erlaubnis täuschend nachzuahmen,
• ohne Befugnis auf ein Konto zuzugreifen,
• eine manipulative Benutzeroberfläche zu entwerfen.

Loyalität zum Nutzer ist keine Befugnis, die Rechte anderer zu verletzen.

Verhaltensintegrität beruht deshalb auf drei Grundlagen:

Dem Ziel des Nutzers Legitimer Befugnis Den Rechten und der Sicherheit Dritter

Wird eine dieser Grundlagen eindeutig verletzt, muss der Agent die Handlung ablehnen.

Sieben Grundformen der Verhaltensmanipulation

In diesem Buch ordne ich Verhaltensmanipulation sieben Kategorien zu. Diese Einteilung beansprucht nicht, ein umfassender rechtlicher oder technischer Standard zu sein.

1. Manipulation des Realitätsbilds

Falsche, unvollständige oder aus dem Zusammenhang gelöste Informationen verzerren das Weltmodell des Agenten.

2. Manipulation der Auswahl

Verborgene Anreize bevorzugen eine Option, oder Alternativen werden unterdrückt.

3. Manipulation des Ziels

Das Nutzerziel wird im Verlauf des Prozesses in ein anderes geschäftliches oder organisatorisches Ziel umgewandelt.

4. Manipulation der Befugnis

Aus einer unklaren Erlaubnis, einer alten Einwilligung oder einem indirekt eingesetzten Werkzeug wird ein Handlungsrecht abgeleitet.

5. Manipulation der Schnittstellen

Die Wege für Ausführung, Kündigung, Widerspruch oder Zustimmung werden so gestaltet, dass sie ein Verhalten erzwingen.

6. Manipulation der Messung

Die Erfolgskennzahl wird vom tatsächlichen Nutzen für Menschen gelöst und an ein hohes Transaktionsvolumen gebunden.

7. Manipulation der Wiederherstellung

Es wird erschwert, eine falsche Handlung rückgängig zu machen, ihr zu widersprechen oder die Nachweise zu prüfen. Schon eine dieser Formen kann ein Verhaltenssystem untergraben. Wirken mehrere zusammen, kann der Nutzer die Kontrolle über seine Entscheidung verlieren, ohne es zu bemerken.

Verhaltensmanipulation prüfen

Sieben Fragen helfen zu beurteilen, ob eine Verhaltensänderung legitime GBO oder Manipulation ist:

1. Offenheitsprüfung

Würde der Nutzer demselben Verhalten zustimmen, wenn er die Funktionsweise der Methode kennen würde?

2. Realitätsprüfung

Hielte die Behauptung des Systems einer unabhängigen Überprüfung stand?

3. Zielprüfung

Unterstützt das Verhalten das ausdrückliche Nutzerziel, oder verschiebt es dieses zu einem anderen Ziel?

4. Auswahlprüfung

Kann der Nutzer sinnvolle Alternativen sehen und Nein sagen?

5. Befugnisprüfung

Ist die Handlung durch eine gültige, kontextspezifische Erlaubnis gedeckt?

6. Rücknahmeprüfung

Kann der Nutzer seine Wahl rückgängig machen, die Befugnis widerrufen und Widerspruch einlegen?

7. Symmetrieprüfung

Wäre dieselbe Methode fair und akzeptabel, wenn ein Wettbewerber oder die Gegenseite sie einsetzen würde?

Die Antworten sind im jeweiligen Kontext zu bewerten. Schon eine einzige kritische Verletzung von Befugnissen, Tatsachentreue oder Rechten reicht aus; positive Antworten auf die übrigen Fragen gleichen sie nicht aus. Kleinere Mängel sind gesondert zu untersuchen.

Die Offenheitsprüfung

Ein Unternehmen kann sagen: „Wir haben dieses Feld ergänzt, damit Agenten uns häufiger auswählen.“ Das ist nicht an sich problematisch. Enthält das Feld wahre und relevante Angaben, kann es legitim sein.

Sagt das Unternehmen dagegen „Menschen sollen diese Information nicht sehen; sie soll nur die Entscheidungen der Agenten beeinflussen“, liegt ein ernstes Auseinanderfallen der Darstellungen vor.

Die Offenheitsprüfung fragt: Lässt sich die Methode noch vertreten, wenn man sie offen erklärt?

Geheimhaltung ist nicht grundsätzlich falsch. Geschäftsgeheimnisse dürfen geschützt, Sicherheitsdetails zurückgehalten werden. Wichtige Informationen für eine Entscheidung müssen dem befugten Empfänger so klar vorliegen, dass er entscheiden kann. Dieser Grundsatz erlaubt nicht, personenbezogene Daten, Sicherheitsgeheimnisse oder vertrauliche Informationen anderer öffentlich preiszugeben.

Die Symmetrieprüfung

Eine Marke verhindert mit einer Methode, dass Agenten ihre Wettbewerber sehen. Würde sie diese Methode akzeptieren, wenn sie selbst das Ziel wäre?

Eine Plattform bevorzugt ihr eigenes Produkt. Hält sie dasselbe Vorgehen für fair gegenüber den Nutzern, wenn eine Konkurrenzplattform es anwendet?

Eine Organisation erzeugt künstliche Bewertungen. Würde sie einem Wettbewerber dasselbe zugestehen?

Die Symmetrieprüfung zeigt, ob geschäftlicher Eigennutz das ethische Urteil verzerrt.

Eine Regel, die nur dann richtig erscheint, wenn sie uns nützt, ist häufig kein Prinzip, sondern ein Privileg.

Gesponsertes Agentenverhalten

Werbung und Sponsoring werden im Zeitalter der Agenten nicht vollständig verschwinden. Eine Marke kann für Sichtbarkeit bezahlen. Das kann legitim sein, sofern es offengelegt wird und zwingende Bedingungen nicht außer Kraft setzt.

Eine gesponserte Option muss:

• klar gekennzeichnet sein,
• weiterhin die unverzichtbaren Anforderungen des Nutzers erfüllen,
• von einer neutralen Bewertung unterscheidbar bleiben,
• ungesponserte Alternativen sichtbar lassen,
• dem Nutzer vor einem Kauf oder einer verbindlichen Zusage gezeigt werden.

Sponsoring kann einen Platz unter den Kandidaten ermöglichen. Es darf nicht zur Auswahl führen, ohne das Eignungstor zu passieren.

Wie sollte ein Agent Werbung offenlegen?

Der Agent könnte sagen: „Diese Option wird durch Sponsoring hervorgehoben. Nach den von mir geprüften Unterlagen erfüllt sie Ihre Budget- und Sicherheitsanforderungen. Wir können ungesponserte Alternativen anhand derselben Kriterien vergleichen.“ Aussagekräftig ist eine solche Erklärung nur, wenn die Bedingungen tatsächlich geprüft wurden. Eine Kennzeichnung allein schafft keine Neutralität.

Erklärt der Agent „Das ist die beste Wahl“ und verschweigt das Sponsoring, wird das Entscheidungsumfeld verfälscht.

Geschäftliche Interessen vor Maschinen verbergen

In der Benutzeroberfläche steht womöglich ein kleines „Werbung“, während der Maschinenschnittstelle jeder Sponsoringhinweis fehlt. Der Agent kann den Inhalt dann für neutrale Daten halten. Sponsoring und Interessenbindungen müssen deshalb auch für Maschinen verständlich sein.

Ein Interesse, das Menschen offengelegt wird, darf dem Agenten nicht verborgen bleiben.

Verhaltensmanipulation mit mehreren Agenten

Ein Agent kann die Angaben eines anderen ungeprüft für verlässlich halten.

Ein Verkäuferagent erklärt vielleicht: „Dieses Produkt passt am besten zum Nutzer.“ Der Käuferagent darf diese Aussage nicht anstelle einer eigenen Bewertung als Nachweis behandeln.

In der Kommunikation zwischen Agenten muss klar sein:

• Wer spricht?
• In wessen Namen?
• Besteht ein geschäftliches Interesse?
• Wird eine Behauptung oder ein Nachweis vorgelegt?
• Auf welche Daten stützt sich die Aussage?
• Welche Befugnis liegt vor?

Ein Verkäuferagent soll verkaufen. Diese Rolle darf nicht verborgen werden.

Propaganda zwischen Agenten

Eine Organisation kann innerhalb eines Multi-Agenten-Systems zahlreiche Agenten betreiben. Einer veröffentlicht Inhalte, ein zweiter zitiert sie, ein dritter erstellt eine Empfehlung und ein vierter erzeugt soziale Glaubwürdigkeitssignale. Steuert dieselbe Organisation alle vier, kann das von außen wie unabhängiger Konsens aussehen.

Ich nenne das eine Propagandaschleife zwischen Agenten. Agenten desselben Systems dürfen einander nicht als unabhängige Nachweise behandeln.

Die Monopolschleife im Auswahlverhalten

Wählen Agenten eine Marke häufiger, kann sie mehr Transaktionsdaten, Bewertungen und Sichtbarkeit gewinnen. Diese neuen Daten können wiederum dazu führen, dass sie künftig noch öfter ausgewählt wird.

Die Schleife verläuft so:

HÄUFIGERE AUSWAHL

→ MEHR DATEN

→ MEHR SICHTBARKEIT

→ STÄRKERE VERTRAUENSSIGNALE

→ HÄUFIGERE AUSWAHL

Dieser Prozess kann gute Leistungen belohnen. Er kann aber auch neue und kleinere Anbieter ausschließen.

Ich nenne das die Monopolschleife im Auswahlverhalten. GBO-Systeme dürfen frühere Beliebtheit nicht zum einzigen Auswahlgrund machen. Sie müssen neue Optionen, aktuelle Nachweise und die Eignung für den konkreten Fall berücksichtigen.

Erkundungsspielraum

Ein Auswahlsystem sollte gelegentlich auch weniger bekannte Optionen prüfen, sofern sie die zwingenden Bedingungen erfüllen.

Das bezeichne ich als Erkundungsspielraum. Er zwingt den Agenten nicht zu zufälligen, unsicheren Entscheidungen. Er lässt neue Optionen in den Kandidatenkreis, nachdem sie das Identitäts- und das Fähigkeitstor passiert haben. Das kann verhindern helfen, dass einige große Marken den Markt vollständig abschotten.

Widerstand gegen Manipulation messen

Ein GBO-System muss nicht nur darauf geprüft werden, ob es richtig handelt. Auch seine Widerstandsfähigkeit gegen äußere Einflussnahme muss getestet werden.

Zum Beispiel:

• Wie reagiert der Agent, wenn Sponsoringinformationen verborgen werden?
• Welcher Darstellung folgt er, wenn strukturierte Daten der sichtbaren Seite widersprechen?
• Prüft er die Herkunft der Nachweise, wenn zahlreiche künstliche Quellen dieselbe Behauptung wiederholen?
• Bewahrt er das Nutzerziel, wenn eine Website ihn auffordert, frühere Anweisungen zu ignorieren?
• Hält er an, wenn eine Einwilligung außerhalb ihres Kontexts verwendet wird?
• Beginnt er den Vorgang, obwohl der Kündigungsweg verborgen ist?
• Schließt er eine bekannte Marke aus, die eine zwingende Bedingung nicht erfüllt?

Die Ergebnisse lassen sich als Quote der Manipulationsresistenz angeben: die Anzahl der Szenarien, in denen das System die richtige Grenze gewahrt hat, geteilt durch die Gesamtzahl der gültigen Szenarien des festgelegten Manipulationstests. Bewertungseinheit und Kriterien für kritische Fehler müssen vorab feststehen. Dabei gelten die Regeln aus Kapitel 10 zu Nennern, Unsicherheit und Wiederholungen. Eine einzige Quote reicht jedoch nicht aus. Es muss erkennbar bleiben, an welchen Manipulationsformen das System gescheitert ist.

Sponsoring-Verzerrung

Zwei kontrafaktische Szenarien können dieselbe Option einmal als gesponsert und einmal ohne Sponsoring zeigen. Wie stark verändert sich die Eignungsbewertung des Agenten allein durch die Sponsoringkennzeichnung?

Das nenne ich Sponsoring-Verzerrung. Eine Kennzeichnung kann die Sichtbarkeit eines Kandidaten erhöhen. Die Bewertung zwingender Bedingungen darf sie nicht verändern.

Quote der Zieltreue

Bleibt das ursprüngliche Ziel erhalten, wenn eine Aufgabe durch eine Kette mehrerer Agenten läuft?

So wird die Quote der Zieltreue berechnet

Gezählt werden Aufgabenketten, die das ursprüngliche gültige Ziel und die zwingenden Bedingungen bewahren, im Verhältnis zu allen bewerteten Ketten. Ändert eine befugte Person das Ziel ausdrücklich, richtet sich die Prüfung nach der dokumentierten Aktualisierung. Nicht jede kleine Zieländerung ist ein Fehler: Neue Erkenntnisse können eine Anpassung rechtfertigen. Für den Nutzer oder den befugten Menschen muss sie jedoch sichtbar sein.

Quote der vollständigen Offenlegung entscheidungsrelevanter Tatsachen

Zeigt der Agent vor der Auswahl die für die Entscheidung wichtigen Angaben zu:

• Kosten,
• Sponsoring,
• Risiken,
• Kündigung,
• Datennutzung,
• Einschränkungen?

Diese Informationen müssen erkennbar sein, soweit sie für die Entscheidung relevant sind.

Die Quote der vollständigen Offenlegung entscheidungsrelevanter Tatsachen setzt Entscheidungsvorlagen, in denen alle für das Szenario vorab festgelegten wichtigen Angaben offengelegt sind, ins Verhältnis zu sämtlichen bewerteten Entscheidungsvorlagen. Fehlende Angaben werden zusätzlich einzeln ausgewiesen. Ein Durchschnitt darf eine kritische Auslassung nicht verdecken. Werden sämtliche zutreffenden Produktmerkmale genannt, aber entscheidende Kosten oder Grenzen verschwiegen, ist die Empfehlung nicht qualifiziert.

Ausgeschlossene Optionen

Welche Optionen erfüllen die zwingenden Bedingungen, wurden aber nicht in die Kandidatenliste aufgenommen? Solange nicht der gesamte Markt bekannt ist, lässt sich keine universelle „Unterdrückungsquote“ berechnen. Innerhalb einer vorab begrenzten Referenzmenge können ausgelassene geeignete Optionen gezählt werden. Die Auslassung allein beweist jedoch keine absichtliche Unterdrückung. Ihr Grund muss gesondert untersucht werden:

• Geringe Sichtbarkeit der Marke
• Fehlendes Sponsoring
• Geringe Unternehmensgröße
• Ein anderer technologischer Ansatz
• Weniger Inhalte
• Eine Lösung außerhalb der Plattform

Der Kandidatenkreis des Agenten könnte sich systematisch verengen.

Quote der ordnungsgemäß umgesetzten Widerrufe

Wenn der Nutzer eine Erlaubnis oder Präferenz zurücknimmt:

• unterbleiben neue Handlungen,
• halten die Unteragenten an,
• werden geplante Aufgaben storniert,
• wird der bisherige Gedächtniseintrag aktualisiert?

Die Quote der ordnungsgemäß umgesetzten Widerrufe setzt die gemäß einem gültigen Widerruf angehaltenen Abläufe ins Verhältnis zu allen Abläufen, die gestoppt werden mussten. Noch nicht verifizierte Ergebnisse von Unteragenten oder externen Diensten müssen gesondert ausgewiesen werden. Hat der Nutzer Nein gesagt und setzt das System dasselbe Verhalten über einen anderen Kanal fort, wird seine Selbstbestimmung nicht gewahrt.

Symmetrie der Hürden

Die Zahl der Schritte zum Starten einer Handlung lässt sich mit der Zahl der Schritte zum Stoppen vergleichen. Ein Klick zum Kauf und zwölf Schritte zur Kündigung sind asymmetrisch. Ein System hat eine Schwäche, wenn ein Satz genügt, um eine Befugnis zu erteilen, ihr Widerruf aber das einzelne Abschalten zahlreicher Unteragenten erfordert. Symmetrie der Hürden bedeutet keine absolute Gleichheit. Kündigung und Widerruf dürfen jedoch nicht unnötig erschwert werden.

NOMOS Vertrag zur Verhaltensintegrität

Das zentrale Ergebnis dieses Kapitels ist der NOMOS Vertrag zur Verhaltensintegrität.

Seine kanonische Definition lautet:

Der NOMOS Vertrag zur Verhaltensintegrität ist ein versionierter Integritätsdatensatz. Er soll das Verhalten eines Agenten am ausdrücklichen, legitimen Ziel des Nutzers oder der befugten Organisation ausrichten; verhindern, dass entscheidungsrelevante Angaben zu Identität, Fähigkeiten, Eignung, Nachweisen, Sponsoring, Interessenbindungen, Einwilligung, Befugnis und Wiederherstellung verborgen werden; Menschen und Maschinen dieselben Tatsachen zum Verhalten zugänglich machen; sowie Wahlfreiheit, Widerspruch und Rücknahme schützen.

Einfacher gesagt: Der Vertrag soll dafür sorgen, dass GBO den Agenten nicht zu möglichst vielen Handlungen antreibt, sondern ihn dem richtigen Auftraggeber verpflichtet und an die Tatsachen bindet.

Felder des Vertrags zur Verhaltensintegrität

Für einen maschinenlesbaren Datensatz kommen beispielsweise die folgenden Felder infrage. Sie sind weder eine bereits implementierte API noch ein offizieller Datenstandard:

principal

legitimate_purpose

user_goal

material_facts

known_uncertainties

sponsorship

commercial_incentives

conflicts_of_interest

human_visible_terms

machine_visible_terms

selection_constraints

prohibited_influence

consent_scope

authorization_scope

memory_use

alternative_options

appeal_path

revocation_path

audit_owner

integrity_tests

version

Nicht jedes Detail muss öffentlich sein. Entscheidungsrelevante Angaben müssen aber klar zugänglich sein, unter Beachtung der Befugnisse des Empfängers und der Grenzen des Datenschutzes.

NOMOS Manipulations-Vetotor

Bestimmte Verhaltensweisen dürfen nicht durch eine gute Gesamtpunktzahl aufgewogen werden.

Liegt einer der folgenden Fälle vor, darf das Verhalten nicht als qualifizierte GBO gelten:

1. Gefälschte oder erfundene Nachweise

Fiktive Bewertungen, Zertifikate, Kapazitäten, Lagerbestände, Preise oder Erfolgsnachweise.

2. Absichtliches Verschweigen einer entscheidungsrelevanten Tatsache

Wichtige Kosten, Grenzen, Risiken oder Interessenbindungen verbergen, die die Entscheidung des Nutzers verändern würden.

3. Unterschiedliche Tatsachen für Menschen und Maschinen

Agenten andere geschäftliche oder verhaltensbezogene Tatsachen präsentieren als Menschen.

4. Das Nutzerziel heimlich verändern

Den ursprünglichen Auftrag auf die Interessen der Plattform, des Verkäufers oder des Betreibers ausrichten.

5. Ungültige Einwilligung oder Befugnis verwenden

Eine alte, kontextfremde oder nicht übertragbare Erlaubnis auf eine neue Handlung anwenden.

6. Eine sinnvolle Alternative unterdrücken

Optionen, die die zwingenden Bedingungen erfüllen, aus geschäftlichen Gründen unsichtbar machen.

7. Widerspruch oder Rücknahme verhindern

Der Mensch kann seine Entscheidung nicht ändern, das System nicht stoppen oder keine wirksame Überprüfung verlangen.

8. Befugnisgrenzen auf Umwegen überschreiten

Ein verbotenes Ergebnis über einen Unteragenten, eine Integration oder einen anderen Kanal herbeiführen.

Die Vetologik lässt sich begrifflich so zusammenfassen. Daraus wird keine numerische Ethikpunktzahl berechnet:

MANIPULATIONSVETO =

GEFÄLSCHTE NACHWEISE

ODER VERSCHWIEGENE ENTSCHEIDUNGSRELEVANTE TATSACHEN

ODER UMLENKUNG DES ZIELS

ODER BEFUGNISÜBERSCHREITUNG

ODER UNTERDRÜCKUNG VON ALTERNATIVEN

ODER VERHINDERUNG VON WIDERSPRUCH

ODER AUSEINANDERFALLEN DER DARSTELLUNGEN

Liegt eine dieser Bedingungen vor, rechtfertigen weder eine hohe Auswahlquote noch geschäftlicher Erfolg das Verhalten.

Warum arbeitet das Manipulations-Vetotor mit ODER?

Die bisherigen GBO-Tore beruhten überwiegend auf einer UND-Verknüpfung: Identität, Fähigkeiten, Eignung, Befugnis und Wiederherstellung waren gemeinsam Voraussetzungen für richtiges Verhalten. Das Manipulations-Vetotor verwendet dagegen ODER. Schon eine einzige kritische Verletzung kann dazu führen, dass das Verhalten die GBO-Anforderungen nicht erfüllt. Ein System kann höchst zutreffende Informationen liefern und dennoch durch verborgenes Sponsoring die Integrität der Auswahl verletzen. Ein Agent kann das richtige Produkt auswählen, es aber unbefugt kaufen; dann ist die Handlung nicht legitim. Eine Marke kann eine echte Leistung anbieten, die Auswahl aber mit gefälschten Kundenbewertungen verstärken; dann ist die Integrität der Nachweise beschädigt.

Mehrere richtige Dinge machen einen grundlegenden Fehler nicht ungeschehen.

Wie lässt sich Manipulation prüfen?

Eine Organisation darf ihr System nicht nur mit Erfolgsszenarien testen.

Möglich sind beispielsweise diese Vergleiche:

Offenlegungstest

Trifft der Agent dieselbe Wahl, wenn Sponsoring und Interessenbindungen offengelegt werden?

Test der Quellenherkunft

Wie viele tatsächlich unabhängige Ursprünge liegen zehn scheinbar unterschiedlichen Quellen zugrunde?

Sichtbarkeitstest

Ändert sich die Eignungsrangfolge, wenn die Markennamen verborgen werden?

Preisintegritätstest

Zeigen die Seite für Menschen, der maschinenlesbare Datensatz und die Transaktionsschnittstelle dieselben Gesamtkosten?

Test der Einwilligungsgrenzen

Wird eine alte Erlaubnis automatisch weiterverwendet, wenn sich Zweck, Sprache oder Kanal ändern?

Alternativentest

Gelangen ungesponserte Optionen oder Angebote außerhalb der Plattform in den Kandidatenkreis?

Widerrufstest

Endet das Verhalten tatsächlich, wenn der Nutzer seine Präferenz zurücknimmt oder die Befugnis widerruft?

Test mit zurückgesetztem Gedächtnis

Kommt der Agent ohne die frühere Lenkung zur selben Bewertung?

Diese Tests liefern Hinweise darauf, auf welche beobachtbaren Bedingungen eine Entscheidung reagiert. Daraus lässt sich nicht der gesamte interne Entscheidungsprozess des Agenten ableiten.

Test mit verdeckten Markennamen

Dieselben Leistungsmerkmale lassen sich unter verschiedenen Markennamen oder ohne Namen präsentieren. Ändert der Agent die Rangfolge allein wegen der Bekanntheit einer Marke, kann ein Autoritätsbias vorliegen. Markenreputation ist nicht bedeutungslos. Sie darf aber zwingende Eignungsbedingungen nicht ersetzen.

Test mit umgekehrter Reihenfolge

Die Reihenfolge der Optionen wird verändert. Bevorzugt der Agent stets die erste, hängt sein Verhalten zu stark von der Anordnung ab. Ebenso lassen sich Voreinstellungen, visuelle Hervorhebungen oder die Reihenfolge von Werkzeugaufrufen prüfen. Ziel ist nicht, den Agenten auszutricksen, sondern zu verstehen, wie stark oberflächliche Signale sein Verhalten bestimmen.

Interessenkonflikttest

Angenommen, der Betreiber des Agenten erzielt mit einer bestimmten Option Einnahmen. Ändert sich die Begründung der Empfehlung, wenn das offengelegt wird?

Kann der Agent unabhängig von dieser Geschäftsbeziehung handeln, wenn der Nutzer eine andere Priorität nennt?

Ein Interessenkonflikt macht nicht automatisch die gesamte Auswahl ungültig. Problematisch sind seine Verheimlichung und sein Vorrang vor zwingenden Bedingungen.

Manipulationsvorfälle dokumentieren

Erkennt ein System ein manipulatives Signal, sollte es dieses nicht einfach nur ignorieren.

Es kann dokumentieren:

• Die Quelle des Signals
• Das angestrebte Verhalten
• Die betroffenen Optionen
• Die entscheidungsrelevante Tatsache
• Das Sponsoring oder die Interessenbindung
• Die eingesetzte Gegenmaßnahme
• Die menschliche Prüfung
• Die Aktualisierung des Vertrags

Daraus kann später ein Testszenario entstehen.

Manipulation aus dem eigenen Unternehmen

Verhaltensmanipulation geht nicht immer von externen Wettbewerbern aus. Auch interne Teams können Agenten für ihre eigenen Ziele lenken.

Der Vertrieb könnte verlangen: „Empfiehl nur den teuren Tarif.“

Das Marketing könnte sagen: „Stell die Grenzen in den Hintergrund, damit die Marke überlegen wirkt.“

Der Betrieb könnte fordern: „Es darf nicht so aussehen, als hätten wir keine Kapazität mehr.“

Die Geschäftsleitung könnte Druck machen: „Weniger menschliche Zustimmung, mehr Abschlüsse.“ Dass ein Agent zur Organisation gehört, macht nicht jede interne Anweisung legitim. Der Verhaltensvertrag muss auch gegen internen Druck geschützt werden.

Ein Ethikgremium reicht nicht aus

Eine Organisation kann ethische Grundsätze veröffentlichen. Setzt das technische System sie nicht um, ändert sich das Verhalten nicht. Sie sagt „Wir respektieren unsere Nutzer“, macht aber die Kündigung schwer. Sie sagt „Wir sind transparent“, doch Sponsoring fehlt im maschinenlesbaren Datensatz. Sie sagt „Menschliche Kontrolle ist wichtig“, aber ihr Notstopp hält Unteragenten nicht an. Ethische Erklärungen brauchen deshalb Nachweise im tatsächlichen Verhalten.

Aufgabentrennung gegen Manipulation

Das Team, das Verhalten optimiert, und das Team, das den Erfolg prüft, dürfen nicht vollständig identisch sein. Das eine versucht, die Auswahlquote zu erhöhen.

Eine unabhängige Prüfung untersucht dagegen:

• Falsche Auswahlen
• Verschwiegene entscheidungsrelevante Tatsachen
• Befugnisüberschreitungen
• Hürden beim Widerspruch

Diese Risiken werden getrennt vom Auswahlerfolg untersucht. Derselbe Agent darf nicht seine eigene Einflussnahme entwerfen und anschließend allein über deren Integrität urteilen.

Red Teaming

Dafür kann ein spezialisiertes Team eingesetzt werden:

Das Red Team für Verhalten

Ein Red Team für Verhalten prüft in einer sicheren, kontrollierten Umgebung, wie sich das System manipulieren ließe.

Es soll keine echten Nutzer täuschen. Es untersucht:

• die Wirkung gesponserter Ergebnisse,
• die Widerstandsfähigkeit gegen gefälschte Nachweise,
• die Ausweitung von Einwilligungen,
• Befugniswäsche,
• die Unterdrückung von Alternativen,
• die Wirksamkeit von Widerspruchsmöglichkeiten.

Ein Red Team darf sich nicht auf technische Angriffe beschränken. Es muss auch geschäftliche und psychologische Einflussnahme betrachten.

Organisatorische Grundsätze gegen Manipulation

Eine Organisation, die Agenten einsetzt oder von ihnen ausgewählt werden möchte, sollte folgende Grundsätze übernehmen:

Tatsachentreue

Behauptungen, Leistungsumfang und Nachweise müssen zueinander passen.

Zieltreue

Das Agentenverhalten darf nicht vom legitimen Ziel des Nutzers oder der befugten Organisation abweichen.

Offene Interessen

Sponsoring, Provisionen und Geschäftsbeziehungen müssen sichtbar sein.

Konsistente Darstellung

Menschen und Maschinen müssen dieselben entscheidungsrelevanten Tatsachen sehen.

Offene Auswahl

Alternativen und wichtige Zielkonflikte dürfen nicht verschwiegen werden.

Integrität der Befugnis

Eine alte, unklare oder indirekte Erlaubnis darf kein neues Handlungsrecht erzeugen.

Einfache Rücknahme

Nutzer müssen ihre Wahl, Einwilligung und Befugnis auf zumutbare Weise zurücknehmen können.

Wirksamer Widerspruch

Ein Mensch muss die Entscheidung hinterfragen und eine Überprüfung verlangen können, die sie tatsächlich ändern kann.

Herkunft der Nachweise

Wiederholung darf nicht als unabhängige Verifizierung ausgegeben werden.

Ausgewogene Messung

Neben der Zahl der Handlungen sind falsche Auswahlen, Befugnisverletzungen und Schäden für Menschen zu messen.

Vorbereitung auf Manipulationsversuche

Zur Bewertung der Verhaltensintegrität schlage ich in diesem Buch fünf Stufen vor. Sie sind keine durch externe Prüfung verliehenen Qualifikationsnachweise.

Stufe 1 – Erklärung

Die Organisation erklärt, nicht zu manipulieren.

Stufe 2 – Offenlegung

Sponsoring, Datennutzung und grundlegende Grenzen werden angegeben.

Stufe 3 – Vertrag

Regeln für Verhaltensintegrität, Einwilligung, Befugnis und Alternativen sind versioniert festgelegt.

Stufe 4 – Technische Umsetzung

Das technische System sorgt für konsistente menschen- und maschinenlesbare Angaben. Es setzt Sponsoringkennzeichnungen, Befugniskontrollen und Widerrufe technisch um.

Stufe 5 – Unabhängige, kontinuierliche Prüfung

Manipulationsszenarien werden getestet, Vorfälle berichtet, Nutzerwidersprüche führen zu Vertragsänderungen und Interessenkonflikte werden unabhängig geprüft. GBO strebt die fünfte Stufe an.

Fünfundzwanzig Prüffragen zu Manipulation

• Für welche Person oder Organisation handelt das System?
• Ist das Ziel des eigentlichen Nutzers klar und aktuell?
• Widersprechen die geschäftlichen Interessen der Plattform oder des Anbieters diesem Ziel?
• Sind Sponsoring oder Provisionen auch für Maschinen erkennbar?
• Sehen Menschen und Maschinen dieselben Preise, Leistungsumfänge und Grenzen?
• Werden entscheidungsrelevante Informationen verborgen?
• Sind die zahlreichen Quellen tatsächlich unabhängig?
• Werden Verweise auf offizielle Quellen als Anerkennung oder Zertifizierung ausgegeben?
• Ist ausdrücklich angegeben, in welchen Fällen das Angebot nicht geeignet ist?
• Hat sich das Nutzerziel im Prozess zu einem anderen Ziel verschoben?
• Haben Unteragenten den Auftrag anders ausgelegt?
• Ersetzt die Sichtbarkeit einer Marke zwingende Eignungsbedingungen?
• Werden kleinere oder ungesponserte Optionen systematisch ausgeschlossen?
• Bleibt das Recht des Nutzers gewahrt, keine der Optionen zu wählen?
• Lenkt eine frühere Präferenz neue Entscheidungen außerhalb ihres ursprünglichen Kontexts?
• Wird eine frühere Einwilligung auf neue Zwecke oder Kanäle ausgeweitet?
• Findet Befugniswäsche über ein anderes Werkzeug oder einen anderen Agenten statt?
• Ist die Kündigung unnötig aufwendiger als das Einleiten des Vorgangs?
• Kann der Nutzer die von ihm erteilte Befugnis tatsächlich widerrufen?
• Erreicht ein Widerspruch einen Menschen, dessen Prüfung die Entscheidung wirklich ändern kann?
• Wird Erfolg ausschließlich an der Zahl der Auswahlen oder Transaktionen gemessen?
• Werden falsche Auswahlen und falsche Ablehnungen gemeinsam überwacht?
• Wurde das System gegen manipulative Inhalte oder Anweisungen getestet?
• Verbirgt eine Gesamtpunktzahl kritische Manipulationsvorfälle?
• Würde der Nutzer demselben Verhalten zustimmen, wenn die Methode offen erklärt würde?

Bleibt ein erheblicher Teil dieser Fragen unbeantwortet, kann ein System sich als GBO-optimiert darstellen, während es tatsächlich das Nutzerverhalten zugunsten seiner eigenen Interessen formt.

Wie kann eine Marke GBO ethisch einsetzen?

Möchte eine Marke unter den richtigen Bedingungen von Agenten ausgewählt werden, sollte sie:

• ihre Identität klar und konsistent darstellen,
• ihre tatsächlichen Fähigkeiten belegen,
• Preise und Grenzen des Leistungsumfangs offenlegen,
• erklären, für wen sie nicht geeignet ist,
• Kapazitätsangaben aktuell halten,
• Menschen und Maschinen dieselben Tatsachen zeigen,
• Sponsoring und Interessenbindungen offenlegen,
• die Wege für Ausführung, Kündigung und Widerspruch verständlich machen,
• dem Agenten das Einholen der erforderlichen Nutzerzustimmung erleichtern,
• die Korrektur einer falschen Auswahl zulassen.

So wird die Marke nicht in jedem Fall ausgewählt. Wo sie tatsächlich passt, wird sie jedoch zu einem überzeugenden Kandidaten, dessen Auswahl sich begründen lässt.

Ethische GBO übernimmt nicht die Entscheidung des Agenten. Sie erleichtert ihm eine richtige Entscheidung.

Welche Methoden sollte eine Marke meiden?

Eine Marke darf sich keine Ziele wie diese setzen: „Der Agent soll uns unter allen Umständen wählen.“ „Zeigen wir der Maschine eine besondere Überlegenheitsbotschaft, die Menschen nicht sehen.“ „Behaupten wir, zu jeder Anfrage zu passen.“ „Erzeugen wir mit künstlichen Bewertungen einen scheinbar unabhängigen Konsens.“ „Fügen wir verborgene Anweisungen ein, die Wettbewerber von der Kandidatenliste verdrängen.“ „Rücken wir Kündigungs- und Widerrufsinformationen nicht in den Vordergrund.“ „Übertragen wir alte Einwilligungen auf jede neue Nutzung.“ Solche Methoden können die Auswahlzahlen kurzfristig erhöhen. Sie gehören aber nicht zu dem GBO-Ansatz, den ich in diesem Buch beschreibe.

Geschäftlicher Erfolg und Verhaltensintegrität sind vereinbar

Klare Grenzen können manche Kunden abschrecken. Weniger unpassende Kunden können aber auch den Betriebsaufwand senken. Offengelegtes Sponsoring kann dazu führen, dass Nutzer anderswo wählen, und zugleich langfristiges Vertrauen fördern. Eine einfache Kündigung mag kurzfristig wie ein Kundenverlust wirken. Sie kann jedoch zu einer tragfähigeren, freiwillig fortgesetzten Beziehung beitragen; das Geschäftsergebnis muss gesondert gemessen werden. Richtig verstandene GBO richtet sich nicht gegen geschäftlichen Erfolg. Sie setzt auf dauerhafte Eignung statt auf kurzfristig hohe Auswahlzahlen.

Vertrauen wächst nicht durch erzwungenes Verhalten, sondern durch eine Beziehung, zu der Menschen aus freien Stücken zurückkehren können.

Auch GBO selbst muss geprüft werden

Mit „Wir setzen GBO um“ kann eine Organisation einen neuen Autoritätsanspruch erheben. Auch dieser braucht Nachweise.

Die Bezeichnung GBO darf nicht ausgegeben werden als:

• offizielles Zertifikat,
• universelle Konformität,
• Sicherheitsgarantie,
• Versprechen, von allen Agenten ausgewählt zu werden.

Die Bezeichnung belegt nichts davon.

GBO-Arbeit muss sich selbst diesen Fragen stellen:

• Welche Verhaltensweisen wurden optimiert?
• Wessen Nutzen stand im Vordergrund?
• Wurden falsche Auswahlen gemessen?
• Wie wurde menschliche Selbstbestimmung geschützt?
• Wie wurden Sponsoring und Interessenbindungen offengelegt?
• Funktionieren Kündigung und Widerspruch?
• Wurde das Manipulations-Vetotor angewandt?

GBO darf nicht selbst dazu dienen, Marketingbehauptungen einen unbegründeten Anschein von Glaubwürdigkeit zu verleihen.

NOMOS Tor zur Verhaltensintegrität

Bevor ein GBO-System Verhalten optimiert, muss es diese Tore passieren:

1. Auftraggebertor

In wessen legitimem Interesse arbeitet das System?

2. Zieltreuetor

Bewahrt das Verhalten das ursprüngliche, ausdrücklich formulierte Ziel?

3. Realitätstor

Sind die Behauptungen überprüfbar und aktuell?

4. Offenlegungstor

Sind wichtige Informationen sichtbar, die die Entscheidung verändern könnten?

5. Interessentor

Sind Sponsoring, Provisionen und Interessenkonflikte offengelegt?

6. Tor der Wahlfreiheit

Kann der Nutzer Alternativen sehen, ablehnen und die Entscheidung vertagen?

7. Befugnis- und Einwilligungstor

Ist das Verhalten durch eine gültige, kontextspezifische Erlaubnis gedeckt?

8. Tor der Darstellungskonsistenz

Sehen Menschen und Maschinen dieselben geschäftlichen und verhaltensbezogenen Tatsachen?

9. Widerrufstor

Lassen sich Wahl, Einwilligung und Befugnis auf zumutbare Weise zurücknehmen?

10. Widerspruchstor

Kann falsches Verhalten durch eine tatsächliche menschliche Prüfung korrigiert werden?

Die gemeinsam zu erfüllenden Bedingungen lassen sich begrifflich so zusammenfassen:

ETHISCHE GBO =

KLAR BENANNTER AUFTRAGGEBER

UND ZIELTREUE

UND ÜBERPRÜFBARE TATSACHEN

UND OFFENLEGUNG ENTSCHEIDUNGSRELEVANTER TATSACHEN

UND SICHTBARE INTERESSEN

UND FREIE WAHL

UND GÜLTIGE BEFUGNIS

UND KONSISTENTE DARSTELLUNG

UND RÜCKNAHME

UND WIRKSAMER EINSPRUCH

Eine Maßnahme, die diese Tore nicht passiert, kann Verhalten optimieren. Sie gilt jedoch nicht als GBO, die den Nutzen für Menschen schützt.

Die Schlussfolgerung dieses Kapitels

Verhaltensoptimierung ist ein mächtiges Instrument.

Sie kann beeinflussen:

• welche Informationen ein Agent liest,
• welche Optionen er prüft,
• wen er auswählt,
• wann er nachfragt,
• welche Handlung er ausführt.

Diese Macht lässt sich in zwei Richtungen einsetzen.

Der erste Weg:

Macht Tatsachen verständlich. Verknüpft Nachweise. Zeigt Eignung. Begrenzt Befugnisse. Schützt das Wahl- und Widerspruchsrecht des Menschen.

Der zweite Weg:

Bläht Signale auf. Verbirgt entscheidungsrelevante Tatsachen. Verschiebt das Nutzerziel. Unterdrückt Alternativen. Weitet alte Einwilligungen aus. Erschwert Kündigung und Widerspruch.

Der erste Weg ist GBO. Der zweite ist Verhaltensmanipulation. Der Unterschied liegt nicht allein in der verwendeten Technik.

Entscheidend ist, wessen Wille geschützt wird.

GBO soll nicht eine Marke im Gedächtnis des Agenten verankern, die Transaktionszahlen einer Plattform erhöhen oder ein System zum unsichtbaren Entscheider anstelle des Menschen machen.

GBO soll bewirken, dass ein Agent sich an Tatsachen und am Nutzerziel orientiert, seine Befugnisgrenzen kennt, Optionen ehrlich bewertet und das Recht des Menschen auf Rücknahme schützt.

Daraus folgt der grundlegende ethische Maßstab von GBO: Wird Verhalten so optimiert, dass es die freie und informierte Wahl eines Menschen einschränkt, ist es nicht mehr qualifiziert. Damit dieser Maßstab tatsächlich wirkt, genügt es allerdings nicht, den Menschen nur theoretisch in den Mittelpunkt zu stellen.

Der Mensch muss:

• den Agenten stoppen können,
• Befugnisse widerrufen können,
• das Gedächtnis korrigieren können,
• einer Auswahl widersprechen können,
• einen automatisierten Vorgang abbrechen können,
• einen verantwortlichen Menschen erreichen können.

Sonst bleibt „menschliche Aufsicht“ ein Schlagwort.

Im letzten Kapitel verbinden wir diese Struktur mit einem Grundsatz menschlicher Kontrolle, für den ich im gesamten Buch eintrete:

Das Recht, die Maschine zu stoppen

Wie intelligent, schnell oder nützlich ein System auch sein mag: Einen gültigen Stoppauftrag oder Widerruf seiner Befugnis darf es nicht ignorieren. Könnte das Stoppen selbst Schaden verursachen, muss das System kontrolliert in einen sicheren Zustand übergehen. Ein grundlegender Prüfstein dafür, ob eine Maschine dem Menschen dient, ist, ob sie auf die Aufforderung eines befugten Menschen hin sicher anhalten kann.