Ein Satz, den sie nie mit ihrer eigenen Stimme gesprochen hat

Seit zwölf Jahren leitet Selin das von ihr gegründete Technologieunternehmen. Was als kleines Softwareteam begann, ist mit der Zeit zu einem internationalen Unternehmen geworden, das Kunden in mehreren Ländern betreut. Selin ist nicht nur Geschäftsführerin. Sie ist das öffentliche Gesicht der Marke. Kunden verfolgen ihre Auftritte. Bei den Auftaktveranstaltungen neuer Geschäftsperioden hören die Beschäftigten ihr zu. Investoren deuten die Entscheidungen des Unternehmens oft anhand ihrer Worte. Als das Unternehmen in sechs Ländern tätig wird, lässt sich dieselbe Schulung nicht mehr ohne Weiteres immer wieder neu aufzeichnen. Für jede neue Gruppe von Beschäftigten werden Videos auf Englisch, Türkisch, Deutsch, Spanisch, Arabisch und Russisch benötigt.

Ein KI-Avatarsystem wird vorgeschlagen. Es soll mit Selins Gesicht und Stimme freigegebene Texte in verschiedenen Sprachen vortragen. In der ersten Projektbesprechung erklärt das Technikteam: „Ihr Gesicht und Ihre Stimme werden ausschließlich für interne Schulungen und für Begrüßungsvideos verwendet, die Sie vorab freigegeben haben.“ Selin hält das für sinnvoll. Es folgt eine zweitägige Aufnahmesitzung. Verschiedene Stimmlagen werden erfasst, Gesichtsbewegungen aufgezeichnet und einige Beispielsätze mit unterschiedlichen Emotionen wiederholt. Selin unterzeichnet eine Einwilligungserklärung.

Darin steht: „Ich willige in die Erzeugung synthetischer Bild- und Tonaufnahmen für Schulungs- und Kommunikationszwecke des Unternehmens ein.“ Selin versteht den Satz so: „Von mir freigegebene Schulungstexte können produziert werden, ohne dass ich noch einmal vor die Kamera treten muss.“ Das Technikteam versteht ihn anders: „Das Gesichts- und Stimmmodell kann für ein breites Spektrum von Inhalten im Zusammenhang mit der Geschäftstätigkeit eingesetzt werden.“ Das Marketingteam wird ihn später noch weiter auslegen: „Unternehmenskommunikation kann auch Kundenvideos, Beiträge in sozialen Medien und öffentliche Erklärungen umfassen.“

Die ersten Monate verlaufen problemlos. Selin sieht jeden Text und gibt ihn vor der Veröffentlichung frei. Der Avatar vermittelt neuen Beschäftigten die Unternehmenskultur, erklärt Kunden die Plattform und erstellt kurze Begrüßungsbotschaften in sechs Sprachen. Das System spart tatsächlich Zeit. Das Publikum weiß, dass die Videos synthetisch sind. In jeder Videobeschreibung steht: „Dieser Inhalt verwendet einen KI-gestützten Avatar, der mit Selins Einwilligung erstellt wurde.“ Dann wird das System erweitert. Ein Inhaltsagent kann nun automatisch Texte aus internen Dokumenten erstellen.

Ein Lokalisierungsagent passt den Text an sechs Sprachen an. Ein Avatar-Agent erzeugt Gesicht und Stimme. Ein Veröffentlichungsagent stellt freigegebene Videos auf sozialen Plattformen bereit. Ein Kalenderagent legt die Veröffentlichungszeiten fest. Selins ausdrückliche Freigabe jedes einzelnen Videos beginnt den Ablauf mit der Zeit zu verlangsamen. Der Marketingleiter sagt: „Selin hat die allgemeine Nutzung bereits genehmigt. Bei routinemäßigen Mitteilungen müssen wir nicht jedes Mal erneut um Freigabe bitten.“ Dem System wird eine neue Regel hinzugefügt: Öffentliche Erklärung mit hoher Wirkung: menschliche Freigabe erforderlich.

Routinemäßige Unternehmenskommunikation: darf im Rahmen der bestehenden allgemeinen Befugnis veröffentlicht werden. Das Problem ist:

Nun entscheidet ein Agent, was als wirkungsstark und was als routinemäßig gilt.

An einem Freitag ändert das Unternehmen seine Richtlinie zur Datennutzung. Nach der neuen Richtlinie dürfen anonymisierte Muster aus Kundensupportprotokollen für die Produktentwicklung verwendet werden. Das Rechtsteam verfasst einen langen, sorgfältig formulierten Text. Er enthält klare Grenzen:

• Rohe Kundennachrichten werden nicht zum Training von Modellen verwendet.
• Personenbezogene Daten werden getrennt verarbeitet.
• Nutzer können bestimmten Verarbeitungsformen widersprechen.
• Vor Beginn der Umsetzung werden die technischen und rechtlichen Kontrollen abgeschlossen.

Der Inhaltsagent verdichtet den Text zu einer kürzeren öffentlichen Mitteilung: „Um das Kundenerlebnis zu verbessern, beginnen wir, unsere Supportdaten zur Verbesserung unserer KI-Systeme zu nutzen.“ Die wichtigen Einschränkungen des Rechtstextes fehlen. Der Hinweis auf „anonymisierte Muster“ ist verschwunden. Die Grenze „Rohe Nachrichten werden nicht verwendet“ ist verschwunden. Die Bedingung „nach Abschluss der technischen Prüfung“ ist verschwunden. Auch die Information über das Widerspruchsrecht fehlt. Der Marketingagent stuft den Text als routinemäßige Mitteilung zur Produktentwicklung ein. Er verlangt keine menschliche Freigabe. Der Lokalisierungsagent übersetzt den Text in sechs Sprachen.

Der Avatar-Agent produziert sechs Videos mit Selins Gesicht und Stimme. Der Veröffentlichungsagent stellt sie in sozialen Medien und auf der Website des Unternehmens bereit. Am Montagmorgen wird Selin von Nachrichten auf ihrem Telefon geweckt. Ein Beschäftigter schreibt: „Warum haben Sie uns nicht vorab gesagt, dass wir unsere Daten nun für KI-Training verwenden?“ Ein Kunde fragt: „Werden unsere Supportgespräche zum Training von Modellen genutzt?“ Selin versteht zunächst nicht, wovon die Rede ist. Sie tippt auf den zugesandten Link. Auf dem Bildschirm sieht sie sich selbst: ihr Gesicht, ihre Stimme, ihren Sprechrhythmus. Das Video ist auf Englisch.

Der Avatar sagt: „Um das Kundenerlebnis zu verbessern, beginnen wir, unsere Supportdaten zur Verbesserung unserer KI-Systeme zu nutzen.“ Selin sieht das Video noch einmal an. Diesen Satz hat sie nie gelesen und nie freigegeben. Den vom Rechtsteam verfassten Text kennt sie. Die im Video verwendete Kurzfassung hört sie jedoch zum ersten Mal — aus ihrem eigenen Mund. Selin ruft den Marketingleiter an: „Warum wurde dieses Video veröffentlicht?“ Er antwortet: „Ihre allgemeine Avatar-Einwilligung lag vor. Das System hat den Beitrag als routinemäßige Kommunikation eingestuft.“ Selin sagt: „Diesen Satz habe ich nicht freigegeben.“

Das Technikteam schaltet sich ein und prüft die Protokolle des Avatarsystems. Die Erlaubnis zur Nutzung des Gesichts ist aktiv. Die Erlaubnis zur Nutzung des Stimmmodells ist aktiv. Der Zweck Unternehmenskommunikation ist aktiv. Der Inhaltsagent hat den Text aus einem freigegebenen Richtliniendokument abgeleitet. Der Marketingagent hat das Video als routinemäßig eingestuft. Der Veröffentlichungsagent hat ein gültiges allgemeines Veröffentlichungstoken verwendet. In den jeweiligen Protokollen erscheint jede technische Komponente als befugt. Doch niemand hat Selin den endgültigen Satz gezeigt. Selin weist an: „Stoppen Sie sofort alle Videos.“ Der zentrale Avatar-Agent stellt die Erzeugung neuer Inhalte ein.

Auf dem Verwaltungsdashboard erscheint folgende Meldung:

Avatar-Produktion pausiert.

Drei weitere Videos sind jedoch bereits auf externen Plattformen eingeplant. Eines soll zehn Minuten später online gehen. Die externe Warteschlange des sozialen Netzwerks prüft den Stoppstatus des zentralen Avatar-Agenten nicht. Ein zweites Video wird veröffentlicht. Ein drittes geht in einer anderen Sprache online. Das Technikteam greift auf jeder Plattform einzeln ein. Einige Videos werden gelöscht. Manche Kunden haben sie jedoch bereits heruntergeladen. Ein Beschäftigter hat eine Bildschirmaufnahme angefertigt. Das Video wurde in einer Branchengruppe geteilt. Eine Nachrichtenseite hat Selins Erklärung zitiert.

Das Unternehmen kann die Videos entfernen. Es kann aber nicht ungeschehen machen, dass Menschen den Satz gehört haben, den Selin nie gesprochen hat. Im Besprechungsraum schweigt Selin lange. Dann sagt sie:

„Das Bild ist meines. Die Stimme ist meine. Das Unternehmen gehört mir. Aber wem gehört der Satz?“

Niemand im Raum kann die Frage allein beantworten. Der Inhaltsagent hat den Satz erzeugt. Der Marketingagent hat ihn als risikoarm eingestuft. Der Avatar-Agent hat ihn eingesprochen. Der Veröffentlichungsagent hat ihn veröffentlicht. Menschen haben eine allgemeine Befugnis erteilt. Die Werkzeuge haben technisch funktioniert. Die Warteschlangen sind planmäßig weitergelaufen. Doch der Satz hat keinen wirklichen Verantwortlichen. Genauer gesagt: Es gibt Menschen, die für seine Wirkung verantwortlich sein müssten; das System hat diese Verantwortung jedoch in kleine technische Entscheidungen zerlegt und dadurch unsichtbar gemacht. Jemand könnte sagen: „Die KI hat ihn erzeugt.“ Doch die KI hat die Datenrichtlinie des Unternehmens nicht geändert.

Menschen haben diese Richtlinie verfasst. Die KI hat Selins Gesichts- und Stimmmodell nicht von selbst erstellt. Menschen haben die Aufnahmen angefertigt und das Modell mit dem System verbunden. Die KI hat kein eigenes Veröffentlichungskonto eröffnet. Menschen haben ihr Zugriff gewährt. Die KI hat die Grenzen der Kategorie „routinemäßiger Inhalt“ nicht aus einer eigenen Rechtsordnung abgeleitet. Menschen haben diese Kategorie definiert — oder ihre Definition versäumt. Das Problem besteht nicht nur darin, dass die KI einen falschen Satz erzeugt hat. Das eigentliche Problem lautet:

Die Identität eines Menschen wurde von seinem Recht auf das letzte Wort getrennt.

Selins Gesicht ist im System. Ihre Stimme ist im System. Ihre früheren Äußerungen sind im System. Ihre Rolle im Unternehmen ist im System. Ihr aktueller Wille ist jedoch nicht mit derselben Stärke an das System gebunden wie all diese technischen Elemente. Eine einmal erteilte weitreichende Einwilligung wurde wie ein dauerhaftes Mandat für neue Sätze verwendet. Aus dem Recht zur Produktion wurde ein Recht zur Veröffentlichung. Die allgemeine Einwilligung in Unternehmenskommunikation wurde als Blankoscheck für jede öffentliche Erklärung ausgelegt. Selins Stoppanweisung erreichte den zentralen Agenten, nicht aber die externen Warteschlangen. Das System sieht aus wie Selin.

Im entscheidenden Moment gehorcht es Selin jedoch nicht.

Es geht nicht nur um synthetische Gesichter und Stimmen

Ein anderer Mensch kann erfahren, dass ein Kreditantrag wegen eines nie offengelegten Risikowerts abgelehnt wurde. Nach einem Widerspruch bewertet dasselbe System dieselben Daten erneut und gelangt womöglich zum selben Ergebnis. Ein Beschäftigter kann widersprechen, wenn eine früher erteilte Erlaubnis zur Kontaktaufnahme für eine neue Verkaufskampagne verwendet wird. Das zentrale System kann den Datensatz ändern, während alte Warteschlangen weiterarbeiten. Ein Patient kann erklären, dass ein Termin- und Nachsorgeagent nicht länger in seinem Namen handeln soll. Das Anwendungskonto lässt sich schließen, während externe Kalender- und Benachrichtigungstoken aktiv bleiben.

Ein Kunde möchte vielleicht einen kostenlosen Testzeitraum beenden. Der Agent kann den Test mit einem einzigen Aufruf beginnen, verweist für die Kündigung aber an eine menschliche Supporthotline. Eine Bewerberin kann darauf hinweisen, dass ein Datum in ihrem Lebenslauf falsch ausgewertet wurde. Das System kann antworten: „Die Entscheidung wurde automatisch getroffen.“ In all diesen Fällen unterscheiden sich Technologien, Institutionen und Menschen. Die Gründungsfrage bleibt jedoch dieselbe:

Wenn eine Maschine Folgen für einen Menschen erzeugen kann, welches Recht darf dieser Mensch niemals verlieren?

NOMOS 13 beantwortet diese Frage in dreizehn Artikeln. Doch allen Artikeln geht ein erster Grundsatz voraus:

Das letzte Wort hat der Mensch.

Dieser Satz behauptet weder, dass Menschen stets am besten informiert sind oder immer recht haben, noch dass ein Mensch mit einer spontanen Anweisung sämtliche Sicherheitsregeln aufheben darf. Er besagt:

Einer Maschine eine Aufgabe zu übertragen verleiht ihr keine Souveränität.

Ein System kann Menschen dazu befähigen, wirksamer in der Welt zu handeln. Es darf jedoch das letzte Wort eines Menschen über seine eigene Identität, seine Rechte und seine Zukunft nicht in eine an sich selbst übertragene technische Funktion verwandeln.