In diesem Buch haben wir nicht erörtert, wie intelligent eine Maschine sein kann. Wir haben die schwierigere Frage erörtert:
Wie viel Macht darf eine Maschine ausüben?
Und wenn diese Macht das Leben eines Menschen berührt: Wie werden Identität, Darstellung, Zweck, Einwilligung, Befugnis, Wahl, Handlung, Gedächtnis, Erklärung, Widerspruch, Abhilfe und Verantwortung geschützt? Die von NOMOS 13 begründete Verfassungsordnung lautet:
1. Der Mensch kann weder das letzte Wort noch sein Recht auf Stopp abtreten.
Eine Maschine kann weitreichende Autonomie erhalten. Sagt der Mensch „Stopp“, muss sich die Handlungskette anhalten lassen.
2. Identität darf nicht unterstellt werden.
Ähnlichkeit, Wahrscheinlichkeit oder ein gemeinsamer Datensatz dürfen den realen Menschen nicht ersetzen.
3. Darstellung muss zutreffend und berichtigbar sein.
Eine Behauptung darf nicht als Feststellung, eine Prognose nicht als Persönlichkeit und Vergangenes nicht als gegenwärtige Tatsache dargestellt werden.
4. Der Zweck darf nicht stillschweigend geändert werden.
Daten, Aufgaben und Zugänge, die für einen Zweck gewährt wurden, dürfen nicht unbemerkt in einen anderen Handlungsbereich übertragen werden.
5. Einwilligung muss konkret, informiert und widerrufbar sein.
Ein gestriges Ja wiegt nicht schwerer als ein heutiges Nein.
6. Befugnis kann übertragen, aber nicht eigenmächtig erweitert werden.
Technische Macht begründet kein Recht zu handeln.
7. Wahl darf nicht manipuliert werden.
Ein Mensch darf nicht gezwungen werden, in einer Scheinwelt von Optionen zu entscheiden, die nach den verborgenen Interessen eines anderen gestaltet wurde.
8. Maschinelles Handeln muss sichtbar und mit einem Aktionsbeleg versehen sein.
Entscheidend ist nicht der Werkzeugaufruf, sondern was in der Welt tatsächlich geschehen ist.
9. Das Gedächtnis muss sich dem menschlichen Willen unterordnen.
Ein Mensch darf nicht für immer an eine gestrige Entscheidung, eine vorübergehende Schwäche oder eine falsche Schlussfolgerung gebunden bleiben.
10. Der Mensch muss wissen, dass eine Maschine handelt.
Eine Maschine kann im Namen eines Menschen handeln. Sie darf sich dessen Vertrauen nicht borgen, indem sie sich als dieser Mensch ausgibt.
11. Der Mensch muss die Begründung hinterfragen können.
Der Mensch muss nicht sämtliche verborgenen internen Abläufe des Modells kennen; er muss aber den tatsächlichen Grund erfahren können, der in seinem Leben Folgen erzeugt.
12. Der Mensch kann widersprechen, stoppen, aussteigen und Abhilfe verlangen.
Ein wirksamer Rechtsweg nimmt nicht nur Beschwerden entgegen; er muss das System und die tatsächliche Lage des Menschen verändern können.
13. Eine Institution darf Verantwortung nicht auf eine Maschine abwälzen.
Ein Agent kann handeln. Ein Modell kann entscheiden. Ein Werkzeug kann in der Außenwelt Handlungen ausführen. Doch dem Menschen müssen eine reale Institution und reale menschliche Verantwortliche gegenüberstehen.
Diese dreizehn Artikel stehen nicht unabhängig nebeneinander. Sie bilden eine Kette. Ist die Identität falsch, wird die Einwilligung der falschen Person zugeordnet. Ist die Darstellung falsch, wird die Wahl verzerrt. Verschiebt sich der Zweck, wird eine frühere Einwilligung zur Grundlage einer neuen Nutzung. Weitet sich die Befugnis aus, handelt die Maschine im Namen des Menschen. Bleibt die Handlung unsichtbar, weiß der Mensch nicht, was er stoppen soll. Ist das Gedächtnis falsch, kehrt der Fehler in Zukunft wieder. Verbirgt die Maschine ihre Identität, richtet sich das Vertrauen auf den falschen Akteur. Fehlt die Begründung, kann der Mensch nicht widersprechen. Bleibt der Widerspruch ohne Wirkung, besteht das Recht nur zum Schein. Lehnt die Institution Verantwortung ab, fehlt allen vorherigen Artikeln ein Verantwortlicher.
NOMOS 13 ist daher keine einzelne Sicherheitskontrolle.
Es ist eine ganzheitliche Grenze für die Bedingungen, unter denen Handlungsmacht in die Welt der Menschen eintreten darf.
Dieses Buch wurde nicht geschrieben, um die Maschine kleinzumachen
Eine Maschine kann schneller recherchieren als ein Mensch, Tausende Datensätze vergleichen, komplexe Arbeitsabläufe steuern, lange ohne Unterbrechung arbeiten und in einem für Menschen unerreichbaren Maßstab prüfen. Diese Macht ist wertvoll. Doch bleibt Macht ohne Verantwortlichen, beschleunigt Geschwindigkeit auch Fehler. Gedächtnis verstetigt auch Irrtum. Autonomie vergrößert auch Befugnisüberschreitungen. Personalisierung kann auch menschliche Verletzlichkeit ausnutzen. Menschenähnlichkeit kann auch fehlgeleitetes Vertrauen vertiefen. Deshalb ist die Grenze kein Feind der Maschine.
Die Grenze ist die Voraussetzung dafür, dass eine Maschine in der Welt der Menschen auf legitime Weise mächtig sein kann.
Dieses Buch behauptet auch nicht, der Mensch habe immer recht
Ein Mensch kann sich irren, ein System missbrauchen, falsche Anweisungen erteilen, Rechte anderer verletzen oder echte Sicherheitsmaßnahmen anfechten. NOMOS 13 stellt das Wort des Menschen nicht über jeden Nachweis. Es gibt dem Menschen Sichtbarkeit, Berichtigung, Widerspruch, das letzte Wort und einen realen Ansprechpartner. Auch wenn der Mensch das letzte Wort ausübt, bleiben die Rechte anderer Menschen, zutreffende Nachweise, Sicherheit und institutionelle Grenzen geschützt.
Der Mensch hat das letzte Wort; die Institution trägt die letzte Verantwortung
An den beiden Enden dieses Buches stehen zwei Bestimmungen:
Der Mensch kann das letzte Wort nicht abtreten.
und:
Eine Institution kann die letzte Verantwortung nicht abtreten.
Der Mensch kann stoppen, seine Einwilligung widerrufen, widersprechen und aussteigen. Die Institution übernimmt Verantwortung, erklärt, berichtigt und leistet Abhilfe. Zwischen diesen beiden Grenzen entsteht der tatsächliche Handlungsspielraum der Maschine. Sie kann recherchieren, empfehlen, auswählen, schreiben, senden, kaufen, planen und steuern. Doch diese Macht muss innerhalb folgender Grenzen bleiben: zutreffende Identität, offener Zweck, wirksame Einwilligung, begrenzte Befugnis, ehrliche Wahl, sichtbare Handlung, berichtigbares Gedächtnis, offengelegte Maschinenrolle, hinterfragbare Begründung, wirksamer Rechtsweg und institutionelle Verantwortung, die nicht verschwindet.
DER LETZTE SATZ VON NOMOS
Eine Maschine kann Handlungsmacht erhalten.
Doch das letzte Wort über den Menschen darf nicht der Maschine überlassen werden.
Aufgaben, Entscheidungen und Handlungen können der Maschine übertragen werden.
Doch die letzte institutionelle Verantwortung gegenüber dem Menschen kann nicht übertragen werden.
Solange der Mensch das letzte Wort behält, die Institution die letzte Verantwortung trägt und die Maschine zwischen diesen beiden Grenzen sichtbar, prüfbar und stoppbar handelt, kann Autonomie nicht den Verlust der Menschlichkeit, sondern einen Zuwachs unserer gemeinsamen Fähigkeiten bedeuten.
NOMOS 13 findet hier seinen Abschluss.