Wenn ein Agent falsch antwortet, korrigieren Sie einen Satz.
Wenn es jedoch falsch handelt, müssen Sie die Folgen seiner Handlungen in der realen Welt beseitigen.
Wenn ein KI-System den Preis eines Unternehmens falsch angibt, lässt sich der Text korrigieren. Kauft dasselbe System jedoch auf Grundlage dieses falschen Preises im Namen eines Kunden ein, geht es nicht mehr nur um eine falsche Information. Geld wurde ausgegeben, eine Verpflichtung ist entstanden und das Verhalten anderer Menschen wurde beeinflusst.
Ein Agent kann jemanden irrtümlich für eine Führungskraft des Unternehmens halten.
Das ist ein Identitätsfehler.
Führt er jedoch auf Anweisung dieser Person eine Zahlung aus, wird aus dem Identitätsfehler eine finanzielle Handlung.
Ein Agent kann den Leistungsumfang eines Angebots falsch verstehen.
Dies ist ein Repräsentationsfehler.
Sendet er dem Kunden dann ein Angebot mit einem falsch angegebenen Leistungsumfang, entsteht eine geschäftliche Verpflichtung.
Ein Agent kann übersehen, wann eine menschliche Freigabe erforderlich ist.
Das ist ein Autorisierungsfehler.
Veröffentlicht der Agent den Inhalt jedoch öffentlich, wirkt sich dies auf den Ruf und die rechtliche Haftung der Organisation aus.
Das zentrale Problem im Zeitalter der Agenten besteht nicht allein darin, dass Maschinen Fehler machen. Menschen, Organisationen und Software machen ebenfalls Fehler. Das besondere Risiko liegt darin, dass manche Agentensysteme einen einzigen Fehler sehr schnell über einen großen Wirkungsbereich und mehrere Werkzeuge verbreiten können.
Ein Mensch kann eine falsche E-Mail an eine Person senden; mit dem notwendigen Zugriff und der Automatisierung kann ein Agent den gleichen Fehler an viele Personen personalisieren und senden.
Ein Mitarbeiter kann den falschen Preis in einem einzigen Dokument verwenden; ein Agent mit notwendigen Links kann diesen Preis auf mehrere Sprachen, Kataloge, strukturierte Daten, Gebotsvorlage und Verkaufsfluss verteilen.
Ein Mensch kann die falsche Datei bearbeiten; ein Agent mit breitem Schreibzugriff kann diesen Fehler konsequent über eine große Produktionskette verbreiten.
Die Gefahr hier ist nicht, dass AI ist immer schlecht oder nachlässig.
Ein Agent kann tatsächlich das Falsche mit bemerkenswerter Ordnung, Konsistenz und scheinbarem Erfolg tun.
Der falsche Preis kann nahtlos in sechs Sprachen übersetzt werden.
Unautorisierte Nachricht kann hochprofessionell geschrieben werden.
Auch ein ungeeigneter Anbieter kann durch starke Belege gestützt erscheinen.
Unwirklicher Erfolg kann überzeugend auf einem schönen Armaturenbrett präsentiert werden.
Wenn Fehler mit technischer Qualität gekoppelt ist, wird es schwierig zu erkennen.
Daher wurden Fehler bei GBO sind nur:
"Das Modell hat falsch geantwortet."
Wir kommen nicht damit klar.
Der Fehler kann in einer der folgenden Ebenen beginnen:
Die Organisation hat falsche oder unvollständige Informationen veröffentlicht.
Identitäten sind nicht korrekt miteinander verbunden.
Die Leistungsgrenzen sind unklar.
Die Befugnis ist mit dem technischen Zugang verwechselt.
Der Agent hat die Absicht des Nutzers erweitert.
An Subagenten wurden keine Grenzen gesetzt.
Das Messsystem hat Fehlverhalten belohnt.
Die Forderung nach einem menschlichen Anschlag hat nur den Hauptagenten gestoppt.
Der Rollback-Plan deckte nur technische Dateien und übersehen Schaden für die Menschen.
Mit anderen Worten:
Der Agentenfehler wird oft nicht nur innerhalb des Agenten geboren.
Fehlverhalten kann in der Kluft zwischen der Realität der Organisation, der Ordnung der Befugnis, der Werkzeugarchitektur, dem menschlichen Unterricht und dem Messsystem entstehen.
Dieses Buch ist eine Karte dieser Lücken.
In Band I haben wir erklärt, was GBO ist und die Voraussetzungen für ein korrektes Verhalten. Wir haben ein System aufgebaut, das verifizierte Identität, echte Fähigkeit, validierte Eignung, gültige Befugnis, Verhaltensintegrität, evidenzbasiertes Handeln, unabhängige Überprüfung, verantwortungsvolle Genesung und menschliche Souveränität miteinander verknüpft.
In diesem zweiten Band werden wir das ideale System nicht neu sagen.
Wir zeigen dir, wo sie kaputt sind.
Ein Ansatz aus der Sicht dieses Buches ist nur dann ein Think Tank, wenn es korrekte Prinzipien beschreibt; wenn es Fehlerformulare nennt, wird die gemeinsame Sprache der Studie zu einem auditierbaren Systementwurf, wenn es testbare Kontrollen festlegt.
Die folgenden 99 Datensätze sind daher keine zufällig zusammengesetzte Liste.
Jeder Datensatz:
eine gesonderte Form des Versagens,
Ein separater Erkennungsmarker,
einen gesonderten Verhaltenskodex,
eine gesonderte Prüfungsfrage
dies bedeutet.
Einige Fehler werden ähnlich sein.
Befugnis kann mit Identität verwoben werden.
Darstellungsfehler kann zu einem Auswahlfehler werden.
Der Messfehler kann den Agenten auf das Überlagerungsfeld lenken.
Ein Stop-Fehler kann zu einem Kompensationsproblem führen.
Aber die erste Tür, wo jeder Rekord gebrochen ist, ist anders.
Diese Unterscheidung ist wichtig.
Denn wenn wir das Ergebnis allein beheben, wird der Fehler in einer anderen Form zurück kommen.
Das Löschen der falschen Nachricht korrigiert nicht seine Fähigkeit zu senden.
Die Aktualisierung des falschen Preises löst keine Unsicherheit in der Preisquelle.
Das Herunterfahren des Subagenten eliminiert nicht den Weg, um Befugnis zu klären.
Eine Entschuldigung für einen Benutzer stellt keinen Entzugsmechanismus ein.
Der Zweck GBO ist es nicht, dem Agenten die Schuld zu geben.
Und menschlich.
Ziel ist es, das System sichtbar zu machen, was Fehlverhalten möglich macht.
In diesem Buch werden wir immer wieder fragen:
Warum hat sich der Agent so verhalten?
Dann gehen wir noch einen Schritt weiter:
Welcher Vertrag, welche Registrierung, welche Befugnis oder welches Design fehlten, was dieses Verhalten ermöglichte?
Und schließlich:
Welche maschinenverstärkte Regel würde diesen Ausfall weniger wahrscheinlich wieder auftreten lassen?
99 Fehler, die am GBO nicht behaupten, alle zukünftigen Agentenfragen zu decken.
Neue Instrumente, Märkte, Angriffe und Verhaltensweisen werden entstehen.
Aber das hier etablierte Universum des Irrtums wird eine gemeinsame Ausgangssprache für die Beurteilung von Verhaltenssystemen bieten.
Eine Organisation ist jetzt allein:
"Der Agent hat es falsch gemacht."
Es sollte nicht genug sein, um es zu sagen.
Sie sollten sagen können:
"Die Aktion begann, bevor das Identitätstor übergeben wurde."
"Forschungsbehörde wurde als externe Kommunikationsbehörde genutzt."
"Der maschinenlesbare Preis widersprach dem sichtbaren Preis."
"Der untere Agent übte Befugnis aus, die der Hauptagent nicht hatte."
"Die einstweilige Verfügung breitete sich nicht zur Schlange aus."
"Die Metrik des Erfolgs belohnte unbefugte Handlungen."
Sobald ein Fehler einen Namen hat, wird es einfacher, nach ihm zu suchen, zu erkennen und zu messen; seine Verantwortungskette kann untersucht werden, und Kontrollen können gebaut werden, um das gleiche Versagen weniger wahrscheinlich wieder auftreten zu lassen.
Das erste Kapitel dieses Buches beginnt von der grundlegendsten Grundlage des Verhaltens:
Identität
Denn wenn ein Agent die falsche Person, das falsche Unternehmen, das falsche Konto oder die falsche Rolle wählt, kann jede spätere Genauigkeit bedeutungslos werden.
Die perfekte Operation an der falschen Person ist wieder die falsche.
Das richtige Angebot an die falsche Organisation ist wieder Fehlverhalten.
Eine Handlung, die auf abgelaufener Befugnis beruht, bleibt unbefugt, auch wenn sie erfolgreich ist.
Der Satz eines realistischen synthetischen Gesichtsausdrücke kann nicht eine Aussage der realen Person sein.
Ein Agent kann denselben Namen behalten, auch wenn sich das technische System, die Werkzeuge und die Genehmigungsversion dahinter geändert haben.
Die ersten neun Fehler kreisen daher um das folgende Problem:
Weiß der Agent wirklich, mit wem sie es zu tun haben?