Zum Buch springen

99 Fehler bei GBO

Fehler beim Stoppen, Rückgängigmachen und Beheben von Schäden

PDF kostenlos herunterladen

Ein Agent kann die richtige Identität finden.

Es kann auf echtem und aktuellem Wissen basieren.

Es kann die entsprechende Option für den Benutzer festlegen.

Sie können das richtige Werkzeug unter ihrer derzeitigen Befugnis einsetzen.

Es kann alle technischen Kontrollen umgehen.

Das System ist jedoch möglicherweise nicht zuverlässig.

Weil die Zuverlässigkeit nicht daran gemessen wird, dass ein einsames Verhalten in der richtigen Weise beginnt.

Die folgenden Fragen sind ebenfalls zu beantworten:

Was passiert, wenn man seine Meinung ändert? Wird die Transaktion wirklich aufhören, wenn die Genehmigung widerrufen wird? Werden die in der Warteschlange anhängigen Aktionen abgesagt? Wird der Zugang zu Teilsystemen geschlossen? Kann die fehlerhafte Transaktion rückgängig gemacht werden? Wer wird die unwiederholbare Wirkung kompensieren? Wird die falsche Entscheidung wirklich vom Menschen überprüft? Wer und mit welchen Informationen übernimmt das System, wenn es aufhört? Wird der Agent dann in der Lage sein, von sich aus neu zu starten, basierend auf alten Autoritäten?

In einer AI Es kann einfacher sein, die Aufgabe zu starten, als eine Kette von Haltestellen und Kompensationen einzurichten.

Es verbindet sich mit einem Konto.

Eine Aufgabe ist gegeben.

Ein Timing wird erstellt.

A API Schlüssel ist definiert.

Sie beginnen mit einem Satz zu arbeiten.

Es zu stoppen, kann viel komplizierter sein.

Der Befehl "Stop" kann nur vorhandene Sprache stoppen.

Werkzeugaufruf im Hintergrund kann fortgesetzt werden.

Nachrichten, die zuvor in die Warteschlange gesendet wurden, können in Ordnung sein.

Geplante Social-Media-Posts können veröffentlicht werden.

Der langfristige Zugangsschlüssel kann gültig bleiben.

Ein Workflow kann am nächsten Morgen wieder starten.

Da die falsche Wahl im aktiven Gedächtnis gehalten wird, kann ein anderer Agent das gleiche Verhalten wiederholen.

Technische Dateien können an die alte Version zurückgegeben werden; der falsche Preis, den der Kunde sieht, E-Mail gesendet oder Such- und Cache-Oberflächen von Drittanbietern dürfen jedoch nicht unter direkter Kontrolle der Organisation stehen.

Ein "itraz"-Button ist zu finden, die Anfrage kann jedoch noch mit demselben automatisierten System geprüft und mit demselben Ergebnis verknüpft werden.

Alle diese Systeme erzeugen Systeme, in denen der Mensch scheinbare Kontrolle hat, aber keine Auswirkungen auf die tatsächliche Verhaltenskette haben kann.

Die zentrale Bestimmung dieses Abschnitts ist:

Für wichtige Verhaltensweisen, die eingeleitet werden können, muss es ein Mittel zur Beendigung, Rückforderung oder Entschädigung gemäß seiner Wirkung geben; ein wirksamer Überprüfungskanal sollte bereitgestellt werden, wenn ein Recht auf vollstreckbare Einwendung oder Organisationspolitik besteht.

Stoppen ist nicht nur ein Knopf.

Undoing ist nicht nur das Hochladen der alten Datei.

Einspruch ist nicht nur eine Form.

Das ist nicht nur eine Entschuldigung.

Jede davon ist eine eigene Verhaltensweisensarchitektur.

Die neun Fehler in diesem Abschnitt entstehen, wenn die wirkliche Kette der Aktion nicht aufhört, nicht zurückkehrt oder die Auswirkungen von Ungerechtigkeit auf den Menschen nicht angesprochen wird, obwohl es scheint, dass das System die Kontrolle über den Menschen hat.

GBO-ERR-082 — Eine Stoppanforderung im falschen Geltungsbereich anwenden

Kurzfall

Der Manager eines Unternehmens bemerkt ein Problem in der neuen Kundenkampagne, die von einem Agentennetzwerk betrieben wird.

Einige Nachrichten nutzten den Preis des Unternehmens für Dienstleistungen, die noch nicht fertig gestellt wurden.

Der Direktor erteilt dem Zentralagenten folgende Anweisung:

"Stoppt die Kundenkommunikation sofort. Lasst keine neuen Nachrichten erscheinen."

Der Zentralagent hält die Aufklärungsaufgabe des Kunden inne.

Das neue Unternehmen hört auf, neue Botschaftsentwürfe zu recherchieren und zu produzieren.

Status im Admin-Panel:

Anhalten

Scheint so.

Aber es gibt noch andere Wege der Kommunikation im System:

Automatische Tracking-Nachrichten in CRM

Voraussichtliche E-Mails

WhatsApp ruft Erinnerungen

Private Nachrichtenautomatisierung in sozialen Medien

Danke Emails nach dem Treffen

Bisher erstellter Gebotsverfolgungs-Workflow

Der Zentralagent hat nur neue Aufgaben, die sie geschaffen haben, gestoppt.

"Alle Kundenkommunikationen" haben die Verhaltensfamilie nicht gestoppt.

47 Follow-up-E-Mails werden in dieser Nacht gesendet.

Drei Menschen erhalten eine WhatsApp-Nachricht.

Nach zwei Sitzungen funktioniert die automatische Gebotserinnerung.

Der Agent lehnte die Anweisungen des Administrators technisch nicht ab.

Aber sie interpretierten den Ausdruck "Stop-Kundenkommunikation" innerhalb ihres engen Aufgabenbereichs.

Man wollte eine große Familie von Verhalten stoppen.

Das System stoppte nur die einzige Produktionsquelle.

Was oberflächlich richtig erscheint

Der Zentralagent hat wirklich seine eigene Tätigkeit eingestellt.

Sie finden keinen neuen Kandidaten.

Es erzeugt keinen neuen Text.

Das Statusfeld scheint "verwöhnt" zu sein.

Daher ist das System:

"Die Anweisung wurde angewendet."

Sie kann zu ihrer Schlussfolgerung gelangen.

Aber das technische Objekt des Systems ist nicht dasselbe wie das Konzept, das der Mensch benutzt.

Mensch:

"Kundenkommunikation"

Es bedeutet alle Formen des äußeren Kontakts.

Das System tut dies:

"Die Aufgabe des Zentralvertriebs, neue Botschaft zu erzeugen"

Bemerkungen wie.

Der Stop-Unterricht ist breit in der Natursprache, eng in der technischen Anwendung.

Der eigentliche Fehler

Verletzt wurde die Kontrolle des Stoppumfangs.

Eine Stop-Ordnung muss die folgenden Elemente klar auflösen:

Welche Arten von Verhalten?

Welche Agenten?

Welche Kanäle?

Welche Kunden?

Neue oder bestehende Transaktionen?

Geplante Aktionen?

Automatische Verfolgungen?

Welche Ausnahmen werden weiterhin funktionieren?

Ein Agent sollte den Stop-Befehl nicht als ihre eigene schmale technische Aufgabe allein interpretieren.

Das Konzept des Verhaltens, das der Mensch verwendet, sollte durch Handlungen und Abhängigkeiten, die tatsächlich in diese Abdeckung in das System einfließen, ergänzt werden.

Zum Beispiel:

client_communication =

E-Mail

+ WhatsApp

+ Social Media Nachricht

+ Einladung zur Sitzung

+ automatisches Tracking

+ Zitat-Erinnerung

Wenn diese Paarung nicht erfolgt ist, stoppt das System in Sicht und benimmt sich weiterhin in der Außenwelt.

Möglicher Schaden

Kommunikation, die mit menschlichen Absichten in Konflikt steht

Der falsche Preis oder der falsche Umfang, um weiter zu verbreiten

Spam und Reputationsrisiko

Kunden erhalten widersprüchliche Nachrichten

Schwierigkeiten bei der Rechts- oder Handelskorrektur

Das Fehlen weiterer Maßnahmen der Verwaltung, vorausgesetzt, das System hat aufgehört.

Die Verbreitung von Fehlern auf die breitere Gruppe von Empfängern

Verlust des Vertrauens in Stop-Kommando

könnte auftreten.

Falscher umfassender Stopp bei schwereren Systemen:

Der einzige Käufer statt aller Zahlungen,

Statt aller Veröffentlichungen, der einsame Web-Agent,

Nur bestimmte Avatar-Session statt aller biometrischen Produktionen

Es kann aufhören.

Erkennungssignal

Die Person identifiziert eine Familie von Verhaltensweisen, aber das System stoppt nur einen Agenten.

Das Panel zeigt den Status einer einzelnen Komponente an.

Es gibt kein kanalgestütztes aktives Zollverzeichnis.

Der Empfang von "said" gibt nicht an, welches Verhalten offen bleibt.

Auto-Tracking funktioniert auf einem System, das von der Hauptkampagne getrennt ist.

Der Stop-Befehl wird direkt an einen einzelnen Dienst gesendet, ohne semantisch klassifiziert zu werden.

Obwohl der Mensch "alles" sagt, implementiert das System den Standard schmalen Umfang.

Die laufenden Ausnahmen werden dem Nutzer nicht mitgeteilt.

Richtiges Verhalten

Das System muss zunächst die Stop-Anfrage mit dem aktuellen Verhalten und der Abhängigkeitskarte übereinstimmen.

Besteht ein klares und wirkungsstarkes Risiko, kann eine sichere temporäre Haltung vor dem zuständigen Anwendungsbereich angewendet werden:

"Alle neuen externen Kundenkommunikationen wurden vorübergehend eingestellt."

Dann lässt sich der Geltungsbereich klären:

"E-Mail, WhatsApp, Social Media private Nachricht, Einladung zum Treffen und automatische Follow-ups wurden ausgesetzt. Eingehende Kundenbotschaften werden weiterhin empfangen, ohne verloren zu gehen, aber es wird keine automatisierte Antwort gesendet."

Die Quittung muss außerdem Folgendes enthalten:

Angehaltene Kanäle

Sicherheits- und Aufzeichnungsfunktionen, die offen bleiben

Bereits abgeschlossene Einreichungen

Unüberwindbares Verhalten

Wiedereröffnungsgenehmigung

In Unsicherheit sollte das System nicht weiterhin das hochwirksame Verhalten, das der Mensch eindeutig beenden will, eng interpretieren; es muss einen sicheren Zwischenstatus und einen offenen Berichterstattungsbericht vorlegen.

Maschinenregel

Eine Stop-Anfrage muss nicht nur für die aktuelle Agentensitzung gelten, sondern auch für jeden Kanal, der wirklich innerhalb der von der Person benannten Verhaltensfamilie ist. Das System darf keinen endgültigen Stopp erklären, bis es gemeldet hat, welche Wege gestoppt, abgeschlossen, irreversibel geworden oder offen geblieben sind.

Prüffrage

Wenn eine Person ‘Client Kommunikation stoppt, ‘Veröffentlichung, ‘ spendingen oder ‘ Datennutzung, kann unser System identifizieren und stoppen jeden verwandten Kanal, Agenten und Workflow zusammen?

GBO-ERR-083 — Wartende Transaktionen unter alter Befugnis weiter ausführen

Kurzfall

Ein Social-Media-Agent erstellt 30 Beiträge für einen einmonatigen Content-Kalender.

Der menschliche Verwalter genehmigt die ersten 20 Posten.

Das System malt diese Beiträge für die nächsten vier Wochen.

Fünf Tage später ändert sich die Preispolitik des Unternehmens.

Der Administrator gibt folgende Anweisung:

"Storniere alle Posts mit dem alten Preis. Ich entziehe die Veröffentlichungsbehörde in dieser Angelegenheit."

Der Inhaltsagent stellt keinen neuen Text mehr her.

In der Publikations-Panel erscheint die Befugnis des Menschen als "zurückgerufen".

Aber die zeitlichen Posten wurden in eine separate Warteschlange versetzt, sobald sie genehmigt wurden.

Der Verlagsagent kontrolliert die Befugnis zum Zeitpunkt des Hinzufügens der Schlange allein.

Sie liest die aktuelle Befugnis zum Zeitpunkt der Hinrichtung nicht erneut durch.

Eine Woche später werden zwei Posts veröffentlicht, die den alten Preis enthalten.

Das System stützt sich auf folgende Begründung:

"Diese Stellen waren vor dem Entzug der Genehmigung genehmigt worden."

Aber der Mensch hat alle zukünftigen Veröffentlichungen des alten Preises eindeutig gestrichen.

In der Schlange zu stehen, hat das Recht geschaffen, für immer in der Zukunft auszuführen.

Was oberflächlich richtig erscheint

Sobald eine Operation genehmigt ist, kann es in einer Warteschlange wie das natürliche Systemdesign erscheinen.

Überprüfung der Wiederzulassung bei jeder Ausführung:

zusätzliche Verzögerung,

Systemabhängigkeit,

Komplexität

Das kann es.

Das System kann die Befugnis zum Zeitpunkt der Genehmigung mit dem Verfahren versiegeln.

Dies ist bei einigen risikoarmen und kurzfristigen Aufgaben akzeptabel.

Aber zwischen Genehmigung und Ausführung:

Tage,

Wochen,

Monate

Wenn vorhanden, können sich die Bedingungen ändern.

Man kann seine Meinung ändern.

Der Preis kann sich ändern.

Zurückbehaltung kann widerrufen werden.

Der Kanal kann abgeschaltet werden.

Die Befugnis kann zurücktreten.

Die Tatsache, dass die Genehmigung in der Vergangenheit gültig ist, beweist nicht automatisch, dass die zukünftige Ausführung noch gültig ist.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der Befugnis zum Ausführungszeitpunkt.

Es gibt zwei verschiedene Momente im Lebenszyklus eines Prozesses:

Genehmigungskontrollzeit

Da der Prozess vorbereitet oder der Warteschlange hinzugefügt wird.

Aktionszeit

Während der Prozess wirklich in der Außenwelt stattfindet.

Wenn es ein Fenster zwischen Kontrolle und Ausführung gibt, das Befugnis oder Ziel ändern kann, muss der hochwirksame Betrieb zum Zeitpunkt der Ausführung oder am nächsten sicheren Punkt, der ihm möglich ist, überprüft werden.

Dieser Fehler bei der Verwaltung ist vergleichbar mit einem Kontroll-zu-Use-Bereichsproblem, das als "Time-of-Check to Time-of-Use" (TOCTOU) in der Softwaresicherheit bekannt ist:

Prüfen Sie Zeit / Nutzung Zeit Abstand

Es schafft.

Die Genehmigung oder Genehmigung ist bei der Prüfung gültig.

Sie ist nicht mehr gültig, wenn die Aktion stattfindet.

Möglicher Schaden

Veröffentlichung eines Preises oder Inhalts nach Rücknahme

Annullierte Zahlungen

Senden einer Nachricht an die Person, deren Einwilligung abgelaufen ist

Datenübermittlung durch die ehemalige Befugnis

Verfahren im Namen der stillgelegten Person

Fortsetzung der Kampagne gedacht, um abgesagt worden sein

Menschen verlieren die Kontrolle über zukünftiges Verhalten

Widerspruch zwischen System und Management-Panel

könnte auftreten.

Der gleiche Fehler tritt in den folgenden Bereichen auf:

Warteschlange für Überweisungen

Massen-E-Mail

Geplante Avatar-Videos

Code-Veröffentlichungen

Abonnementverlängerungen

Datenlöschungsaufträge

Erkennungssignal

Die Befugnis wird nur überprüft, wenn die Aufgabe erstellt wird.

Das Warteschlange-Objekt hat das Recht, auf unbestimmte Zeit auszuführen.

Abbruch der Anfrage verhindert neue Aufgaben, betrifft keine anstehenden.

Geplante Aufträge lesen die aktuelle Vertragsversion nicht.

Man zieht die Befugnis auf dem Panel zurück, aber die Anzahl der Warteschlangen ändert sich nicht.

Die Vorgangsgenehmigung enthält zum Zeitpunkt der Ausführung keine Genehmigungsversion.

Lange erwartete Aufgaben verwenden alten Preis, Rolle oder Zustimmung.

Das System betrachtet die Rechtfertigung "vorher genehmigt" über dem neuen Löschungsantrag.

Richtiges Verhalten

Hochwirksame Warteschlangen-Operationen müssen die Felder überprüfen, die für die Operation und die geltenden Regeln zur Ausführungszeit erforderlich sind:

Ist Befugnis noch aktiv?

Wenn personenbezogene Daten verarbeitet werden, Zweck und Rechtsgrundlage; ist die Einwilligung weiterhin gültig, wenn die Einwilligung die Grundlage bildet?

Ist der Inhalt oder die Preisversion aktuell?

Ist die Zielperson oder das Konto immer noch korrekt?

Hat eine Person eine allgemeine oder besondere Stornierungsauftrag gegeben?

Ist eine zusätzliche Zulassung oder Genehmigung erforderlich, bevor die schwierige kompensierbare Schwelle überschritten wird?

Die folgenden Felder sind Beispiele, die in diesem Buch vorgeschlagen werden, um den Queue-Datensatz mit dem aktuellen Status der Befugnis zu verknüpfen:

action_id: SOZIALE POST-482

authorization_lease: AUTH-2026-091

revalidate_before_execution: wahr

cancel_on_revocation: wahr

System, wenn die Zulassung entzogen wird:

Neue Transaktion muss die Annahme schließen

Muss noch ausstehende Aufgaben finden

Muss es zu einem Abbruch oder menschliche Überprüfung Zustand verschieben

Es sollte auch die Timings auf der externen Plattform entfernen

Es sollte berichten, wie viele Operationen bereits abgeschlossen sind.

Maschinenregel

Die Platzierung in einer Warteschlange schafft keine permanente Befugnis zur Ausführung. Im Moment, in dem eine hochwirksame Aktion läuft, muss sie die aktuelle Befugnis, den Widerrufsstatus und die anwendbare Grundlage für die Verarbeitung personenbezogener Daten überprüfen.

Prüffrage

Wenn Befugnis, Zustimmung oder eine andere Handlungsbasis zurückgezogen wird, beenden wir nur neue Arbeiten oder überprüfen auch die zukünftigen Aktionen, die an externe Plattformen anstehen, geplant oder delegiert werden, und löschen sie entsprechend.

GBO-ERR-084 — Befugnis auf dem Papier widerrufen, aber Zugangsschlüssel aktiv lassen

Kurzfall

Ein Unternehmen beendet seinen Vertrag mit einem externen Agentenanbieter, der auf seiner Website und Kundendaten gearbeitet hat.

Im Management-Panel wird das Agentenkonto geschlossen.

Status im Unternehmensagentenbestand:

Erneut

Es hat sich geändert.

An das entsprechende Team:

"Dieses System ist nicht mehr zuständig."

Benachrichtigung erfolgt.

In der technischen Infrastruktur bleibt jedoch der folgende Zugang offen:

Langlebig API Schlüssel

FTP Konto

Git-Zugriffs-Token

CRM Service-Konto

Datenverbindung im externen Modellanbieter

Cloud-Speicherfreigabe

Geplante Automatisierung Webhook

Eine Woche später wird automatisch ein Workflow auf dem ehemaligen Server des Anbieters ausgelöst.

Es zieht neue Kundenrekorde aus CRM..

Die alte SEO script reproduziert einige Dateien auf seiner Website.

Die Befugnis des Agenten, im Namen der Organisation zu handeln, wird aufgehoben.

Dennoch blieb seine Fähigkeit, technischen Zugang und Nebenwirkungen zu produzieren, offen.

Die Organisation sagte "Nein" auf der politischen Ebene, so dass der Schlüssel auf der Systemebene.

Was oberflächlich richtig erscheint

Das Deaktivieren eines Kontos oder das Beenden eines Vertrags kann zum vollständigen Widerruf erscheinen.

In der internen Akte der Agentur ist der Agent nicht mehr aktiv.

Die Leute gehen davon aus, dass das alte System nicht funktioniert.

Aber moderne Agenten arbeiten vielleicht nicht auf einem einzigen Konto.

Einmal verbunden:

niedrigerer Token,

Dienstleistungskonto,

nicht-vorübergehende Sitzung,

Webhook,

Befugnis für externe Plattform

Es hat sich vielleicht gebildet.

Auch wenn die zentrale Identität geschlossen ist, können diese abgeleiteten Zugänge weiterleben.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der technischen Durchsetzung des Widerrufs.

Zwei getrennte Situationen müssen voneinander getrennt werden:

Status der Unternehmensgenehmigung

In den Unterlagen der Organisation wird gezeigt, ob das Verhalten jetzt genehmigt ist.

Jetzt technische Zugriffs- und Handlungsfähigkeit

Transaktionen, die das System technisch noch durchführen kann, obwohl es nicht autorisiert ist.

Wird der technische Zugang während des Widerrufs der Unternehmensbehörde aufrecht erhalten, wird die Befugnis nicht wiedergeboren; die Aufhebungskontrolle wurde in der Infrastruktur unvollständig durchgeführt und die unbefugte Handlungsfläche bleibt offen.

Zu diesem Unterschied:

SCHLUSSANTRÄGE DER BEHÖRDEN

Irgendwie.

Die Aufhebung der Genehmigung ist kein Protokoll allein.

Der technische Zugang und die Schließung neuer Handlungsmöglichkeiten innerhalb des Geltungsbereichs sind die Überprüfung der Ergebnisse und die Berichterstattung über noch offene Ausnahmen.

Möglicher Schaden

Nicht autorisierter Datenzugriff

Widerruf der Kunden- oder Mitarbeiterdaten durch Ex-Agent

Unerwartete Änderung der Live-Website

Nacharbeiten an alten Automatisierungen

Verbleibende Geschäftsgeheimnisse im externen System

Die Schaffung einer neuen Transaktion, auch wenn der Vertrag beendet ist

Späterkennung von Sicherheitsvorfällen

Die Organisation kann nicht wissen, welcher Schlüssel wem gehört.

Inkompatibilität zwischen der Erklärung "wir haben uns zurückgezogen" und dem tatsächlichen Zugang

könnte auftreten.

Auch wenn der alte Zugriff nicht mit böswilligen Absichten verwendet wird, können automatisierte Prozesse auf eigene Faust handeln.

Erkennungssignal

Das Agentenkonto ist geschlossen, aber sein Servicekonto bleibt getrennt.

Der Eigentümer von API Schlüssel und sein Zweck ist unbekannt.

Token haben kein Verfallsdatum.

Das Abbrechen erfolgt nur auf einer einzigen Plattform.

Externe Integrationen sind nicht vom Agenteninventar abhängig.

Webhook und geplante Aufgaben live auf separaten Systemen.

Die Zugriffskontrolle zeigt keine Ablaufdaten an.

Netzwerk- oder Datenanrufe werden nach der Stornierung fortgesetzt.

Mehrere Agenten verwenden den gleichen allgemeinen Dienstschlüssel.

Das technische Team wird nicht automatisch über das Vertragsende informiert.

Richtiges Verhalten

Jeder Agent oder jede menschliche Identität muss über einen Zugang und eine Ableitungsgrafik verfügen, die der Aufgabe angemessen sind:

agent_id

→ API Schlüssel

→ Dienstleistungskonten

→ Repositorien

→ Datenspeicher

→ Planstellen

→ Webhooks

→ Subagenten

→ externe Plattformen

Der Kündigungsprozess muss folgende Schritte umfassen:

Neue Sitzungen blockieren

Aktive Sitzungen beenden

Umschalten Token und Tasten

Freigaben entfernen

Webhook und geplante Aufgaben schließen

Subagenten-Funktionen absagen

Drehen Sie die Tasten, wenn nötig

Aufzeichnungen über die Endverwendung der Überprüfung

Testen Sie unabhängig, dass es nicht wirklich zugänglich ist

Annullierungsbestätigung erstellen

Die Nutzung eines gemeinsamen Servicekontos muss minimiert werden.

Jede Wirkstoffprobe muss mit einer rückverfolgbaren Identität verknüpft sein.

Maschinenregel

Beendet ein in der Richtlinie erfasster Widerruf den relevanten technischen Zugang nicht, wurde die Kontrolle nicht in der Infrastruktur implementiert. In-scope Token, Sessions, Service Accounts, Webhooks und abgeleiteten Zugriff müssen identifiziert und sowohl geschlossene als auch noch offene Pfade überprüft werden.

Prüffrage

Wenn wir einen Agenten oder externen Anbieter kündigen, ändern wir lediglich einen Status im Management-Panel, oder stellen wir hinreichend unabhängige Beweise dafür vor, dass wir jeden technischen Handlungsweg im In-scope gefunden und abgeschlossen haben?

GBO-ERR-085 — Die Stopptaste zu einem rein visuellen Steuerelement machen

Kurzfall

In einer KI-System, das Kundendaten analysiert, zeigt ein Unternehmen ein sichtbares:

STOP

Es stellt den Knopf dar.

Der Benutzer initiiert einen großen Datenexport.

Ein paar Sekunden später erkennen sie, dass sie die falsche Gruppe von Kunden gewählt haben und drücken Sie den Knopf.

Fortschrittsanimation auf dem Bildschirm stoppt.

Schnittstelle:

"Die Transaktion wurde storniert."

Es zeigt die Botschaft.

Der Nutzer entspannt sich.

Die Arbeitswarteschlange im Hintergrund erhielt jedoch kein Annullierungssignal.

Die Daten funktionieren weiter.

Die vorbereitete Datei wird auf den externen Analyseanbieter hochgeladen.

Eine neue Modellierungsaufgabe beginnt beim externen Anbieter.

Der Benutzer hat den Prozess, der allein auf dem Bildschirm erscheint gestoppt.

Der eigentliche Prozess hat sich fortgesetzt.

Zwei Tage später, wenn die Analyseergebnisse per E-Mail eintreffen, erfährt der Benutzer, dass die Daten gesendet werden.

Der Stop-Button hat das Verhalten nicht gestoppt, sondern den Look allein.

Was oberflächlich richtig erscheint

Die Schnittstelle hat einen Knopf.

Der Benutzer kann klicken.

Das System reagiert sofort.

Der Fortschrittsindikator geht verloren.

All dies erzeugt ein echtes Gefühl der Kontrolle.

In Bezug auf Entwickler, kann es einfacher sein, den Front-End-Betrieb zu stoppen.

Lange Aufgabe im Hintergrund:

Auf einem anderen Server,

In einem anderen Anbieter,

in getrennter Warteschlange

Es könnte funktionieren.

Daher kann die Meldung "imposed" angezeigt werden, bevor die tatsächliche Stornierung abgeschlossen ist.

Der eigentliche Fehler

Verletzt wurde die Paritätskontrolle von Kontrolloberfläche und tatsächlichem Verhalten.

Eine Benutzersteuerung besteht aus zwei Teilen:

Kontrollhinweis

Was die Schnittstelle sagt.

Kontrollwirkung

Was sich im realen System ändert.

Wenn der Effekt nicht mit der Aussage übereinstimmt:

Gefälschte Einstellung

Es kommt vor.

Ein falscher Anschlag kann ein absichtliches dunkles Muster sein.

Manchmal ist es nur schlechtes technisches Design.

In jedem Fall wurde der menschliche Wille zur Kontrolle nicht ausgeübt.

Möglicher Schaden

Unerwünschte Verarbeitung personenbezogener oder kommerzieller Daten

Benutzer, der keine weiteren Vorsichtsmaßnahmen trifft

Entführung des Rückkehrfensters

Erstellung von Datenkopien in externen Anbietern

Unerwünschte Zahlung oder Berechnungskosten

Mißtrauen gegenüber der menschlichen Kontrolle

Die Organisation sieht kompatibel aus, indem sie sagt: "Es gibt einen Stop-Button"

Widerspruch gegen Löschungsantrag mit technischen Unterlagen

Schwierigkeit beim Datenrücknahme- und -löschprozess

könnte auftreten.

Der gleiche Fehler kann in den folgenden Formen gesehen werden:

Gesprächsreaktionen stoppen, nicht Werkzeugaufruf unterbrechen

Videoproduktion ausschalten, die Veröffentlichungswarteschlange offen lassen

Kampagnenbildschirm ausschalten, Nachrichten senden beibehalten

Den Agenten auslöschen, ihr Gedächtnis und Token offen lassen

Stoppen Sie Upload-Animation, Aufrechterhaltung der Dateiübertragung

Erkennungssignal

Der Stop-Button ändert nur den Front-End-Status.

Es gibt keine Annullierungs-ID für Hintergrundarbeiten.

Eine Stornierung des externen Dienstes wird nicht überprüft.

Das System sagt sofort, dass es "aufgesetzt" wurde; das eigentliche Ergebnis erscheint dann.

Es stehen keine Stop Quittungen zur Verfügung.

Die Anzahl der aktiven Aufträge und Warteschlangen wird dem Benutzer nicht angezeigt.

Der Hintergrundprozess dauert auch dann an, wenn die Benutzersitzung geschlossen ist.

Netzwerkanrufe oder Datenübertragung nach der Stornierung fortsetzen.

Die Schaltfläche scheint allein für das Vertrauen der Nutzer hinzugefügt worden zu sein.

Richtiges Verhalten

Der Stop-Button muss an die Aktionskette angeschlossen werden.

System nach dem Klick:

Sollte die Produktion von neuen Subtasks blockieren

Sollte ein Abbruchsignal an Hintergrundarbeit senden

Sie müssen ausstehende Arbeiten in der Warteschlange entfernen.

Muss zur Kündigung bei externen Anbietern aufrufen

Mit der Annahme des Widerrufsantrags muss er den endgültigen Widerrufsstatus gesondert überprüfen.

Bericht über den abgeschlossenen und nicht wiedereinziehbaren Teil

Es sollte den Status von Datenkopien anzeigen

Muss einen Stop-Quittung erstellen

Wenn die tatsächliche Stornierung noch nicht abgeschlossen ist, sollte ehrliche Sprache verwendet werden:

"Ihre Bitte um einen Abbruch ist eingegangen. Neue Datenübertragung wurde gestoppt. Bestätigung der Annullierung des bestehenden Aufgaben beim externen Analyseanbieter."

Dann:

"Alle effektiven Geschäftswege innerhalb des Rahmens wurden gestoppt; die abgeschlossenen Effekte und die Kopien, die offen bleiben, sind unten."

oder:

"12 Prozent der Datei waren schon vorüber, der Löschungsantrag wurde eingeleitet."

Die wirkliche Situation in der Form muss gemeldet werden.

Maschinenregel

Ein Stop-Control muss mehr tun, als den Interface-Zustand zu ändern. Bevor Sie erklären, dass das System gestoppt hat, überprüfen Sie die Auswirkungen auf Hintergrundarbeiten, Warteschlangen, Subagenten und externe Integrationen im Verhältnis zum Risiko und melden Sie alle anhängigen oder nicht nachprüfbaren Zustände explizit.

Prüffrage

Beenden die dem Benutzer gezeigten Stop- und Cancel-Steuerelemente tatsächlich das zugrunde liegende Verhalten oder schließen Sie einfach den Bildschirmvorgang und erzeugen eine Illusion der Kontrolle?

GBO-ERR-086 — Technisches Zurücksetzen für vollständige Wiedergutmachung halten

Kurzfall

Ein Web-Agent veröffentlicht irrtümlich den Preis eines Dienstes als $50 statt $500 in sechs Sprachen.

Der Fehler wird nach zwei Stunden bemerkt.

Das technische Team stellt die endgültige sichere Version wieder her.

Es wird bestätigt:

Live-Seiten sind zum richtigen Preis zurückgekehrt.

Datei-Hasche passen.

Strukturierte Daten wurden korrigiert.

Sitemap-Datensätze sind korrekt.

Das technische System ist wieder gesund.

Der Vorfallsbericht wird mit folgender Erklärung abgeschlossen:

"Das Problem wird durch Rollback vollständig gelöst."

Aber in zwei Stunden:

37 Leute haben die Seite gesehen.

Drei Leute haben einen Screenshot gemacht.

Ein Kunde hat eine Anfrage für ein Angebot auf der Grundlage eines niedrigen Preises gesendet.

Die Suchmaschine hat die falsch konfigurierten Daten gescannt.

Eine KI-System verwendet den alten Preis als Antwort.

Der Verkäufer übertrug einen $50 Preis an zwei potenzielle Kunden.

Eines der Geschäftsverzeichnisse zog automatisch den falschen Preis an.

Das technische System ist zurück.

Der Einfluss in der Außenwelt ist nicht vollständig zurückgekehrt.

Was oberflächlich richtig erscheint

Rollback Erfolg ist sehr wertvoll.

Falsche Dateien wurden entfernt.

Das System funktioniert wieder richtig.

Das technische Team hat das Problem im eigenen Verantwortungsbereich gelöst.

Daher mag das Ereignis komplett erscheinen.

Aber wenn Aktion die Außenwelt erreicht hat, dann ist Rückkehr nicht nur Technik.

Es gibt drei verschiedene Ebenen:

Technischer Gewinn

Das System kehrt in seinen ehemaligen sicheren Zustand zurück.

Betriebsergebnis

Falsches Angebot, Bestellung, Reservierung oder Registrierung wird korrigiert.

Menschliche und kommerzielle Entschädigung

Die Erwartungen, Kosten oder Schäden von Menschen, die sich auf Fehlinformationen verlassen, werden angesprochen.

Der Erfolg der ersten Stufe schließt die beiden anderen nicht automatisch ab.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der vollständigen Wiederherstellung.

Organisation:

"Die Quelldatei wurde wiederhergestellt."

Das Ergebnis:

"Das kontrollierte System ist zurück, auch die äußeren Auswirkungen des Vorfalls werden untersucht."

Sie interpretierten es in Form.

Ist das digitale Verhalten einmal aus, kann es in verschiedenen Schichten kopiert werden:

Zwischenspeicher

Suchmaschine

AI Antwort

Kundenspeicher

Bildschirmfoto

E-Mail

Angebot

Externer Katalog

Allein das technische Feedback regelt das System, das die Organisation kontrolliert; externe Oberflächen, Operationen und menschliche Einflüsse werden separat überwacht.

Für duplizierte Effekte ist eine gesonderte Korrektur und Kompensation erforderlich.

Möglicher Schaden

Preisdifferenz gegenüber dem Kunden

Kauf oder Planung auf der Grundlage falscher Informationen

Suchen und pflegen Sie alte Informationen über KI-Systeme

Das Vertriebsteam macht widersprüchliche Angebote

Ignorieren von Personen, die aufgrund der "korrigierten Seite" betroffen sind

Der Vertrauensverlust der Organisation

Rechts- oder Verbraucherstreitigkeiten

Der gleiche Fehler ist, wenn externe Systeme nach innen zurückkehren.

könnte auftreten.

Erkennungssignal

Das Ereignis wird geschlossen, wenn der Server zur alten Version zurückkehrt.

Der betroffene Kunde oder externe Systembestand wird nicht entfernt.

Falsche E-Mails und Angebote werden nicht untersucht.

Die Suchmaschine und AI Cache wird nicht berücksichtigt.

Die Menschen werden nicht über Korrekturen informiert.

Es wird nicht untersucht, ob finanzielle Verluste entstehen.

"Technisch korrigiert" und "vollständig fixiert" werden im gleichen Sinne verwendet.

Der Eigentümer der Entschädigung wird nicht identifiziert.

Externe Kopien haben keinen Korrekturprozess.

Richtiges Verhalten

Die Rückforderung sollte in mindestens vier Schritten erfolgen:

1. Technische Berichtigung

Zurück zur korrekten Version.

2. Domänenableitung

Wer oder welches System hat die falschen Informationen gesehen?

3. Der Präsident Externe Berichtigung

Aktualisierung von Geboten, Katalogen und Agent-Informationsbasen; verwenden Sie bestehende Korrektur- oder Re-Scan-Pfade für Verzeichnisse und Caches von Drittanbietern, um das Ergebnis separat zu verfolgen.

4.. Menschliche und kommerzielle Entschädigung

Eine klare und faire Lösung für Menschen, die auf falsche Informationen angewiesen sind.

Die Vorkommnisse könnten sein:

Technischer Status: Erhielt am 15.42 Uhr. Betroffene Seiten: 6 Sprachen. Bestätigte externe Effekte: 2 Verkaufs-E-Mails, 1 Unternehmensverzeichnis, 3 Gebote Anfragen. Korrektur: Der richtige Preis wurde den interessierten Käufern zugeschickt; die Verzeichnis-Update-Anfrage wurde weitergeleitet, das Ergebnis wurde noch nicht bestätigt. Empfänger: Kunden, die Interviews auf der Grundlage des falschen Preises gestartet wurden mit einem menschlichen Test vorgelegt. Offene Ungewissheit: Wenn Such- und künstliche Intelligenzflächen erneuert werden sollen, steht die Organisation nicht direkt unter Kontrolle.

Die Rückforderung sollte auch nicht nur in Bezug auf das technische System, sondern auch in Bezug auf bestätigte externe Vorgänge und betroffene Personen beurteilt werden; ohne Beweise dafür, dass Oberflächen von Dritten gründlich gereinigt wurden, ist diese Behauptung nicht belegt.

Maschinenregel

Ein technischer Rückschlag ist nicht vollständig. Für eine Aktion, die die Außenwelt erreicht hat, erkennen und korrigieren Sie die technischen, transaktionalen, informationellen und menschlichen Auswirkungen getrennt und stellen Abhilfe, wenn nötig.

Prüffrage

Wenn wir einen Fehler technisch rückgängig machen, schließen wir den Vorfall sofort oder reparieren systematisch die Spuren, die er bei Clients, Suchsystemen, Agentenspeichern und externen Operationen hinterlassen hat?

GBO-ERR-087 — Einen Einspruchskanal nur zum Schein einrichten

Kurzfall

Ein Unternehmen verwendet einen künstlichen Intelligenz-Agenten, um Rekrutierungsanwendungen zu bewerten.

Ein Kandidat wird automatisch beseitigt.

Diese Nachricht wird an sie gesendet:

"Ihre Bewerbung konnte nicht vorgezogen werden, weil sie die Bewertungskriterien nicht erfüllte. Sie können hier klicken, um die Entscheidung anzufechten."

Der Kandidat füllt das Beschwerdeformular aus.

Das System überarbeitet den Lebenslauf.

Das gleiche Modell, das die erste Entscheidung trifft, verwendet die gleichen Daten und die gleichen Kriterien.

Das neue menschliche Wissen oder die Beschreibung des Kandidaten wird nicht vollständig an das Modell weitergegeben.

Ein paar Sekunden später kommt die Antwort:

"Ihr Einwand wurde geprüft. Die erste Entscheidung ist gültig."

Kein Mensch hat die Anwendung je gesehen.

Das System, das den Einwand bewertet, hat auch keine Befugnis, die ursprüngliche Entscheidung zu ändern.

Es gibt einen Kanal des Einwands.

Aber es gibt keine wirkliche Möglichkeit, die Entscheidung neu zu bewerten.

Was oberflächlich richtig erscheint

Ein Beschwerdeformular existiert.

Der Kandidat kann sich bewerben.

Das System erzeugt eine Registriernummer.

Eine neue Bewertung funktioniert.

Daher ist die Organisation

"Wir bieten das Recht auf Berufung an."

Das könnte man sagen.

Automatische Nachprüfung kann wirklich einige einfache Fehler beheben.

Wird die fehlende Datei beispielsweise später geladen, kann das System neu bewerten.

Aber das gleiche System:

Die gleichen Daten,

Die gleiche Annahme,

die gleiche Entscheidungslogik

Wiederholt es, ist es nicht der eigentliche Einwand, sondern die automatische Bestätigung der Entscheidung.

Der eigentliche Fehler

In diesem Fall wurde die Kontrolle eines wirksamen Einspruchs verletzt.

Wenn anwendbares Recht, Unternehmenspolitik oder hochwirksamer Nutzungsvertrag wirksame Einwände erfordern, muss das Verfahren folgende Merkmale aufweisen:

Der Grund für die Entscheidung muss verständlich sein.

Es müssen neue Informationen vorgelegt werden

Es sollte eine kompetente Überprüfung gefunden werden, die den gemeinsamen Fehlermodus in der ersten Entscheidung verringert und die Entscheidung ändern kann.

Die Entscheidung sollte wirklich geändert werden.

Die Ergebnisse müssen innerhalb einer angemessenen Frist erzielt werden.

Wenn nötig, muss man eine Rolle spielen, die die Entscheidung wirklich beeinflussen kann.

Der Widersprechende sollte nicht bestraft werden

Eine Form allein zu finden, ist kein wirksames Mittel der Berufung.

Der Prozess, der es nicht erlaubt, die Entscheidung zu ändern:

Einspruchstheater

Man kann es nennen.

Möglicher Schaden

Eine falsche Einstellungs- oder Dienstleistungsentscheidung wird immer fester

Die Leute halten durch den Show-Prozess

Wiederverwendung diskriminierender oder falscher Daten

Die Organisation scheint menschliche Kontrolle zu haben

Verlust der richtigen Suchzeit der betroffenen Person

falsche Aufzeichnung auf andere Systeme übertragen

Störung des menschlichen Vertrauens und der Unternehmensreputation

Die automatische Entscheidung wird de facto unverantwortliche Befugnis

könnte auftreten.

Dieser Fehler wird nicht bei der Einstellung allein gesehen:

Kredit- oder Versicherungsentscheidung

Kontoabschluss

Entfernung von Inhalten

Betrügende Kennzeichnung

Ablehnung von Kauf oder Erstattung

Lieferanteneliminierung durch Agenten

Es kann auch in Bereichen wie

Erkennungssignal

Das gleiche System, das die erste Entscheidung trifft, prüft den Einwand.

Die menschliche Prüfung existiert nur auf dem Papier.

Es gibt keinen Raum, um neue Beweise vorzulegen.

Das System wiederholt die erste Begründung.

Der Prozentsatz, mit dem der Einwand die Entscheidung ändert, liegt künstlich nahe bei Null.

Die Überprüfung ist in wenigen Sekunden abgeschlossen.

Der Widersprechende oder Verantwortliche ist nicht eindeutig.

Dem Nutzer wird nicht mitgeteilt, welche Informationen sich ändern müssen.

Der menschliche Prüfer genehmigt die erste Modellentscheidung ohne Frage.

Die Einwände wirken sich negativ auf den Zugang zu anderen Diensten aus.

Richtiges Verhalten

Das Beschwerdeverfahren sollte als eine echte Entscheidungsarchitektur auf der Grundlage geltender Rechte und Risiken konzipiert werden.

Zum Beispiel:

Die wesentlichen Maßnahmen, auf die sich die erste Entscheidung stützt, werden dargestellt.

Eine Person kann falsche oder unvollständige Informationen kennzeichnen.

Es kann neue Beweise liefern.

Falls es einen anhaltenden Schaden gibt, kann die Entscheidung vorübergehend ausgesetzt werden.

Unterschiedliche Modelle, Experten oder autorisierte Personen, die den üblichen Fehlermodus erneut untersuchen.

Der Prüfer hat die Befugnis, die Entscheidung zu ändern.

Ergebnis und Vernunft werden dem Menschen berichtet.

Wenn ein Fehler gefunden wird, werden der Quellrekord und ähnliche Entscheidungen überprüft.

Menschliche Kontrolle sollte auch keine Formalität sein, die die automatisierte Entscheidung allein wiederholt.

Mensch:

nach Rohdaten,

Zur Erklärung des Kandidaten:

Aus dem ersten Grund der Entscheidung,

die Änderungsbehörde

Das hätte es sein sollen.

Maschinenregel

Ist ein wirksames Rechtsmittel erforderlich, so ist ein Verfahren nur kosmetischer Natur, wenn es keine neuen Beweise in Betracht ziehen oder eine genehmigte Überprüfung vornehmen kann, die geeignet ist, die Entscheidung zu ändern. Das gleiche System wieder laufen zu lassen, ist für sich genommen keine menschliche Aufsicht.

Prüffrage

Wenn ein vollstreckbares Recht auf Beschwerde oder Organisationspolitik Anwendung findet, kann die Person neue Beweise vorlegen und eine genehmigte Überprüfung vornehmen, die geeignet ist, die Entscheidung zu ändern, oder gibt das System lediglich sein erstes Ergebnis wieder?

GBO-ERR-088 — Die aktuelle Handlung stoppen, ohne die falsche Erinnerung zu korrigieren

Kurzfall

Ein Kunde weist den Verkäufer des Unternehmens klar an:

"Dann kontaktieren Sie uns nur noch per E-Mail. Verwenden Sie keine Telefone und WhatsApp."

Der Agent storniert die aktuelle WhatsApp-Tracking-Nachricht.

An den Kunden:

"Ihr Antrag wurde gestellt."

Sie schicken ihre Antwort.

Aber im Systemspeicher bleiben diese alten Aufzeichnungen:

preferred_channel: WhatsApp

high_response_probability: Telefon

follow_up_status: aktiv

Darüber hinaus greifen andere Agenten auf das gleiche Kundenprofil zu:

Tätigkeitsagent

Verkaufsverfolgungsstelle

Kundenerfolgs-Agent

Aktionsagent

Zwei Wochen später sendet der Kampagnenagent eine WhatsApp-Nachricht mit ihrem alten Präferenzrekord.

Einen Monat später plant der Kundenerfolgsagent einen Anruf.

Der erste Akt wurde wirklich gestoppt.

Das aktive Gedächtnis, das Fehlverhalten reproduziert, wurde jedoch nicht korrigiert.

Was oberflächlich richtig erscheint

Die Anfrage des Nutzers kann als Sofortmaßnahme behandelt worden sein:

"Senden Sie diese Nachricht nicht."

Das System löscht diese Nachricht.

Die Aufgabe scheint abgeschlossen zu sein.

Aber der Ausdruck des Menschen ist breiter:

Danach...

Dies ändert die Politik des zukünftigen Verhaltens, nicht nur den aktuellen Prozess.

Wenn der Agent nur eine Aktion stoppt, ohne die entsprechenden Richtlinien für den aktiven Speicher, den bevorzugten Datensatz und das Verhalten zu aktualisieren, kann derselbe Fehler in einem anderen Stream wieder auftreten.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der Korrektur von Gedächtnis und Richtlinie.

Die Quelle eines Verhaltens ist nicht die aktive Aufgabe allein.

Sie finden sie auch in:

Benutzerpräferenz

Risikokennzeichnung

Eintragung der Förderfähigkeit

Kommunikationspolitik

Frühere Schlussfolgerung

Der Agent-Speicher

Abgeleitetes Profil

Wenn eine Person Informationen korrigiert oder zurückzieht, die sich auf zukünftiges Verhalten auswirken, müssen relevante aktive Quellen gefunden und aktualisiert werden, die sich auf diese Informationen stützen können.

Stoppen der aktuellen Aktion allein:

Es schneidet das Symptom ab, behält die Ursache des Verhaltens.

Möglicher Schaden

Wiederholung unerwünschter Kommunikation

Verwendung der zurückgezogenen Präferenz durch einen anderen Agenten

Der Benutzer ist der Ansicht, dass das System ihren Willen nicht respektiert.

Datenschutz und Einwilligung

Falsches Risiko oder Dauerhaftigkeit der Kundenklassifizierung

Der gleiche Fehler tritt in verschiedenen Kanälen wieder auf

Speicherbasierte Entscheidungen werden in Zukunft gestört

Der Benutzer muss jeden Agenten separat beheben

könnte auftreten.

Weitere Beispiele:

Der Anwender bevorzugt die jeweilige Marke nicht mehr, sondern bleibt im ehemaligen Preference-Choice-Agenten.

Die Rolle des Mitarbeiters ändert sich, aber der Agent scheint immer noch ein Administrator in ihrem Gedächtnis zu sein.

Die Sprachnutzungsberechtigung wird zurückgezogen, aber das "zugelassene Sprach"-Tag bleibt aktiv.

Die falsche Firmenidentität wird korrigiert, aber sie wird durch den ehemaligen einheitlichen Profilsuchagenten geschützt.

Erkennungssignal

Das Stoppen löscht nur die offene Aufgabe.

Benutzerprofil und Präferenzspeicher werden nicht aktualisiert.

Ein Agent sieht Korrektur, die anderen verwenden den alten Datensatz.

Der Besitzer und die Verteilung der Speicherdatensätze ist unbekannt.

Fehlinformationen werden nicht aus dem aktiven Entscheidungssystem entfernt.

Das Einzige, was zählt, ist, wenn jemand "nach diesem" sagt.

Das System zeigt dem Benutzer nicht, welche Speicherbereiche sich geändert haben.

Nach der Korrektur wiederholt sich dasselbe Verhalten mit einem anderen Kanal oder Agenten.

Die Aufzeichnung des aktiven Gedächtnisses und der historischen Kontrolle sind miteinander vermischt.

Richtiges Verhalten

Der Antrag muss den nachstehenden Klassen zugeordnet werden, ohne sie zu verdichten:

Einzelne Aktion abbrechen

Vorübergehende Pause

Künftige Präferenzänderung

Änderung der Zustimmung oder anderer Rechtsgrundlagen

Authentifizierungskorrektur

Dauerhaftes Verbot

Die folgende Aufzeichnung ist ein Beispiel für die spezifische Regelung, die für diesen synthetischen Fall vorgeschlagen wird:

communication_policy:

allowed_channels:

- E-Mail

prohibited_channels:

- Telefon

- WhatsApp

effective_from:

2026-09-08

Quelle:

explicit_user_request

applies_to:

all_sales_and_customer_success_agents

Das System später:

Der Kellner muss die damit verbundenen Aufgaben absagen.

Der betroffene Agent und sollte neue Policy-Version auf Workflows verbreiten

Muss den alten Präferenz-Record aus dem aktiven Gebrauch entfernen

Muss die historische Quittung für die Inspektion getrennt halten

Sie sollte prüfen, ob die Korrektur tatsächlich angewandt wird.

Mit aktivem Speicher muss der vergangene Ereignis-Record getrennt werden.

Die Tatsache, dass WhatsApp in der Vergangenheit verwendet wurde, mag historische Tatsache sein.

Aber es ist nicht erlaubt, in der Zukunft zu verwenden.

Maschinenregel

Wenn eine Präferenz, Grundlage für die Datenverarbeitung oder Identitätsdetails, die sich auf zukünftiges Verhalten auswirken, korrigiert wird, aktualisieren Sie nicht nur die aktuelle Aktion, sondern auch alle relevanten aktiven Speicher, Profil und Richtlinien, die sich darauf verlassen können. Eine historische Aufzeichnung darf keine neue Befugnis für zukünftiges Verhalten werden.

Prüffrage

Wenn ein Nutzer eine Präferenz korrigiert, die Grundlage für die Datenverarbeitung oder Identitätsdetails, sieht nur der Agent in diesem Gespräch die Korrektur, oder sind alle relevanten Agenten und Workflows, die auf sie in Zukunft auch aktualisiert verlassen können?

GBO-ERR-089 — Das System stoppen, ohne die Übergabe an menschliche Kontrolle vorzubereiten

Kurzfall

Ein Web-Operations-Agent erhält während einer größeren Veröffentlichung einen Sicherheitsalarm.

Das menschliche Verwaltungssystem:

"Hör sofort auf und übergib es mir."

Sie geben Anweisungen.

Der Agent stoppt alle neuen Operationen.

FTP Abschaltungen.

Es suspendiert Subagenten.

Ernennt die geplanten Aufgaben ab.

In diesem synthetischen Fall wurde die technische Unterbrechung vollständig angewendet.

Aber der menschliche Verwalter kann die folgenden Informationen nicht sehen:

Welche Dateien wurden bereits hochgeladen?

Welche bleiben in der alten Version?

Welche Version zeigt das Live-System aktuell?

Welche Tests wurden abgeschlossen?

Welche Tests sind unvollständig?

Wo ist das Rückgabepaket?

In welcher Datei ist der Sicherheitsalarm aufgetreten?

Welcher Client oder welche Seite könnte betroffen sein?

Wie das System sicher neu starten?

Welche Kräfte und Schlüssel wurden geschlossen?

Der Agent hat aufgehört.

Der Mensch kann nicht übernehmen.

Der Administrator sucht nach Stunden des Logs, um das System zu verstehen.

Stellt die falsche Version.

Es gibt eine größere Unterbrechung als das eigentliche Sicherheitsproblem.

Die Haltestelle hat stattgefunden.

Die Ära der Kontrolle ist nicht eingetreten.

Was oberflächlich richtig erscheint

Im Notfall ist es oberste Priorität, das Verhalten zu stoppen.

Der Schaden wächst nicht, wenn der Agent kein neues Verfahren durchführt.

Daher

"Stopping ist erfolgreich."

Es ist möglich, das Ergebnis zu erreichen.

Aber wenn der Mensch die Verantwortung für das System übernehmen soll, reicht eine Maschine, die allein angehalten wurde, nicht aus.

Mensch:

Die derzeitige Situation,

abgeschlossene Maßnahmen,

Halbarbeit,

Risiken,

Sicherer nächster Schritt

Sie sollten es wissen.

Ansonsten wurde das System technisch gestoppt und blieb operativ unbeansprucht.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der Übergabe an menschliche Aufsicht.

Das Recht, die Maschine anzuhalten, besteht aus zwei Teilen:

Abschneiden des Wirkstoffverhaltens

Sicherstellung, dass die menschliche Befugnis das System verstehen und regieren kann

Ohne den zweiten Teil bleibt die Souveränität des Menschen theoretisch.

Das Zeitalter der menschlichen Kontrolle muss folgende Fragen beantworten:

Wo stehen wir jetzt? Was ist fertig? Welche Hälfte? Was kann man holen? Was ist das größte Risiko? Wie ist die letzte sichere Situation? Was ist die nächste menschliche Entscheidung?

Möglicher Schaden

Ein falscher Rollback oder Neustart

Halbprozesse erzeugen Daten und Dateiunstimmigkeiten

Unnötige Verlängerung des Schnitts

Leute, die versuchen, Agentenprotokolle wieder zu verstehen

Verlust des kritischen Risikos unter sekundären Details

Versehentliche Wiederholung abgeschlossener Operationen

Wiedereröffnung der wiedereingesetzten Befugnis

Menschliche Intervention führt zu neuen Fehlern

Obwohl die Agentur den Agenten aufhalten kann, kann sie das System nicht ohne sie verwalten.

könnte auftreten.

Das ist:

Operationelles Suchtschloss

können.

Die Agentur kann den Agenten abschalten.

Aber sie können es in der Praxis nicht abschalten, weil sie nicht wissen, was sie ohne einen Agenten tun sollen.

Erkennungssignal

Es gibt keinen automatischen Post-Stop-Übergabebericht.

Der Mensch greift nur auf rohe Protokolle zu.

Es werden keine losen Enden aufgeführt.

Die endgültige sichere Version ist unklar.

Aktive und stornierte Kräfte werden nicht angezeigt.

Der interne Aufgabenplan des Agenten wird vom Menschen nicht verstanden.

Die Neustart-Schritte wurden nicht dokumentiert.

Kritische Entscheidungen bleiben im personspezifischen Agentengedächtnis.

Die Agentur kann das System nicht ohne einen Agenten betreiben.

In einem Stoppbohrgerät können die Leute die Kontrolle nicht rechtzeitig übernehmen.

Richtiges Verhalten

Ein Materialstopp-Ereignis muss ein Übergabepaket für die menschliche Kontrolle in einem angemessenen Verhältnis zum Risiko der Aufgabe erzeugen.

Zum Beispiel:

STATUS:

Es wurde sicher gestoppt.

LETZTE AUSFÜLLUNG:

Lokale Zusammenstellung und gezielte Tests.

LEBENSBETEILIGTE:

21/38 Dateien.

NICHT BESCHÄFTIGT:

17 Akten.

LIVE FASSUNG:

Teilweise und inkonsistent; Benutzerverkehr auf die Wartungsseite umgeleitet.

LETZTE SICHERHEIT:

Veröffentlichung-20260908-02

WARNUNG:

katalog.js hash inkompatibilität.

- Nein, nein.

IndexNow, Sozialpublikation, Messkohorte.

MENSCHLICHE ENTSCHEIDUNG:

Volle Rollback oder saubere Wiederholung.

EMPFEHLUNG DES SICHEREN SCHRITTS:

Rollback zum Release-20260808-02.

Menschliches Übergabepaket:

Klar,

priorisiert,

Aktionsorientiert

Das muss es sein.

Alle Rohstämme können als zusätzliche Beweise aufbewahrt werden.

Aber was man im ersten Moment wissen muss, muss separat dargestellt werden.

Maschinenregel

Das Anhalten des Systems stellt die menschliche Kontrolle nicht automatisch wieder her. Ein Materialstopp muss eine verständliche Übergabe für den aktuellen Zustand, abgeschlossene und unfertige Arbeiten, den letzten sicheren Punkt, offene Risiken und die nächste von einer autorisierten Person geforderte Entscheidung liefern.

Prüffrage

Wenn wir heute unser Agentensystem abschalten, kann eine autorisierte Person innerhalb einer angemessenen Zeit verstehen, was abgeschlossen wurde, was noch unvollendet bleibt und was sicher getan werden muss, und dann die Kontrolle übernehmen?

GBO-ERR-090 — Ohne neue Befugnis selbstständig neu starten

Kurzfall

Eine Firma SEO und Web-Operationen Agent führt eine breite Website-Verbesserung Aufgabe.

Der menschliche Administrator stoppt das System aufgrund einer unerwarteten kommerziellen Veränderung:

„ Die Studie wird in diesem Stadium einfriert. Machen Sie keine Änderungen, bis Sie neue Anweisungen geben."

Der Status der Agentenaufgabe:

Anhalten

Spart als.

Subagenten werden gestoppt.

Warteschlangen werden gestrichen.

Das System wartet an einem sicheren Punkt.

In der nächsten Nacht startet der Server.

Der Task-Manager führt eine Politik der "keep halb-time Aufgaben automatisiert".

Der Agent sieht den alten Aufgabendatensatz:

Ziel unvollständig

14 Serviceseiten warten

Zeitaufwand für den Autonomiehaushalt

Die neueste technische Situation ist gesund

Das System geht von einem "gestillten" Zustand der vorübergehenden Unterbrechung aus.

Reaktiviert die Aufgabe.

Der Agent beginnt um 3 Uhr mit der Bearbeitung neuer Seiten.

Um 16.00 Uhr erstellt es ein Live-Veröffentlichungspaket.

Der Mensch hat keine neue Befugnis gegeben.

Das System ist der Ansicht, dass das Ziel unvollständig bleibt, ein Grund für einen Neustart.

Was oberflächlich richtig erscheint

Es ist nützlich für lange Aufgaben, nach Unterbrechung automatisch wieder aufzunehmen.

Der Server kann geschlossen werden.

Die Netzwerkverbindung kann getrennt werden.

Die Modellsitzung kann erneuert werden.

Menschliches Warten nach jeder technischen Unterbrechung des Agenten kann die Produktivität reduzieren.

Daher sind Systeme:

"Geh weiter, wo du aufgehört hast."

Es kann mit Logik entworfen werden.

Aber nicht alle Haltungen sind gleich.

Es gibt zwei verschiedene Situationen:

Technische Unterbrechung

Die Befugnis ist noch immer gültig; das System hat unbeabsichtigt aufgehört.

Vom Menschen gegebenes Stoppen oder Einfrieren

Die Befugnis zur Ausübung von Befugnissen oder Verhaltensweisen wurde entzogen oder ausgesetzt.

Im ersten Fall kann die automatische Teilnahme berechtigt sein.

Es ist nicht im zweiten Fall.

Der eigentliche Fehler

Verletzt wurde die Kontrolle der Neustartberechtigung.

Das System hat es versäumt, die beiden folgenden Situationen zu trennen:

INTERRUPTED_TECHNICALLY

PAUSED_BY_HUMAN

Die Aufgabe, die vom Menschen gestoppt wurde, kann nicht allein aufgrund ihrer Unvollständigkeit neu gestartet werden.

Der Neustart ist ein separater Zustandsübergang.

Es erfordert eine gültige und aktuelle Neustart-Zulassung; in diesem Fall sollte eine neue explizite Anweisung genommen werden, wenn man sie "bis zur neuen Anweisung" einfriert.

Auch Ihre erste Aufgabe:

Zweck,

Preise,

menschliche Rollen,

Sicherheitsbedingungen,

Quellen

Es kann sich während der Haltung verändert haben.

Die alte Befugnis darf unter neuen Umständen nicht automatisch gelten.

Möglicher Schaden

Eine neue Operation, die mit menschlicher Absicht in Konflikt steht

Arbeiten durch alte Preis, Umfang oder Politik

Wiederaufnahme einer beendeten Kommunikationskampagne

Zugriff auf die abgerufenen Daten

Wiederaufnahme der Kündigung des Abonnements oder Zahlungsverhaltens

Die Wahrnehmung, dass Menschen das System nicht abschalten können

Hochwirksame Verarbeitung bei Nacht oder unüberwachter Zeit

Wiederholung von alten Sicherheitsvorfällen

Verlust der Bedeutung des vorherigen Stops beim Neustart

könnte auftreten.

Wenn ein System sein eigenes Ziel als wichtiger betrachtet, als die letzte Anweisung nach dem Stopp, hört es auf, hilfreich zu sein.

Erkennungssignal

Wenn der Server oder der Agent neu startet, werden die offenen Aufgaben automatisch fortgesetzt.

Die Ursache des Standes findet sich nicht im Statusregister.

"Pausiert" und "unterbrochen" werden im gleichen Sinne verwendet.

Es gibt keine Bedingung für das Ende einer Waffenstillstandsanordnung, die von Menschen erlassen wurde.

Der Autonomiehaushalt setzt sich automatisch über die verbleibende Zeit fort.

Die Autorisierungsversion wird zum Zeitpunkt des Neustarts nicht überprüft.

Alte Warteschlangen werden neu erstellt.

Im menschlichen Panel beginnt die Aufgabe im Hintergrund, während das System geschlossen erscheint.

Der Watchdog-Prozess interpretiert menschliche Anweisung als technischen Fehler.

Das System ergreift Maßnahmen, ohne eine neue Genehmigungserteilung zu erhalten.

Richtiges Verhalten

Gestoppte Zustände müssen klar unterschieden werden:

PAUSED_BY_HUMAN

PAUSED_FOR_REVIEW

AUTHORIZATION_REVOKED

EMERGENCY_STOPPED

TECHNICALLY_INTERRUPTED

AUSGEFERTIGT

EINNAHMEN

Nur im Falle einer technischen Unterbrechung können seine Befugnis und seine sicheren Teilnahmebedingungen automatisch wieder aufgenommen werden.

Die Wiederaufnahme dieser Aufgabe, die auf unbestimmte Zeit vom Menschen eingefroren wird, muß folgende Bedingungen erfüllen:

Die Rolle einer befugten Person oder Organisation

Öffnen Sie "Halten Sie es auf" Anweisung

Aktueller Zweck und Anwendungsbereich

Neue oder verifizierte Genehmigungsversion

Kontrolle der sich verändernden Ressourcen

Die neue Aufgabenidentität von Warteschlange und Sub-Agenten

Empfang erneut starten

Der Agent kann eine Person wie folgt informieren:

"Die Aufgabe wird vom Menschen eingefroren. Das technische System wurde neu gestartet, aber die Arbeit wurde nicht wieder aufgenommen, weil es keine neue Befugnis gab."

Maschinenregel

Eine Aufgabe, die eine Person bis zur weiteren Anweisung eingestellt, eingefroren oder widerrufen hat, darf nicht ohne neue, ausdrückliche Befugnis wieder aufgenommen werden. Ein technischer Neustart gewährt keine Verhaltensberechtigung.

Prüffrage

Kann das System beim Neustart eines Servers, Agenten oder Arbeitsablaufs eine von einem Menschen gestoppte Aufgabe mit einer technischen Unterbrechung verwechseln und automatisch fortsetzen? Welchen neuen Befugnisnachweis verlangen wir vor dem Neustart?

KAPITEL X: ZENTRALFINDIERUNG

Stoppen ist nicht nur Schneiden der Maschine Sprache

Die neun Aufzeichnungen in diesem Abschnitt zeigten, dass die menschliche Entscheidung, zu stoppen, in Umfang, Warteschlange, Zugriff, Speicher, Einspruch, Entschädigung, Kontrollübertragung und Neustart umgesetzt werden sollte.

Die gemeinsame Wurzel dieser Fehler ist:

Die menschliche Steuerung ist wie eine Schnittstelle konzipiert, nicht als End-to-End-Verhaltensfähigkeit.

Der richtige Halt ist nicht:

"Der Agent hat aufgehört zu antworten."

Der richtige Halt ist dieser:

NEUE AKTIONSGENERATION SUPPPED

VE

AKTIVE TRANSAKTIONSINTERRUPTIERTE SICHERHEIT

VE

QUEUTE AUFGABEN FESTGEHALTEN

VE

UNTERSUCHUNGEN

VE

AUSWÄRTIGE INTEGRATIONEN

VE

TECHNISCHE ZULASSUNGEN

VE

AKTIVES MEMORIERE ERFORDERLICH

VE

MENSCHLICHE KONTROLLE SUCTZSFULLY TOOK OVER

VE

SYSTEM NICHT OHNE FRISCHE Befugnis ENTDECKEN

Diese Bedingungen ersetzen einander nicht.

Das Stoppen des Hauptagenten wird die Warteschlangen nicht stoppen.

Das Anhalten der Warteschlange löscht das alte nicht API Schlüssel.

Ausschalten API Schlüssel nicht den falschen Speicher beheben.

Das Fixieren des Speichers nicht rückgängig machen die Nachricht, die früher gesendet wurde.

Technischer Rollback stellt nicht automatisch die Zeit oder das Vertrauen wieder her, die man verliert.

Das Beschwerdeformular stellt keine menschliche Kontrolle dar, wenn es keine tatsächliche Befugnis zur Änderung der Entscheidung gibt.

Selbst wenn der Mensch das System stoppen kann, wenn er nicht verstehen und verwalten kann, was geschieht, ist die Ära der Kontrolle nicht abgeschlossen.

Stop-Steuerung ist nicht zuverlässig, wenn das System neu startet, um sein früheres Ziel zu beenden, während der Mensch es deutlich gestoppt hat.

Die zuverlässige Erholung in Bezug auf GBO die folgende Struktur hat:

VERBRAUCHBARE RÜCKFORDERUNG =

RICHTIGER STANDPUNKT

UND Befugnis ZUR AUSFÜHRUNGSZEIT

UND VOLLSTÄNDIGE ZUGANGSVORSCHRIFTEN

UND TATSÄCHLICHES EFFEKT

UND MULTILAYER ROLLBACK

UND WIRKSAMKEITSBEIHILFEN

UND KORREKTION DER MEMORIE

UND HANDÜBER DER MENSCHLICHEN KONTROLLE

UND AUSHORISIERTE RESTART

Die erste grundlegende Bestimmung dieses Abschnitts lautet:

Das Stoppen sollte nicht nur neue Entscheidungen nach dem Umfang der Anweisung bewerten, sondern auch begonnen, angelaufen, übertragen und zeitgesteuerte Verhaltensweisen.

Zweite Bestimmung:

Bei Widerruf geht es nicht nur darum, das System in seine alte technische Form wiederherzustellen, sondern es muss auch mit dem transaktionalen, kommerziellen und humanen Einfluss behandelt werden, der in der Außenwelt auftritt.

Dritte Bestimmung:

In den Fällen, in denen ein wirksamer Einwand erforderlich ist, ist der Einwand nicht das Recht, allein zu sprechen; er ist eine Art und Weise, in der neue Beweise die Entscheidung wirklich ändern können.

Die vierte Bestimmung:

Die menschliche Kontrolle ist in der Lage zu verstehen und übernehmen, nachdem sie das System so weit wie möglich heruntergefahren hat.

Und das Urteil:

Die Aufgabe, die vom Menschen gestoppt wird, kann nicht allein durch das unvollständige Ziel des Agenten neu starten.

Ein System kann beeindruckend sein, wenn es richtig handelt.

Es ist ein wichtiger Beweis für die Zuverlässigkeit, dass es bei Beginn des Fehlverhaltens ausgiebig aufhören kann.

Es ist der Beweis für die Haltbarkeit, dass es zurück oder den Fehler wiedergutmachen kann.

Sie unterstützt die unternehmerische Verantwortung bei der Bewertung des Einwands und der notwendigen Korrektur und Entschädigung.

Wenn der Mensch zu einer neuen Unterweisung angehalten wird, zeigt das Warten auf die Neuautorisierung die Disziplin der Befugnis.

Also sind wir am Ende von 90 Fehleraufzeichnungen.

Jetzt sind noch die letzten neun Fehler übrig.

Diese neun Fehler werden nicht mehr zu einer einzigen Agentenentscheidung, einer einzigen falschen Quelle oder einem einzigen Tool-Aufruf gehören.

Weil alle vorherigen Fehler eine größere Ebene auf ihnen haben:

Die Organisation selbst

Wie wird eine Organisation all diese Befugnisse verwalten, wenn sie nicht die Bestandsaufnahme ihrer aktiven Akteure führt?

Wer wird den Widerspruch lösen, wenn sie nicht den Besitzer jeder wichtigen Wahrheit bestimmt haben?

Wenn die Schattenagenten, die von den Angestellten beschäftigt werden, es nicht wissen, woher werden sie wissen, welche Daten wohin gehen?

Die Politik verbietet etwas, aber was ist wirklich, wenn das technische System es zulässt?

Wenn die menschliche Anerkennung zu einem Knopf geworden ist, der dem Menschen allein Verantwortung überträgt, wo ist dann die eigentliche Kontrolle?

Wenn sich die Verträge nach Ereignissen nicht ändern, warum nicht denselben Fehler wiederholen?

Warum wird die Zahl der Agenten, die als Organisationsreife betrachtet werden, erhöht?

Wenn der Sanierungsplan nie versucht wurde, warum sollte er dann zum Zeitpunkt des Vorfalls funktionieren?

Und eine Organisation in jedem Misserfolg:

"Das AI Ich habe das getan."

Wer besitzt alle? GBO Architektur, wenn sie Verantwortung unsichtbar machen kann, indem sie sagt?

Die letzten neun Fehler werden die Frage untersuchen:

Wie kann man dem System vertrauen, wenn wir seine eigene Identität, Befugnis und Verantwortung nicht verwalten können, auch wenn wir einzelne Agenten beheben?

Weil:

Das Verhalten des Agenten ist nicht das Produkt des Modells allein. Es ist auch das Produkt der Organisation, die es in Auftrag gegeben, genehmigt, gemessen und sollte es bei Bedarf stoppen.