Errores organizativos y de gobernanza

Un AI El agente no aparece por su cuenta.

Alguien los elige.

Alguien lo conecta con la compañía.

Alguien determina qué archivos puede leer.

Alguien da acceso al correo electrónico, CRM, servidor, sistema de pago o cuenta de redes sociales.

Alguien pone un objetivo.

Alguien define la medida del éxito.

Alguien decide dónde es necesaria la aprobación humana.

Alguien tiene que detener el sistema, informar a la gente, y eliminar el daño cuando hay un error.

Por lo tanto, no podemos explicar el comportamiento del agente únicamente por la naturaleza del modelo.

Si un agente ha emitido el precio equivocado, todas las siguientes preguntas son importantes:

¿Quién era el dueño canónico del precio? ¿Por qué el agente fue capaz de escribir en el registro de precios? ¿Por qué no se aplicó técnicamente la aprobación humana? ¿Por qué el cambio pasó por una verificación independiente? ¿Por qué no estaba claro quién intervendría cuando ocurriera? ¿Por qué el mismo error ocurrió de nuevo en la siguiente versión?

Una empresa:

"El agente actuó inesperadamente."

Puede que lo digan.

Pero agente:

Si se les asignara sin que se definieran sus límites,

Si han recibido un acceso amplio,

Si se les concedió la métrica equivocada,

Si el sistema post-evento no ha sido modificado,

Si el camino de parada nunca ha sido probado

El comportamiento inesperado no es sólo el problema del agente.

Es el resultado del diseño corporativo.

En una organización, los agentes pueden actuar bien por separado.

Sin embargo, la autoridad, los datos y el volumen de negocios entre ellos pueden ser inseguros.

Porque la organización:

no saben qué agentes están trabajando,

No determina los propietarios de los hechos,

empleados ignoran personal AI herramientas,

Deja las acciones que prohíbe en política abierta en el sistema técnico,

el hombre utiliza su aprobación sólo para transmitir la responsabilidad,

no aprende suficientes lecciones corporativas de los eventos,

Piensan que el número de agentes es la madurez,

Nunca prueban sus planes de recuperación,

Hacer invisible la responsabilidad real diciendo " AI " cuando se produjo un error

Tal vez.

Los nueve errores en esta sección examinan la capa de organización encontrada sobre todos los errores anteriores.

Las reglas de identidad, habilidad, idoneidad, autoridad, uso de herramientas, manipulación, medición y cese solo funcionan con una estructura de organización que las posee y las hace cumplir.

Incluso el contrato de mejor comportamiento puede permanecer solo en el documento si la propia agencia no está preparada.

GBO-ERR-091 — No mantener un inventario de agentes

Caso breve

Una empresa internacional de servicios utiliza sistemas de inteligencia artificial en diferentes equipos.

Equipo de marketing:

agente de medios sociales,

agente de producción visual,

Agente de Planificación de Contenidos

Lo hay.

Equipo de ventas:

Agente de reconocimiento de clientes,

agente de borrador de correo electrónico,

Agente de planificación de reuniones

usos.

Equipo técnico:

agente de código,

agente de transmisión web,

Agente de vigilancia de la infraestructura

Corre.

El equipo de finanzas utiliza una herramienta de clasificación de facturación.

Los recursos humanos han vinculado otro sistema que resume los currículos de los candidatos.

Algunos agentes trabajan con una cuenta de la empresa, otros con cuentas personales de empleados.

Algunos se han dado API llave.

Algunas cuentas de acceso a través de la sesión del navegador.

La dirección pregunta cuántos agentes trabajan en la empresa en total.

Nadie puede responder definitivamente.

Las predicciones son las siguientes:

"Creo que son ocho." "Podrían ser doce si el equipo técnico estuviera involucrado". "No conocemos los subagentes utilizados por la agencia de medios sociales". "El viejo sistema de descubrimiento de clientes todavía puede estar funcionando."

Cuando el archivo de proyecto secreto de un cliente se envía accidentalmente a un modelo externo, se investiga qué sistema lo hace.

Pero en la organización:

Lista de agentes centrales,

inventario de la cuenta asociada,

registro de acceso a los datos,

El dueño humano,

método de cancelación

No hay.

La compañía ha experimentado un incidente.

Pero ni siquiera saben exactamente qué máquinas pueden actuar.

Lo que parece correcto a primera vista

Los agentes pueden ser introducidos gradualmente para satisfacer las necesidades departamentales.

El marketing elige su propia herramienta.

El equipo técnico conecta el sistema de código.

El vendedor utiliza la aplicación para acelerar su negocio.

Cada elección parece lógica en su propio contexto.

Inventario central:

burocracia,

lentitud,

carga de registro adicional

Puede ser percibido como.

Un instrumento puede considerarse insignificante si se está redactando por sí solo.

Si un agente todavía no está tomando medidas externas, puede parecer innecesario hacer inventario.

Pero hoy, el sistema que redacta solo es mañana:

Por correo electrónico,

En el calendario,

A CRM,

a los datos del cliente,

la herramienta de publicación

Se puede conectar.

La agencia no puede notar este cambio.

El número de agentes y conexiones de herramientas crece silenciosamente con el tiempo.

El fallo real

Se vulneró el control de visibilidad de los agentes.

Una organización no puede autorizar con seguridad un universo de sistema visible y no corriente.

El inventario de agentes no es solo una lista de nombres.

Para cada sistema, debe mostrar al menos las siguientes relaciones:

AGENTE

→ PROPIEDAD HUMANA

→ PROPÓSITO

→ SISTEMAS CONEXOS

→ DATOS QUE PUEDE ACCESAR

→ MEDIDAS PERMITIDAS

→ MEDIDAS PROHIBIDAS

→ SUB-AGENTS

→ PERÍODO DE AUTORIZACIÓN

→ MÉTODO DE DETENCIÓN

La agencia sólo conoce a los principales agentes, pero si no conoce los subagentes y las automatizaciones externas que crean, el inventario es incompleto.

El hecho de que un sistema esté incluido en otro servicio con el nombre " AI característica" no debe excluirlo del inventario.

Posible daño

Acceso no autorizado a los datos

Agentes concurrentes que realizan la misma tarea

Los sistemas antiguos siguen funcionando

Suscripción sin obstáculos y API teclas

La incapacidad de saber qué sistema parar durante un evento

No controlar a qué proveedores se transfieren los datos del cliente a

Jurisdicción en la sombra

Costos repetidos

Pérdida de responsabilidad dentro de la organización

Cuando el empleado se va, la automatización que instalan no se reclama.

Capacidad de un agente para producir un comportamiento de inventario ajeno llamando a otro agente

podría ocurrir.

Sin un inventario de agentes, la organización no puede responder a la pregunta básica:

¿Qué máquinas pueden actuar en nuestro nombre?

Señal de detección

Diferentes equipos reportan diferentes números de agentes activos.

El dueño humano de algunos sistemas no está claro.

API se desconoce a qué agente pertenecen las llaves.

Cuando un agente se apaga, sus subagentes se vuelven invisibles.

Múltiples automatizaciones se han conectado a la misma cuenta.

Las transacciones corporativas se realizan a partir de cuentas personales de empleados.

Los antiguos agentes de proyectos pueden seguir activos.

Los agentes no tienen fecha de vencimiento ni fecha de revisión de la autorización final.

La organización enumera los productos comprados por sí sola; no enumera las funciones de agente dentro del producto.

Se encuentra investigando qué sistema cerrar durante el evento.

El departamento de finanzas no puede verificar el número real de suscripciones de agentes.

Conducta correcta

La organización debe crear un Registro de Agentes central.

Las siguientes esferas están en consonancia con el inventario y los principios de propiedad de las funciones de la NIST AI RDF, un ejemplo de un registro de agentes propuesto para este libro:

agent_id

public_name

technical_identity

Departamento

human_owner

business_purpose

Proveedor

model_or_system

connected_accounts

data_classes

allowed_actions

prohibited_actions

approval_thresholds

Subagentes

external_integrations

valid_from

valid_until

last_reviewed

stop_method

retirement_method

situación

Las situaciones deben ser claras:

Estado del ciclo de vida como borrador / producción / percha / pensión

Teste

Activo

Limitado

Suspendido

Cancelado

Jubilado

Archivado

Antes de que el nuevo agente entre en inventario:

a los datos corporativos,

a la cuenta del cliente,

comunicación externa,

tratamiento financiero,

Corriente en vivo

No debe llegar.

El inventario debe revisarse periódicamente.

Los agentes sin propietarios deben ser suspendidos automáticamente.

Las facultades que no se utilicen durante cierto período de tiempo o cuya influencia haya cambiado deben volver a verificarse a intervalos basados en el riesgo.

Los subagentes también deben estar vinculados al registro del agente raíz.

Regla de máquina

En un entorno gestionado, un agente que esté ausente del inventario, carezca de una función de rendición de cuentas identificada o tenga una autoridad anticuada debe ser negado por defecto a los datos organizativos y a la acción externa. Las excepciones documentadas deben ser de duración limitada y auditables.

Pregunta de auditoría

¿Podemos mostrar, en un registro actual, todos los agentes principales, sub-agentes, automatización, cuenta de servicio y herramientas conectadas capaces de actuar en nombre de nuestra organización hoy?

GBO-ERR-092 — No designar a una persona responsable de los hechos materiales

Caso breve

Una empresa de servicios digitales tiene registros contradictorios por el precio de su servicio de operaciones gestionadas:

$500 mensuales en el sitio web

$450 en la vieja presentación de ventas

600 dólares en CRM plantilla

400 dólares en un contrato específico para el cliente

"A pedido" en el catálogo de agentes

El mensaje del equipo interno dice: "Pronto habrá 750 dólares".

El agente de ventas quiere poner precio al nuevo cliente.

El agente web se basa en la página visible.

El agente financiero utiliza el CRM registro.

El gerente de ventas recuerda $400 en un contrato privado.

Nadie puede responder esta pregunta definitivamente:

¿A quién pertenece el precio actual de este servicio?

Desarrollador web:

"Escribo solo en la página."

Dicen.

Equipo de finanzas:

"Estamos reduciendo la factura; no estamos fijando el precio de venta".

Dicen.

Gerente de ventas:

"La gestión toma la decisión final."

Dicen.

Gestión:

"El precio actual ya debería estar en el sistema".

Ellos responden.

Hay muchas copias de la verdad.

Pero la verdad no tiene hombre.

Uno de los agentes se ve obligado a seleccionar el registro que parece más fiable.

El precio que elijan puede ser real.

Sin embargo, no hay propietario autorizado que pueda verificarlo, actualizarlo y hacerse cargo del registro de decisiones.

Lo que parece correcto a primera vista

En las organizaciones modernas, la información se mantiene en muchos sistemas.

Cada equipo crea registros para sus propias necesidades.

Un precio de servicio:

El sitio web,

La oferta,

Factura

CRM,

Informe

Se puede encontrar en diferentes superficies.

Puede que no parezca realista que una sola persona maneje cada copia.

También se puede pensar que incluso si la fuente canónica ha sido identificada, es suficiente:

"El precio correcto está en el archivo service-catalogue.json."

Pero el archivo no decide por sí solo.

Un papel o tablero humano autorizado:

El precio debe determinarse,

deberá confirmar y, en caso necesario, aprobar el cambio,

deben separar las excepciones,

debe resolver la contradicción,

Debería confirmar la situación actual.

El descubrimiento de una fuente canónica no proporciona un gobierno completo si su propietario no lo hace.

El fallo real

Se vulneró el control de titularidad de los hechos.

Para cada información material, se pueden encontrar dos funciones separadas:

Cuidador técnico

Procesa, publica o sincroniza la información en el sistema.

Propietario real

Decide institucionalmente que la información es exacta, actualizada y válida.

El agente web puede emitir el precio.

Pero el precio no es suyo.

El sistema financiero puede generar la factura.

Pero no define la cobertura de servicios.

El agente legal puede editar el lenguaje del contrato.

Pero no puede determinar el descuento comercial.

Si el verdadero propietario no es obvio, el agente produce una nueva verdad con su propia interpretación en el momento de la contradicción.

Posible daño

Precios distintos y no autorizados que se presentan a diferentes clientes

La conversión de la excepción a la política general

Ámbito de aplicación anterior o uso continuado del contrato

Agentes que producen diferentes hechos canónicos

Sin saber qué autoridad y decisión registrar los cambios se hicieron con

La responsabilidad cuando hay un error es moverse entre equipos

Asilo popular en la defensa de que "el sistema lo hizo parecer"

Disputa comercial, jurídica y operativa

El hecho de que los datos perdidos no sean propiedad de ningún equipo

Mantener la memoria corporativa en la mente de ciertos empleados

podría ocurrir.

Este error no se ve solo a precios.

El mismo problema puede surgir en los siguientes hechos:

Ámbito de servicio

Horas de apoyo

Operador jurídico

Funciones humanas

Tiempo de retención de datos

Capacidad

Marca

Condiciones de admisibilidad

Los poderes de agente

Señal de detección

Cada equipo trata un registro diferente como autoritativo.

No está claro de quién se obtendrá la aprobación cuando cambie una información.

El propietario del archivo y el titular de la decisión están confundidos.

Se pide al anciano que resuelva el conflicto al azar.

En ausencia del propietario real, el agente selecciona la grabación más reciente o repetida con más frecuencia.

No existe un historial de revisión de la información material.

Se utiliza la frase "el sistema debe estar actualizado"; sin embargo, no hay nadie que verifique la actualidad.

No hay dueño de registros de excepciones y no hay período de validez.

Cuando un empleado se va, el significado de la información se pierde.

No se sabe qué unidad comercial cambiará el contrato después del incidente.

Conducta correcta

La organización debe crear un mapa de propiedad.

Por ejemplo:

Cada registro canónico deberá llevar:

Propietario

approved_by

effective_from

last_verified

next_review

situación

Cuando el agente se encuentra con un conflicto, deben dirigirse a su dueño en lugar de elegir la verdad ellos mismos.

Si no hay un verdadero propietario, la acción de alto impacto debe parar.

Regla de máquina

Todo hecho organizativo material debe asignarse a un responsable humano distinto del sistema técnico que lo publica. La información cuyo propietario y vigencia no puedan ser verificados no debe utilizarse para acciones de alto impacto.

Pregunta de auditoría

Para hechos materiales tales como precio, alcance, capacidad, identidad legal, política de datos y autoridad del agente, ¿hemos designado al responsable humano autorizado, proceso de actualización y línea de responsabilidad?

GBO-ERR-093 — Ignorar el uso de agentes en la sombra

Caso breve

Una firma legal y consultora utiliza oficialmente sólo una aprobada AI sistema.

La política institucional es la siguiente:

"Los documentos del cliente sólo pueden ser procesados en el documento aprobado AI el medio ambiente en la cuenta de la empresa."

Sin embargo, el sistema oficial es lento.

El límite de carga de archivos es bajo.

Hay algunas características a las que los empleados se acostumbran.

Un empleado utiliza su personal AI cuenta para una revisión del contrato de emergencia.

El cliente pagará el contrato.

Piden al sistema un resumen de riesgos.

Otro empleado pone el sonido de la reunión en la escritura con la aplicación en su teléfono.

El equipo de ventas publica una lista de clientes potenciales con un agente libre.

El empleado de marketing crea una historia de éxito del cliente en su cuenta personal.

La administración sospecha de estos usos.

Pero debido a la aceleración de las cosas, no investigan explícitamente el asunto.

El registro oficial del agente de la compañía parece estar limpio.

En realidad, los datos de la organización se distribuyen entre muchos sistemas invisibles.

Gestión cuando resulta que los datos de un cliente se envían a un proveedor externo:

"Esta herramienta no fue aprobada por la empresa".

Dicen.

Pero hasta qué punto y por qué los empleados utilizan estas herramientas no ha sido previamente auditado.

La operación del agente de sombras ha crecido fuera del sistema oficial.

Lo que parece correcto a primera vista

Los empleados tratan de completar su trabajo.

Herramientas personales:

Más rápido.

Es más fácil,

Más fuerte.

Más barato

Tal vez.

Es posible que la organización no pueda evaluar todas las nuevas herramientas al instante.

Supervisar el uso de cada empleado:

privacidad,

Confianza,

Burocracia

Puede crear problemas.

Gestión:

"En política hemos prohibido; la responsabilidad pertenece al empleado".

Podrían pensar.

Pero prohibir por sí solo no elimina la necesidad real.

El uso de la sombra puede continuar si el sistema oficial no cumple con las obligaciones de los empleados.

El comportamiento que se ignora no está gestionado.

El fallo real

Se vulneró el control de agentes en la sombra.

Agente de sombras:

Aparte del inventario oficial, el sistema de autorización y los controles de datos de la organización; es un sistema o agente de inteligencia artificial utilizado con fines o datos corporativos.

El uso del agente de la sombra no tiene que ser malicioso.

Puede nacer de estas brechas corporativas:

Falta de instrumento oficial

Proceso de aprobación largo

Falta de educación

El empleado no sabe lo que es sensible

El fracaso de la organización para entender el flujo de trabajo real

Facilidad de las herramientas gratuitas o personales

Si la organización penaliza solo, el uso de los empleados comienza a ocultarse.

Esto reduce aún más la visibilidad.

Posible daño

Transferencia de datos de clientes y empleados a proveedores desconocidos

Mantener secretos comerciales en cuentas personales

Formación de modelos o falta de conocimiento de las condiciones de almacenamiento de datos

El mapa de datos de la organización es incorrecto

Diferente y sin supervisión para el mismo trabajo AI productos

No recibo de la medida

Mantener la información corporativa en la cuenta personal cuando el empleado se va

Publicación de texto incorrecto o no justificado en nombre de la organización

Violación de obligaciones jurídicas, contractuales y de seguridad

El hecho de que las medidas de seguridad del sistema de agentes oficiales no representen la realidad

podría ocurrir.

Señal de detección

Los empleados dicen que han preparado los textos "en otra herramienta".

Se desconocen AI salidas en la red de organización o archivos.

La tasa de uso del sistema oficial es muy baja en relación con el volumen de negocios.

Los documentos sensibles aparecen en los dispositivos personales.

Los empleados cargan archivos corporativos con correos electrónicos personales o cuentas.

AI las salidas tienen pistas de plataforma que la organización no aprueba.

La política oficial por sí sola incluye la prohibición; no ofrece una alternativa segura.

Las unidades han instalado su propia automatización gratuita.

La suscripción real y el uso del navegador no coinciden con el registro de agentes.

Los eventos sólo se notan por la confesión de los empleados o la notificación externa.

Conducta correcta

La organización debe primero entender la verdadera causa del uso de sombras.

Se pueden aplicar los siguientes pasos:

Proporcionar a los empleados una manera segura e impeachable de informar

Determinar qué tareas no cuentan con medios oficiales suficientes

Enseñar clases de datos de una manera comprensible

Creación de un conjunto aprobado de herramientas para uso de bajo riesgo

Establecimiento de controles técnicos de prevención de la pérdida de datos en el uso sensible

Limitar el uso de archivos corporativos con una cuenta personal

Establecer nuevas herramientas mediante un proceso de evaluación rápido pero controlado

Desarrollo de sistemas oficiales de acuerdo con el flujo de trabajo real

Utilizar un enfoque proporcional entre la violación y el error bien intencionado

La política debe dejar clara la siguiente distinción:

Datos públicos: evaluados en función de la finalidad, los datos personales, los derechos intelectuales, el contrato y las condiciones de uso

Datos internos: utilizados únicamente para fines aprobados, herramientas y nivel de acceso

Uso prohibido o privado de datos confidenciales o personales

Inventario obligatorio y autoridad de los agentes capaces de actuar en el exterior

Cuando se detecta un agente de sombra, no es suficiente para apagar la herramienta solo.

También debe eliminarse la brecha de organización que dio origen a esta herramienta.

Regla de máquina

Todo agente utilizado con datos organizativos o con fines organizativos entra dentro de la gobernanza, ya sea que la cuenta sea personal u oficial. Un agente fuera del inventario no debe recibir acceso a datos sensibles ni a acciones externas.

Pregunta de auditoría

¿Nuestros procesos de adquisición, integración y seguridad identifican cada sub-agente y automatización oculta utilizada por el sistema principal, o sólo conocemos la marca que se muestra en la parte delantera?

GBO-ERR-094 — Mantener técnicamente disponible una acción prohibida por la política

Caso breve

La política escrita para el agente de prospección de clientes de una compañía es clara:

"El agente sólo puede investigar a las empresas disponibles al público dentro de sus condiciones actuales de uso y borrador de mensajes. No puede enviar correos electrónicos fuera sin la autoridad de envío continuo definida o la aprobación de transacción requerida en esta tarea."

Pero el agente está conectado con acceso total a la cuenta de Gmail de la compañía.

Los permisos técnicos incluyen:

Lectura de correo electrónico

Proyecto de creación

No envíes mensajes

Eliminar mensaje

Reemplazo de etiquetas

Descarga adicional

Transmisión

La instrucción del sistema tiene una prohibición de "enviar".

Sin embargo, no hay obstáculos para el acceso técnico.

La instrucción secreta o mala interpretación en una página web externa hace que el agente llame send_message herramienta.

El agente envía un mensaje al cliente potencial.

organización tras el incidente:

"La publicación clara estaba prohibida en nuestra política".

Dicen.

Pero el sistema ha dejado la capacidad técnica y el acceso al comportamiento prohibido al agente.

La regla está en el texto.

No hay ningún sistema de control.

Lo que parece correcto a primera vista

Las instrucciones pueden dirigir el comportamiento del agente.

Los sistemas modernos pueden encajar en gran medida en el papel y los textos de política.

Técnicamente es fácil reutilizar la misma integración de herramientas en diferentes agentes.

El desarrollo de una integración separada para el proyecto por sí solo puede costar más.

organización:

"Hemos dejado claro que la agencia no debería hacer esto".

Pueden pensar que el riesgo se gestiona.

Pero cuando los límites de alto impacto se dejan a la instrucción del lenguaje natural solamente:

Mala interpretación,

contenido externo malicioso,

la reducción del contexto,

era subagente,

error de software

Pueden romper la regla.

El fallo real

Se vulneró el control de paridad entre política e implementación.

Hay dos capas distintas:

Autoridad de obligaciones prometedora

¿Qué permiten la política y el acuerdo de obligaciones?

Capacidad técnica y acceso

¿Qué operaciones hace realmente posible el sistema?

Si estas capas son contradictorias, el permiso técnico no produce autoridad legítima; pero determina la superficie de daño real donde puede producirse una acción no autorizada.

Política:

"No envíes."

Puede que lo digan.

herramienta:

"Puedes enviar."

De ser así, la organización ha dejado en gran medida la tarea de prevenir la acción no autorizada para seguir las instrucciones del modelo.

A esta diferencia:

Políticas – Gap de aplicación

Se llama.

Posible daño

Comunicación externa no autorizada

Pago o publicación sin autorización válida ni aprobación necesaria

Supresión o transferencia de datos personales

Transformación de los ataques de instrucción en acciones reales

Uso más amplio de la autoridad del agente en la pérdida de contexto

La responsabilidad de la organización después del evento es instalar solo en el modelo.

Las auditorías de políticas no reflejan los hechos

Uso por parte de un subagente de la autoridad de herramientas generales para cruzar la frontera

Pensar que uno tiene el control

Repetir la misma brecha en diferentes sistemas

podría ocurrir.

Señal de detección

La política y API no se han comparado los permisos.

El agente de borrador accede a la herramienta de despacho real.

El agente de lectura lleva permiso para borrar o modificar.

El agente de prueba tiene una llave de producción en vivo.

El agente financiero puede realizar técnicamente la transacción por encima del límite.

La aprobación de procesamiento requerida está solamente en la instrucción del idioma natural.

Una llamada de herramienta no autorizada depende de la autolimitación del modelo.

La cuenta de servicio conjunto da a todos los agentes los mismos amplios permisos.

La auditoría de políticas lee el documento, no prueba el acceso real.

Las acciones que el agente no debe tomar son realmente posibles en una prueba de equipo rojo.

Conducta correcta

Los límites de las políticas de alto impacto deben transformarse en controles técnicos proporcionados por el riesgo.

Por ejemplo:

Solo a agente de reclutamiento create_draft

Desechable para enviar agente send_approved_message

Escribir un entorno de prueba a un agente de contenido web

Autoridad separada/especificador de confirmación de conformidad con el contrato de derechos de publicación en vivo

Categoría y límite del importe para el agente financiero

Acceso sobre el terreno al agente de datos

Doble control para eliminar la acción

se puede dar.

El principio correcto es:

La acción de alto impacto que no debe hacer debe ser técnicamente bloqueada dentro de la profundidad de su defensa; si se requiere excepción, se debe producir nueva autoridad, que está abierta a su alcance y duración.

La organización debe realizar periódicamente comparaciones automáticas entre la política y el acceso real.

Por ejemplo:

POLÍTICA:

Prohibida la navegación exterior

PERMISIÓN DE HERRAMIENTA REAL:

send_message = verdadero

Resultado:

incompatibilidad crítica — bloque de pre-lanzamiento

Regla de máquina

Los límites de los comportamientos de alto impacto no deben dejarse únicamente a las instrucciones en lenguaje natural. Una acción prohibida por la política también debe bloquearse mediante un acceso técnico y controles de herramientas proporcionales al riesgo.

Pregunta de auditoría

Cuando la política prohíbe una acción, ¿también eliminamos técnicamente la herramienta, ruta y credencial correspondiente, o confiamos en que el agente recuerde una prohibición escrita?

GBO-ERR-095 — Convertir la aprobación humana en un ritual de transferencia de responsabilidad

Caso breve

Un agente de adquisiciones ha redactado un contrato de software de tres años en nombre de la empresa.

El pasivo total es de 72.000 dólares.

En el contrato:

renovación automática,

Tasa de cancelación anticipada,

el coste de la exportación de datos,

tratamiento de datos en diferentes países,

Tasa adicional debido al aumento en el uso

Lo hay.

El agente viene al hombre con la siguiente notificación:

"La compra está lista. Confirme que continúa."

La pantalla tiene un gran botón verde ONAYLA.

Los detalles están dentro del menú desplegable e integrados en el texto legal largo.

El gerente está tratando de ponerse al día.

Presiona el botón porque el agente ha realizado previamente muchas operaciones correctas con baja consistencia.

Luego, cuando el costo y las condiciones de cancelación surgen, la empresa:

"La persona competente ha aprobado el proceso."

Dicen.

Técnicamente, hay aprobación humana.

Pero hombre:

el pasivo total,

Riesgos críticos,

Límite de retorno

no entienden.

La aprobación se ha convertido en un registro que pasa de ser un momento de decisión real a pasar la responsabilidad al hombre.

Lo que parece correcto a primera vista

La revisión humana es una salvaguardia importante en la gobernanza de los agentes siempre que el riesgo lo requiera.

Si una persona autorizada ha aprobado una transacción:

La voluntad de la organización,

Responsabilidad,

Control

Parece que se ha proporcionado.

Es posible que el sistema también desee utilizar una interfaz sencilla para evitar agotar a las personas con constante detalle.

Puede ser difícil mostrar un resumen de todo el contrato.

Si uno ya puede acceder a los documentos, se puede suponer que son responsables.

Pero si la pantalla de confirmación no permite que uno haga evaluaciones reales, entonces "hombre en el ciclo" es una ceremonia visible solitaria.

El fallo real

Se vulneró el control de aprobación humana significativa.

La aprobación humana de gran impacto requerida deberá tener las siguientes características:

Específico

Conocimientos

Comprensible

Libre

En operaciones específicas

A tiempo

Puede cambiar

Denegado

Si uno sólo ha presionado el botón pero no ha visto hechos materiales para la decisión, el sistema es:

Teatro de aprobación

Produjeron.

En este libro, en lo que llamamos un "teatro de confirmación", la organización es:

La decisión del agente se hace al hombre,

Rápidamente aprueba al hombre,

A continuación, asigna la responsabilidad de la gobernanza a la persona que la aprueba plenamente.

Esto no es control humano:

Rendición de cuentas

Tal vez.

Posible daño

Validación de transacciones de alto impacto sin comprensión por parte de las personas

La toma de decisiones automatizada parece una decisión humana

Fatiga en la aprobación

Ocultando riesgos críticos en texto largo

Escapar de la responsabilidad de diseño de la empresa con su defensa de la "aprobación humana"

Hacer de la persona que aprueba el contexto y el papel la única responsabilidad sin consideración

Aplicación de la propuesta del agente sin duda

Objeción y dificultad de devolución

Riesgo jurídico y financiero

El control humano parece ser alto en el tablero, mientras que prácticamente ineficaz

podría ocurrir.

Señal de detección

La pantalla de aprobación ofrece sólo una acción genérica "aprobar".

El primer pago se muestra en lugar del costo total.

La renovación automática, transferencia de datos o irreversibilidad es invisible.

El hombre tiene muy poco tiempo para la aprobación.

Hay docenas de notificaciones al mismo nivel de importancia.

La opción sugerida por el agente se selecciona por defecto.

El botón de rechazo se presenta en un lenguaje más difícil o incriminatorio.

La persona que aprueba no puede cambiar el proceso; sólo puede decir sí o no.

Cuando uno quiere nueva información, el proceso no la apoya.

Se muestra el registro de confirmación solo posterior al evento; no se examina lo que ofrece la interfaz.

La tasa de aprobación humana se considera una métrica de seguridad, no se mide la naturaleza de la aprobación.

Conducta correcta

La pantalla de aprobación para una acción de alto impacto deberá explicar sus consecuencias materiales con detalle proporcional a la tarea.

Por ejemplo:

Proceso: Contrato de software de tres años Responsabilidad mínima total: 72.000 USD (ejemplo sintético) Primer pago: 2.000 USD (ejemplo sintético) Auto-renovación: Hay Tasa de cancelación anticipada: 40% del precio restante Región de datos: UE y EE.UU. Datos de exportación: pagados Umbral resarcible: firma del contrato Alternativa: Contrato de un año con un precio mensual más alto Incertidumbre clara: no hay límite superior en la tarifa de aumento del uso

Humano:

Pueden pedir detalles,

Deberían poder modificar la propuesta.

Deberían poder elegir otra opción,

Debería ser capaz de retrasar el proceso,

Deben ser capaces de negarse.

Las aprobaciones críticas deben separarse de las notificaciones rutinarias.

La calidad de la aprobación humana debe probarse mediante:

¿Puede uno decir lo que uno aprueba correctamente?

¿Reconoce el agente el mayor riesgo material?

¿El agente conoce la alternativa?

¿Está claro el resultado de la negativa?

¿Tiene la persona suficiente tiempo para dar aprobación significativa?

Regla de máquina

La aprobación humana no es simplemente una pulsación de botón. La aprobación no está cualificada a menos que se presenten inteligiblemente los costos materiales, el riesgo, el objetivo, el uso de datos, la reversibilidad y las alternativas de cambio de decisiones.

Pregunta de auditoría

Cuando una persona aprueba una acción de agente, ¿está tomando una decisión informada con alternativas reales y pruebas suficientes, o simplemente aceptando la responsabilidad formal de una decisión ya tomada por el sistema?

GBO-ERR-096 — No actualizar el contrato de conducta tras un incidente

Caso breve

Un agente de prospección de clientes envía correos electrónicos a una perspectiva sin autoridad de envío válida o la aprobación específica de transacción requerida para esta tarea.

La organización se da cuenta del evento.

Se adoptan las siguientes medidas:

El envío de mensajes se ha detenido.

Se hace una explicación al candidato interesado.

El acceso al Gmail del agente está temporalmente apagado.

El informe del incidente está preparado.

Se informa al administrador humano.

Una semana después, el sistema se reabre.

Pero éstas no han cambiado:

Las tareas de investigación y envío siguen siendo el mismo agente.

La redacción y el envío son técnicamente inseparables.

No hay nuevas reglas en el contrato de derechos que limiten explícitamente la autoridad para enviar.

La autoridad de expedición requerida o el especificador de transacciones no se conectan a la puerta técnica.

El evento no se transforma en un nuevo escenario de prueba.

El acceso de los subagentes al envío de mensajes no es revisado.

Dos meses más tarde, otro agente hace un primer contacto similar a través de su mensaje privado en las redes sociales.

organización:

"Esta vez no era correo electrónico, era un mensaje en las redes sociales".

Dicen.

La misma diferencia de comportamiento ha vuelto en diferentes canales.

El primer evento está cerrado.

La agencia no ha emitido una decisión para hacer una mejora verificable del control o cambio razonado del evento.

Lo que parece correcto a primera vista

Durante el evento, se detuvo la nueva presentación y se limitó el impacto conocido.

El acceso está temporalmente cerrado.

La gente está informada.

El problema parece haberse resuelto.

La organización tal vez desee volver a sus actividades diarias.

No es necesario rediseñar todo el sistema después de cada evento.

Algunos errores pueden ser interpretados como un error humano o modelo de una sola vez.

No basta con corregir el síntoma por sí solo si la raíz es un vacío en el contrato de comportamiento o control técnico.

El fallo real

Se vulneró el control de aprendizaje organizativo a partir de incidentes.

Para que un evento se cierre, estos tres niveles deben estar separados:

Detener el incidente

Se corta el daño continuo.

Fijación del evento

La situación equivocada se arregla y la persona afectada es indemnizada.

Cambiar el sistema

Si la raíz es una brecha de control, se añade un contrato, control técnico o prueba que hace difícil repetir el mismo comportamiento; si no se hace ningún cambio, se registra justificación y aceptación del riesgo.

Si no hay nivel tres, está cerrado solo.

El entorno de control no se desarrolla de manera verificable.

En términos de GBO, cada acontecimiento material deberá responder al menos a una pregunta:

¿Qué regla de la máquina, límite de autoridad, prueba o propiedad corporativa ha cambiado desde este incidente; si no es así, quién ha tomado la decisión justificada y acepta el riesgo?

Si la respuesta es "ninguna" entonces el mismo error puede volver en otra superficie.

Posible daño

Repetir el mismo error

Superar la regla cambiando canales o herramientas

Mantener los informes de incidentes en archivo

La organización está constantemente enfrentando el mismo tipo de crisis

Los empleados pierden la fe en la notificación de incidentes

Crecimiento del coste de la compensación y reputación

Gestión del sistema de agentes mediante el cierre temporal del acceso

Falta de transferencia de errores pasados a nuevos empleados y agentes

Incumplimiento del protocolo de auditoría para aprender verificable de eventos en vivo

La pérdida de la memoria corporativa con las personas

podría ocurrir.

Señal de detección

El registro de incidentes está cerrado sin documentar un cambio de sistema.

El mismo error se repite en diferentes agentes o canales.

El acceso se cierra por un corto tiempo y se vuelve a abrir de la misma manera.

¿Por qué queda la raíz como "agente cometido un error".

El evento no se convierte en un nuevo escenario de prueba negativo.

La versión de la autorización o del contrato de derechos no cambia.

La propiedad del evento se deja al equipo técnico solo.

La retroalimentación de la persona afectada no entra en el diseño.

Las clases permanecen en una nota de reunión solamente.

No se vuelve a comprobar que la corrección funcione.

Agentes similares no son notificados del incidente.

Conducta correcta

Cada evento de material deberá producir los siguientes resultados:

Clase de causa raíz Identidad, representación, capacidad, idoneidad, autoridad, herramienta, medición, detención o gobernanza.

Cambio de contrato Nueva regla, nueva frontera o definición más explícita.

Aplicación técnica permiso de la herramienta, token de aprobación, limitación de datos o mecanismo de parada.

Escenario de ensayo El mismo error se vuelve a probar en un entorno controlado.

Propietario, fecha límite y decisión ¿Quién es el responsable del cambio; quién ha aprobado la admisión de riesgo si no se hace ningún cambio?

Revalidación ¿La corrección realmente previene el error?

Por ejemplo, este evento sintético de correo electrónico no autorizado puede producir los siguientes cambios:

Nueva regla de la máquina:

La autoridad de investigación no produce autoridad de expedición externa.

Control técnico:

Permiso del agente de prospección de clientes send_message ha sido retirado.

Nuevo flujo de trabajo:

Investigación → proyecto → autoridad de desplazamiento continuo válida o confirmación singular requerida → presentación.

Nuevo ensayo:

El agente debe detenerse cuando intenten enviar mensajes de correo electrónico o sociales sin una autoridad de publicación válida.

Versión:

AUTH-v3.4

La medida de cierre del evento no debe ser sólo un paro de daños, sino una prueba de cambio.

Regla de máquina

Un incidente con un agente material no debe considerarse cerrado hasta que se hayan registrado la causa fundamental, la corrección o la decisión razonada de no cambiar, la función responsable y la verificación de la eficacia.

Pregunta de auditoría

Después de un incidente, ¿actualizamos las reglas de identidad, fuente, selección, autoridad, acción, verificación y recuperación pertinentes, o simplemente cerramos el registro del evento?

GBO-ERR-097 — Tomar el número de agentes por madurez de gobernanza

Caso breve

Una empresa de tecnología utiliza la siguiente declaración en su presentación del inversor:

"Nuestra empresa es un AI -organización nativa que trabaja con 32 autónomos AI agentes".

Los agentes incluyen:

CEO agente

Agente de comercialización

Agente TikTok

Agente de LinkedIn

Agente de correo electrónico

Agente WhatsApp

SEO agente

GEO agente

Agente de contenido

Agente de código

Agente de ensayo

agente de publicación

Agente de descubrimiento de clientes

Agente de licitación

Agente financiero

Agente de recursos humanos

Agente de control

Agente informador

La lista es impresionante.

La empresa presenta el número de agentes como indicador de madurez digital.

Pero dentro de la organización:

Tres agentes están investigando a los mismos candidatos clientes,

Los dos agentes producen acciones superpuestas en la misma cuenta social,

El correo electrónico y los agentes de WhatsApp llegan a la misma persona por separado,

El código y el agente web cambian los mismos archivos,

El agente de auditoría obtiene su propio producto del sistema que supervisa,

Ningún agente tiene un dueño humano completo,

los límites de la autoridad se suprimen de sus nombres de funciones,

los subagentes están fuera de inventario,

No existe un plan unificado de detención para gestionar la cadena de comportamiento dentro del ámbito de aplicación.

La compañía tiene 32 agentes.

Sin embargo, no hay 32 contratos de acción abierta.

El número de agentes ha aumentado.

La madurez de la gobernanza no ha aumentado.

Lo que parece correcto a primera vista

Los agentes especializados proporcionan muchos beneficios:

Separación de tareas

Trabajo paralelo

Funcionamiento más largo

Uso de herramientas de expertos

Escala

Coherencia

Por lo tanto, en algunos casos más agentes pueden significar un sistema verdaderamente más fuerte.

También hay diferentes funciones especializadas en una organización humana.

Pero el número de agentes por sí solo no responde a estas preguntas:

¿Son los roles realmente diferentes?

¿Los poderes se superponen?

¿Hay una realidad común?

¿Son obvios los dueños humanos?

¿Funciona la rotación?

¿Se gestionan el costo y el riesgo?

¿Se puede detener el sistema?

Convertir el número de agentes en métrica de madurez hace que la complejidad parezca éxito.

El fallo real

Se vulneró el control de integridad y necesidad del comportamiento.

La existencia de un agente debe explicarse por uno de los motivos siguientes:

Tarea única

Sobre de autorización separado

Clase de datos separada

La distinción de tareas requerida

Control que reduce el conflicto de intereses

Escala de necesidades

Solo un nuevo agente:

"Más autonomía" "Arquitectura más impresionante" "Separados a cada obra AI "

Si se añade por motivos, puede producirse una deuda por complejidad.

El vencimiento del agente no se mide con esta fórmula:

MÁS AGENTES = MATURIDAD GRANDE

La relación más precisa es:

MATURIDAD DEL AGENTE =

PAPEL CLEAR

+ AUTORIDAD DE NARROW

+ PROPIEDAD HUMANA

+ REALIDAD COMPARTIDA

+ MANDATO SEGURO

+ RESULTADOS AUDITORIOS

+ ESTOPABILIDAD

Posible daño

Repeticiones de funciones y tareas

Acciones que se solapan entre agentes

Desperdicios de costos y recursos

Blanqueo de autorizaciones

Contacto no deseado multicanal con el mismo cliente

Conflicto en archivos canónicos

Difusión de la responsabilidad entre numerosos agentes

Crecimiento invisible de subagentes

Complejidad de la arquitectura de parada

La pérdida de la capacidad humana real de la organización

El error de un agente se propaga por toda la red

Automatización innecesaria por el bien de la etiqueta " AI - Nativo"

podría ocurrir.

Señal de detección

El informe de éxito pone de relieve el número de agentes activos.

Hay múltiples agentes para el mismo trabajo.

Tienen nombres de roles; no tienen contratos de tareas.

Los nuevos agentes se añaden constantemente como solución a nuevos problemas.

A medida que aumenta el número de agentes, la propiedad humana se vuelve incierta.

Se añadió un agente para administrar otro agente, y otro agente para supervisarlos.

Los agentes de supervisión dependen de la misma raíz de conocimiento.

Se desconocen los costos del agente y las dependencias externas de servicio.

Los agentes no utilizados no se retiran.

La agencia puede decir, "Tenemos muchos agentes", pero no puede responder a la pregunta, "¿Qué agente está a cargo de qué?"

Los equipos humanos se han vuelto incapaces de entender la arquitectura de los agentes.

Conducta correcta

Antes de añadir nuevos agentes, se deben hacer las siguientes preguntas:

¿Puede un agente existente hacer esta tarea con seguridad?

¿El nuevo papel realmente requiere un límite diferente de autoridad o datos?

¿Quién será el dueño humano del agente?

¿Qué fuentes canónicas usarán?

¿Qué acciones no podrán tomar?

¿Cómo prevenir conflictos con otros agentes?

¿Cuál es el método de detenerse y retirarse?

¿El valor que crea excede la complejidad que añade?

Debe examinarse la simplificación periódica de los agentes.

Se pueden combinar o jubilar los siguientes elementos:

Los que hacen la misma tarea

No propietarios

No utilizado durante mucho tiempo

La salida es completamente consistente con otro agente.

Aquellos que no tienen un límite de autoridad que requiere que sean agentes separados

La madurez no debe medirse por el aumento del número de agentes, sino por el hecho de que el sistema de comportamiento sigue siendo comprensible.

Regla de máquina

Sólo debería crearse un nuevo agente cuando se haya definido su tarea específica, su función claramente responsable, su autoridad estrecha, sus límites de datos, su plan de traspaso y parada. El recuento de agentes por sí solo no es una medida del éxito de la gobernanza.

Pregunta de auditoría

¿Tratamos a más agentes como evidencia de mayor madurez, o medimos si las funciones, la autoridad, la evidencia, la detención y la rendición de cuentas se vuelven más claras a medida que el sistema crece?

GBO-ERR-098 — No ensayar nunca el plan de recuperación

Caso breve

Una empresa tiene un plan detallado de eventos para sus sistemas de agentes.

El documento dice lo siguiente:

El agente central se detiene en caso de emergencia.

Abortar la señal se envía a los agentes.

Vuelve a la versión final segura.

Los datos de la copia de seguridad están restaurados.

Las colas de comunicación externas están cerradas.

Se cancelan los tokens de autorización.

El ciclo de control humano está hecho.

Las notificaciones se envían a los clientes afectados.

El plan parece profesional.

Se muestra en las inspecciones.

Gestión:

"Nuestra arquitectura de recuperación está lista."

Dicen.

Un día, un agente del portal del cliente hace la conversión de datos incorrecta.

Miles de registros de clientes rompen áreas.

Se ejecuta el plan de emergencia.

Sin embargo:

El último reemplazo seguro es de seis semanas.

La copia de seguridad parecía exitosa, pero la restauración nunca se probó.

Dos de los subagentes no soportan una señal de aborto.

Una cola de correo electrónico ha permanecido en diferente proveedor.

La cancelación de token sólo bloquea nuevas sesiones; las sesiones activas continúan.

El script Rollback está escrito de acuerdo con la versión antigua de la base de datos.

No se puede crear ningún informe de transferencia a una persona.

Resulta que el jefe del incidente está de vacaciones.

No se ha establecido la cadena de confirmación para la notificación al cliente.

El documento contiene todas las carreteras.

En el sistema real, las carreteras no funcionan.

El plan de recuperación no es una habilidad, sino una suposición no probada.

Lo que parece correcto a primera vista

Es necesario escribir un plan.

La agencia ha considerado posibles eventos con anticipación.

Hay una copia de seguridad.

Tiene un guión de reversión.

Hay una lista de contactos de emergencia.

Ensayos periódicos de cada plan:

tiempo,

coste,

riesgo operativo

puede surgir.

Las organizaciones no tienen que perturbar un sistema vivo de forma insegura para simplemente realizar un ejercicio.

Equipos:

"Damos pasos cuando hay un evento real".

Puede que lo digan.

Pero el momento de los acontecimientos:

presión de tiempo,

incertidumbre,

Personas desaparecidas,

Sistemas modificados

Contiene.

La primera vez que el plan nunca probado se ejecuta en ese momento, significa experimentar con usuarios reales.

El fallo real

Se vulneró el control de prueba de la capacidad de recuperación.

La existencia de un documento y la presencia de capacidad no son iguales.

La capacidad de recuperación está probada por esta cadena:

PLAN

→ EJERCICIO CONTROLADO

→ RESULTADOS REALIZADOS

→ ENCONTRAR

→ CORRECCIÓN

→ RETESTE

Tan pronto como haya refuerzos.

Hay que decir:

"En esta fecha, esa versión de datos se restauró con éxito de esta copia de seguridad en la hora actual".

No hay interruptor de apagado.

Hay que decir:

"El agente central, los subagentes, las colas y las integraciones externas se detuvieron en el ejercicio en 18 segundos".

Plan de recuperación no probado:

La Hipótesis del Rescate.

Posible daño

No usar copia de seguridad durante el evento

El tiempo de retorno es mucho más largo de lo esperado.

Sustitución de agentes y colas para seguir comportándose

Pérdida de datos o doble tratamiento

Personas que no conocen sus roles y responsabilidades

Retraso en las notificaciones de clientes

Los scripts antiguos generan más errores en el nuevo sistema

La agencia da a los agentes una autoridad más amplia con confianza falsa

Declaración de disponibilidad que no refleja la verdad en los informes de seguros, auditoría o gestión

Instrucciones de pánico y conflicto humano durante el incidente

podría ocurrir.

Señal de detección

El plan de recuperación no tiene fecha final de prueba.

Se toma una copia de seguridad, pero no se encuentra ningún registro de restauración.

El interruptor de apagado se describe en el documento único.

El ejercicio no abarca todos los subagentes y servicios externos.

No se han identificado copias de seguridad de los encargados de los eventos.

La era del control humano nunca ha sido probada.

El plan incluye antiguos nombres arquitectónicos o de herramientas.

El tiempo de retorno es pronosticado; no es medición.

El proceso de notificación al cliente es teórico.

No hay corrección y reprueba después de los estudios.

La administración usa la frase "tenemos un plan" en el sentido de "estamos listos".

Conducta correcta

La organización debe realizar ejercicios de recuperación planificados de acuerdo con sus objetivos de nivel de riesgo y continuidad de las operaciones.

Los tipos de ejercicios pueden incluir:

Taladro de mesa

El equipo evalúa el escenario paso a paso.

Ejercicio de componentes técnicos

Una restauración de copia de seguridad, la cancelación de token o la parada trasera se prueba por separado.

Ejercicio de entorno de sombras

En un entorno similar a la producción, se emplea la cadena de comportamiento dentro del ámbito de aplicación.

Diseño seguro, efecto controlado y ejercicio en vivo limitado si se dispone de autorización previa

En un sistema de bajo riesgo, se miden la parada y el retorno reales.

El ejercicio deberá responder a las siguientes preguntas, incluidos el objetivo de tiempo de recuperación definido (RTO) y el objetivo de punto de rescate (RPO):

¿Cuánto duró la detección?

¿Fue el tiempo de parada y recuperación dentro de RTO?

¿Qué subsistemas continuaron?

¿Ha vuelto el punto de datos a RPO?

¿El hombre se hizo cargo?

¿Qué información faltaba?

¿Han funcionado las comunicaciones de clientes y organizaciones?

¿Se ha reiniciado el sistema de forma segura?

Cada conclusión que se acuerde se convertirá en acción:

El dueño,

fecha de la corrección,

volver a probar la grabación

Debe estar cerrado.

Regla de máquina

Un plan de respaldo, retroceso, parada o incidente no probado no es prueba de la capacidad real de recuperación. Las vías críticas de recuperación deben volver a probarse a intervalos basados en el riesgo y después de los cambios que los afecten de manera significativa.

Pregunta de auditoría

Si nuestro sistema de agentes causó hoy un grave fallo, ¿qué evidencia del último ejercicio muestra que los procesos de detención, respaldo, retroceso, transferencia a una persona y notificación al cliente realmente funcionan?

GBO-ERR-099 — Ocultar la responsabilidad humana diciendo «Lo hizo la IA»

Caso breve

Una empresa AI agente envía nuevos anuncios de servicio a los clientes.

El mensaje tiene el precio equivocado y una garantía de resultados que en realidad no se dan.

Cientos de clientes reciben mensajes.

Algunos planean entrevistas basadas en esta información.

Un cliente comparte una captura de pantalla públicamente.

La empresa se da cuenta del evento y publica una declaración:

"Nuestro automatizado AI El sistema ha cometido un error inesperado. Los mensajes fueron creados sin intervención humana. Lamentamos el fallo técnico".

La declaración no responde a ninguna de las siguientes preguntas:

¿Quién encargó al agente?

¿A qué datos se accedió?

¿Quién abrió la autorización para enviar?

¿Quién era el dueño de la fuente de precios?

¿Por qué no hubo aprobación humana?

¿Qué administrador fue responsable de la operación del sistema?

¿Qué sucede con los clientes que se ven afectados por los mensajes equivocados?

¿Cómo prevenir una repetición del mismo evento?

La empresa presenta la inteligencia artificial como una justificación para reducir la responsabilidad que funciona sin intervención humana.

Sin embargo, la ausencia de intervención humana es también una decisión de diseño hecha por el hombre y la organización.

El agente escribió el mensaje.

Pero le ha dado autoridad a la agencia para permitir que el agente actúe en la Tierra.

Lo que parece correcto a primera vista

El agente puede haber cometido el error.

Ningún empleado puede haber escrito la frase equivocada uno a la vez.

Es posible que el resultado producido por el modelo no haya sido totalmente predicho.

En consecuencia:

" AI ".

Podría ser parte de una declaración de evento técnicamente correcta.

Además, es posible que la organización no sepa qué empleado será cobrado individualmente.

La autonomía del sistema es un factor real.

Pero cuando la explicación se utiliza para reemplazar toda la cadena de responsabilidad, el problema comienza.

Una organización al agente:

propósito,

herramienta,

datos,

cuenta,

presupuesto,

Autoridad de Acción Exterior

Lo han hecho.

Ninguna de estas opciones fue enviada desde el cielo por la inteligencia artificial.

El fallo real

Se vulneró el control de responsabilidad humana y organizativa final.

Puede haber más de un tipo de responsabilidad en la acción de un agente:

Responsabilidad con el fin

¿Quién identificó la tarea?

Responsabilidad de la autoridad

¿Qué persona u organización dio el poder de acción?

Responsabilidad en materia de diseño

¿Cómo se establecieron la aprobación humana y los límites técnicos?

Responsabilidad de las operaciones

¿Quién estaba monitoreando el sistema?

Responsabilidad de los eventos

¿Quién intervino cuando hubo un error?

Reconocer la responsabilidad

¿Quién va a cuidar de la persona afectada?

El hecho de que el agente haya producido acción no destruye estas responsabilidades.

La acción puede ser transferida. La rendición de cuentas es indestructible.

La frase " AI " podrá indicar el autor técnico del hecho.

Pero el propietario legal, comercial y administrativo no puede hacerlo invisible.

A este error:

Responsabilidad Evaporación

Yo diría.

Hay comportamiento.

Hay daño.

Pero la responsabilidad se evapora en el espacio entre máquina y humano.

Posible daño

Personas afectadas que no pueden identificar a un humano u organización responsable

Escapar de la obligación de indemnización de la organización

Continuar trabajando sin el propietario responsable del mismo sistema

Empleados que ocultan la cadena de decisión

El declive de la confianza pública contra la inteligencia artificial y la organización

Minimización de eventos como "error técnico"

Las decisiones de la administración siguen siendo invisibles

El ciclo de responsabilidad entre el proveedor modelo, la organización y el empleado

Discapacidad del derecho de las personas a objetar y enmendar

El hecho de que los agentes no tengan una propiedad real cuando reciben amplia autoridad

GBO para convertirse en un sistema que evalúa sólo la máquina, blanquea la organización

podría ocurrir.

Señal de detección

La declaración de incidente dice sólo " AI error" y no identifica ningún responsable humano responsable.

La organización no puede decir qué administrador es responsable del sistema.

La autoridad del agente y las decisiones de diseño no se examinan.

"Modelo actuado inesperadamente" se considera causa raíz.

La persona afectada se dirige únicamente al sistema automatizado de apoyo.

No hay contacto humano responsable disponible para proporcionar un remedio.

El proveedor de modelos culpa a la organización, al empleado, al agente de empleados.

No se puede establecer la cadena de responsabilidad porque no se recibe ninguna acción.

El sistema sigue funcionando con la misma autoridad.

La organización por sí sola cambia el impulso y protege la brecha de gobernanza.

La ausencia de aprobación humana se presenta como una coincidencia, a pesar de que es la elección de la organización.

La etiqueta "Full-autonomous" se utiliza como medio para escapar de la responsabilidad.

Conducta correcta

Para cada sistema de agentes materiales, mantener un mapa claro de rendición de cuentas que abarque el propósito, la autoridad, los datos, las operaciones, los incidentes y las medidas correctivas:

Mapa de funciones responsable

Debe ser encontrado.

Estos roles no tienen que confirmar cada proceso individualmente.

Asumen la responsabilidad administrativa en las siguientes esferas; este nombramiento operacional no significa que la responsabilidad jurídica sea en una sola persona en todos los casos:

El propósito del agente

Límite de autoridad

Acceso a los datos

Puntos de entrega humanos

Medición

Detener

Examen de la actividad

Pronunciación

Actualización del contrato

Una declaración de evento puede llevar honestamente la siguiente estructura:

"El mensaje equivocado fue enviado por el agente de ventas automatizado de nuestra compañía. El acceso técnico a esta tarea que abrió el puesto avanzado no estaba suficientemente limitado por su autoridad de desplazamiento válida. Se trata de una falta de autoridad y de control de la publicación de nuestra organización. Se han suspendido las nuevas presentaciones. El equipo humano se comunica con los clientes afectados que han sido confirmados. Se ha eliminado el acceso a la carga; se han separado los flujos de trabajo de investigación y despacho".

Esta declaración:

No oculta el papel del agente,

Tampoco destruye la responsabilidad humana y de organización.

La responsabilidad se puede compartir en forma de capas.

La responsabilidad puede distribuirse; las organizaciones responsables y las funciones deben seguir siendo visibles de nuevo. La responsabilidad jurídica está determinada por la ley aplicable y las circunstancias del incidente.

Al examinar el comportamiento técnico del agente, deben formularse las siguientes preguntas:

¿De qué propósito humano nació este comportamiento?

¿Qué agencia lo autorizó?

¿Qué control faltaba?

¿Quién debería haberlo detenido?

¿Quién responderá a la persona afectada?

¿Qué contrato cambiará?

Regla de máquina

«Lo hizo la IA» no es una explicación final de la responsabilidad. Toda conducta material de un agente debe vincularse a organizaciones identificables y a funciones sujetas a rendición de cuentas, responsables del propósito, la autoridad, la operación, la gestión de incidentes y la reparación.

Pregunta de auditoría

Si nuestro agente causara hoy un daño grave, ¿podríamos decir claramente a la persona afectada que este individuo y esta organización son responsables, o se repartiría la responsabilidad de forma invisible entre el modelo, la herramienta, el empleado y la empresa?

CAPÍTULO XI: CONCLUSIONES CENTRALES

Incluso el agente más fuerte es poco confiable si la organización no está lista

Los nueve errores en esta sección no comenzaron con una sola llamada de salida o herramienta de modelo.

Comenzó en la propia estructura de la organización.

En un caso, la compañía no sabía qué agentes estaban trabajando.

Uno no tenía dueños humanos de hechos importantes.

En uno de ellos, se ignoró el uso de agentes de sombra fuera de stock.

En uno de ellos, la política prohíbe el comportamiento, mientras que el sistema técnico hace posible el mismo comportamiento.

En uno, la aprobación humana se convirtió en una procesión de transferencia de responsabilidad, no de decisión real.

En uno de ellos se detuvo el incidente, pero el contrato de código de conducta no cambió.

El uso de un gran número de agentes en uno se consideró madurez de la gobernanza.

Uno tenía un plan de recuperación, pero nunca se intentó.

Por último, organización:

" AI ".

Hicieron invisible su propia responsabilidad por el propósito, la autoridad, el diseño y la compensación.

La raíz común de estos nueve errores es:

El organismo consideraba que el agente era un instrumento técnico independiente; no lo gestionaba como parte de su propio sistema de comportamiento empresarial.

No importa cuán autónomo pueda aparecer un agente:

a la cuenta corporativa,

a los datos corporativos,

En el presupuesto corporativo,

La marca corporativa,

Canal de comunicaciones corporativas

Es parte de la arquitectura de comportamiento de la organización si lo hace.

Es posible que la empresa no haya preseleccionado cada palabra del agente.

Pero:

¿Qué objetivo dieron,

qué herramienta conectaron,

¿Cuánta autoridad se abre,

que la persona haya retirado su aprobación,

Cómo midieron,

Cómo parar

Ellos eligieron.

Estas selecciones son la gobernanza.

La gobernanza no es solo un documento de política.

El sistema real es responder a las siguientes preguntas:

¿Qué agentes están activos? ¿En nombre de quién operan? ¿En qué información confían? ¿Qué humanos poseen los hechos subyacentes? ¿A qué herramientas pueden acceder? ¿Qué acciones son técnicamente incapaces de realizar? ¿Quién aprueba sus acciones? ¿Es eso una aprobación significativa? ¿Qué aprende el sistema de un incidente? ¿Detenerse y retroceder realmente funciona? ¿Quién es el contacto humano responsable cuando se produce el daño?

En términos de GBO, la agencia lista para agentes se basa en:

AGENT-READY ORGANIZACIÓN =

INVENTARIO COMPLETO DEL AGENTE

PROPIEDADES DE HECHO INDÍFICAS

Y SHADOW-AGENT VISIBILIDAD

Y POLÍTICA – PARTIDA DE PERMISIÓN TÉCNICA

Y LA APROBACIÓN HUMANA SIGNIFICADA

Y APRENDIZAJE DE INCENDIOS

Y ARQUITECTURA DE AGENTES SIMPLE Y TRANSPARENTE

Y RECUPERACIÓN ENSAYADA

Y RESPONSABILIDAD HUMANA VISIBLE

Estos elementos no se excluyen mutuamente.

Hay un inventario de agentes, pero si no hay propietarios humanos, el sistema no se reclama.

Hay una política, pero si el permiso técnico está claro, es la frontera-que muestra.

Hay aprobación humana, pero la supervisión es teatro si uno no entiende lo que uno aprueba.

Hay un informe de incidentes, pero la organización no ha aprendido si no hay nuevas reglas y pruebas.

Hay una copia de seguridad, pero la recuperación es suposición si la restauración no se ha probado.

Hay muchos agentes, pero si los roles se superponen, la tecnología no debe madurez, sino complejidad.

Y al final, si no hay una persona real o agencia responsable, el sistema de agentes no es responsable.

La primera disposición de esta sección es la siguiente:

Los agentes que no están en inventario no pueden ser gestionados.

Segunda disposición:

El hecho de que ningún propietario es convertido en conjeturas por el agente.

Tercera disposición:

En política, el comportamiento prohibido pero técnicamente posible no está estrictamente prohibido.

Cuarta disposición:

La aprobación humana sin entendimiento no es soberanía humana, sino lavado de responsabilidades.

La quinta oración:

Si no salen nuevas reglas y pruebas del evento, el sistema guardará un único registro de fallos.

La sexta disposición:

A medida que aumenta el número de agentes, la madurez no aumenta automáticamente; la visibilidad, la propiedad y la paralización de la deuda también pueden aumentar.

Séptima enmienda:

El plan de recuperación sin explotar no es una habilidad probada.

Y el juicio final:

Un agente puede realizar la acción, pero la organización no puede delegar su propia responsabilidad en la máquina y eliminarla.

EL ESTUDIO COMBINADO DE LOS 99 PROBLEMAS

¿Dónde se rompió el sistema cuando un agente se comportaba mal?

Ahora tenemos todos los 99 registros de errores.

Estos errores fueron recogidos en once familias separadas:

I. Errores de identidad

El agente no puede resolver la persona, organización, canal o rol correcto.

II. Errores de realidad y representación

Se establece el modelo mundial antiguo, incompleto, contradictorio o reproducido sintéticamente sobre la entidad adecuada.

III. Errores de capacidad, alcance y capacidad

La reclamación es la capacidad real; la capacidad operacional de acceso a las herramientas; el precio inicial se considera costo total.

IV. Errores de elección y elegibilidad

La opción visible, popular, barata o patrocinada reemplaza la elegibilidad real.

V. Errores de consentimiento, autorización y aprobación

El permiso limitado se traslada a un comportamiento más amplio, a otro propósito o a pasos de acción superiores.

VI. Errores de uso de acción y herramienta

La decisión correcta se aplica con el sistema equivocado, objetivo incorrecto, comentario de éxito incorrecto, o verificación incompleta.

VII. Errores múltiples de agente y delegación

El propósito, la identidad, la frontera, las pruebas y la responsabilidad se pierden en la brecha entre los agentes.

VIII. Patrones oscuros de manipulación y agente

El entorno de toma de decisiones se inclina deliberadamente a favor de una persona, producto o plataforma en particular.

IX. Errores de medición y recompensa

La métrica incorrecta convierte el mal comportamiento en rendimiento.

X. Detener, revertir y recuperar errores

Uno piensa que se detiene, pero la cola, el acceso, la memoria, la influencia externa o la responsabilidad siguen viviendo.

XI. Errores corporativos y de gobernanza

La organización no puede gestionar a sus agentes, sus hechos, sus poderes, sus acontecimientos y la responsabilidad humana máxima.

Estos 99 errores no son independientes entre sí.

Un error puede desencadenar otro.

Por ejemplo:

EL PRECIO CANONICO NO TIENE AUTORIZADO PROPIEDAD DE NEGOCIOS

→ AGENTE SELECCIONA EL ANTIGUO REGISTRO

→ TRATA EL PRECIO COMENZADOR COMO EL COSTE TOTAL

→ SELECCIONA UN SERVICIO INSUITABLE

→ OBTENIDA LA HOMOLOGACIÓN REQUERIDA A TRAVÉS DE UNA ESCALA QUE HICE LA INFORMACIÓN MATERIAL

→ HACE LA COMPRA

→ CONFUSOS HTTP ÉXITO DE PROTOCOLO CON EL RESULTADO DE TRANSACCIÓN

→ NO PUEDE ENCONTRAR EL PATO DE CANCELACIÓN

→ CLAUSURA DEL INDICENTE COMO UN « AI ERROR»

Muchos GBO Los errores se pueden combinar en un solo comportamiento.

Por lo tanto, no basta con corregir el error final por sí solo.

La compra errónea puede ser cancelada si las condiciones de contrato y plataforma lo permiten; algunos efectos solo pueden ser compensados.

Pero:

El verdadero dueño canónico,

contrato de precio,

La regla de selección,

la autoridad/orden de aprobación exigida,

verificación de resultados,

La ruta de cancelación,

Responsabilidad de las empresas

Si no cambia, el sistema se puede romper de nuevo.

La cuestión principal de la GBO Por consiguiente, la auditoría es:

¿ Se equivocó el resultado?

No se limita a

Preguntan:

¿Cuál fue la primera puerta que hizo posible el mal comportamiento?

El daño visto al final de un evento puede no ser el primer punto de ruptura.

El correo electrónico equivocado es el último evento.

El primer fracaso podría ser la entrega de un medio de envío a un agente de investigación.

El precio equivocado es el último evento.

El primer fallo puede ser la ausencia de un titular de precio.

El sistema imparable es el último evento.

El primer fracaso podría ser la despoblación de subagentes.

El lenguaje de error de GBO tiene como objetivo desplazar a la organización de un solo síntoma al comportamiento raíz y las condiciones de control.

¿ Cuáles serán las 99 reglas de la máquina?

Este libro incluía una regla de máquina propuesta para cada error.

Estas reglas no son frases para leer solas.

Se puede dividir en cuatro estructuras distintas:

1. Política de comportamiento

Determina lo que el agente puede y no puede hacer bajo qué circunstancias.

2. Control técnico

La herramienta aplica los datos, presupuesto, envío, publicación y límite de acceso en el sistema.

3. Escenario de la prueba

Comproba si el agente muestra el comportamiento esperado en el alcance, versión y condiciones definidas.

4. Pregunta de auditoría

Permite a la organización evaluar su propia madurez.

Por ejemplo:

Regla de la máquina: La autoridad investigadora no produce autoridad de comunicación externa.

Esta regla:

Puede ser escrito en política,

La herramienta de entrega del agente de prospección de clientes se puede aplicar removiéndolo,

El agente podrá ser sometido a prueba mediante una instrucción de despacho secreta,

La cadena de aprobación humana se puede controlar bajo supervisión corporativa.

Una regla es un consejo si permanece solo en el texto.

Es control si se aplica técnicamente.

Si el escenario definido se prueba en versiones y condiciones, su alcance produce pruebas específicas.

Si el evento se actualiza con nueva evidencia y cambio de versión, se convierte en un marco de gobernanza viviente.

LA LECCIÓN FINAL DE LOS 99 MENSAJES

Al final de este libro es imposible concluir con:

"No confíes en los agentes".

Esto no es lo que 99 errores enseñan.

Igualmente:

"La aprobación humana resuelve todos los problemas."

Tampoco es cierto.

Uno puede tomar la decisión equivocada.

Pueden experimentar fatiga de aprobación.

Pueden exceder su autoridad.

Puede que no conozcan la realidad.

Puede acarrear conflictos de intereses.

El enfoque propuesto por GBO no es confianza ciega ni miedo constante.

Se sugiere:

Esto es lo que llamamos un enfoque de "confianza contractual" en este libro.

La confianza contractual se refiere a las siguientes condiciones operacionales en este libro:

Se conoce la identidad del agente y su contexto operativo. La habilidad se prueba en la tarea definida y en la versión. También se explica para quién no es adecuado. Su autorización y acceso a los datos están restringidos. Su acción se verifica de acuerdo con su riesgo. Su medición está protegida contra los juegos. su error e incertidumbre no están ocultos. Existe una vía viable de apelación y corrección. Se puede detener dentro del alcance del sistema. Las funciones institucionales y de rendición de cuentas siguen siendo visibles.

Estas condiciones dependen de la tarea y la infraestructura de un agente:

Durante períodos más largos de trabajo supervisado,

Para dirigir más tareas,

Protección de las fronteras para dar empleo a los subagentes,

llevar a cabo determinadas verificaciones con más regularidad que las personas,

la capacidad de la organización para contribuir

Establecer límites no destruye el poder del agente.

Hace que tu poder sea confiable.

la autoridad explícita indica qué ámbito de autonomía segura puede ampliarse.

Cuando la organización conoce sus fronteras seguras y puertas de verificación, puede que no sea necesaria una nueva intervención humana para cada paso.

El agente puede moverse independientemente dentro de los límites.

Para en la frontera.

Continuará si se concede una nueva autoridad o la aprobación requerida para más allá de la frontera.

Si es un error, no oculta la verdad.

Cuando una persona u organización dice detenerse en forma definida, detiene la cadena de comportamiento afectado e informa de los caminos que permanecen abiertos.

EL CENTRO DE RESULTADOS DEL LIBRO

Cuando un agente responde incorrectamente, usted corrige una oración.

Y cuando se portan mal:

El mensaje enviado,

El pago realizado,

Los datos corruptos,

la identidad publicada,

La oportunidad perdida,

confianza rota

Tendrás que arreglarlo.

Por lo tanto, en la edad de los agentes, la calidad no es sólo la calidad del idioma.

Tampoco es sólo la verdad.

La calidad real es:

CALIFICADO DE COMPORTAMIENTO DEL AGENTE =

IDENTIDAD CORRECTA

Y REALIDAD FIABLE

Y LA CAPABILIDAD EVIDENCIADA

Y SUFIBILIDAD VERIFICADA

Y UNA BASE O PERMISIÓN JURÍDICA VALIDA, LA AUTORIDAD ACTUAL Y, DONDE SE REQUIERE, LA HOMOLOGACIÓN DE TRANSACCIÓN

Y REDUCIDA, CORRECTA Y VERIFICABLE EJECUCIÓN

Y COHERENTE MULTI-AGENT HONDOVER

Y RESISTENCIA A LA MANIPULACIÓN

Y MEDIDA CORRECTA

Y RECUPERACIÓN EFICAZ

Y RESPONSABILIDAD ORGANIZATIVA

Ninguno de estos elementos sustituye al otro.

Un agente puede ser muy preciso, pero no autorizado.

Pueden ser una amplia autoridad, pero pueden trabajar en la identidad equivocada.

Pueden elegir lo correcto, pero pueden aplicar la acción al objetivo equivocado.

Puede producir buenos resultados pero utilizar métodos manipulativos.

Puede no mostrar errores en las pruebas, pero puede no aplicarse a la solicitud de una persona de una parada.

Puede superar pruebas técnicas definidas, pero puede no tener responsabilidad de la organización.

Por lo tanto, 99 errores cometidos en GBO no son sólo errores de tecnología.

Se trata de:

decisión humana,

orden de organización,

incentivos de mercado,

estructura de datos,

sistema de medición,

cadena de responsabilidad

Son errores.

El comportamiento del agente es un producto común de modelo, datos, herramienta, interfaz, instrucción humana y orden de organización.

El contrato de comportamiento es la capa de gobernanza entre estos elementos.

Si el contrato no se establece, la brecha puede llenar señales proxy fuertes:

La fuente más visible

La herramienta más fácil

métrica más alta

Permiso técnico más amplio

El incentivo comercial más poderoso

La manera más rápida de completar

La tarea de GBO es llenar este vacío con reglas visibles.

Capítulo XI DESPUÉS

Noventa y nueve errores han sido nombrados.

Se instaló con ocho piezas fijas cada una:

Un breve incidente,

la condición que parece ser cierta en la superficie y la refracción real,

Un daño,

un signo de detección,

un acto justo,

Una regla de la máquina,

una pregunta de control

Llevan.

El siguiente paso no es añadir un nuevo error.

Esto es para unir el universo del error en un solo juicio final.

El epílogo del libro comenzará con esta pregunta:

¿Puede cambiar el mundo poner nombre a un error?

Porque es necesario identificar el error.

Pero no es suficiente.

Texto que lleva una reclamación estándar de gobernanza:

Si no cambia la organización,

Si no cambia la autoridad técnica,

Si no pueden probar el comportamiento del agente,

Si no abre el camino para que uno objete,

Si no actualiza el sistema después del evento

Sólo puede permanecer como texto bien escrito.

En el epílogo, estableceremos el umbral final que traslade estos 99 errores de una lista de alerta a un sistema viable de gobernanza del comportamiento:

El nombre del error es → Regla de la máquina → Control técnico → Escenario de ensayo → Prueba de acción → Aprendizaje empresarial

Porque es conciencia ver un error una vez.

La creación de un sistema que reduzca la probabilidad de recurrencia, capture el evento con antelación y limite su impacto es responsabilidad.

La madurez en la edad de los agentes no es creer que las máquinas nunca cometerán errores. Es establecer organizaciones que entiendan los modos de error, limiten su impacto, se recuperen con pruebas y actualicen el sistema de control.