Cuando un agente responde incorrectamente, usted corrige una oración.
Sin embargo, cuando actúa erróneamente, debes remediar las consecuencias de sus acciones en el mundo real.
Cuando un sistema de IA indica incorrectamente el precio de una empresa, es posible corregir el texto. Pero si ese mismo sistema realiza una compra en nombre del cliente basándose en el precio incorrecto, el problema ya no se limita a una información errónea. Se ha gastado dinero, se ha contraído un compromiso y se ha influido en el comportamiento de otras personas.
Un agente puede confundir a una persona con un directivo de la empresa.
Esto es un error de identidad.
Pero si realiza un pago siguiendo las instrucciones de esa persona, el error de identidad se convierte en una acción financiera.
Un agente puede interpretar mal el alcance de un servicio.
Esto es un error de representación.
Pero si envía al cliente una oferta que describe incorrectamente el alcance del servicio, genera un compromiso comercial.
Un agente puede pasar por alto que se requiere la aprobación de una persona.
Esto es un error de autorización.
Pero si el agente publica el contenido, la reputación de la organización y su responsabilidad legal se ven afectadas.
El problema central en la era de los agentes no se limita a que las máquinas cometan errores. Las personas, las organizaciones y el software también se equivocan. El riesgo específico es que algunos sistemas de agentes pueden propagar un único error a gran velocidad, con un amplio alcance y a través de varias herramientas.
Un humano puede enviar un correo electrónico incorrecto a una persona; con el acceso y la automatización necesarios, un agente puede personalizar y enviar el mismo error a muchas personas.
Un empleado puede usar el precio incorrecto en un solo documento; un agente con los enlaces necesarios puede difundir este precio entre varios idiomas, catálogos, datos estructurados, plantilla de puja y flujo de ventas.
Un humano puede editar el archivo incorrecto; un agente con amplio acceso de escritura puede propagar ese error consistentemente a través de una gran cadena de producción.
El peligro aquí no es que AI Siempre es malo o descuidado.
Un agente puede, de hecho, hacer lo incorrecto con un orden notable, consistencia y éxito aparente.
El precio equivocado se puede traducir sin problemas en seis idiomas.
El mensaje no autorizado puede ser escrito altamente profesional.
Un proveedor inadecuado puede parecer respaldado por pruebas sólidas.
El éxito irreal se puede presentar convincentemente en un hermoso salpicadero.
Cuando el error se combina con la calidad técnica, se hace difícil de detectar.
Por lo tanto, los errores cometidos en GBO son únicamente:
"El modelo respondió incorrectamente."
No podemos manejarlo al nivel.
El error se puede iniciar en cualquiera de las siguientes capas:
La organización ha publicado información falsa o incompleta.
Las identidades no están conectadas correctamente.
Los límites de servicio no están claros.
La autoridad se confunde con el acceso técnico.
El agente ha ampliado la intención del usuario.
No se han pasado límites a los subagentes.
El sistema de medición ha recompensado el mal comportamiento.
La demanda de una parada humana sólo detuvo al agente principal.
El plan de retroceso sólo cubría los archivos técnicos y el daño pasado por alto a las personas.
En otras palabras:
El error del agente a menudo no sólo nace dentro del agente.
El mal comportamiento puede surgir en la brecha entre la realidad de la organización, el orden de autoridad, la arquitectura de herramientas, la instrucción humana y el sistema de medición.
Este libro es un mapa de estas lagunas.
En el Volumen I, explicamos lo que GBO es y las condiciones requeridas para un comportamiento correcto. Construimos un sistema que vincula la identidad verificada, la capacidad genuina, la idoneidad validada, la autoridad válida, la integridad del comportamiento, la acción basada en pruebas, la verificación independiente, la recuperación responsable y la soberanía humana.
En este segundo volumen, no vamos a repetir el sistema ideal.
Te mostraremos dónde se rompieron.
Un enfoque desde el punto de vista de este libro es un think tank sólo cuando describe principios correctos; cuando llama formas de error, el lenguaje común del estudio se convierte en un borrador del sistema auditable cuando establece controles testables.
Los 99 registros que siguen no son, por tanto, una lista de «no» ensamblada al azar.
Cada registro:
una forma separada de fallo,
Un marcador separado de detección,
un código de conducta separado,
una cuestión de auditoría separada
representa.
Algunos errores serán similares.
La autoridad puede estar entrelazada con la identidad.
El error de representación puede convertirse en un error de elección.
El error de medición puede dirigir el agente a la superposición del alcance.
Un error de parada puede conducir a un problema de compensación.
Pero la primera puerta donde se rompe cada disco es diferente.
Esta distinción es importante.
Porque si arreglamos el resultado solo, el error volverá en otra forma.
Eliminar el mensaje equivocado no corrige su capacidad de enviar.
Actualizar el precio incorrecto no resuelve la incertidumbre en la fuente de precios.
Cerrar el subagente no elimina la forma de despejar la autoridad.
La disculpa a un usuario no establece un mecanismo de retiro.
El propósito de GBO No es culpa del agente.
Y humano.
El objetivo es hacer visible el sistema, lo que hace posible el mal comportamiento.
A lo largo de este libro, preguntaremos repetidamente:
¿Por qué el agente actuó así?
Entonces iremos un paso más allá:
¿Qué contrato, registro, autoridad o diseño carecían que hiciera posible este comportamiento?
Y finalmente:
¿Qué regla impuesta por la máquina haría que esta falla tuviera menos probabilidades de repetirse?
99 errores cometidos en GBO no pretender cubrir todas las cuestiones futuras de los agentes.
Surgirán nuevas herramientas, mercados, ataques y formas de comportamiento.
Pero el universo de errores establecido aquí proporcionará un lenguaje de partida común para evaluar los sistemas de comportamiento.
Una organización está ahora sola:
"El agente lo hizo mal."
No debería ser suficiente para decir.
Deberían ser capaces de decir:
"La acción comenzó antes de que pasara la Puerta de la Identidad."
"La autoridad investigadora fue utilizada como autoridad de comunicación externa".
"El precio legible por la máquina contradecía el precio visible".
"El agente inferior ejerció la autoridad que el agente principal no tenía."
"La orden de restricción no se extendió a la cola."
"La métrica del éxito recompensó la acción no autorizada".
Una vez que un error tiene un nombre, se hace más fácil de buscar, detectar y medir; su cadena de responsabilidad puede ser examinada, y los controles se pueden construir para hacer que el mismo fallo sea menos probable de repetir.
El primer capítulo de este libro comienza con la base más básica del comportamiento:
Identidad
Porque cuando un agente elige a la persona equivocada, la compañía equivocada, la cuenta incorrecta o el papel incorrecto, toda la precisión posterior puede quedar sin sentido.
La operación perfecta en la persona equivocada es otra vez la incorrecta.
La oferta correcta enviada a la organización equivocada es de nuevo mala conducta.
Una acción basada en una autoridad expirada no está autorizada, aunque tenga éxito.
La frase un rostro sintético realista pronuncia puede no ser una declaración de la persona real.
Un agente puede conservar el mismo nombre aunque el sistema técnico, las herramientas y la versión de autorización detrás de él hayan cambiado.
Por lo tanto, los primeros nueve errores se centran en el siguiente problema:
¿El agente sabe realmente con quién están tratando?