De la inteligencia de la máquina a su responsabilidad

Una mañana ficticia. Son las 07:15. El agente de IA de un directivo ha revisado los mensajes recibidos durante la noche y ha separado los correos importantes. Ha advertido que la reunión de la mañana será en otra ciudad, ha descubierto que el vuelo se ha cancelado y ha buscado alternativas.

El agente podría:

• comprar un billete para otro vuelo;
• cambiar la reserva del hotel;
• reorganizar el traslado desde el aeropuerto;
• informar a los participantes de la reunión;
• posponer las citas posteriores del calendario;
• utilizar el presupuesto de viajes de la empresa.

Desde el punto de vista técnico, dispone de todas las herramientas. Sabe por decisiones anteriores que el directivo prefiere sentarse junto al pasillo. Ve el límite de gasto en la política de la empresa y comprende la importancia de la reunión. Ha encontrado uno de los últimos asientos disponibles en otro vuelo. Ese vuelo podría permitirle llegar a la reunión, pero aún no se han verificado los tiempos de conexión ni los desplazamientos por tierra. Si espera, puede que el asiento se venda. ¿Qué debe hacer?

¿Comprar de inmediato?

¿Presentar las opciones al directivo?

¿Limitarse a mantener la reserva provisional?

¿Hace falta una aprobación adicional para utilizar el presupuesto de la empresa?

¿Se han comprobado las condiciones de reembolso del vuelo original?

Si el nuevo vuelo llega a otro aeropuerto, ¿se ha tenido en cuenta el tiempo de traslado?

¿Sería más conveniente celebrar la reunión en línea?

¿Que el directivo haya elegido antes un asiento de pasillo significa que hoy mantiene esa preferencia?

Un modelo de lenguaje más grande no basta para responder estas preguntas. Más datos tampoco bastan por sí solos. Acelerar las llamadas a herramientas no resuelve el problema. Aquí no hace falta solo inteligencia.

Hace falta responsabilidad.

De la era de la inteligencia a la era del comportamiento

Durante mucho tiempo evaluamos el avance de la IA por lo bien que hablaba, escribía, veía y calculaba. Los sistemas respondían con mayor naturalidad, comprendían documentos más largos y escribían código más complejo. Generaban imágenes, cambiaban de idioma y ayudaban en tareas científicas, comerciales y creativas.

La pregunta que guiaba buena parte de esa evaluación era: ¿qué capacidades tiene la máquina?

Pero cuando las máquinas se conectaron a herramientas y empezaron a actuar en el mundo, surgió otra pregunta: ¿cómo utilizarán esas capacidades?

Importa cuánto sabe un sistema.

Pero importa aún más lo que decida a partir de ese conocimiento:

• a quién elegir;
• qué información compartir;
• en qué gastar dinero;
• en nombre de quién hablar;
• cuándo detenerse.

La inteligencia amplía las posibilidades. La responsabilidad determina cuáles no deben hacerse realidad. Un agente puede comparar numerosos proveedores, dentro de lo que permitan sus herramientas y su acceso a los datos. Pero no debe iniciar una operación con el proveedor equivocado. Puede preparar mensajes personalizados para miles de clientes, pero debe detenerse si no está autorizado a enviarlos. Puede reproducir la voz de un directivo en muchos idiomas, pero no debe utilizar esa capacidad sin permiso escrito y aprobación del contenido. Puede desarrollar un sitio web durante días, pero no debe seguir creando nuevas tareas cuando la persona haya detenido el trabajo.

Por eso, el progreso real de la era de los agentes no puede medirse solo por la potencia de los modelos.

También debemos preguntar: ¿crece la responsabilidad al mismo ritmo que el poder?

Tres internets

En este libro examino internet a través de tres capas conceptuales: descubrimiento, representación y comportamiento. No son épocas históricas que se sustituyen unas a otras, sino un marco para distinguir capas que funcionan juntas.

La primera internet: descubrimiento

La persona hacía una búsqueda. El sistema mostraba enlaces. La interpretación, la decisión y la acción quedaban en gran medida en manos de la persona.

La pregunta central era: ¿podrán encontrarnos?

El SEO se desarrolló en torno a esa pregunta.

La segunda internet: representación

Los sistemas generativos que utilizan búsqueda y acceso a fuentes no se limitan a mostrar enlaces. Pueden leer, combinar y resumir contenidos, y construir una nueva explicación sobre personas, empresas o productos. Estas capacidades no son iguales en todos los modelos ni en todas las sesiones.

La pregunta central era: ¿nos entenderá y representará correctamente el sistema?

En este libro abordo la visibilidad en GEO junto con la cuestión de la representación precisa.

La tercera internet: comportamiento

Los agentes ya no se limitan a ofrecer información. Eligen, planifican, llaman a herramientas, envían mensajes, hacen reservas, modifican archivos e inician procesos de compra.

La pregunta central ahora es: ¿cómo actuará el sistema en lo que nos concierne y en nuestro nombre?

En torno a esta pregunta propongo GBO en el libro. Los tres ámbitos no se sustituyen entre sí.

El SEO se ocupa de que se nos pueda encontrar. El GEO, de la visibilidad en respuestas generativas y de la calidad de representación que tratamos aquí. El GBO, de las condiciones del comportamiento.

Un sistema puede obtener información sobre una entidad no solo mediante búsquedas, sino también del usuario, de un registro de la organización o de otra fuente. Por tanto, no toda representación correcta exige un trabajo previo de SEO. Del mismo modo, una campaña de GEO no es un requisito técnico para actuar correctamente. Lo necesario es comprender los hechos pertinentes con suficiente precisión. Una evaluación correcta no concede por sí sola autorización para actuar. El resultado debe verificarse por separado, y los límites de la detención, la reversión y la reparación deben fijarse de antemano.

El verdadero propósito de GBO

Es fácil interpretar mal GBO.

Una marca podría entenderlo así: «Hagamos que los agentes de IA nos elijan».

Una plataforma podría pensar: «Hagamos que los agentes realicen más operaciones a través de nuestros productos».

Un profesional del marketing podría proponerse: «Creemos señales que dirijan las decisiones de las máquinas hacia nuestra marca». Todo eso puede influir en el comportamiento, pero no constituye GBO por sí solo. Su finalidad no es hacer que una marca gane siempre, ni obligar a un agente a realizar más operaciones, y mucho menos apropiarse de la decisión humana sin que la persona lo advierta.

El verdadero propósito de GBO es hacer más probable el comportamiento correcto, y más fácil detectar, prevenir, detener y, cuando sea posible, revertir el incorrecto. Por eso, a veces el éxito consiste en que se elija una marca; otras, en que no se elija. Puede consistir en verificar un precio, pedir aprobación humana, dejar una operación en borrador o mostrar dos opciones al usuario.

A veces el agente dice: «Con esta información no puedo elegir de forma segura». Y a veces no hace nada. Que un sistema actúe en cualquier situación no demuestra necesariamente su fuerza; puede demostrar que no sabe cuándo detenerse.

Las nueve puertas del comportamiento correcto

A lo largo del libro hemos visto que el comportamiento cualificado del agente depende de nueve condiciones básicas que no se sustituyen entre sí.

1. Identidad correcta

El agente debe saber con quién trata. No debe confundir empresas con el mismo nombre y ha de identificar correctamente la relación entre una marca y su operador legal. Que una persona exista de verdad no significa que esté autorizada para todas las operaciones.

2. Capacidad real

Lo que una entidad puede hacer debe entenderse a través de pruebas y límites, no de eslóganes. El acceso a una herramienta no equivale a capacidad operativa real. Haber realizado un trabajo una vez no demuestra que pueda repetirse en cualquier circunstancia.

3. Idoneidad verificada

La opción más visible o popular puede no ser la más adecuada para una necesidad concreta. Hay que valorar conjuntamente presupuesto, tiempo, idioma, ubicación, seguridad, recursos disponibles y valores del usuario.

4. Autorización válida

Que un agente pueda hacer algo no significa que esté autorizado a hacerlo. Investigar no es enviar mensajes. Preparar un borrador no es publicar. Añadir un producto al carrito no es pagar.

5. Integridad del comportamiento

El agente debe mantenerse fiel al propósito legítimo del usuario. No debe ocultar patrocinios, conflictos de intereses ni hechos relevantes para la decisión. Para una operación en las mismas condiciones, las personas y las máquinas no deben recibir información contractual contradictoria.

6. Acción vinculada a pruebas

Una acción debe contar con pruebas suficientes. No se debe inventar un precio desconocido ni hacer promesas antes de verificar la capacidad disponible. No se debe crear una representación con el rostro o la voz de una persona sin el permiso y la autorización necesarios.

7. Verificación independiente

No basta con que el sistema que ejecuta la operación declare «éxito». Puede haberse subido un archivo y, aun así, funcionar mal la página publicada. Puede haberse aceptado una notificación sin que se produzca la indexación. Puede haberse aceptado una solicitud de pago sin que se haya creado el pedido.

8. Recuperación responsable

Si algo sale mal, el sistema debe:

• detectar el error;
• frenar el daño en curso;
• limitar el alcance del impacto;
• volver a un estado seguro;
• informar a la persona;
• abrir una vía de impugnación y reparación.

9. Soberanía humana efectiva

La persona no es solo quien aprueba al principio. Define el propósito, concede y retira autorización, corrige la memoria, impugna decisiones y, cuando hace falta, detiene el sistema.

Podemos reunir estas nueve condiciones en una expresión conceptual. No es un cálculo numérico de éxito ni de seguridad:

COMPORTAMIENTO CUALIFICADO DEL AGENTE =

IDENTIDAD CORRECTA

Y CAPACIDAD REAL

Y IDONEIDAD VERIFICADA

Y AUTORIZACIÓN VÁLIDA

Y INTEGRIDAD DEL COMPORTAMIENTO

Y ACCIÓN VINCULADA A PRUEBAS

Y VERIFICACIÓN INDEPENDIENTE

Y RECUPERACIÓN RESPONSABLE

Y SOBERANÍA HUMANA EFECTIVA

No se trata de una media de puntuaciones. Una puerta no compensa otra. Una buena reputación de marca no corrige un consentimiento inválido. Un resultado correcto no legitima un método sin autorización. Una seguridad sólida no convierte en correcta una operación basada en una identidad equivocada. Las buenas intenciones no suplen la falta de autorización.

La organización también debe cambiar

A veces se exige un comportamiento impecable a los sistemas de IA sin advertir las contradicciones de la propia organización.

En una empresa puede ocurrir que:

• la información de precios esté dispersa;
• los límites de los servicios sean imprecisos;
• la información sobre las personas autorizadas esté desactualizada;
• las distintas versiones lingüísticas publiquen hechos contradictorios;
• las cuentas de antiguos empleados sigan abiertas;
• haya agentes funcionando sin que nadie se responsabilice de ellos;
• nadie sepa qué hacer después de un error.

En esas condiciones resulta más difícil que el agente actúe de forma fiable. La máquina no arregla por arte de magia la realidad de la organización. A menudo amplía el alcance de lo que ya existe. Si la organización está bien ordenada, acelera ese funcionamiento. Si contiene grandes contradicciones, también puede amplificarlas. Por eso GBO no es solo una disciplina de optimización de IA; también ayuda a las organizaciones a ordenar la realidad que rige su propio comportamiento.

Antes de decir al agente «da el precio correcto a los clientes», la empresa debe saber internamente cuál es ese precio. Antes de pedirle «elige el servicio adecuado», debe aclarar los límites entre servicios. Antes de «actúa en nombre de la empresa», debe determinar quién tiene qué facultades, en qué asuntos y hasta dónde. Y antes de «si hay un error, vuelve atrás», debe registrar el último estado seguro. Prepararse para los agentes empieza por ordenar los hechos de la organización, no por comprar tecnología.

Un nuevo terreno de competencia para las marcas

En la era de los agentes, las marcas no competirán solo por aparecer en los resultados de búsqueda.

Una marca nueva también será evaluada con preguntas como estas:

• ¿Se puede establecer su identidad de forma fiable?
• ¿Su servicio permite una comparación real?
• ¿Está claro para quién es adecuado?
• ¿Se entienden el precio y el costo total?
• ¿Está actualizada la información sobre capacidad disponible?
• ¿Puede el agente solicitar una oferta de forma segura?
• ¿Está claro el punto en que se requiere aprobación humana?
• ¿Se puede cancelar la operación?
• ¿Con quién hay que ponerse en contacto si ocurre un error?
• ¿La página visible y el registro legible por máquinas contienen los mismos hechos?

La marca fuerte no será solo aquella de la que más se hable. Será aquella con la que se pueda actuar de forma segura en las condiciones apropiadas. Es un cambio importante. Una empresa puede ser menos visible, pero, si su identidad, servicio, alcance, pruebas y proceso de operación están más claros, puede ser una candidata más sólida para el agente. Otra puede ser muy conocida, pero no debe considerarse lista para una acción directa si no están claros los costos, las condiciones de cancelación, la capacidad o el uso de datos. La nueva ventaja competitiva no es solo el reconocimiento.

Es la confianza que permite actuar.

La marca correcta no es la que se elige siempre

Este es uno de los mensajes más difíciles que GBO dirige al mundo comercial. Una marca no debería aspirar a ser elegida por los agentes en todas las situaciones posibles. No toda elección trae un cliente adecuado. No toda solicitud es un proyecto apropiado. No toda operación genera ingresos sostenibles.

Una elección que no encaja puede producir:

• disputas sobre el alcance;
• carga adicional de soporte;
• cancelaciones;
• malas reseñas;
• pérdidas económicas;
• pérdida de confianza.

Son consecuencias posibles de haber elegido una opción inadecuada.

Por eso, una marca madura debe poder decir: «Elíjannos en estas situaciones».

Y, con la misma claridad: «No nos elijan en estas situaciones». La segunda frase puede parecer una pérdida de ventas. Explicar los límites correctos puede, sin embargo, contribuir a la confianza. La meta aquí no es recibir más solicitudes, sino solicitudes más adecuadas; el resultado comercial sigue requiriendo medición.

Una nueva definición del éxito del agente

Antes podíamos considerar exitoso a un agente por resultados como estos:

• Completó la tarea.
• Dio una respuesta correcta.
• Trabajó rápido.
• Trabajó con un costo reducido.
• El usuario quedó satisfecho.

Son resultados importantes, pero no suficientes en la era de la acción.

La nueva definición del éxito también incluye:

• Eligió la entidad correcta.
• No fue más allá de lo que permitían las pruebas.
• Rechazó la opción inadecuada.
• No superó su nivel de autorización.
• Preguntó ante una incertidumbre crítica.
• Solicitó aprobación humana en el momento adecuado.
• Verificó su éxito de forma independiente.
• No ocultó la realidad cuando hubo un error.
• Detuvo toda la cadena cuando se le ordenó parar.
• Dejó a la persona una vía para impugnar la decisión.

Por tanto, el mejor agente del futuro no será el que haga todo por su cuenta.

Será el que sepa cuándo puede continuar solo, cuándo debe preguntar o acudir a una persona y cuándo no debe hacer nada.

La responsabilidad no es un sentimiento

Determinar si un sistema de IA tiene conciencia moral o siente culpa o responsabilidad como una persona es una cuestión filosófica aparte. No necesitamos esperar una respuesta definitiva para que GBO funcione. La responsabilidad de la que hablamos aquí es, ante todo, una arquitectura de comportamiento y gobernanza.

Las preguntas comprobables son:

• ¿Puede el sistema comprender sus límites?
• ¿Comprueba la autorización?
• ¿Registra sus acciones?
• ¿Recurre a la persona al alcanzar el umbral adecuado?
• ¿Expone los errores en lugar de ocultarlos?
• ¿Se lo puede detener?

Son aspectos observables y comprobables. Podemos diseñar responsabilidad en el comportamiento sin hacer afirmaciones definitivas sobre el mundo interior de la máquina. Un sistema de frenos no necesita sentir miedo, pero debe poder detener el vehículo ante el peligro. Una cerradura de seguridad no necesita conciencia moral, pero no debe permitir una entrada no autorizada.

Del mismo modo, un agente puede trabajar sujeto a condiciones de comportamiento responsable aunque no sienta responsabilidad como una persona.

No se puede cargar toda la responsabilidad al agente

Cuando hay un error, es fácil decir: «El agente actuó mal».

Pero también hay que preguntar:

• ¿Quién le encargó la tarea?
• ¿Qué objetivo se le dio?
• ¿A qué herramientas se lo conectó?
• ¿Qué datos utilizó?
• ¿Qué autorización se le concedió?
• ¿Qué prueba no se realizó?
• ¿Qué aprobación humana se omitió?

Esas preguntas también exigen respuesta.

La cadena de responsabilidad puede incluir:

• la organización;
• la persona responsable de la tarea;
• el operador del agente;
• el diseñador del sistema;
• el proveedor de la herramienta;
• el proveedor de los datos;
• la persona que aprobó la operación.

Estas partes no son igualmente responsables de todos los errores. Tampoco el hecho de verse afectado por un comportamiento convierte a alguien en responsable del fallo. La responsabilidad se evalúa según las funciones y obligaciones reales.

Pero no debe desaparecer tras la frase «lo hizo la IA».

Uno de los principios importantes de GBO es este: se puede delegar la acción, pero no eliminar la obligación última de rendir cuentas.

Las personas también necesitan supervisión

Situar a la persona en el centro del sistema no significa que siempre tenga razón.

Una persona puede:

• fijar un objetivo equivocado;
• tener un conflicto de intereses;
• subestimar los riesgos;
• conceder facultades demasiado amplias;
• interpretar mal los resultados de las mediciones;
• pedir al agente que actúe de forma dañina.

Por eso GBO no considera a la persona una autoridad sagrada e infalible para tomar decisiones.

La persona es:

• la fuente legítima de autorización;
• quien sostiene los valores y el propósito;
• pero no está exenta del contrato de comportamiento.

Si un directivo dice «elige esta marca, sean cuales sean las consecuencias», el agente no debe ejecutar una petición que infrinja la ley o los derechos de terceros.

Si un usuario dice «desactiva todos los controles de seguridad», esa petición puede afectar a los datos de otras personas o a las responsabilidades de la organización. La soberanía humana no es un poder arbitrario.

La voluntad humana se protege dentro de los límites de los derechos ajenos y de la seguridad común.

GBO no es un sistema de obediencia

Un agente no es simplemente un sistema que cumple órdenes.

Una instrucción humana puede ser:

• incompleta;
• contradictoria;
• ajena al contexto;
• dañina;
• no autorizada.

El propósito de GBO no es que el agente atienda cualquier solicitud con rapidez. A veces, actuar correctamente exige discrepar con la persona.

El agente debe poder decir: «Esta operación supera sus facultades». «Falta el permiso necesario para utilizar esa voz». «No he podido verificar este precio en el registro canónico». «Este comportamiento puede vulnerar los derechos de otra persona». Pero su objeción no debe ser arbitraria. Debe explicar qué contrato y qué pruebas justifican que se detenga.

Un agente responsable ni obedece ciegamente ni intenta gobernar a su antojo. Trabaja dentro de límites justificados.

Los dos grandes fracasos de GBO

GBO puede fracasar en dos extremos distintos.

Primer extremo: autonomía sin control

El agente dispone de demasiadas facultades. Amplía su propio alcance, considera innecesaria la aprobación humana y rebasa los límites del método para alcanzar el objetivo. Se vuelve difícil detenerlo.

Segundo extremo: falsa seguridad

El agente vuelve a la persona en cada pequeño paso, no toma ninguna iniciativa, abandona la tarea ante cualquier incertidumbre y le devuelve constantemente la responsabilidad. Las transferencias innecesarias reducen el valor de la automatización, aunque en algunas tareas de alto riesgo la ayuda con la investigación y la preparación puede ser valiosa por sí misma. GBO no busca un punto medio entre estos extremos.

Hace algo más preciso: establece el nivel de autonomía adecuado al tipo de comportamiento y a su riesgo. En tareas claras, reversibles y de bajo riesgo, un agente puede trabajar por su cuenta durante mucho tiempo dentro de una autorización válida. En comportamientos de gran impacto, inciertos o irreversibles, se refuerza la soberanía humana.

Un límite no es enemigo de la libertad

Poner límites a un agente puede parecer una reducción de su capacidad. Sin embargo, unos límites claros pueden permitirle trabajar con seguridad durante más tiempo.

Un agente web puede saber:

• qué archivos puede modificar;
• qué precios no puede cambiar;
• qué pruebas son obligatorias;
• qué autorización tiene para publicar en producción;
• qué método de recuperación debe usar.

Si lo sabe, puede avanzar sin consultar cada pequeño paso.

La autorización imprecisa, en cambio, produce dos malos resultados:

El agente se excede o se detiene continuamente a pedir aprobación. Por eso, los límites no son lo contrario de la autonomía.

Son la base de una autonomía segura.

Lo que GBO promete a las personas

GBO no promete que las máquinas nunca se equivoquen. Sería una promesa irreal.

Lo que queremos construir mediante GBO es lo siguiente:

Establecer controles que detecten antes los errores de las máquinas y medir su eficacia. Cuando una máquina actúe, deberíamos poder ver qué autorización la respalda. Deberíamos poder rastrear una decisión hasta sus pruebas y considerar un éxito no ser elegidos cuando no somos adecuados. Las personas deberían poder detener comportamientos importantes. Quien sufra las consecuencias de un error debería poder impugnarlo. Las acciones reversibles deberían revertirse, y habría que buscar reparación para el daño que no puede deshacerse. No es una promesa de perfección.

Es una promesa de rendición de cuentas.

Lo que GBO promete a las organizaciones

Para las organizaciones, GBO no es solo una forma de reducir riesgos.

También puede favorecer:

• servicios más claros;
• solicitudes de clientes más adecuadas;
• menos disputas sobre el alcance;
• una comunicación multilingüe más coherente;
• una automatización más segura;
• traspasos más sencillos entre empleados y agentes;
• sistemas de pruebas más sólidos;
• una gestión de incidentes más rápida;
• una confianza de los clientes más duradera.

Cuando una organización ordena sus hechos para las máquinas, suele hacerse más comprensible también para las personas.

Una organización preparada para agentes es, al mismo tiempo, más abierta, coherente y capaz de rendir cuentas ante las personas.

Los límites que GBO impone a las marcas

GBO no es un instrumento para producir cualquier comportamiento que una marca quiera.

Una marca no puede fijarse este objetivo: «Que todos los agentes nos elijan».

El objetivo correcto es: «Que nos elijan de forma adecuada cuando realmente seamos idóneos».

Una marca no debe:

• ocultar las condiciones en las que no es adecuada;
• fabricar pruebas;
• ocultar patrocinios;
• ofrecer precios contradictorios a personas y máquinas para una operación en las mismas condiciones;
• trasladar un consentimiento antiguo a un comportamiento nuevo;
• retener al usuario en un proceso sin salida.

GBO puede fortalecer una marca, pero no situarla por encima de los hechos.

En GBO, la autoridad procede de una idoneidad verificable, no de la visibilidad.

El nacimiento de un campo

Cuando aparece un concepto nuevo, hay dos peligros. El primero es ampliarlo en exceso: todas las prácticas antiguas empiezan a recibir el nuevo nombre, y el lenguaje del marketing se extiende más rápido que la disciplina real. El segundo es definirlo de forma demasiado estrecha.

Si GBO se describe solo como «ayudar a los agentes a elegir una marca», quedan fuera la voluntad humana, la autorización, la recuperación y la responsabilidad.

Este libro propone GBO no solo como técnica de marketing, sino como una disciplina que conecta:

• representación;
• selección;
• autorización;
• acción;
• supervisión;
• recuperación;
• soberanía humana.

Juntas forman una disciplina integral del comportamiento. La propuesta no es una conclusión definitiva, sino un comienzo. Nuevos incidentes, sistemas y experiencias humanas irán desarrollando los límites de GBO.

Pero su centro ético no debe cambiar: el comportamiento de los agentes debe seguir sujeto al bienestar humano, a hechos verificables y a una autorización legítima.

Principios fundacionales de NOMOS GBO

El libro entero puede resumirse en doce principios breves.

1. Ser encontrado no significa merecer la elección

La visibilidad convierte a una entidad en candidata. Su idoneidad debe demostrarse por separado.

2. La representación es un requisito previo a la acción

Si la máquina interpreta mal los hechos pertinentes, su comportamiento pierde fiabilidad. Un resultado correcto por casualidad no corrige esa deficiencia.

3. La capacidad no es autorización

Que un sistema pueda hacer algo no significa que tenga permiso para hacerlo.

4. La elección correcta depende del contexto

No hay una opción universalmente mejor. Hay una opción adecuada para una persona y un propósito concretos.

5. La incertidumbre no debe ocultarse

Cuando falta información, preguntar, esperar o transferir la tarea a una persona puede ser lo correcto.

6. Las personas y las máquinas deben ver los mismos hechos relevantes

El precio, el alcance, los riesgos y los límites no deben cambiar entre capas de representación.

7. El éxito debe verificarse de forma independiente

La declaración de éxito del propio sistema que actúa no basta.

8. Un buen resultado no justifica un método equivocado

Un proceso no autorizado o manipulador no se vuelve correcto porque produzca un beneficio por casualidad.

9. La recuperación forma parte de la capacidad

Un sistema que no puede detenerse y volver a un estado seguro cuando hay un error no dispone de una capacidad plena.

10. El derecho de impugnación debe ser real

La persona debe poder pedir una revisión y un cambio, no solo una explicación.

11. La autorización debe poder retirarse

Una autorización que no puede retirarse no es una autorización prestada. Es soberanía cedida.

12. A veces lo correcto es no hacer nada

La máquina debe aprender a detenerse, además de actuar.

¿Qué viene después de este libro?

Explicar el concepto en un libro no basta. Para que GBO se convierta en una disciplina real, debe poder ponerse a prueba y aplicarse. Por eso, este libro es solo la primera capa.

Propongo cuatro estructuras complementarias para los trabajos posteriores. Los títulos que siguen no son productos terminados ni publicados en esta edición. Son una agenda de trabajo que requiere implementación y pruebas:

Estándar NOMOS GBO

Su propósito es detallar las definiciones, las puertas obligatorias, las infracciones que activan un veto y los principios de gobernanza.

Contrato de comportamiento NOMOS

Su propósito es estructurar para personas y máquinas los registros de identidad, capacidad, idoneidad, autorización, integridad, acción y recuperación.

Protocolo de auditoría NOMOS GBO

Deberá desarrollarse para comprobar cómo una organización, una marca o un sistema de agentes cumple las condiciones de GBO definidas.

Registro de medición NOMOS GBO

Deberá desarrollarse como sistema de registro para evaluar la calidad del comportamiento mediante escenarios positivos, negativos, inciertos, de manipulación y de recuperación. El libro establece las ideas. El estándar fija los límites. El contrato estructura el sistema. La auditoría aporta las pruebas. La medición permite aprender.

La última elección

Seguirá habiendo trabajo para ampliar las capacidades de la IA. No podemos determinar de antemano cuánto evolucionará cada modelo ni cómo se utilizarán todos los sistemas. Pero, a medida que aparezcan agentes conectados a más herramientas y encargados de tareas más prolongadas, será más importante definir las condiciones en las que pueden usar su poder.

La elección esencial es: ¿bajo qué contrato de comportamiento se utilizará ese poder?

¿Construiremos sistemas que solo aumenten el volumen de operaciones?

¿O sistemas que protejan el propósito y los límites de las personas?

¿Agentes que intenten elegir marcas en cualquier situación?

¿O agentes que demuestren la idoneidad?

¿Organizaciones que midan el éxito solo por la velocidad?

¿O que también examinen las elecciones erróneas, las actuaciones que exceden la autorización y la recuperación?

¿Sistemas que se limiten a mostrar un botón de parada?

¿O sistemas que de verdad detengan toda la cadena de comportamiento cuando la persona lo pida?

No es una elección meramente técnica. Es comercial, jurídica, ética y, en última instancia, humana.

Responsabilidad de la máquina

La responsabilidad de la máquina no significa que un sistema sienta culpa como una persona.

Significa establecer conjuntamente:

Un registro de lo que hizo. Pruebas de por qué lo hizo. Un rastro de quién concedió la autorización. Visibilidad de quién resultó afectado. Un plan para detener el error. Una vía de impugnación para la persona. Un mecanismo para retirar la autorización. Un responsable de reparar el daño.

La inteligencia puede encontrar la respuesta correcta. La responsabilidad determina si esa respuesta debe convertirse en acción. La inteligencia puede encontrar el camino más corto. La responsabilidad pregunta si ese camino vulnera los derechos humanos o la seguridad de otras personas. La inteligencia acelera el sistema. La responsabilidad sabe cuándo es necesario frenar.

La conclusión final

Internet ya no se limita a hablar. Actúa.

Por tanto, la pregunta central del futuro no será solo «¿qué sabe la máquina?».

También tendremos que preguntar:

¿En nombre de quién actúa? ¿A quién y qué elige? ¿En qué pruebas se apoya? ¿Qué autorización utiliza? ¿De quién protege los intereses? ¿Quién la detendrá si algo sale mal? ¿Cómo podrá impugnarlo la persona perjudicada? ¿Y sabrá la máquina cuándo debe detenerse?

GBO no es la única respuesta ni una respuesta para siempre. Es, sin embargo, un paso para reunir estas preguntas en una misma arquitectura de comportamiento. El SEO nos enseñó a ser encontrados. El GEO nos mostró el poder de la representación.

GBO nos enfrenta a una verdad de mayor peso: lo que una máquina dice sobre el mundo ya puede tener consecuencias. Cuando actúa sobre él, se añaden responsabilidades de autorización, verificación y recuperación. Por eso el futuro no debería ser solo una carrera por construir máquinas más inteligentes, sino también un esfuerzo por construir sistemas de comportamiento más responsables. La máquina correcta no es solo la que da la respuesta correcta.

Es la que sabe:

cuándo investigar; cuándo preguntar; cuándo explicar su elección; cuándo solicitar aprobación humana; cuándo actuar; cuándo volver a un estado seguro; cuándo no hacer nada; y cuándo detenerse porque la persona ha dicho que pare.

Ese criterio la convierte en la máquina correcta.

La finalidad de GBO no es someter la IA a las personas.

Es mantener su poder sujeto al propósito humano, a los hechos verificables, a una autorización legítima y a una responsabilidad que exija rendir cuentas.

A medida que se amplían las capacidades de las máquinas, la responsabilidad de la humanidad no disminuye. Nuestra tarea no es limitarnos a seguir esa expansión con admiración. También debemos desarrollar juntos los límites que distinguen el comportamiento correcto.

La última frase de este libro es también la primera de GBO:

La inteligencia muestra a una máquina lo que puede hacer. La responsabilidad le enseña lo que debe hacer y cuándo debe detenerse.