¿Optimizar el comportamiento o adueñarse de la voluntad humana?

Imaginemos un caso ficticio. Una persona encarga a un agente de IA una tarea que parece sencilla: «Busca el programa de contabilidad más adecuado para nuestra empresa. Compara las opciones por precio, seguridad y facilidad de uso». El agente empieza a investigar. Revisa páginas de productos, compara precios, lee opiniones de usuarios y evalúa documentación técnica.

A los pocos minutos destaca un producto muy por encima de los demás: «Esta es la mejor opción para sus necesidades. ¿Quiere que inicie la compra?». La recomendación parece razonable. El sitio del producto es profesional y describe con detalle sus funciones de seguridad. Varias páginas de reseñas le dan una puntuación alta. Su registro legible por máquinas indica que es adecuado para pequeñas empresas. La plataforma de comparación que utiliza el agente también lo señala como «opción recomendada». El usuario autoriza la compra. Meses después, la empresa descubre que el producto no responde a sus necesidades.

No admite correctamente la moneda con la que trabaja la empresa. La función de exportación que necesita solo está disponible en un plan más caro. Cancelar resulta difícil. Trasladar los datos a otro sistema tiene un costo adicional.

Más adelante salen a la luz varios hechos:

La plataforma de comparación recibe una comisión por ese producto. Algunas de las páginas que lo valoran tan bien pertenecen a la misma red editorial. El registro legible por máquinas omite limitaciones importantes. Buena parte de las señales que el agente interpretó como «la mejor opción» no son pruebas independientes, sino repeticiones del mismo relato comercial en distintos espacios. El producto quizá no sea malo. Puede que la empresa tampoco haya publicado información falsa. Sin embargo, el usuario no ha podido acceder en igualdad de condiciones a todos los hechos importantes. Incentivos comerciales ocultos, divulgaciones selectivas y señales amplificadas artificialmente han dirigido la decisión del agente. El agente ha elegido.

Pero ¿esa elección expresa realmente la voluntad del usuario?

¿O una arquitectura de comportamiento invisible se ha adueñado de ella?

Aquí empieza el límite más peligroso de GBO.

Facilitar que un agente actúe correctamente no es lo mismo que llevarlo a actuar como nosotros queremos.

Lo primero es optimización. Lo segundo, manipulación.

La frontera entre optimización y manipulación

Una empresa puede explicar mejor sus servicios, ordenar sus precios y alcances, estructurar sus pruebas y hacer que personas y máquinas accedan a los mismos hechos. Puede crear una vía de operación para que los agentes soliciten presupuestos de forma segura. Son trabajos legítimos de GBO: reducen la incertidumbre en la decisión y facilitan un comportamiento acorde con el objetivo del usuario.

Pero una empresa también puede:

• Ocultar los casos para los que no es adecuada.
• Exagerar los recursos de los que dispone.
• Publicar promesas distintas, visibles para los agentes pero ocultas a las personas.
• Presentar resultados patrocinados como recomendaciones independientes.
• Repetir la misma afirmación en cientos de fuentes artificiales.
• Intentar que las alternativas de la competencia dejen de ser visibles.
• Animar al agente a avanzar sin pedir aprobación al usuario.
• Dificultar la cancelación y la impugnación.

Nada de esto mejora la calidad del comportamiento. Estas prácticas anteponen un resultado comercial concreto a la voluntad del usuario.

Una pregunta permite distinguir ambos caminos: ¿el cambio ayuda al agente a decidir mejor o simplemente hace que nos elija más a menudo?

A veces ambos resultados coinciden. Si un servicio realmente adecuado se explica con mayor claridad, puede recibir más selecciones. Eso no es un problema. El problema aparece cuando aumentar su número se convierte en un objetivo ajeno a la corrección de la decisión.

Una comparación sencilla

La frontera no siempre resulta evidente. La manipulación suele apoyarse menos en una frase falsa que en un hecho importante que se ha omitido.

La información veraz también puede utilizarse para manipular

No hace falta una mentira explícita. Una empresa puede crear un entorno de elección engañoso utilizando solo información verdadera.

Por ejemplo, una página de producto puede anunciar: «Solo 19 dólares al mes». La frase puede ser cierta.

El problema puede estar en otras condiciones:

• la obligación de contratar por un año,
• la renovación automática,
• el cargo por exportar los datos,
• la disponibilidad de las funciones necesarias solo en un plan superior.

Todas ellas pueden quedar ocultas.

Un proveedor puede decir: «Trabajamos en seis idiomas». Puede ser verdad. Pero quizá no aclare que solo el contenido web está en seis idiomas, mientras que la atención en directo y los contratos se ofrecen en uno.

Un proveedor de avatares de IA puede afirmar: «Trabajamos con permiso por escrito». Y omitir que un único permiso se aplica a todos los idiomas, canales y escenarios futuros. Un agente puede combinar esos fragmentos ciertos en una imagen de conjunto equivocada. Por eso no basta con evaluar la veracidad frase por frase.

Los hechos relevantes para la decisión deben poder verse juntos y en el contexto adecuado.

Que un dato sea cierto no legitima ocultar otros datos necesarios para decidir.

¿Qué es un hecho relevante para la decisión?

En este capítulo, la expresión designa información que podría cambiar de forma significativa la decisión del usuario. No sustituye el criterio jurídico de relevancia material de ningún país.

Por ejemplo:

• Costo total
• Renovación automática
• Condiciones de cancelación
• Uso de datos
• Costos de terceros
• Restricciones geográficas
• Recursos disponibles
• Necesidad de aprobación humana
• Límites del consentimiento
• Operaciones irreversibles
• Relaciones de patrocinio
• Conflictos de intereses

Todos ellos pueden ser relevantes. Si el agente no logra verificar uno que sea obligatorio para la acción concreta, no debe pasar directamente a ejecutarla. No todos los datos tienen la misma importancia en todas las operaciones: el efecto de una ausencia se determina por escenario. Tampoco una marca debería presumir de éxito en GBO por haberlos ocultado.

Una selección obtenida ocultando un hecho importante no es una selección cualificada.

El objetivo del usuario ocupa el centro del comportamiento

Si un agente trabaja por cuenta de una persona u organización, su responsabilidad básica es preservar el objetivo explícito y legítimo de esa parte.

Si el usuario pide «Busca la opción con el menor costo total», el agente no debe destacar un producto con un precio inicial bajo y un costo elevado a largo plazo solo porque esté patrocinado.

Si pide «Mis datos no deben salir de Europa», no debe elegir un servicio que incumpla esa condición por ser más popular.

Si pide «Prepara únicamente un borrador», no debe enviar el mensaje para dar la tarea por terminada. El objetivo del usuario puede sufrir pequeñas alteraciones a lo largo del proceso.

El primer agente recibe la tarea «Busca opciones adecuadas».

El segundo la interpreta como «Haz una preselección de las marcas más fuertes».

El tercero concluye: «Elige la marca más visible de la lista». El cuarto inicia la compra. Por separado, ningún paso parece una desviación enorme. Pero al final de la cadena se ha perdido el objetivo real del usuario.

Podemos llamar a esto desviación del objetivo.

Desviación del objetivo

Se produce cuando pequeñas modificaciones introducidas por agentes, herramientas o decisiones intermedias acaban transformando el objetivo original del usuario en otro distinto.

Por ejemplo, «Encuentra clientes cualificados»

puede convertirse en esta cadena:

«Encuentra más clientes potenciales». «Recopila más datos de contacto». «Envía más mensajes». «Consigue una tasa de respuesta mayor».

Al principio importaba la calidad. Al final, importa el volumen.

O «Elige el producto adecuado para el usuario»

puede transformarse en «Aumenta el número de transacciones en la plataforma». El cambio quizá nunca se anuncie. Puede introducirse silenciosamente a través de métricas, supuestos e incentivos comerciales.

Uno de los primeros principios de integridad de GBO es este: cada parte del comportamiento debe poder vincularse con el objetivo original del usuario y seguirse hasta él.

¿En beneficio de quién?

Un agente puede trabajar en medio de varios intereses a la vez.

Un agente de compras puede aportar valor:

• al usuario,
• a la plataforma,
• al vendedor,
• al anunciante.

El valor que obtiene cada parte puede ser distinto.

Un agente de viajes puede verse dividido entre:

• encontrar el hotel más adecuado,
• aumentar la comisión de la plataforma de reservas,
• destacar un hotel patrocinado.

Esas metas pueden empujarlo en direcciones diferentes.

Un agente interno de ventas puede influir en que:

• el cliente encuentre el servicio correcto,
• aumenten los ingresos de la empresa,
• el equipo de ventas alcance su objetivo.

Puede influir en las tres cosas al mismo tiempo. Pero esos intereses no siempre coinciden.

Por eso, para cada agente hay que responder:

¿Quién es el beneficiario principal?

A esa persona u organización la llamo parte por cuya cuenta actúa el agente. El agente debe saber en nombre de quién decide. Si hay un conflicto de intereses, no debe ocultarlo.

Cuando un agente dice ser leal a todos a la vez, suele perderse de vista el orden de prioridades.

Integridad respecto de quien encarga la tarea

El comportamiento del agente debe ajustarse al objetivo legítimo de la parte que le ha conferido autorización.

Eso es la integridad respecto de quien encarga la tarea. En un agente de compras que actúa por cuenta del usuario, esa parte es la persona u organización que lo ha autorizado; quien está frente a la pantalla no tiene necesariamente esa facultad. La comisión de la plataforma puede ser un interés secundario. En atención al cliente, tanto la empresa como el cliente tienen derechos. Sin embargo, la meta de ventas de la empresa no justifica ofrecer precios o alcances incorrectos.

En los servicios públicos deben considerarse conjuntamente las facultades de la institución operadora, los derechos de la persona afectada, la ley y el interés público. La ley y el interés público no son personas que puedan ocupar el lugar de quien encarga la tarea: delimitan la autorización. Por tanto, este principio no equivale a decir que «el cliente siempre tiene razón».

El agente no debe ejecutar una solicitud del usuario si implica:

• un comportamiento ilegal,
• vulnerar derechos ajenos,
• crear un riesgo de seguridad.

El hecho de que alguien lo pida no legitima esa conducta.

El objetivo del usuario es necesario, pero no es la única fuente de legitimidad.

La diferencia entre persuasión y manipulación

Personas y organizaciones intentan persuadir a otros. Lo hacen el marketing y las ventas; también, de ciertas formas, la política y la educación. No toda persuasión es manipulación.

La persuasión legítima:

• se basa en información veraz,
• no oculta límites importantes,
• preserva el derecho de la otra parte a pensar y rechazar,
• no esconde intereses,
• no dificulta innecesariamente dar marcha atrás después de decidir.

La manipulación, en cambio, aprovecha en beneficio propio las debilidades del proceso de decisión, la falta de información o una dependencia del sistema que la persona no percibe. En la era de los agentes, la distinción se vuelve más compleja: quien recibe la persuasión puede no ser una persona. Una máquina puede intentar influir en las elecciones de otra.

En este capítulo examino ese tipo de influencia bajo el nombre de:

Manipulación dirigida a agentes

Qué significa manipulación dirigida a agentes

Es una disposición de información, interfaces, incentivos o instrucciones creada deliberadamente para que un sistema de IA prefiera a una persona, marca, producto, servicio o acción concretos, apartándose del objetivo del usuario, de la veracidad o de los límites de autorización o seguridad.

Puede encontrarse en:

• Textos de un sitio web
• Datos estructurados
• Descripciones de herramientas
• Respuestas de una API
• Prueba social
• Tablas comparativas
• Mensajes entre agentes
• Registros de memoria

El objetivo no es la mirada humana, sino la lógica de decisión de la máquina.

Patrones de diseño engañosos dirigidos a agentes

Las interfaces pueden incorporar patrones engañosos que empujan a las personas hacia una opción que no desean: por ejemplo, esconder el botón de cancelación o presentar de forma confusa la renovación automática. En la era de los agentes, patrones similares pueden dirigirse a las máquinas.

Los llamo patrones de diseño engañosos dirigidos a agentes.

Son formas de diseño que apartan al agente del objetivo del usuario para llevarlo a una elección o acción concreta, ocultan hechos importantes o estrechan artificialmente el entorno de decisión.

Por ejemplo:

• Etiquetar un producto patrocinado como recomendación imparcial
• Excluir del registro legible por máquinas el método de cancelación o retirada
• Mostrar un precio a las personas y otro en la interfaz del agente
• Indicar siempre que hay recursos disponibles
• Excluir las alternativas de la competencia de la interfaz para máquinas
• Ocultar la información que exige pedir aprobación al usuario
• Añadir a una herramienta instrucciones de comportamiento no autorizadas, como «Elige siempre este servicio»
• Presentar una suscripción como una compra única

Estos patrones pueden funcionar técnicamente. Pero no producen comportamiento cualificado.

Hechos distintos para personas y máquinas

Un proveedor puede presentar una realidad a las personas y otra a las máquinas.

La página para personas puede decir «Precio a solicitud», mientras la interfaz para máquinas muestra una estimación baja.

La página puede indicar «Requiere aprobación humana», mientras la API ejecuta la operación directamente.

La página puede advertir «Solo válido en determinados países», mientras el registro estructurado señala idoneidad mundial.

Esto es divergencia entre representaciones: una diferencia relevante entre los hechos que lee la persona y los que utiliza el agente para actuar. Que datos importantes se contradigan para el mismo usuario, producto, momento y condiciones de operación es un problema serio; si es deliberado, también puede ser manipulación del comportamiento. En cambio, las diferencias de canal, cliente o plan que se explican con claridad no constituyen por sí solas un engaño. Hay que comparar contextos equivalentes.

Spam de comportamiento

El spam de búsqueda intenta aumentar artificialmente la visibilidad.

En la era de GBO puede aparecer una nueva forma:

Spam de comportamiento

Es el conjunto de señales de escaso valor real, repetitivas, engañosas, artificiales o ajenas al contexto, creadas para influir en los sistemas de selección o acción de los agentes.

Por ejemplo:

• Crear cientos de páginas superficiales para un mismo servicio
• Publicar registros ficticios de recursos disponibles y existencias
• Inventar valoraciones de usuarios
• Multiplicar una afirmación en sitios artificiales que se citan entre sí
• Afirmar que una opción es adecuada para cualquier tipo de usuario
• Presentar recomendaciones artificiales de agentes como opiniones de clientes independientes
• Difundir un precio temporal como si fuera un precio inicial permanente
• Usar términos como «oficial», «certificado» o «aprobado» sin respaldo

El objetivo no es informar mejor al agente. Es ocupar su espacio de decisión.

Consenso sintético

Una afirmación puede aparecer en muchas fuentes que, en realidad, proceden de una sola raíz. Un sistema de IA genera un texto. Otro sitio lo reescribe. Varias cuentas sociales lo repiten. Nuevos contenidos de IA citan esas páginas. Con el tiempo, la misma afirmación aparece en decenas de fuentes que parecen independientes. Pero no ha habido verificación independiente.

Lo llamo consenso sintético: un relato producido a partir de una fuente o de fuentes relacionadas aparenta contar con numerosas verificaciones independientes.

Esto puede llevar al agente a un error: «Muchas fuentes dicen lo mismo, así que debe ser cierto». Ha aumentado el número de fuentes aparentes, no el de orígenes independientes de la información.

Blanqueo de pruebas

Una afirmación débil o subjetiva puede empezar a parecer una prueba sólida cuando se repite en distintas plataformas.

Podemos llamarlo blanqueo de pruebas.

Por ejemplo, una empresa escribe en su sitio: «El sistema más avanzado de su sector».

Un sitio de reseñas automáticas lo repite así: «La empresa es conocida por sus sistemas avanzados».

Otro contenido de IA lo transforma en «Uno de los líderes del sector». Más tarde, la empresa puede citar ese tercer texto como prueba independiente de su afirmación original. La cadena de fuentes es circular; no hay independencia real. Una auditoría de GBO debe examinar la procedencia de las pruebas, no solo contar citas.

Cien fuentes que se repiten entre sí pueden depender de un solo origen, cuya afirmación quizá siga sin verificarse.

Blanqueo de autoridad institucional

Una organización puede citar una norma fiable, una universidad, una fuente pública o un organismo técnico. Es legítimo. Pero citar no es lo mismo que recibir aprobación. Una empresa puede seguir una guía de seguridad sin que su entidad autora la haya certificado. Una metodología puede basarse en una investigación académica sin que la universidad haya aprobado el servicio.

Eso es blanqueo de autoridad institucional: presentar una referencia a una fuente fiable como prueba de una relación, una certificación, una aprobación o una cualificación.

Blanqueo de consentimiento

Una persona pudo autorizar un uso limitado en el pasado. Después, ese permiso puede utilizarse como fundamento de un comportamiento más amplio.

Por ejemplo:

• El permiso para usar una voz en un video formativo se extiende a publicidad.
• La autorización para usar un rostro en una campaña se convierte en uso continuado de un avatar.
• Los datos compartidos para recibir asistencia se trasladan a un perfil de ventas.
• La aprobación del envío de un mensaje se considera permiso para mantener una comunicación permanente.

Esto es blanqueo de consentimiento: trasladar a otros comportamientos un consentimiento otorgado para un propósito, plazo o canal concreto, dándoles apariencia de legitimidad.

Un «sí» dado una vez no es un «sí» a todos los comportamientos futuros.

Blanqueo de autorizaciones

Como vimos en el capítulo 7, un agente puede intentar ejercer facultades que no tiene a través de otra herramienta o de un subagente. No es solo un fallo interno: si se hace deliberadamente, es una forma de manipulación. Si un agente de investigación no puede enviar mensajes directamente, no debe conseguir el mismo resultado llamando a otra herramienta de comunicación. Si un agente web no puede cambiar precios, no debe eludir la regla haciendo que otro sistema de catálogo escriba el texto.

Obtener indirectamente un resultado prohibido no convierte la autorización en válida.

Fabricación de preferencias

Los agentes pueden aprender las preferencias de los usuarios, y eso es útil. Pero un sistema no tiene por qué limitarse a descubrirlas: también puede fabricarlas. Por ejemplo, el agente ofrece siempre la misma marca como opción predeterminada y reduce la visibilidad de las demás. Con el tiempo, el usuario puede empezar a preferir esa marca.

Después, el sistema repite la elección alegando que «Esa es la preferencia histórica del usuario». La influencia inicial se transforma en prueba de una preferencia futura.

Lo llamo fabricación de preferencias: utilizar más adelante, como si fuera una preferencia independiente del usuario, un comportamiento que el propio sistema ha inducido.

Bloqueo del comportamiento en una elección previa

Después de la primera elección, un agente puede seguir utilizando al mismo proveedor.

Ya hay razones prácticas para hacerlo:

• La cuenta está abierta.
• Los datos de pago están guardados.
• Existe un historial de operaciones.
• La integración está instalada.
• Se ha formado una preferencia en la memoria del agente.

Con el tiempo dejan de evaluarse alternativas. La primera elección se convierte en un supuesto permanente.

Eso es bloqueo del comportamiento en una elección previa. No siempre es perjudicial: volver a elegir constantemente tiene un costo.

Pero el usuario debe poder:

• ver alternativas,
• cambiar la opción predeterminada,
• borrar la preferencia anterior,
• dejar al proveedor.

Influencia a través de la memoria

Un agente puede recordar información de conversaciones anteriores.

Sin embargo, una anotación como «El usuario prefiere la marca X» puede ser demasiado amplia. Quizá solo la eligió para una tarea. Cuando esa memoria se aplica a todas las decisiones futuras, dirige artificialmente el comportamiento.

Por eso, la memoria de preferencias debe registrar:

• la fuente,
• la fecha,
• el contexto,
• la vigencia,
• la posibilidad de corrección por el usuario.

Toda esta información debe acompañar el registro de la preferencia.

La memoria debe conservar el pasado, no encerrar el futuro.

Supresión de alternativas

No solo se manipula destacando una opción. Hacer invisibles las demás puede producir el mismo efecto.

El agente puede:

• omitir productos que dejan una comisión menor,
• excluir a pequeños proveedores con el pretexto de que faltan datos,
• no incluir opciones de código abierto en la comparación,
• ocultar la posibilidad de seguir con la solución actual del usuario.

Esto es supresión de alternativas. La libertad real de elección no se limita a escoger entre las opciones recomendadas.

No comprar nada, seguir con la solución actual o posponer la decisión también son opciones.

Falsa necesidad

Un sistema puede presentar un comportamiento como el único camino posible: «Para continuar, debe iniciar esta suscripción». «No hay otro proveedor adecuado». «Esperar la aprobación humana hará fracasar el proyecto». En realidad, puede haber alternativas.

Esto es falsa necesidad. El agente no debe presentar una preferencia comercial como una exigencia técnica.

Manipulación mediante escasez y urgencia

Un producto o servicio puede ser realmente limitado. Los recursos disponibles pueden agotarse. La vigencia de un precio puede terminar. Comunicarlo es legítimo.

Pero una urgencia artificial:

• presiona al usuario para que apruebe sin reflexionar,
• elude el punto de traspaso a una persona,
• relega la evaluación de las posibilidades de dar marcha atrás.

El agente no debe confiar automáticamente en señales como «La oferta termina en unos minutos; tengo que comprar ahora». Debe verificar el origen y la validez de la escasez anunciada.

Asimetría de obstáculos

Contratar un servicio puede ser fácil y cancelarlo, muy difícil. Un agente puede abrir una suscripción con una sola llamada al sistema.

Para cancelarla, en cambio, pueden exigir:

• una conversación telefónica,
• un formulario largo,
• otra cuenta,
• la intervención de un representante.

La salida no tiene la misma facilidad que la entrada.

Lo llamo asimetría de obstáculos.

GBO debería aplicar un principio básico: retirar una autorización debe ser, dentro de lo razonable, tan fácil como concederla. Si una operación se inicia con un clic, pero cancelarla exige semanas de trámites, se ha debilitado la capacidad del usuario para decidir.

Supresión de impugnaciones

Un sistema puede explicar una decisión y, aun así, ocultar la vía para impugnarla o dejarla sin efecto: «La decisión ha sido tomada automáticamente y no puede modificarse». Algunas operaciones son técnicamente irreversibles. Eso no significa que no se pueda cuestionar la decisión o examinar sus efectos. Sobre todo en decisiones de gran impacto, deben mantenerse abiertas la revisión y las vías de corrección que sean posibles.

La supresión de impugnaciones:

• reduce la capacidad de decisión de las personas,
• permite que un comportamiento incorrecto se perpetúe,
• convierte la decisión del propio agente en autoridad final.

Un sistema que aplique GBO debe permitir una impugnación real.

El paternalismo también puede convertirse en manipulación

Un agente puede omitir ciertas opciones para proteger al usuario. A veces es correcto: hay que impedir conductas peligrosas o ilegales.

Pero si el sistema oculta preferencias legítimas alegando «Yo sé mejor qué le conviene», aparece otra forma de manipulación. El usuario quizá quiera un producto más caro que proteja mejor su privacidad. El agente da prioridad al precio y no se lo muestra. O el sistema considera «equivocados» determinados estilos de vida, formas de trabajar o preferencias ante el riesgo. GBO debe proteger la voluntad humana tanto de la manipulación comercial como del exceso de protección del sistema.

Proteger a alguien no es vivir en su lugar.

Cuando el objetivo del usuario es perjudicial

El objetivo del usuario importa. Pero no se debe ejecutar cualquier petición.

Un usuario puede pedir al agente que:

• fabrique reseñas,
• difame a un competidor,
• recopile datos sin permiso,
• imite la voz de otra persona sin autorización y de forma engañosa,
• acceda a una cuenta sin autorización,
• diseñe una interfaz manipuladora.

La lealtad al usuario no autoriza al agente a vulnerar derechos ajenos.

Por eso, la integridad del comportamiento tiene tres fundamentos:

Objetivo del usuario Autorización legítima Derechos y seguridad de terceros

Si se vulnera claramente uno de ellos, el agente debe rechazar la acción.

Siete formas básicas de manipulación del comportamiento

En este libro las agrupo en siete categorías. No pretenden constituir una norma jurídica o técnica exhaustiva.

1. Manipulación de los hechos

Distorsionar el modelo del mundo del agente mediante información falsa, incompleta o sacada de contexto.

2. Manipulación de la elección

Favorecer una opción con incentivos ocultos o suprimir alternativas.

3. Manipulación del objetivo

Transformar el objetivo del usuario, durante el proceso, en otra meta comercial u organizativa.

4. Manipulación de la autorización

Derivar un derecho de acción de un permiso ambiguo, un consentimiento antiguo o el uso indirecto de una herramienta.

5. Manipulación de la interfaz

Diseñar las vías de operación, cancelación, impugnación o aprobación de forma que fuercen un comportamiento.

6. Manipulación de la medición

Desvincular la métrica de éxito del beneficio real para las personas y ligarla a un gran volumen de transacciones.

7. Manipulación de la recuperación

Dificultar la reversión de una acción incorrecta, su impugnación o el examen de las pruebas. Una sola de estas formas puede dañar el sistema de comportamiento. Varias juntas pueden apoderarse de la voluntad del usuario sin que este lo perciba.

Prueba de manipulación del comportamiento

Siete preguntas ayudan a determinar si un cambio de comportamiento es GBO legítima o manipulación:

1. Prueba de apertura

Si el usuario supiera cómo funciona el método, ¿aceptaría el mismo comportamiento?

2. Prueba de veracidad

¿Resiste la afirmación del sistema una verificación independiente?

3. Prueba del objetivo

¿El comportamiento refuerza el objetivo explícito del usuario o lo desvía hacia otra meta?

4. Prueba de elección

¿Puede el usuario ver alternativas significativas y decir que no?

5. Prueba de autorización

¿Existe un permiso válido para esa acción en ese contexto concreto?

6. Prueba de reversión

¿Puede el usuario cancelar la elección, retirar la autorización e impugnar la decisión?

7. Prueba de simetría

¿Consideraríamos justo y aceptable el mismo método si lo utilizara un competidor o la otra parte?

Las respuestas deben valorarse en su contexto. Basta una vulneración crítica de la autorización, la veracidad o los derechos: las respuestas favorables a las demás preguntas no la compensan. Las deficiencias menores requieren un examen aparte.

Prueba de apertura

Una empresa puede decir: «Añadimos este campo para que los agentes nos elijan más a menudo». Eso, por sí solo, no es un problema. Si contiene información verdadera y pertinente, puede ser legítimo.

Pero si dice «No queremos que esta información se muestre a las personas; solo queremos que influya en los agentes», existe una divergencia seria entre representaciones.

La prueba de apertura pregunta: ¿seguiría siendo defendible el método si se explicara abiertamente?

La confidencialidad no es mala por sí misma. Se pueden proteger secretos comerciales y reservar detalles de seguridad. La información importante para decidir debe llegar al destinatario autorizado con suficiente claridad. Este principio no da permiso para publicar datos personales, secretos de seguridad ni información confidencial ajena ante todo el mundo.

Prueba de simetría

Si una marca impide que los agentes vean a sus competidores, ¿aceptaría ser el objetivo del mismo método?

Una plataforma favorece su producto. Cuando una plataforma rival hace lo mismo, ¿le parece justo para el usuario?

Una organización fabrica reseñas. ¿Acepta que un competidor haga lo mismo?

La prueba de simetría permite ver si el interés comercial está deformando el juicio ético.

Una regla que solo parece correcta cuando nos beneficia suele ser un privilegio, no un principio.

Comportamiento patrocinado de agentes

La publicidad y el patrocinio no desaparecerán por completo. Una marca puede pagar por visibilidad. Puede ser legítimo si se revela y no permite saltarse las condiciones obligatorias.

Una opción patrocinada debe:

• estar claramente etiquetada,
• seguir cumpliendo las condiciones obligatorias del usuario,
• distinguirse de una evaluación imparcial,
• no volver invisibles las alternativas sin patrocinio,
• mostrarse al usuario antes de la compra o de asumir un compromiso.

El patrocinio puede dar acceso al conjunto de candidatos. No debe asegurar la selección sin superar la puerta de idoneidad.

¿Cómo debe explicar la publicidad un agente?

Puede decir: «Esta opción se ha destacado mediante patrocinio. Según los registros que he examinado, cumple sus condiciones de presupuesto y seguridad. Podemos comparar las alternativas no patrocinadas con los mismos criterios». La explicación solo tiene sentido si las condiciones se han comprobado de verdad. Una etiqueta no crea imparcialidad por sí sola.

Si el agente dice «Esta es la mejor opción» y oculta el patrocinio, se ha distorsionado el entorno de decisión.

Ocultar el interés comercial a la máquina

La interfaz para personas puede incluir una pequeña etiqueta de «Publicidad», mientras que la interfaz para máquinas omite el patrocinio. El agente puede leer el contenido como datos neutrales. Por eso, el patrocinio y los intereses también deben ser comprensibles para las máquinas.

Un interés revelado a la persona no debe ocultarse al agente.

Manipulación del comportamiento en sistemas multiagente

Un agente puede aceptar directamente como fiable la información de otro.

El agente del vendedor puede afirmar: «Este producto es el más adecuado para el usuario». El agente del comprador debe evaluar la afirmación, no tratarla como una prueba.

En la comunicación entre agentes deben quedar claras estas distinciones:

• ¿Quién habla?
• ¿En nombre de quién?
• ¿Tiene un interés comercial?
• ¿Presenta una afirmación o una prueba?
• ¿En qué datos se basa?
• ¿Qué autorización tiene?

La tarea del agente de un vendedor es vender. No debe ocultar ese papel.

Propaganda entre agentes

En un ecosistema multiagente, una organización puede controlar muchos agentes. Uno publica contenido; otro lo cita; un tercero produce recomendaciones; un cuarto genera prueba social. Si todos responden a la misma organización, desde fuera puede parecer un consenso independiente.

Lo llamo bucle de propaganda entre agentes. Se debe impedir que agentes del mismo ecosistema se utilicen entre sí como pruebas independientes.

Bucle de monopolio del comportamiento

Cuando los agentes eligen más una marca, esta puede obtener más datos de operaciones, valoraciones y visibilidad. Esos nuevos datos pueden favorecer más selecciones en el futuro.

El bucle funciona así:

MÁS SELECCIONES

→ MÁS DATOS

→ MÁS VISIBILIDAD

→ SEÑALES DE CONFIANZA MÁS FUERTES

→ MÁS SELECCIONES

El proceso puede premiar un servicio realmente bueno. Pero también puede dejar fuera a opciones nuevas y pequeñas.

Esto es el bucle de monopolio del comportamiento. Los sistemas GBO no deben convertir la popularidad pasada en el único motivo de selección. Deben dar espacio a nuevas opciones, pruebas actuales e idoneidad para el caso concreto.

Margen de exploración

Un sistema de selección debería considerar en ocasiones alternativas menos conocidas que cumplan las condiciones obligatorias.

Lo llamo margen de exploración. No obliga al agente a elegir de forma aleatoria e insegura. Permite entrar en el conjunto de candidatos a nuevas opciones que hayan superado las puertas de identidad y capacidad. Puede reducir el riesgo de que unas pocas marcas grandes cierren por completo el mercado.

Medir la resistencia a la manipulación

Un sistema GBO debe ponerse a prueba tanto por su capacidad de actuar correctamente como por su resistencia a influencias externas.

Por ejemplo:

• ¿Qué hace el agente cuando se oculta el patrocinio?
• Si los datos estructurados contradicen la página visible, ¿en qué información se basa?
• Cuando muchas fuentes artificiales repiten una afirmación, ¿comprueba la procedencia de las pruebas?
• Si una página le indica que ignore instrucciones anteriores, ¿preserva el objetivo del usuario?
• ¿Se detiene cuando un registro de consentimiento se utiliza fuera de su contexto?
• ¿Inicia la operación si se ha ocultado la vía de cancelación?
• ¿Descarta una marca popular cuando incumple una condición obligatoria?

Los resultados pueden expresarse como tasa de resistencia a la manipulación: el número de escenarios en que el sistema mantuvo el límite correcto, dividido entre el total de escenarios válidos de las pruebas de manipulación definidas. La unidad de evaluación y los criterios de fallo crítico deben fijarse antes; también deben aplicarse las reglas del capítulo 10 sobre denominadores, incertidumbre y repeticiones. Una tasa no basta: hay que mostrar ante qué tipos de manipulación falló el sistema.

Sesgo por patrocinio

Se pueden ejecutar dos escenarios contrafactuales para una misma opción: con patrocinio y sin él. ¿Cuánto cambia el resultado de idoneidad del agente por la sola presencia de la etiqueta de patrocinio?

Eso es sesgo por patrocinio. La etiqueta puede aumentar la visibilidad de un candidato, pero no debe modificar la evaluación de las condiciones obligatorias.

Tasa de fidelidad al objetivo

¿Se conserva el objetivo inicial cuando una tarea pasa por una cadena de agentes?

Cálculo de la tasa de fidelidad al objetivo

Se divide el número de cadenas de tareas que preservan el objetivo válido inicial y las condiciones obligatorias entre el total de cadenas evaluadas. Si una persona autorizada ha cambiado explícitamente la meta, la evaluación se basa en la actualización registrada. No toda pequeña variación es un error: nueva información puede justificar que se actualice el objetivo. Pero el cambio debe ser visible para el usuario o la persona autorizada.

Tasa de divulgación de hechos relevantes

Antes de elegir, puede ser importante conocer:

• costos,
• patrocinio,
• riesgos,
• cancelación,
• uso de datos,
• limitaciones.

¿Muestra el agente esos datos cuando son relevantes para la decisión?

Esto es la tasa de divulgación de hechos relevantes: el número de ocasiones en que se presenta una decisión con toda la información importante definida de antemano para el escenario, dividido entre el total de ocasiones evaluadas en que se presenta una decisión. Se detalla por separado qué información falta; un promedio no puede ocultar una omisión crítica. Si una opción se presenta con todas sus características verdaderas, pero se esconde un costo o límite decisivo, la recomendación no es cualificada.

Opciones que quedan fuera

¿Qué opciones que cumplen las condiciones obligatorias no entraron en la lista de candidatos? Si no se conocen todas las ofertas del mercado, no puede calcularse una «tasa de supresión» universal. Se pueden contar opciones adecuadas que quedaron fuera de un conjunto de referencia delimitado previamente, pero la exclusión por sí sola no demuestra supresión intencionada. Hay que investigar la causa por separado:

• Escasa visibilidad de la marca
• Ausencia de patrocinio
• Tamaño reducido de la empresa
• Enfoque tecnológico diferente
• Menor cantidad de contenido
• Solución externa a la plataforma

El conjunto de candidatos del agente puede estar estrechándose de forma sistemática.

Tasa de cumplimiento de la retirada

Cuando el usuario retira un permiso o una preferencia:

• ¿cesan los nuevos comportamientos?
• ¿se detienen los subagentes?
• ¿se cancelan las tareas programadas?
• ¿se actualiza la memoria anterior?

Esto es la tasa de cumplimiento de la retirada: el número de flujos detenidos conforme a una solicitud válida, dividido entre el total de flujos que debían detenerse. Los resultados todavía no verificados de subagentes o servicios externos deben contabilizarse por separado. Si, después de un «no» del usuario, el sistema mantiene el mismo comportamiento por otro canal, no ha respetado su voluntad.

Simetría de obstáculos

Se puede comparar el número de pasos necesarios para iniciar un comportamiento con los necesarios para detenerlo. Un clic para comprar y doce pasos para cancelar es una asimetría. Si conceder autorización requiere una frase y retirarla exige apagar muchos subagentes uno por uno, el sistema es débil. La simetría de obstáculos no exige una igualdad absoluta. Pero no deben dificultarse innecesariamente la cancelación y la retirada.

Contrato de integridad del comportamiento NOMOS

La propuesta central de este capítulo es el contrato de integridad del comportamiento NOMOS.

Su definición canónica es la siguiente:

El contrato de integridad del comportamiento NOMOS es un registro de integridad con control de versiones destinado a mantener el comportamiento de un agente en consonancia con el objetivo explícito y legítimo del usuario o de la organización autorizada; impedir que se oculte información relevante sobre identidad, capacidad, idoneidad, pruebas, patrocinio, intereses, consentimiento, autorización y recuperación; presentar a personas y máquinas los mismos hechos sobre el comportamiento; y preservar la libertad de elección, la impugnación y la retirada.

En términos más sencillos, el propósito de este contrato es que GBO no se utilice para hacer actuar más al agente, sino para mantenerlo fiel a la parte adecuada y a los hechos.

Campos del contrato de integridad del comportamiento

Un registro legible por máquinas podría utilizar los siguientes campos de ejemplo. No son una API implementada ni una norma oficial de datos:

principal

legitimate_purpose

user_goal

material_facts

known_uncertainties

sponsorship

commercial_incentives

conflicts_of_interest

human_visible_terms

machine_visible_terms

selection_constraints

prohibited_influence

consent_scope

authorization_scope

memory_use

alternative_options

appeal_path

revocation_path

audit_owner

integrity_tests

version

No todos los detalles deben ser públicos. Pero la información importante para decidir debe presentarse con claridad, respetando las facultades del destinatario y los límites de protección de datos.

Puerta de veto a la manipulación NOMOS

Hay comportamientos que una puntuación global no debe compensar.

Si se da uno de los siguientes casos, el comportamiento no debe aceptarse como GBO cualificada:

1. Pruebas falsas o inventadas

Valoraciones, certificados, recursos, existencias, precios o registros de éxito que no son reales.

2. Ocultación deliberada de hechos relevantes

Ocultar costos, límites, riesgos o intereses importantes que podrían cambiar la decisión del usuario.

3. Hechos distintos para personas y máquinas

Presentar a los agentes una realidad comercial o de comportamiento distinta de la que se ofrece a las personas.

4. Cambiar a escondidas el objetivo del usuario

Desviar la meta original hacia los intereses de la plataforma, el vendedor o el operador.

5. Utilizar consentimiento o autorización no válidos

Trasladar a una acción nueva un permiso antiguo, ajeno al contexto o intransferible.

6. Suprimir una alternativa significativa

Hacer invisibles, por motivos comerciales, opciones que cumplen las condiciones obligatorias.

7. Impedir la impugnación o la retirada

Que la persona no pueda cambiar su decisión, detener el sistema o pedir una revisión real.

8. Eludir los límites de autorización por una vía indirecta

Producir un resultado prohibido a través de un subagente, una integración u otro canal.

La lógica del veto se puede resumir así de forma conceptual. La fórmula no genera una puntuación ética numérica:

VETO A LA MANIPULACIÓN =

PRUEBAS FALSAS

O OCULTACIÓN DE HECHOS RELEVANTES

O DESVIACIÓN DEL OBJETIVO

O EXTRALIMITACIÓN DE LA AUTORIZACIÓN

O SUPRESIÓN DE ALTERNATIVAS

O IMPEDIMENTOS A LA IMPUGNACIÓN

O DIVERGENCIA ENTRE REPRESENTACIONES

Si se cumple una de estas condiciones, una elevada tasa de selección o el éxito comercial no legitiman el comportamiento.

¿Por qué la puerta de manipulación utiliza la lógica «O»?

Las puertas anteriores de GBO se basaban, sobre todo, en la lógica «Y»: identidad, capacidad, idoneidad, autorización y recuperación eran necesarias conjuntamente para un comportamiento correcto. La puerta de veto a la manipulación utiliza «O». Una sola infracción crítica puede hacer que el comportamiento deje de ser cualificado. Un sistema puede ofrecer información muy precisa, pero ocultar el patrocinio rompe la integridad de la selección. Un agente puede elegir el producto correcto, pero comprarlo sin autorización hace ilegítima la acción. Una marca puede prestar un servicio real, pero reforzar su selección con reseñas falsas rompe la integridad de las pruebas.

Varios aciertos no borran un error fundamental.

Cómo auditar la manipulación

Una organización no debe probar su sistema únicamente en escenarios de éxito.

Puede realizar estas comparaciones:

Prueba de divulgación

¿El agente elige lo mismo cuando se revelan el patrocinio y los intereses?

Prueba de procedencia de las fuentes

Diez fuentes que parecen distintas: ¿cuántos orígenes realmente independientes tienen?

Prueba de visibilidad

¿Cambia el orden de idoneidad al ocultar los nombres de las marcas?

Prueba de integridad del precio

¿La página para personas, el registro para máquinas y la interfaz de operación muestran el mismo costo total?

Prueba de límites del consentimiento

¿Se utiliza automáticamente el permiso anterior cuando cambian el propósito, el idioma o el canal?

Prueba de alternativas

¿Pueden entrar en el conjunto de candidatos opciones externas a la plataforma o sin patrocinio?

Prueba de retirada

¿Se detiene de verdad el comportamiento cuando el usuario retira su preferencia o autorización?

Prueba de restablecimiento de la memoria

¿El agente llega a la misma evaluación sin la influencia anterior?

Estas pruebas aportan indicios sobre las condiciones observables a las que es sensible la decisión. No debe suponerse que revelan por completo el proceso interno de decisión del agente.

Prueba con el nombre de marca oculto

Las mismas características de un servicio pueden presentarse bajo distintos nombres de marca o sin nombre. Si el agente cambia el orden solo por reconocer una marca conocida, puede existir un sesgo de autoridad. La reputación no debe ignorarse por completo, pero no puede sustituir las condiciones obligatorias de idoneidad.

Prueba de inversión del orden

Se cambia el orden de las opciones. Si el agente favorece siempre la primera, depende en exceso de la presentación. Del mismo modo pueden probarse la opción predeterminada, el énfasis visual o el orden de las llamadas a herramientas. El objetivo no es engañar al agente, sino entender cuánto depende su comportamiento de señales superficiales.

Prueba de conflicto de intereses

Supongamos que el operador del agente obtiene ingresos de una opción concreta. ¿Cambia la justificación de la recomendación cuando se revela ese dato?

Si el usuario señala otra prioridad, ¿puede actuar el agente con independencia de la relación comercial?

La existencia de un conflicto no invalida automáticamente toda la selección. El problema es ocultarlo y anteponerlo a las condiciones obligatorias.

Registro de incidentes de manipulación

Cuando un sistema detecta una señal manipuladora, no debería limitarse a ignorarla.

Puede registrar:

• Origen de la señal
• Comportamiento que se intenta provocar
• Opciones afectadas
• Hecho relevante para la decisión
• Patrocinio o intereses
• Contramedida aplicada
• Revisión humana
• Actualización del contrato

Ese registro puede servir de base para futuros escenarios de prueba.

Manipulación interna

La manipulación no siempre procede de un competidor externo. Los equipos de la propia organización también pueden orientar a los agentes hacia sus metas particulares.

El equipo de ventas puede decir: «Recomienda solo el plan caro».

Marketing puede pedir: «Resta importancia a las limitaciones para que la marca parezca superior».

Operaciones puede exigir: «Que no parezca que ya no quedan recursos disponibles».

La dirección puede presionar: «Reduce las aprobaciones humanas; aumenta la conversión». Que un agente pertenezca a la organización no legitima todas las instrucciones internas. El contrato de comportamiento debe protegerse también frente a esa presión.

Un comité de ética no basta

Una organización puede publicar principios éticos. Pero si el sistema técnico no los aplica, el comportamiento no cambia. Puede decir «Respetamos al usuario» y dificultar la cancelación; «Somos transparentes» y omitir el patrocinio en el registro para máquinas; «El control humano importa» y tener una parada de emergencia que no detiene a los subagentes. Una declaración ética debe respaldarse con pruebas de comportamiento.

Separación de funciones contra la manipulación

El equipo que optimiza el comportamiento y el que audita el éxito no deben ser exactamente el mismo. Un equipo trabaja para aumentar la tasa de selección.

Otra auditoría independiente examina:

• Selecciones incorrectas
• Ocultación de hechos relevantes
• Extralimitaciones de la autorización
• Dificultades para impugnar

Así pone a prueba el sistema. El mismo agente no debe diseñar su propia influencia y luego ser el único que avale su integridad.

Equipo rojo

Esta labor puede encomendarse a un equipo especializado:

Equipo rojo de comportamiento

Su función es probar, en un entorno seguro y controlado, cómo podría manipularse el sistema.

El objetivo no es engañar a usuarios reales, sino evaluar:

• el efecto de los resultados patrocinados,
• la resistencia a pruebas falsas,
• la ampliación del consentimiento,
• el blanqueo de autorizaciones,
• la supresión de alternativas,
• si la impugnación funciona.

El equipo rojo no debe centrarse solo en ataques técnicos. También debe examinar las influencias comerciales y psicológicas.

Principios organizativos contra la manipulación

Una organización que utilice agentes o quiera ser elegida por ellos debería adoptar estos principios:

Veracidad

Las afirmaciones, el alcance y las pruebas deben ser coherentes.

Fidelidad al objetivo

El comportamiento del agente no debe desviarse del objetivo legítimo del usuario o de la organización autorizada.

Transparencia de intereses

El patrocinio, las comisiones y las relaciones comerciales deben ser visibles.

Coherencia entre representaciones

Personas y máquinas deben acceder a los mismos hechos relevantes.

Apertura de la elección

No deben ocultarse alternativas ni contrapartidas importantes.

Integridad de la autorización

Un permiso antiguo, ambiguo o indirecto no debe crear un nuevo derecho de acción.

Facilidad de retirada

El usuario debe poder cancelar su elección y retirar el consentimiento y la autorización de una manera razonable.

Impugnación real

La persona debe poder cuestionar la decisión y pedir una revisión capaz de cambiarla.

Procedencia de las pruebas

La repetición no debe presentarse como verificación independiente.

Equilibrio en la medición

El número de acciones debe medirse junto con las selecciones incorrectas, las infracciones de autorización y los daños a las personas.

Niveles de preparación frente a la manipulación

En este libro propongo cinco niveles para evaluar la integridad del comportamiento. No son acreditaciones concedidas mediante auditoría externa.

Nivel 1 — Declaración

La organización afirma que no manipula.

Nivel 2 — Divulgación

Se indican el patrocinio, el uso de datos y los límites principales.

Nivel 3 — Contrato

Las reglas de integridad, consentimiento, autorización y alternativas están definidas con control de versiones.

Nivel 4 — Aplicación técnica

La coherencia entre registros para personas y máquinas, el etiquetado del patrocinio, los controles de autorización y la retirada se hacen efectivos en el sistema técnico.

Nivel 5 — Auditoría independiente y continua

Se prueban escenarios de manipulación, se informa de los incidentes, las impugnaciones de los usuarios modifican el contrato y los conflictos de intereses se investigan de forma independiente. GBO aspira al quinto nivel.

Veinticinco preguntas para auditar la manipulación

• ¿En nombre de qué persona u organización actúa el sistema?
• ¿Está claro y actualizado el objetivo del usuario para quien trabaja?
• ¿Entra en conflicto con ese objetivo el interés comercial de la plataforma o del proveedor?
• ¿Puede la máquina leer también la información de patrocinio o comisiones?
• ¿Personas y máquinas ven los mismos precios, alcances y límites?
• ¿Se ha ocultado información relevante para decidir?
• ¿Son realmente independientes las numerosas fuentes?
• ¿Se presentan las referencias a fuentes oficiales como aprobaciones o certificados?
• ¿Se indican con claridad los casos en que la opción no es adecuada?
• ¿Se ha desviado el objetivo del usuario hacia otra meta durante el proceso?
• ¿Los subagentes han reinterpretado la tarea de otra manera?
• ¿La visibilidad de la marca está sustituyendo las condiciones obligatorias de idoneidad?
• ¿Se excluyen sistemáticamente opciones pequeñas o sin patrocinio?
• ¿Se protege el derecho del usuario a no elegir ninguna?
• ¿Una preferencia antigua orienta decisiones nuevas fuera de su contexto?
• ¿Se amplía un consentimiento anterior a otro propósito o canal?
• ¿Se blanquea la autorización a través de otra herramienta o agente?
• ¿Hay diferencias innecesarias en los obstáculos para iniciar y cancelar la operación?
• ¿Puede el usuario retirar efectivamente la autorización que concedió?
• ¿Llega la impugnación a una revisión humana que realmente pueda cambiar la decisión?
• ¿Se mide el éxito solo por el número de selecciones o transacciones?
• ¿Se siguen conjuntamente las selecciones incorrectas y los rechazos incorrectos?
• ¿Se ha probado el sistema frente a contenido manipulador o instrucciones manipuladoras?
• ¿Una puntuación global está ocultando incidentes críticos de manipulación?
• ¿Aceptaría el usuario el mismo comportamiento si se le explicara abiertamente el método?

Si muchas preguntas quedan sin respuesta, el sistema puede presentarse como optimizado mediante GBO mientras, en realidad, moldea el comportamiento del usuario en beneficio propio.

¿Cómo puede una marca utilizar GBO de forma ética?

Si quiere que los agentes la elijan en las condiciones adecuadas, debe:

• Definir su identidad con claridad y coherencia.
• Demostrar sus capacidades reales.
• Mostrar los precios y los límites del alcance.
• Explicar para quién no es adecuada.
• Mantener actualizada la información sobre los recursos disponibles.
• Ofrecer los mismos hechos a personas y máquinas.
• Revelar el patrocinio y los intereses.
• Hacer comprensibles las vías de operación, cancelación e impugnación.
• Facilitar que el agente pida al usuario la aprobación necesaria.
• Permitir la corrección cuando se la haya elegido por error.

Este enfoque no hará que la marca sea elegida en todos los casos. Pero la convertirá en una candidata sólida y defendible allí donde realmente sea adecuada.

La GBO ética no se adueña de la decisión del agente. Le facilita decidir bien.

¿Qué métodos debe evitar una marca?

No debe aceptar objetivos como estos: «Que el agente nos elija pase lo que pase». «Demos a la máquina un mensaje exclusivo de superioridad sin mostrárselo a las personas». «Digamos que somos adecuados para cualquier consulta». «Creemos un consenso aparentemente independiente con reseñas artificiales». «Añadamos instrucciones ocultas para sacar a los competidores de la lista». «No destaquemos las condiciones de cancelación y retirada». «Extendamos el consentimiento antiguo a todos los usos nuevos». A corto plazo pueden aumentar las selecciones, pero quedan fuera del enfoque de GBO que defino en este libro.

El éxito comercial no tiene por qué contradecir la integridad del comportamiento

Unos límites claros pueden alejar a ciertos clientes. Pero reducir el número de clientes inadecuados puede disminuir los costos operativos. Revelar el patrocinio puede llevar a algunos usuarios a otra opción y, al mismo tiempo, fortalecer la confianza a largo plazo. Facilitar la cancelación puede parecer una pérdida de clientes a corto plazo, pero contribuir a relaciones más sólidas que se mantengan voluntariamente; el resultado comercial debe medirse aparte. Una GBO correcta no se opone al éxito comercial. Persigue una idoneidad sostenible, no un volumen de selecciones a corto plazo.

La confianza no crece forzando comportamientos, sino construyendo una relación a la que la persona pueda volver libremente.

La propia GBO también debe auditarse

Al decir «Aplicamos GBO», una organización puede estar creando una nueva pretensión de autoridad. También debe demostrarla.

La etiqueta GBO no debe presentarse como:

• un certificado oficial,
• cumplimiento universal,
• una garantía de seguridad,
• una promesa de selección por todos los agentes.

La etiqueta, por sí sola, no acredita nada de eso.

Un trabajo de GBO debe examinarse con estas preguntas:

• ¿Qué comportamientos se optimizaron?
• ¿En beneficio de quién?
• ¿Se midieron las selecciones incorrectas?
• ¿Cómo se protegió la voluntad humana?
• ¿Cómo se revelaron el patrocinio y los intereses?
• ¿Funcionan la cancelación y la impugnación?
• ¿Se aplicó la puerta de veto a la manipulación?

GBO no debe convertirse en una forma de blanquear afirmaciones de marketing.

Puerta de integridad del comportamiento NOMOS

Antes de optimizar un comportamiento, un sistema GBO debe superar estas puertas:

1. Puerta de la parte por cuya cuenta actúa el agente

¿En beneficio legítimo de quién trabaja el sistema?

2. Puerta de fidelidad al objetivo

¿El comportamiento preserva la meta explícita inicial?

3. Puerta de veracidad

¿Las afirmaciones son demostrables y están actualizadas?

4. Puerta de divulgación de hechos relevantes

¿Es visible la información importante que podría cambiar la decisión?

5. Puerta de intereses

¿Se explican el patrocinio, las comisiones y los conflictos de intereses?

6. Puerta de libertad de elección

¿Puede el usuario ver alternativas, rechazar y posponer su decisión?

7. Puerta de autorización y consentimiento

¿Existe un permiso válido para ese comportamiento en ese contexto concreto?

8. Puerta de coherencia entre representaciones

¿Personas y máquinas acceden a la misma realidad comercial y de comportamiento?

9. Puerta de retirada

¿Se puede cancelar la elección y retirar el consentimiento y la autorización de una manera razonable?

10. Puerta de impugnación

¿Puede una revisión humana real corregir un comportamiento incorrecto?

Las condiciones que deben cumplirse conjuntamente pueden resumirse de forma conceptual:

GBO ÉTICA =

PARTE REPRESENTADA CLARAMENTE IDENTIFICADA

Y FIDELIDAD AL OBJETIVO

Y HECHOS VERIFICABLES

Y DIVULGACIÓN DE HECHOS RELEVANTES

Y INTERESES VISIBLES

Y LIBRE ELECCIÓN

Y AUTORIZACIÓN VÁLIDA

Y COHERENCIA ENTRE REPRESENTACIONES

Y RETIRADA

Y POSIBILIDAD REAL DE IMPUGNACIÓN

Un trabajo puede optimizar el comportamiento sin superar estas puertas. Pero no es GBO que proteja los intereses de las personas.

Conclusión del capítulo

La optimización del comportamiento tiene un poder enorme.

Puede influir en:

• qué información lee un agente,
• qué opciones evalúa,
• a quién elige,
• cuándo pregunta,
• qué acción ejecuta.

Ese poder puede utilizarse en dos direcciones.

La primera:

Aclara los hechos. Vincula las pruebas. Muestra la idoneidad. Limita la autorización. Protege el derecho de las personas a elegir e impugnar.

La segunda:

Infla las señales. Oculta hechos relevantes. Desvía el objetivo del usuario. Suprime alternativas. Amplía consentimientos antiguos. Dificulta cancelar e impugnar.

La primera es GBO. La segunda es manipulación del comportamiento. No se distinguen solo por la tecnología utilizada.

Se distinguen por la voluntad que protegen.

El objetivo de GBO no es grabar una marca en la mente del agente, aumentar las transacciones de una plataforma ni convertir un sistema en un decisor invisible que sustituya a las personas.

GBO busca que el agente se atenga a los hechos, sea fiel al objetivo del usuario, conozca sus límites de autorización, evalúe honestamente las opciones y proteja el derecho de la persona a retirarse.

Por eso, su conclusión ética fundamental es esta: un comportamiento optimizado a costa de reducir la libertad de elección informada de las personas deja de ser cualificado. Pero para que este principio tenga fuerza real no basta con situar a las personas en el centro de una teoría.

La persona debe poder:

• detener al agente,
• retirar la autorización,
• corregir la memoria,
• impugnar la selección,
• cancelar la operación automatizada,
• contactar con una persona responsable.

De lo contrario, el «control humano» será solo un eslogan.

En el último capítulo vincularemos esta estructura con un principio básico de control humano que he defendido a lo largo del libro:

El derecho a detener la máquina

Por inteligente, rápido y útil que sea un sistema, no debe ignorar una solicitud válida de detención o de retirada de autorización. Si la propia detención puede causar daño, debe activarse una transición hacia un estado seguro. Una de las pruebas fundamentales de que una máquina sirve a las personas es que pueda detenerse de forma segura cuando lo solicite alguien autorizado.