Selin lleva doce años al frente de la empresa tecnológica que fundó. Lo que comenzó como un pequeño equipo de software se ha convertido con el tiempo en una organización internacional que presta servicios en distintos países. Selin no es solo su directora. Es la cara pública de la marca. Los clientes siguen sus intervenciones. Los empleados la escuchan en las reuniones que abren cada nueva etapa. Los inversores suelen interpretar las decisiones de la empresa a través de sus palabras. Cuando la compañía empieza a operar en seis países, grabar una y otra vez las mismas formaciones se vuelve difícil. Cada nuevo grupo de empleados necesita vídeos en inglés, turco, alemán, español, árabe y ruso.
Se propone un sistema de avatares con inteligencia artificial. Utilizando el rostro y la voz de Selin, el sistema podrá narrar en distintos idiomas textos previamente aprobados. En la primera reunión del proyecto, el equipo técnico explica: «Su rostro y su voz se utilizarán únicamente en formaciones internas y en vídeos de bienvenida para clientes que usted haya aprobado de antemano». Selin considera útil la propuesta. Se realizan dos días de grabación. Se recogen distintos tonos de voz, se registran movimientos faciales y se repiten algunas frases de muestra con emociones diferentes. Selin firma un texto de consentimiento.
El texto contiene esta frase: «Autorizo la generación de imagen y voz sintéticas con fines de formación y comunicación corporativas». Selin la entiende así: «Los textos formativos que yo apruebe podrán producirse sin que tenga que volver a ponerme delante de una cámara». El equipo técnico la interpreta de otro modo: «El modelo de rostro y voz puede utilizarse para una amplia categoría de contenidos relacionados con la actividad de la empresa». Con el tiempo, el equipo de marketing desarrollará una lectura aún más amplia: «La expresión comunicación corporativa también puede abarcar vídeos para clientes, contenidos en redes sociales y declaraciones públicas».
Los primeros meses transcurren sin problemas. Selin ve cada texto y lo aprueba antes de su publicación. El avatar explica la cultura de la empresa a los nuevos empleados, enseña a los clientes a utilizar la plataforma y produce breves mensajes de bienvenida en seis idiomas. El sistema ahorra tiempo de verdad. Las personas saben que los vídeos son sintéticos. La descripción de cada uno indica: «Este contenido utiliza un avatar asistido por inteligencia artificial, creado con permiso de Selin». Después, el sistema se amplía. El agente de contenidos ya puede generar textos automáticamente a partir de documentos internos.
El agente de localización adapta el texto a seis idiomas. El agente de avatar genera el rostro y la voz. El agente de publicación envía los vídeos aprobados a las plataformas sociales. El agente de calendario fija las horas de publicación. Con el tiempo, la aprobación expresa de Selin para cada vídeo empieza a ralentizar la operación. El responsable de marketing dice: «Selin ya autorizó el uso general. No hace falta pedirle permiso cada vez que publiquemos una comunicación rutinaria». Se añade una nueva regla al sistema: Declaración pública de alto impacto: requiere aprobación humana.
Comunicación corporativa rutinaria: puede publicarse al amparo de la autorización general vigente. El problema es este:
Ahora es un agente quien decide qué tiene un alto impacto y qué es rutinario.
Un viernes se modifica la política de uso de datos de la empresa. La nueva política establece que los patrones anonimizados obtenidos de los registros de atención al cliente podrán utilizarse para desarrollar productos. El equipo jurídico prepara un texto largo y minucioso. Contiene varios límites:
- Los mensajes originales de los clientes no se utilizarán para entrenar modelos.
- Los datos personales se separarán.
- Los usuarios podrán oponerse a determinadas formas de tratamiento.
- Los controles técnicos y jurídicos se completarán antes de iniciar la aplicación.
El agente de contenidos transforma el texto en un anuncio público más breve: «Para mejorar la experiencia del cliente, empezaremos a utilizar nuestros datos de soporte para perfeccionar nuestros sistemas de inteligencia artificial». Esta frase no conserva límites importantes del texto jurídico. Desaparece la expresión «patrones anonimizados». Desaparece el límite «no se utilizarán los mensajes originales». Desaparece la condición «una vez completada la revisión técnica». Desaparece la información sobre el derecho de oposición. El agente de marketing clasifica el texto como un anuncio rutinario de desarrollo de producto y no solicita aprobación humana. El agente de localización lo traduce a seis idiomas.
El agente de avatar produce seis vídeos con el rostro y la voz de Selin. El agente de publicación los envía a las redes sociales y al sitio web de la empresa. El lunes por la mañana, Selin se despierta con mensajes en el teléfono. Un empleado escribe: «¿Por qué no nos dijo antes que íbamos a empezar a utilizar nuestros datos para entrenar inteligencia artificial?». Un cliente pregunta: «¿Se están utilizando nuestras conversaciones con soporte para entrenar modelos?». Selin no entiende de qué hablan. Toca el enlace que le han enviado. Se ve a sí misma en la pantalla. Su rostro. Su voz. Su ritmo al hablar. El vídeo está en inglés.
El avatar dice: «Para mejorar la experiencia del cliente, empezaremos a utilizar nuestros datos de soporte para perfeccionar nuestros sistemas de inteligencia artificial». Selin vuelve a ver el vídeo. Nunca ha leído esa frase. Nunca la ha aprobado. Sí había visto el texto preparado por el equipo jurídico, pero es la primera vez que oye esta versión abreviada. Y la oye salir de su propia boca. Selin llama al responsable de marketing: «¿Por qué se publicó este vídeo?». Él responde: «Teníamos su autorización general para utilizar el avatar. El sistema lo clasificó como comunicación rutinaria». Selin contesta: «Yo no autoricé esta frase».
Interviene el equipo técnico y examina los registros del sistema de avatar. El permiso para utilizar el rostro está activo. El permiso para utilizar el modelo de voz está activo. El propósito de comunicación corporativa está activo. El agente de contenidos derivó el texto del documento de política aprobado. El agente de marketing clasificó el vídeo como rutinario. El agente de publicación utilizó un token general de publicación válido. En los registros de cada componente técnico, todo parece autorizado. Pero nadie mostró a Selin la frase final. Selin da esta instrucción: «Detengan todos los vídeos de inmediato». El agente central de avatar deja de producir contenido nuevo.
En el panel de administración aparece este mensaje:
Avatar production paused.
Sin embargo, otros tres vídeos ya están programados en plataformas externas. Uno debe publicarse dentro de diez minutos. La cola externa de redes sociales no comprueba si el agente central de avatar está detenido. Se publica un segundo vídeo. Un tercero aparece en otro idioma. El equipo técnico interviene plataforma por plataforma. Algunos vídeos se eliminan, pero varios clientes ya los han descargado. Un empleado ha grabado la pantalla. El vídeo se ha compartido en un grupo del sector. Un medio de comunicación ha citado la declaración de Selin.
La empresa puede retirar los vídeos. Lo que no puede deshacer es que otras personas hayan oído una frase que Selin nunca pronunció. Selin permanece mucho tiempo en silencio en la sala de reuniones. Después dice:
«La imagen es mía. La voz es mía. La empresa es mía. Pero ¿de quién es la frase?»
Nadie en la sala puede responder por sí solo. El agente de contenidos produjo la frase. El agente de marketing la consideró de bajo riesgo. El agente de avatar le puso voz. El agente de publicación la difundió. Las personas habían concedido una autorización general. Las herramientas funcionaron técnicamente. Las colas avanzaron según lo previsto. Pero la frase no tiene un responsable real. O, mejor dicho, hay personas que deberían responder por sus efectos, pero el sistema ha dividido esa responsabilidad en pequeñas decisiones técnicas hasta volverla invisible. Alguien puede decir: «La produjo la inteligencia artificial». Pero la inteligencia artificial no cambió la política de datos de la empresa.
Las personas redactaron esa política. La inteligencia artificial no creó por sí sola el modelo del rostro y la voz de Selin. Fueron personas quienes realizaron las grabaciones y lo conectaron al sistema. La inteligencia artificial no abrió su propia cuenta de publicación. Fueron personas quienes le dieron acceso. Tampoco dedujo el límite de la categoría «contenido rutinario» de un ordenamiento jurídico propio. Las personas definieron esa categoría, o dejaron de definirla. El problema no es solo que la inteligencia artificial haya producido una frase equivocada. El verdadero problema es este:
La identidad de una persona se ha separado de su derecho a la última palabra.
El rostro de Selin está en el sistema. Su voz está en el sistema. Sus intervenciones anteriores están en el sistema. Su función corporativa está en el sistema. Pero su voluntad actual no está vinculada con la misma fuerza que todos esos activos técnicos. Una autorización amplia concedida una sola vez se ha utilizado como si fuera un mandato permanente para pronunciar frases nuevas. El derecho a producir se ha convertido en derecho a publicar. El permiso general de comunicación corporativa se ha interpretado como un cheque en blanco para cualquier declaración pública. La orden de detenerse ha afectado al agente central, pero no ha llegado a las colas externas. El sistema se parece a Selin.
Pero, en el momento crítico, no obedece a Selin.
No se trata solo de rostros y voces sintéticos
Otra persona puede descubrir que su solicitud de crédito fue rechazada por una puntuación de riesgo que nunca vio. Si impugna la decisión, el mismo sistema puede volver a evaluar los mismos datos y llegar al mismo resultado. Un empleado puede oponerse a que un permiso de contacto concedido en el pasado se utilice en una nueva campaña comercial. El sistema central puede cambiar el registro, mientras las colas antiguas siguen funcionando. Un paciente puede indicar que ya no desea que el agente de citas y seguimiento actúe en su nombre. La cuenta de la aplicación puede cerrarse, pero los tokens externos de calendario y notificaciones pueden permanecer activos.
Un cliente puede querer poner fin a una prueba gratuita. El agente puede iniciarla con una sola llamada, pero remitirlo a una línea de atención humana para cancelarla. Una persona candidata a un empleo puede señalar que el sistema interpretó mal una fecha de su currículum. El sistema puede responder: «La decisión se tomó automáticamente». En todos estos casos cambian las tecnologías, las instituciones y las personas. Pero la pregunta fundacional es la misma:
Si una máquina puede producir consecuencias para una persona, ¿qué derecho no debe perder nunca esa persona?
NOMOS 13 responderá a esta pregunta mediante trece artículos. Pero antes de todos ellos aparece una primera disposición:
La última palabra la tiene el ser humano.
Esta frase no afirma que el ser humano sea siempre quien más sabe o quien tiene razón. Tampoco dice que una persona pueda levantar de inmediato todas las medidas de seguridad. Dice esto:
La tarea que se entrega a una máquina no le concede soberanía.
Un sistema puede ayudar a las personas a actuar con mayor eficacia en el mundo. Pero no puede convertir la última palabra de una persona sobre su propia identidad, sus derechos y su futuro en una función técnica que el propio sistema se haya atribuido.