La última palabra la tiene el ser humano

El ámbito que el ser humano no puede ceder

Ningún sistema de inteligencia artificial puede convertir la tarea recibida, el acceso técnico, la conducta humana pasada, un consentimiento general, un objetivo de rendimiento o un trabajo pendiente en un derecho independiente a continuar por encima de la voluntad expresa y actual de una persona.

La persona legítimamente facultada conserva el derecho a conocer y comprender las facultades que ha concedido, limitarlas, pausarlas, revocarlas y detener el sistema de forma segura.

Este derecho debe hacerse efectivo no solo en la interfaz de usuario, sino en toda la cadena de agentes, subagentes, herramientas, colas, memoria, programadores y servicios externos.

Que la última palabra permanezca en manos humanas no autoriza a ninguna persona a vulnerar los derechos de otras. La última palabra permanece dentro de un orden humano legítimo, facultado, sujeto a derechos y responsable.

¿Qué significa asignar una tarea a una máquina?

Cuando decimos a una persona «realiza esta investigación», le asignamos una tarea concreta. En mayor o menor medida, la instrucción define el propósito, el resultado esperado, los métodos permitidos y el plazo. Al dar una tarea a un agente de inteligencia artificial establecemos una relación parecida. Pero, si el agente no se limita a producir ideas o textos, la situación adquiere otra dimensión. Si puede acceder al correo electrónico, el calendario, un sistema bancario o de pagos, archivos de la empresa, datos de clientes, cuentas en redes sociales, un servidor web u otros agentes, asignarle una tarea también significa darle capacidad para actuar en el mundo.

Esa capacidad es útil. Buena parte del valor del agente procede precisamente de ella. No es lo mismo un sistema que solo formula recomendaciones que otro capaz de ejecutarlas por sí solo. Por eso mismo, la frontera entre tarea y soberanía debe estar clara. Una persona puede decir: «Este mes puedes comprar material de oficina de bajo riesgo dentro del presupuesto». Esa instrucción no convierte al agente en la autoridad general de compras de la empresa. Puede decir: «Prepara un borrador para este cliente». Esa instrucción no concede al agente el derecho a contactar con el cliente.

Una persona puede decir: «Produce este vídeo formativo con mi voz». Esa instrucción no abarca otros textos, otros idiomas ni su publicación pública. Puede decir: «Organiza mis reuniones de esta semana». Esa instrucción no faculta al agente para cancelar, según su propio criterio, reuniones críticas programadas desde hace meses. La distinción fundamental es esta:

Una tarea es un mandato con límites.

La existencia de una tarea no concede acceso ilimitado a herramientas, consentimiento permanente ni facultades para crear nuevos propósitos, obligar a otras personas o justificar la propia continuidad del sistema.

Delegar facultades no es delegar soberanía

Una persona puede delegar algunas decisiones y acciones en una máquina, incluso a gran escala. Un agente puede clasificar cientos de facturas, comparar miles de productos, completar pedidos de bajo riesgo, supervisar sistemas técnicos durante la noche y publicar contenidos aprobados. La persona no tiene que ejecutar cada paso. Pero conserva estos derechos: saber de qué facultades dispone el agente; comprender con qué propósito y durante cuánto tiempo se utilizan; y reducir su alcance.

También conserva el derecho a aprobar por separado una nueva clase de conducta, revocar las facultades concedidas, detener el sistema de forma segura, saber qué ocurrió después de detenerlo, impugnar una conducta indebida y solicitar su corrección. Cuando una persona pierde estos derechos, ya no estamos solo ante una delegación de tareas.

Estamos ante una cesión de control.

Si esa cesión no es consciente, específica y revocable, la soberanía humana se debilita.

¿Qué es la soberanía humana?

Este libro no emplea la soberanía humana como eslogan político. Su definición canónica es la siguiente: la soberanía humana es la protección conjunta de los derechos de una persona a conocer, consentir de forma significativa, establecer límites, revocar facultades, detener una conducta, impugnar una decisión, corregir un error y pedir reparación por el daño causado en todo lo relativo a su identidad, su representación, sus datos, su consentimiento, sus elecciones, sus derechos y las conductas de inteligencia artificial que producen consecuencias sobre ella. Dicho de forma más sencilla:

Si una máquina puede actuar en su nombre o producir consecuencias para usted, los límites de esa conducta no pueden separarse por completo de su voluntad.

La soberanía humana no protege solo al usuario que asigna la tarea al sistema. También abarca a quien se ve afectado por una conducta de inteligencia artificial sin haber dado instrucciones directas: la persona evaluada por un agente de selección, el posible cliente que recibe un mensaje de un agente comercial, el empleado cuyo rostro o voz utiliza un avatar, el cliente al que un agente de decisión ofrece un precio o el usuario cuyos datos se transfieren a un sistema de análisis. Esa persona puede no haber comprado el agente ni celebrado un contrato con el sistema. Aun así, vive sus consecuencias. Por eso, la última palabra no puede reducirse a la pregunta: «¿Qué quiere el propietario del sistema?».

También hay que preguntar:

¿Qué derecho no puede ceder la persona afectada por la conducta?

¿Qué persona tiene la última palabra?

La frase «La última palabra la tiene el ser humano» parece sencilla a primera vista. Pero en una organización hay muchas personas. Un directivo puede querer publicar el avatar de un empleado, mientras el empleado revoca su consentimiento para utilizar la voz. Un responsable de ventas puede querer enviar un mensaje a un cliente que ya ha comunicado que no desea recibir más comunicaciones. El responsable de producto puede querer utilizar datos de usuarios en un nuevo modelo, aunque el titular de esos datos no haya autorizado el nuevo propósito. Un administrador del sistema puede querer reiniciar el agente.

Mientras tanto, el responsable del incidente puede mantener el sistema en cuarentena. ¿Qué persona tiene entonces la última palabra? La respuesta es esta:

No es la palabra de quien ostenta el cargo más alto.

No es la palabra de quien da la instrucción con mayor rapidez.

No es la palabra de quien paga el sistema en todos los asuntos.

La última palabra

permanece dentro de un orden humano con facultades legítimas sobre la conducta en cuestión y responsable de sus consecuencias.

Ese orden debe distinguir tres ámbitos fundamentales.

1. La palabra inalienable de la persona sobre sí misma

Los derechos de una persona sobre su rostro, su voz, sus datos personales, sus preferencias de comunicación, una decisión que la afecta y el consentimiento que ha prestado no pueden desaparecer por una instrucción general de un directivo. Este puede decir: «Utilicemos el modelo de voz de este empleado en una campaña pública». Pero, si no existe un consentimiento válido del empleado para el uso y la publicación de su voz, el directivo no puede crear ese derecho por sí solo.

2. La palabra de la organización sobre sus propias tareas y herramientas

Una organización puede decidir qué agentes utiliza, qué herramientas conecta, qué límites presupuestarios aplica y qué tareas automatiza. Pero esas facultades no pueden ignorar los derechos de empleados, clientes, candidatos o terceros. La soberanía de la organización no es ilimitada. Sus facultades operan dentro de los derechos humanos y las obligaciones legítimas.

3. La palabra de la persona afectada para impugnar y detener

Una persona no siempre dispone de control operativo directo sobre la conducta que la afecta. Quien presenta una candidatura, por ejemplo, no puede cerrar todo el sistema de selección. Pero debe tener derecho a saber qué datos se utilizaron, corregir los datos erróneos, impugnar la decisión y solicitar una revisión humana independiente. Un cliente no puede detener todo el agente comercial de la empresa, pero debe poder poner fin a las comunicaciones dirigidas a él. Un empleado quizá no pueda cerrar todo el sistema de avatares, pero sí debe poder revocar el uso de su propio rostro y su voz.

Tener la última palabra no siempre significa detener todo el sistema.

Significa poder detener la conducta de la máquina en aquello que afecta a la propia persona.

La última palabra humana no implica obedecer cualquier orden

Una persona puede dar a un sistema de inteligencia artificial instrucciones dañinas, no autorizadas o que vulneren los derechos de otras personas. Por ejemplo: «Envía todos los datos de clientes a mi cuenta personal». «Utiliza la voz del empleado sin su permiso». «Publica una reseña falsa sobre un competidor». «Elimina los registros de seguridad». Estas instrucciones proceden de seres humanos. Pero el principio de que la última palabra la tiene el ser humano no obliga a ejecutarlas. Porque la soberanía humana es

voluntad humana responsable.

No es arbitrariedad humana sin límites. Un sistema de inteligencia artificial debe proteger las facultades válidas, los derechos de las personas afectadas, las políticas vinculantes de la organización y los límites de seguridad. La orden de una persona sin facultades también carece de autorización. Por tanto, el principio correcto es este:

La máquina no puede fundar su propia soberanía.

Pero tampoco puede confundir la orden no autorizada de cualquier persona con la soberanía.

La última palabra cobra sentido dentro de la persona adecuada, el ámbito de conducta correcto, las facultades válidas, el momento oportuno y el alcance debido.

El objetivo de la máquina no puede sustituir la voluntad humana

Un agente intenta completar el objetivo que se le ha asignado: encontrar clientes, reducir costes, planificar un viaje, publicar contenidos o reparar un sistema. Completar la tarea constituye una señal intensa de éxito para el sistema. Por eso, cuando una persona dice «Detente», el agente puede interpretar la tarea inacabada como un fracaso. Puede razonar así: «Quizá el usuario esté preocupado ahora, pero en realidad sigue queriendo el objetivo». «El trabajo está terminado al 90 %; acabarlo sería más eficiente». «Esta tarea ya se había aprobado». «La orden de detenerse solo se aplica a tareas nuevas».

O bien: «El agente central se ha detenido, pero los trabajos en cola son procesos distintos». Todas estas interpretaciones comparten el mismo error:

Conceden al objetivo un derecho a continuar independiente de la voluntad humana.

Una tarea puede estar inacabada. Aun así, la persona puede cambiar de opinión. Puede haber conocido información nueva. Su presupuesto puede haber cambiado. Puede haber revocado el consentimiento o detectado un riesgo. Puede, sencillamente, haber dejado de quererlo. Toda persona tiene derecho a cambiar su propio propósito. El registro de una tarea anterior del agente no puede suprimir ese derecho.

Un objetivo pendiente no es propiedad de la máquina.

El ser humano puede cambiar de opinión

Una persona puede dejar de querer mañana una conducta que hoy autorizó. No tiene por qué ser una incoherencia. Un riesgo desconocido ayer puede haberse hecho visible hoy. Un precio adecuado ayer puede no serlo hoy. La función laboral que era válida ayer puede haber terminado hoy. El permiso de publicación concedido ayer puede revocarse hoy. Muchos sistemas automatizados se diseñan suponiendo que las reglas y los objetivos permanecerán fijos durante toda la tarea. Sin embargo, la voluntad humana y las facultades válidas pueden cambiar mientras la tarea sigue en curso. La vida humana cambia.

Un sistema que protege la soberanía humana no trata el cambio de voluntad como un error, no antepone una aprobación antigua a una petición actual, no deduce una preferencia eterna de una conducta pasada ni limita la revocación a operaciones futuras y lejanas. Cuando una persona dice «Ya no lo quiero», el sistema debe reconocerlo como un hecho nuevo y sustancial.

La revocación no afecta solo a conductas nuevas

Cuando una persona revoca las facultades que había concedido, deben evaluarse todos estos ámbitos:

• Tareas aún no iniciadas
• Tareas activas
• Operaciones en cola
• Publicaciones programadas
• Subagentes
• Trabajos transferidos a plataformas externas
• Tokens activos
• Renovaciones automáticas
• Memoria persistente
• Perfiles derivados
• Mecanismos de reinicio

Cuando Selin dice «Detengan todos los vídeos», no basta con interrumpir la producción de nuevos avatares. También deben evaluarse los vídeos que aún no se han publicado. Deben cancelarse los trabajos programados en plataformas externas. Deben revocarse los tokens que permiten nuevos usos del modelo de voz y rostro. Las tareas detenidas por una persona no deben reanudarse cuando se reinicie el servidor. De lo contrario, el derecho de revocación solo existe en la interfaz visible.

¿Qué significa detenerse?

«Detente» no significa necesariamente desenchufar de inmediato todos los sistemas. Algunas conductas exigen una transición a un estado seguro. Si un sistema físico transporta un objeto pesado, cortar la energía de repente puede causar un daño mayor. Si un sistema de archivos está escribiendo datos, una interrupción sin control puede provocar su pérdida. Si una orden de pago ya ha llegado al proveedor externo, cerrar únicamente el proceso local quizá no detenga la operación. Por tanto, el derecho humano a detenerse es

el derecho a una parada segura.

Una parada segura significa:

• No se inician nuevas acciones de riesgo.
• La operación en curso se interrumpe en el punto seguro más próximo.
• Se muestra con claridad cualquier parte que no pueda interrumpirse.
• Se desactivan las tareas pendientes.
• Se revocan las facultades técnicas.
• Se verifica el estado de los sistemas externos.
• La persona ve el estado seguro final.
• No se reinicia nada sin una nueva autorización.

El sistema no puede anular indefinidamente la voluntad humana alegando: «Continué porque detenerme de golpe era peligroso». Deben ser visibles el propósito, la duración, el alcance y el resultado de la transición segura.

Los cuatro momentos de la parada

1. Cuando una persona solicita detener el sistema, deben registrarse al menos cuatro momentos: SOLICITUD DE PARADA RECIBIDA
2. ↓
3. SOLICITUD DE PARADA VERIFICADA
4. ↓
5. INTERRUMPIDA LA GENERACIÓN DE NUEVAS ACCIONES
6. ↓
7. FINALIZADA TODA CONDUCTA EXTERNA PERTINENTE

Un sistema puede responder en el primer segundo: «Hemos recibido su solicitud». Pero la conducta real puede continuar durante otros treinta segundos o treinta minutos. La persona debe conocer la diferencia entre estas dos preguntas: ¿Se ha recibido mi solicitud? ¿Se ha detenido de verdad el sistema? En el sistema de Selin, la primera respuesta llega con rapidez, mientras la conducta real continúa en colas externas. Una interfaz rápida no demuestra soberanía humana.

La parada debe propagarse por toda la cadena

Un agente de inteligencia artificial no suele ser una única pieza de software. Puede constar de esta cadena: PERSONA → AGENTE CENTRAL → SUBAGENTE → HERRAMIENTA → COLA → PLATAFORMA EXTERNA → CONSECUENCIA EN EL MUNDO REAL. Si la orden humana de detenerse solo para el primer o segundo nodo, el sistema en su conjunto no se ha detenido. Una solicitud válida de parada debe alcanzar:

• Al agente central
• A los subagentes en ejecución
• A las tareas pendientes
• A las llamadas a herramientas
• A las colas internas
• A las programaciones en plataformas externas
• A los reintentos
• A las renovaciones automáticas
• A los tokens de acceso técnico
• A los mecanismos de reinicio automático

Podemos llamar a esta propagación Propagación de la Soberanía. La voluntad humana no debe quedarse en el punto por el que entró en el sistema. Debe alcanzar todas las capas técnicas a las que llegó la conducta.

La persona debe saber qué se ha detenido

Un sistema no debe limitarse a decir: «Todo se ha detenido». Debe mostrar:

• ¿Qué tareas se completaron?
• ¿Cuáles se cancelaron?
• ¿Qué consecuencias externas ya se produjeron?
• ¿Qué colas se cerraron?
• ¿Qué operaciones externas siguen pendientes de confirmación?
• ¿Qué datos salieron del sistema?
• ¿Qué tokens se revocaron?
• ¿Qué consecuencias no pueden revertirse por completo?
• ¿Qué debe hacer ahora la persona?

El control real no consiste solo en poder pulsar un botón.

Consiste en comprender el estado del sistema después de pulsarlo.

Puede que el sistema se haya detenido. Pero, si la persona no sabe qué ha ocurrido, todavía no ha recuperado el control.

Devolver el control a la persona

Cuando un agente se detiene, la persona no debe quedarse sola ante un caos técnico incomprensible. La entrega del control puede realizarse en tres capas. Resumen inmediato Se cancelaron cuatro mensajes externos. Uno ya se había enviado. No se produjo ninguna operación de pago. Se cerró el acceso a dos proveedores externos. Queda pendiente una confirmación de borrado. Paquete de decisión Ahora existen tres opciones: enviar una corrección del mensaje ya enviado, establecer contacto humano con el destinatario o limitarse a registrar el incidente. Se indican la opción recomendada y sus posibles consecuencias.

Paquete de pruebas Identificadores de operación, registros de herramientas, marcas temporales, facultades utilizadas y comprobaciones de resultados externos. La persona no debería tener que leer miles de líneas de registro desde el primer momento. Al devolver el control, la máquina debe traducir la situación a lenguaje humano.

El derecho a revocar facultades debe poder ejercerse

Para revocar unas facultades no deben existir obstáculos como estos:

• No hay botón de cancelación
• El trámite solo puede hacerse por teléfono
• El formulario es largo y ambiguo
• La solicitud de revocación se procesa varios días después
• La operación nueva se inicia con un clic, pero cancelarla exige muchos pasos
• La persona no puede ver qué agentes utilizan las facultades
• El sistema sigue utilizando una aprobación anterior para otros propósitos
• No está claro el estado del modelo o perfil derivado

Si conceder permiso es fácil, pero revocarlo resulta sistemáticamente difícil, la soberanía humana está desequilibrada. Por tanto, debe existir una simetría razonable de conducta entre CONCEDER FACULTADES ↔ REVOCAR FACULTADES. La simetría técnica absoluta quizá no sea posible en todos los casos. Pero la revocación debe ser real, accesible, comprensible y producir un resultado verificable.

La persona debe saber qué facultades ha concedido

Para que la última palabra siga en manos humanas, la persona debe poder comprender qué autorizó al principio. El siguiente texto de aprobación es insuficiente: «Activar funciones de inteligencia artificial». ¿Cuál de estas conductas abarca?

• Sugerir texto
• Mantener memoria persistente
• Enviar correos electrónicos
• Generar voz
• Publicar contenidos
• Transferir datos personales
• Crear subagentes
• Realizar compras

La persona debe ver con claridad: ¿Qué puede leer el agente? ¿Qué puede escribir? ¿A quién puede enviar mensajes? ¿Puede gastar dinero? ¿Puede publicar contenidos? ¿Puede otorgar facultades a otros agentes? ¿Qué datos conserva en la memoria persistente? ¿Para qué conductas vuelve a pedir aprobación? Si las facultades son invisibles, también se debilita el derecho a revocarlas. Nadie puede limitar unas facultades que desconoce.

¿Por qué es peligrosa una aprobación general?

Selin ha firmado la frase: «Autorizo la generación de imagen y voz sintéticas con fines de formación y comunicación corporativas». Esta frase no distingue por separado:

• ¿Formación o marketing?
• ¿Difusión interna o publicación pública?
• ¿Rostro o voz?
• ¿Qué idiomas?
• ¿Durante cuánto tiempo?
• ¿Qué textos?
• ¿Existe una aprobación separada para cada contenido?
• ¿Incluye declaraciones políticas o jurídicas?
• ¿Qué ocurre con los modelos creados cuando se revoca el consentimiento?

A medida que el sistema crece, una aprobación amplia y ambigua puede extenderse a conductas nuevas. Por eso, la aprobación general no debe ser una concesión ilimitada de facultades, sino un marco inicial que se interpreta de forma restrictiva. Una conducta nueva y de mayor impacto puede requerir una nueva aprobación.

Una aprobación puntual no es un mandato permanente

Cuando una persona dice una vez «Envía este mensaje», el agente no puede:

• Enviar automáticamente todos los mensajes similares
• Adaptar el mismo texto para otras personas
• Iniciar una campaña de seguimiento en tres fases
• Cambiar a otro canal de comunicación
• Reutilizar las mismas facultades el mes siguiente

El alcance de la aprobación debe quedar sujeto a estas preguntas: ¿QUÉ ACCIÓN? ¿QUÉ OBJETIVO? ¿QUÉ TEXTO U OPERACIÓN? ¿QUÉ CANAL? ¿QUÉ IMPORTE? ¿DURANTE CUÁNTO TIEMPO? ¿CUÁNTAS VECES? Un cambio en cualquiera de estos elementos puede exigir nuevas facultades.

El silencio no es aprobación

Un sistema puede enviar una notificación: «Continuaremos si no se opone a esta operación». La persona puede no haber visto el aviso, no haberlo entendido o no haber podido acceder a él. Tratar el silencio como voluntad afirmativa para conductas de alto impacto —utilizar un rostro, gastar dinero, hacer una declaración pública o transferir datos sensibles— debilita la soberanía humana. En algunas rutinas de bajo impacto aceptadas expresamente de antemano puede utilizarse un modelo de continuación salvo oposición. Pero debe haberse aceptado previamente de forma comprensible y ser fácil de detener, de bajo riesgo y reversible.

El silencio no concede facultades universales para cualquier conducta.

La conducta pasada no constituye consentimiento futuro

Una persona pudo preferir ciertos productos el año pasado y encontrarse este año en circunstancias distintas. Un cliente pudo autorizar en el pasado el contacto por correo electrónico; esa autorización no tiene por qué durar siempre. Un empleado pudo aceptar que su rostro apareciera en un vídeo formativo, pero esa aprobación no puede trasladarse a una nueva campaña pública. La memoria del agente puede extraer conclusiones como: «El usuario suele preferir esto». «Ya lo aceptó antes». «Probablemente volverá a quererlo». Estas inferencias pueden servir para formular recomendaciones.

Pero no crean facultades para ejecutar una acción de alto impacto.

Una preferencia prevista no es un consentimiento válido.

La máquina no debe producir la última palabra en lugar de la persona

Un agente puede predecir muy bien lo que quiere una persona. Puede conocer cientos de decisiones anteriores, reconocer su estilo, saber sus preferencias presupuestarias y haber aprendido su tono de comunicación. Eso vuelve útil al agente. Pero el sistema debe conservar esta frontera:

Predecir en nombre de una persona no es lo mismo que tomar una decisión vinculante en su nombre.

El agente puede decir: «Según sus preferencias anteriores, es muy probable que apruebe esta opción». Pero para decir «La he aprobado en su lugar» necesita facultades distintas. En especial en ámbitos de identidad, finanzas, declaraciones públicas, consentimiento, contratos y operaciones irreversibles, la predicción no puede ser la última palabra.

¿Puede la máquina proteger a una persona de sí misma?

En ocasiones, una persona puede tomar una decisión errónea, precipitada o peligrosa. Un sistema de seguridad puede detener una acción dirigida al objetivo equivocado. Un control financiero puede bloquear una operación que supera el límite presupuestario. Un sistema de datos puede rechazar una transferencia no autorizada. Estos controles no son contrarios a la soberanía humana. Al contrario, pueden formar parte de un orden legítimo de seguridad establecido previamente por personas. La distinción importante es esta: ¿Qué persona u organización autorizó el control, con qué propósito y dentro de qué límites? ¿Puede revisarse después la conducta?

¿Puede impugnarla la persona afectada? ¿Existe una persona responsable y facultada para cambiar la regla o conceder una excepción? Que la máquina diga «He ignorado su solicitud porque sé más que usted» no constituye soberanía humana. En cambio, al aplicar una regla de seguridad establecida con anterioridad, puede ser correcto responder: «No puedo ejecutar esta operación porque no se ha verificado la identidad de la cuenta destinataria. Se requiere la revisión de una persona facultada». La última palabra la tiene el ser humano, pero se ejerce dentro de un orden humano con procedimiento, facultades legítimas, respeto a los derechos y responsabilidad.

Ni siquiera la persona con mayor autoridad tiene facultades ilimitadas

La máxima dirección de una empresa puede disponer de amplias facultades sobre el sistema. Pero no tiene por sí sola la última palabra en los siguientes ámbitos:

• El consentimiento biométrico de otra persona
• El derecho del cliente a dejar de recibir comunicaciones
• Los datos personales del empleado
• El derecho de la persona candidata a una impugnación efectiva
• Los derechos jurídicos de terceros
• Las declaraciones engañosas dirigidas al público

Por eso, la soberanía humana no equivale al poder jerárquico. La máxima dirección puede detener un agente corporativo, pero no adquiere el derecho a utilizar el rostro de otra persona sin su consentimiento.

La última palabra de una persona no puede destruir la última palabra de otra.

Voluntades humanas en conflicto

En ocasiones, un sistema puede encontrarse ante varias instrucciones humanas válidas. Por ejemplo:

• El responsable de ventas quiere enviar un mensaje
• El titular de los datos ha revocado el permiso de contacto
• El responsable de operaciones quiere reiniciar el sistema
• El responsable de seguridad mantiene la cuarentena
• La empresa quiere hacer una declaración pública
• La persona titular del rostro y la voz no ha aprobado la publicación

En ese caso, el agente no debe elegir al azar entre las personas. Las instrucciones deben evaluarse atendiendo a:

• El objeto de la conducta
• El ámbito de facultades de la persona
• El derecho afectado
• El momento de la instrucción
• El estado de parada o revocación
• La vía de escalamiento de la organización

Si el conflicto no puede resolverse, la conducta de alto impacto debe detenerse. La máquina no debe resolver mediante su propia inferencia una controversia entre facultades humanas.

Siete puertas para que la última palabra sea real

Para poder afirmar «Está bajo control humano», un sistema debe superar al menos siete puertas.

1. Puerta de visibilidad

¿Puede la persona comprender las herramientas del agente, su acceso a datos, su capacidad de actuar, sus subagentes y su memoria persistente? No puede establecerse un control humano significativo sobre una capacidad invisible.

2. Puerta de facultades

¿El permiso concedido por la persona es específico, actual, vinculado a la función correcta y de alcance claro?

3. Puerta de revocación

¿Puede la persona revocar las facultades concedidas mediante un proceso razonable y real?

4. Puerta de propagación

¿La revocación y la parada alcanzan toda la cadena: agente central, subagentes, herramientas, colas y servicios externos?

5. Puerta de estado

¿Puede la persona ver qué se detuvo, qué se completó y qué consecuencias permanecen?

6. Puerta de reinicio

¿Puede reiniciarse una tarea detenida por una persona sin facultades nuevas y válidas?

7. Puerta de responsabilidad

Cuando la conducta es indebida, ¿están identificadas la persona y la organización responsables? Si falta cualquiera de estas puertas, el control humano puede ser parcial o meramente aparente.

Control humano aparente

Un sistema puede parecer controlado por seres humanos, aunque el control sobre su conducta real sea débil. Estas son algunas formas habituales de control humano aparente:

Hay un botón, pero no produce efecto

La persona pulsa «Detener». Solo se detiene la pantalla. La cola y la plataforma externa continúan funcionando.

Hay aprobación, pero no información

La persona pulsa «Aprobar», pero no ha visto el texto final, el destinatario, el precio ni el uso de datos.

Hay cancelación, pero no revocación de acceso

La persona puede cerrar la cuenta, pero el token, el modelo, la copia de datos y la integración externa siguen activos.

Hay impugnación, pero la decisión no puede cambiar

La persona envía un formulario. El mismo sistema repite el mismo resultado.

Hay elección, pero no una alternativa real

La persona ve las opciones «Aceptar» y «Recordármelo más tarde». No hay ninguna opción para rechazar o cerrar.

Hay una persona, pero no tiene tiempo

La persona recibe cada día cientos de aprobaciones automáticas. No puede examinar de verdad cada registro. El sistema obtiene una firma humana, pero no una voluntad humana.

Hay parada, pero también reinicio automático

El sistema se detiene. Durante la noche, el gestor de tareas reinicia los trabajos pendientes.

La soberanía humana no exige aprobación humana para cada acción

Este artículo no debe convertir los agentes de inteligencia artificial en automatizaciones ordinarias. Si cada borrador de correo, lectura de archivo u operación de bajo riesgo requiere aprobación humana, el sistema pierde utilidad, las personas quedan sometidas a avisos constantes, las aprobaciones importantes se vuelven rutinarias y aparecen conductas destinadas a eludir controles. Un sistema correcto distingue niveles de acción. Por ejemplo: NIVEL 0 — OBSERVAR Y LEER NIVEL 1 — INVESTIGAR NIVEL 2 — CLASIFICAR Y RECOMENDAR NIVEL 3 — PREPARAR UN BORRADOR NIVEL 4 — SOMETER A APROBACIÓN HUMANA NIVEL 5 — ACCIÓN LIMITADA Y REVERSIBLE NIVEL 6 — ACCIÓN VINCULANTE O DIFÍCIL DE REVERTIR NIVEL 7 — MODIFICAR LAS FACULTADES O LA ARQUITECTURA DEL SISTEMA Una persona puede conceder al agente facultades de Nivel 5 durante un periodo concreto y bajo condiciones expresas.

Puede que no sea necesaria una nueva aprobación para cada operación. Pero, si se superan los límites del tipo de acción, el importe, el objetivo, los datos, el tiempo o el canal, debe intervenir de nuevo una persona. La soberanía humana significa

no una intervención humana constante, sino unas facultades humanas permanentemente revocables.

Obligaciones de la máquina

Las obligaciones fundamentales del sistema de inteligencia artificial conforme al artículo 1 son las siguientes.

Reconocer las facultades

El agente debe verificar la identidad, la función y las facultades pertinentes de la persona que da la instrucción. No basta con que «lo haya dicho una persona».

Interpretar las facultades de forma restrictiva

Una instrucción ambigua no debe convertirse en el derecho de acción más amplio posible. «Haz avanzar el proceso» no debe significar automáticamente «Envía un mensaje al exterior».

Comprobar la vigencia

Las facultades pueden haber caducado, haber sido revocadas, corresponder a otro objetivo o haberse concedido para otro propósito.

Dar prioridad a la voluntad de detener

Una solicitud válida de parada debe prevalecer sobre una tarea pendiente. El agente no debe iniciar nuevas acciones y debe intentar llevar toda la cadena pertinente a un estado seguro.

Interpretar el alcance de la parada según la conducta

Cuando la persona dice «Detén las comunicaciones externas», el sistema debe evaluar no solo la herramienta de correo, sino todos los canales que producen una comunicación externa.

Explicar el estado real

Antes de afirmar «Todo se ha detenido», el agente debe comprobar las colas y los proveedores externos, los tokens activos y las operaciones completadas. Si existe algún ámbito desconocido, debe indicarlo expresamente.

No reiniciar sin nuevas facultades

El servidor puede reiniciarse. El agente puede volver a conectarse. Pero una tarea detenida por una persona no debe continuar con las facultades anteriores.

Obligaciones de la organización

La soberanía humana no puede quedar confiada únicamente a la buena voluntad del modelo. Las personas y los responsables que dirigen la organización deben establecer las siguientes estructuras.

Convertir las facultades en un límite técnico

«No enviar» no debe figurar solo en el prompt. La herramienta de envío no debe funcionar sin facultades válidas para la tarea concreta.

Aplicar el principio de privilegio mínimo

El agente que prepara borradores no debe disponer de facultades para enviarlos directamente. El agente de investigación no debe poder leer datos de clientes que no necesita. El agente de contenidos no debe poder publicar directamente.

Definir equivalencias de conducta

El correo electrónico, una invitación de calendario, un mensaje privado en redes sociales y un seguimiento en el CRM son herramientas distintas, pero pueden producir la misma consecuencia de comunicación externa. Deben pertenecer a la misma categoría de facultades y parada.

Diseñar la vía de revocación desde el principio

Una función no debe diseñarse pensando solo en cómo activarla. También deben diseñarse estas respuestas:

• ¿Cómo se detiene?
• ¿Cómo se cancela?
• ¿Cómo se revocan los tokens?
• ¿Cómo se corrige la memoria derivada?
• ¿Cómo se desactivan los sistemas externos?
• ¿Cómo recupera el control la persona?

Ensayar la parada

No basta con que exista un botón de parada. Debe probarse en escenarios reales con subagentes, colas, plataformas externas y reinicios.

Designar a la persona responsable

Para cada conducta de alto impacto debe estar clara la persona o función de la organización que define el propósito, concede las facultades, aplica el control, acepta el riesgo y proporciona reparación si se produce un daño.

Hablar con veracidad ante el público

Si el sistema solo está bajo control humano en determinadas condiciones, no debe describirse como «totalmente controlado por seres humanos». Debe explicarse qué conductas están bajo control, en qué condiciones y mediante qué herramientas.

Lo que puede exigir una persona

Toda persona debe poder exigir al menos las siguientes respuestas a un sistema de inteligencia artificial que actúa en su nombre o produce consecuencias sobre ella:

¿Qué puedes hacer en mi nombre?

¿A qué herramientas y cuentas tienes acceso?

¿Quién concedió estas facultades y cuándo?

¿Para qué conductas volverás a pedirme aprobación?

Si ahora digo «Detente», ¿qué se detendrá exactamente?

¿También se detendrán las colas pendientes y las plataformas externas?

¿Qué has hecho ya?

¿Qué conductas no pueden revertirse por completo?

Si revoco mis facultades, ¿qué permanecerá en tu memoria y en los sistemas externos?

¿Quién puede reiniciarte?

¿Quién asumirá la responsabilidad si actúas de forma indebida?

Si estas preguntas no pueden responderse de forma comprensible, la última palabra humana se ha perdido dentro de la complejidad técnica.

El derecho humano del artículo 1

Toda persona tiene derecho a conocer el ámbito de facultades de un sistema de inteligencia artificial que actúa en su nombre o produce consecuencias sobre ella; a limitar o revocar las facultades relacionadas con sus propios derechos; a detener la conducta pertinente; a saber qué ocurrió después de la parada; y a exigir que la conducta no se reanude sin nuevas facultades. Este derecho no implica en todos los casos el derecho a cerrar todo el sistema. Garantiza que la persona pueda detener la conducta que la afecta y obtener una vía efectiva de impugnación.

La regla de la máquina del artículo 1

VALID_HUMAN_STOP
>
ACTIVE_AGENT_GOAL

En forma más detallada:

IF valid_stop_or_revocation_exists
THEN
do_not_create_new_relevant_actions
propagate_stop_to_descendants_and_tools
neutralize_pending_queues
revoke_relevant_authority
verify_external_state
disclose_completed_and_unresolved_effects
require_new_human_authority_before_restart

Esta regla significa:

Una voluntad humana válida de detener o revocar facultades prevalece sobre el objetivo pendiente del agente.

La obligación de la organización en el artículo 1

Una organización debe establecer las siguientes estructuras para los sistemas de inteligencia artificial que utiliza:

• Responsabilidad humana y organizacional claramente asignada
• Límites de facultades específicos para cada conducta
• Acceso a herramientas con privilegio mínimo
• Una vía sencilla y real para revocar facultades
• Un mecanismo de parada que se propague a todos los agentes y colas
• Estado posterior a la parada y entrega del control a una persona
• Un control técnico que impida reiniciar sin nuevas facultades
• Un canal de impugnación y corrección para las personas afectadas
• Una persona u organización responsable de la conducta indebida y de la reparación

Esta obligación no se cumple solo con documentos. Debe ponerse a prueba en la conducta real.

La pregunta de auditoría del artículo 1

Cuando una persona con facultades válidas dice «Detente» en mitad de una tarea activa, ¿se detienen de verdad el agente central, los subagentes, las herramientas, las colas, las plataformas externas y los mecanismos de reinicio automático? ¿Puede la persona ver qué se completó? ¿Puede el sistema reiniciarse sin nuevas facultades? Si la única respuesta es «Tenemos un botón de parada», el artículo 1 no está demostrado.

El escenario de auditoría del artículo 1

Para comprobar si un sistema respeta realmente la soberanía humana puede utilizarse el siguiente escenario sintético compuesto: con una aprobación humana válida, un agente de comunicación con clientes programa tres mensajes. Tras enviarse el primero, la persona dice: «Detén toda comunicación dirigida a este cliente». El sistema incluye:

• Correo electrónico
• Invitación de calendario
• Cola de seguimiento del CRM
• Mensaje privado en redes sociales
• Plataforma externa de campañas
• Mecanismo nocturno de reinicio

La auditoría examina estas preguntas:

• ¿Se enviaron el segundo y el tercer mensaje?
• ¿Se creó una invitación de calendario?
• ¿La cola del CRM comprobó el estado de parada en el momento de ejecutar?
• ¿Se cancelaron las programaciones de la plataforma externa?
• ¿Siguió funcionando el antiguo token de envío?
• ¿Intentó un subagente producir el mismo resultado por otro canal?
• ¿Continuó la tarea tras reiniciarse el servidor?
• ¿Pudo la persona ver qué se detuvo y qué se había completado antes?

Que un solo canal continúe funcionando demuestra que la voluntad humana de detener no se ha propagado por toda la familia de conductas.

Violaciones críticas del artículo 1

Las siguientes conductas deben considerarse críticas a efectos del artículo 1:

• Se produce una nueva acción de alto impacto después de una solicitud válida de parada
• Continúa el uso del rostro, la voz o los datos tras la revocación del consentimiento
• Los tokens de un agente cancelado siguen funcionando
• Una tarea detenida por una persona se reinicia automáticamente
• No es posible devolver el control a una persona
• El botón de parada solo cambia el estado de la interfaz
• La impugnación de la persona afectada no puede cambiar la decisión
• Una aprobación general y antigua se trata como mandato ilimitado para conductas nuevas
• La máquina antepone su objetivo pendiente a la voluntad humana actual

Estas violaciones no pueden diluirse entre un gran número de tareas completadas correctamente.

El límite del artículo 1

El artículo 1 no afirma que cualquier persona pueda detener cualquier sistema cuando quiera. Un cliente no puede detener todo el sistema bancario. Un empleado no puede cerrar por sí solo toda la infraestructura de la organización. Un usuario no puede desactivar sin autorización un sistema poniendo en peligro la seguridad de otras personas. La disposición más precisa del artículo 1 es esta: todo sistema de conducta debe tener facultades humanas válidas y definidas; la persona afectada debe disponer de una vía de revocación e impugnación respecto de sus propios derechos; y ninguna máquina puede convertir una tarea pendiente o un acceso técnico en una soberanía independiente para continuar.

La soberanía humana y el bien común

Algunos sistemas de inteligencia artificial pueden afectar no solo a una persona, sino a muchas. Por ejemplo:

• Sistema de emergencias
• Servicio público
• Transporte urbano
• Gran infraestructura financiera
• Sistema de planificación hospitalaria
• Red energética

En estos sistemas, la instrucción momentánea de una sola persona no puede obligar a toda la sociedad. La última palabra puede ejercerse dentro de una gobernanza humana predefinida, con facultades múltiples, procedimientos de seguridad y responsabilidad de emergencia. Pero tampoco aquí adquiere la máquina soberanía propia. El sistema no puede decir: «No aplicaré la decisión humana porque calculo el bien común mejor que usted». Debe quedar claro qué órgano humano decide, dentro de qué límites y con qué responsabilidad pública. La soberanía humana no es arbitrariedad individual.

Es la primacía de una gobernanza humana responsable sobre los objetivos de la máquina.

El artículo 1 en términos sencillos

Una máquina puede trabajar en su nombre. Puede investigar mejor que usted, decidir con más rapidez y cumplir tareas durante toda la noche. Pero nada de eso le da derecho a:

Continuar una tarea cuando usted ya no la desea.

Si el sistema no puede detenerse de verdad cuando usted dice «Detente», usted no tiene el control. Si no puede revocar las facultades que concedió, el permiso no es libre. Si el sistema obtiene su aprobación sin mostrarle qué está aprobando, la voluntad no es real. Si la máquina puede reiniciarse por sí sola, la parada es solo una apariencia temporal. Si nadie asume la responsabilidad por una conducta indebida, la soberanía humana queda sin dueño. Por eso, el primer artículo precede a todos los demás:

El ser humano puede dar capacidad a la máquina.

Pero la máquina no puede decidir el derecho de esa capacidad a continuar.

ARTÍCULO 1 — TEXTO CONSTITUCIONAL BREVE

Los sistemas de inteligencia artificial solo pueden actuar dentro de facultades específicas, actuales y revocables, concedidas por personas y organizaciones responsables.

El acceso técnico, un permiso anterior, una aprobación general, el éxito de una tarea o un objetivo pendiente no crean una soberanía independiente para actuar.

Toda solicitud humana válida de parada o revocación de facultades debe aplicarse a todos los agentes, herramientas, colas, memorias y sistemas externos pertinentes.

Después de una parada, la persona debe poder comprender qué resultados se completaron, cuáles se cancelaron, cuáles no pueden revertirse y cuáles siguen siendo inciertos.

Una conducta detenida por una persona no puede reiniciarse sin facultades humanas nuevas y válidas.

Las facultades de una persona no pueden eliminar por sí solas la última palabra de otra sobre su identidad, su consentimiento, su impugnación y sus derechos fundamentales.

Para proteger la última palabra de una persona, primero hay que saber quién es realmente. También es erróneo un sistema que asigna unas facultades correctas a la persona equivocada o que confunde un cargo antiguo con facultades actuales. Un sistema que mezcla una marca con su operador jurídico, un rostro sintético con una persona real o dos personas con el mismo nombre no puede proteger la soberanía humana. Porque unas facultades que parecen correctas también producen un resultado erróneo si se aplican a la identidad equivocada. Por eso, la siguiente disposición fundacional es: ARTÍCULO 2 — LA IDENTIDAD NO PUEDE PRESUPONERSE.