A lo largo de este libro no hemos debatido hasta qué punto puede ser inteligente una máquina. Hemos abordado una pregunta más difícil:
¿Cuánto poder puede ejercer una máquina?
Y cuando ese poder toca la vida humana, ¿cómo se protegen la identidad, la representación, la finalidad, el consentimiento, las facultades, la elección, la acción, la memoria, la explicación, la impugnación, la reparación y la responsabilidad? El orden constitucional que establece NOMOS 13 es este:
1. La persona no puede delegar la última palabra ni el derecho a detener
Puede otorgarse una amplia autonomía a la máquina. Cuando la persona dice «detente», la cadena de conducta debe poder detenerse.
2. No se debe asumir la identidad.
La similitud, la probabilidad o un registro compartido no pueden tomar el lugar de la persona real.
3. La representación debe ser precisa y corregible.
Una alegación no puede presentarse como hallazgo, una predicción como carácter de la persona ni el pasado como un hecho actual.
4. El propósito no debe cambiar silenciosamente.
Los datos, las tareas y el acceso otorgados para un propósito no deben trasladarse de forma invisible a otro campo de conducta.
5. El consentimiento debe ser específico, informado y revocable.
El sí de ayer no es más fuerte que el no de hoy.
6. Las facultades pueden delegarse, pero no ampliarse por sí solas
La capacidad técnica no es el derecho a actuar.
7. La elección no debe ser manipulada.
Una persona no debe verse obligada a decidir dentro de un universo falso de opciones diseñadas en torno a los intereses ocultos de otra parte.
8. La acción de la máquina debe ser visible y acompañada de un recibo.
Debe conocerse lo que ocurrió realmente en el mundo, no solo la llamada a una herramienta.
9. La memoria debe someterse a la voluntad humana.
La persona no puede quedar atrapada para siempre en una decisión de ayer, una vulnerabilidad temporal o una inferencia errónea.
10. Una persona debe saber cuando una máquina está actuando.
Una máquina puede actuar en nombre de una persona. No debe tomar prestada la confianza de esa persona haciéndose pasar por ella.
11. Una persona debe ser capaz de cuestionar las razones.
Una persona no necesita aprender cada proceso interno oculto de un modelo, sino que debe ser capaz de aprender la razón real que produjo una consecuencia en su vida.
12. Una persona puede impugnar, detener, salir y buscar reparación.
La vía de tutela no consiste solo en recibir una queja, sino en tener poder para cambiar el sistema y la situación real de la persona.
13. Una institución no puede delegar la responsabilidad en una máquina.
El agente puede actuar. El modelo puede decidir. La herramienta puede ejecutar una operación en el mundo exterior. Pero frente a la persona deben seguir existiendo una institución real y personas reales que asuman la responsabilidad.
Estos trece artículos no son independientes. Forman una cadena. Si la identidad es errónea, el consentimiento se vincula con la persona equivocada. Si la representación es errónea, se distorsiona la elección. Si deriva la finalidad, el antiguo consentimiento se transforma en un nuevo uso. Si se amplían las facultades, la máquina actúa en nombre de la persona. Si la acción es invisible, la persona no sabe qué detener. Si la memoria es errónea, el error renace en el futuro. Si la máquina oculta su identidad, la confianza se dirige al actor equivocado. Sin razones, la persona no puede impugnar. Si la impugnación no produce resultados, el derecho queda reducido a una apariencia. Si la institución rechaza la responsabilidad, todos los artículos anteriores quedan sin responsable.
Por lo tanto, NOMOS 13 no es un único control de seguridad.
Es un límite integral que define las condiciones en las que el poder de actuación puede entrar en el mundo humano.
Este libro no se escribió para empequeñecer a la máquina
La máquina puede investigar más deprisa que una persona, comparar miles de registros, gestionar flujos de trabajo complejos, operar sin interrupción durante largos periodos y auditar a una escala fuera del alcance humano. Ese poder es valioso. Pero, cuando carece de responsables, la velocidad también acelera el error. La memoria también vuelve permanente la falsedad. La autonomía también amplía el exceso de facultades. La personalización también puede explotar la vulnerabilidad humana. La semejanza humana también puede profundizar una confianza equivocada. Por eso, el límite no es enemigo de la máquina.
El límite es la condición que permite a una máquina ejercer un poder legítimo en el mundo humano.
Este libro tampoco afirma que la persona siempre tenga razón
La persona puede equivocarse, utilizar el sistema de forma abusiva, dar una instrucción errónea, vulnerar los derechos de otra persona o impugnar una medida de seguridad legítima. NOMOS 13 no sitúa su palabra por encima de todas las pruebas. Le ofrece visibilidad, corrección, impugnación, la última palabra y un interlocutor real. Cuando ejerce esa última palabra, también deben protegerse los derechos de otras personas, las pruebas correctas, la seguridad y los límites institucionales.
La persona tiene la última palabra; la institución, la responsabilidad final
En los dos extremos de este libro se encuentran dos disposiciones:
Una persona no puede delegar la última palabra.
Y:
Una institución no puede delegar la responsabilidad final.
La persona puede detener, retirar su consentimiento, impugnar y salir. La institución asume la conducta, la explica, la corrige y ofrece reparación. Entre estos dos límites surge el verdadero espacio de actuación de la máquina. Puede investigar, recomendar, elegir, escribir, enviar, comprar, planificar y gestionar. Pero ese poder debe mantenerse dentro de una identidad correcta, una finalidad explícita, un consentimiento válido, facultades limitadas, una elección honesta, una acción visible, una memoria corregible, un papel de máquina declarado, razones cuestionables, una vía de tutela efectiva y una responsabilidad institucional que no desaparece.
LA ÚLTIMA FRASE DE NOMOS
A una máquina se le puede otorgar el poder de actuar.
Pero la última palabra sobre una persona no debe dejarse en manos de la máquina.
Las tareas, decisiones y acciones pueden delegarse en una máquina.
Pero la responsabilidad institucional final frente a la persona no puede delegarse.
Mientras la persona conserve la última palabra, la institución asuma la responsabilidad final y la máquina actúe entre esos dos límites de forma visible, auditable y susceptible de detención, la autonomía puede representar no una pérdida de humanidad, sino una ampliación de nuestra capacidad compartida.
NOMOS 13 concluye aquí.