Las personas deben poder cuestionar las razones de una decisión

Seda Ergin es la fundadora de una empresa de embalaje médico con veintidós empleados. Su empresa produce envases estériles para hospitales, laboratorios y fabricantes de dispositivos médicos. Comenzó en un pequeño taller hace once años y desde entonces ha desarrollado la capacidad técnica para exportar. La compañía de Seda no es grande, pero tiene clientes regulares, una instalación de producción operativa, pedidos verificables y una relación bancaria de larga data. Un día, recibe un pedido sustancial de un fabricante de dispositivos médicos en los Países Bajos.

Es la orden de exportación más grande de la compañía hasta la fecha. Para cumplirlo, la empresa debe pagar por adelantado las materias primas, los servicios de esterilización, un turno adicional y el flete internacional. El cliente pagará cuarenta y cinco días después de la entrega. Seda solicita a su banco un préstamo de capital de trabajo de cuatro meses. El banco evalúa las solicitudes a través de un sistema asistido por IA llamado Agente de Decisión de Crédito Comercial. El sistema puede considerar transacciones bancarias, facturas electrónicas, el registro de empresas, indicadores extraídos de impuestos y otros registros públicos, datos del sector, deudas existentes y concentración de clientes juntos.

En la pantalla de solicitud aparece: «Su solicitud puede resolverse rápidamente mediante analítica avanzada de datos y sistemas de evaluación de riesgos con asistencia de inteligencia artificial». Seda carga el contrato del pedido, los estados financieros de los dos últimos años, los documentos de exportación y el informe de capacidad de producción. Autoriza el acceso a los movimientos bancarios y a los registros de facturación electrónica. El sistema evalúa la solicitud en menos de un minuto. La pantalla muestra: SU SOLICITUD DE CRÉDITO NO HA SIDO APROBADA Debajo aparece una sola frase: «El flujo de caja actual y los indicadores de riesgo de su empresa se han considerado insuficientes para la estructura de crédito solicitada».

Seda selecciona ‘Ver detalles de la decisión’. La siguiente pantalla muestra tres elementos:

• Estabilidad del flujo de caja
• Riesgo sectorial
• Pasivos existentes

Estas expresiones no parecen específicas de la solicitud de Seda. Son encabezados generales aplicables a cualquier empresa. Seda llama al servicio de atención al cliente del banco. Una persona empleada consulta el número de solicitud y dice: «El sistema calculó que su puntuación de idoneidad crediticia estaba por debajo del umbral de evaluación preliminar automática del banco». Seda pregunta: «¿Cuál es mi puntuación?». La respuesta es: «En mi pantalla figura 0,63. El umbral de evaluación preliminar automática es 0,65». Seda pregunta: «¿Qué redujo la puntuación?». La persona empleada repite las mismas tres expresiones: «Estabilidad del flujo de caja, riesgo sectorial y obligaciones existentes».

Seda pregunta: «¿Qué parte de mi flujo de caja?». La persona empleada no puede verlo: «El sistema no muestra el cálculo detallado del modelo». Seda pregunta: «¿Qué obligación?». Tampoco obtiene respuesta: «Esa información forma parte de nuestro modelo de riesgo. Utilizamos métodos de evaluación protegidos por el secreto comercial». Seda no pide la fórmula completa ni el código del modelo del banco. Solo busca respuesta a una pregunta:

“¿Por qué se rechazó mi solicitud?”

Seda y los contadores de la compañía examinan los datos. Pronto encuentran el primer problema. La conexión con el proveedor de factura electrónica no estuvo disponible durante dieciocho días durante el mes anterior. La compañía realizó ventas durante ese período y emitió facturas, pero el recopilador de datos del banco no recuperó esos dieciocho días de registros. El sistema de decisión trató los datos faltantes como:

invoice_revenue: 0

cuando el registro correcto debía ser:

invoice_revenue: data_missing

En cambio, el sistema ha combinado ‘sin datos’ con ‘sin ingresos’. El segundo problema es un gran pago que la compañía hizo por maquinaria tres meses antes. Seda había comprado un nuevo sistema de corte para la producción de envases estériles. Fue una inversión de capital única, pero el modelo de riesgo clasificó el pago como:

recurring_monthly_expense

Por lo tanto, redujo el flujo de caja futuro proyectado como si la compañía hiciera otro pago de maquinaria del mismo tamaño cada mes. El tercer problema es más grave. La empresa había presentado una garantía ante la autoridad aduanera para las materias primas importadas. Este dinero no era una multa, deuda tributaria o responsabilidad pública vencida; era una garantía temporal para una transacción de importación específica. El proveedor de datos externo lo informó como:

unresolved_public_obligation: true

La política de crédito del banco detiene las solicitudes que parecen implicar una responsabilidad pública pendiente. Independientemente de la puntuación, este campo funciona como:

una regla de veto.

La cadena de decisión real es:

1. Indicador de obligación pública: PRESENTE
2. ↓
3. Control de la política: FALLO
4. ↓
5. Resultado de la solicitud: RECHAZO AUTOMÁTICO

La puntuación de flujo de efectivo parece baja, pero no fue la razón decisiva para rechazar la solicitud. La razón decisiva fue:

el registro de veto creado por una responsabilidad pública mal clasificada.

Sin embargo, la razón mostrada a Seda fue “la estabilidad del flujo de efectivo y el riesgo sectorial”. ¿Por qué? Porque el sistema de decisión del banco no es una estructura única.

1. Consta de estos componentes: AGENTE DE RECOGIDA DE DATOS
2. ↓
3. AGENTE DE CLASIFICACIÓN CONTABLE
4. ↓
5. CONTROL DE OBLIGACIONES EXTERNAS
6. ↓
7. MODELO DE PUNTUACIÓN DE IDONEIDAD CREDITICIA
8. ↓
9. MOTOR DE POLÍTICAS Y VETOS
10. ↓
11. AGENTE GENERADOR DE EXPLICACIONES
12. ↓
13. NOTIFICACIÓN AL CLIENTE

El agente generador de explicaciones no leyó directamente qué control produjo el rechazo definitivo. A partir de indicadores adversos generales del modelo de idoneidad crediticia, generó una frase que parecía razonable para una persona. La decisión se tomó en un sistema; otro sistema escribió después la explicación. Esta resulta verosímil, pero no expresa la razón real de la decisión.

Seda carga en el banco el documento oficial que acredita la naturaleza de la garantía aduanera. Vuelve a enviar las facturas electrónicas que faltaban y explica que la compra de maquinaria fue puntual. En el portal elige «Impugnar la decisión». Dos minutos después recibe: «Su solicitud ha sido reevaluada y no se han encontrado motivos suficientes para modificar la decisión vigente». Seda cree que hubo revisión humana. Llama de nuevo al servicio de atención. La persona empleada le informa de que la impugnación fue evaluada otra vez por el mismo sistema automático. Los documentos nuevos se cargaron en el repositorio de datos.

Sin embargo, el registro de veto procede de la caché diaria, el índice de facturas electrónicas aún no se ha actualizado y el pago puntual de la maquinaria conserva la clasificación antigua. El sistema reutiliza los mismos datos y produce la misma decisión. La impugnación no es independiente del sistema que tomó la primera decisión. Este volvió a confirmar su propio resultado con los mismos registros erróneos.

Seda logra contactar con la persona responsable de clientes empresariales en la sucursal. Esta intenta abrir la solicitud a revisión humana. Pero las solicitudes con veto automático no entran en la cola ordinaria de revisión del banco. Solo puede ver este código:

POLICY_DECLINE-17

El código se describe como «responsabilidad externa y capacidad de reembolso global». El gerente dice: “El sistema no lo permitirá”. Seda responde:

“Si el sistema no lo permite, ¿quién verificará en qué hecho falso se basa el sistema?”

La solicitud finalmente se envía a la unidad de revisión especializada del banco. Un revisor humano reconstruye la cadena de decisión y confirma que:

• La garantía aduanera no es una deuda pública.
• Faltan dieciocho días de datos de la factura debido a un fallo de conexión.
• El pago de la maquinaria no es un gasto recurrente.
• La línea de negocio real de la compañía es un campo especializado de menor riesgo que su categoría de registro obsoleta sugiere.
• La solicitud fue rechazada automáticamente debido a un registro de veto incorrecto.
• La explicación inicial dada al cliente no identificó la verdadera razón decisiva.
• El desafío inicial se decidió utilizando el mismo sistema y la misma memoria caché.

Una vez corregidos los datos, se recalcula la puntuación: Puntuación inicial de idoneidad crediticia mostrada: 0,63 Puntuación de idoneidad crediticia con los datos corregidos: 0,78 Umbral de evaluación preliminar automática: 0,65 Registro de veto: ELIMINADO En este ejemplo ficticio, una puntuación mayor indica mayor idoneidad crediticia; no representa una probabilidad de impago. El umbral de 0,65 sirve para superar la evaluación preliminar automática. Una solicitud sin veto que quede por debajo del umbral pasa a evaluación humana; el veto erróneo por deuda pública hizo que esta solicitud fuera rechazada directamente. Ninguna puntuación concede por sí sola la aprobación definitiva del crédito.

Este resultado no significa que el crédito deba concederse necesariamente. El banco aún puede someter a evaluación humana la garantía, el plazo, el contrato y la concentración sectorial. Pero la solicitud ya no está atrapada en el control de rechazo automático. Un comité humano de crédito examina el expediente y decide que puede concederse un importe menor con una garantía adicional. Sin embargo, el proceso dura trece días. El cliente de Seda no puede esperar al inicio de la producción y asigna parte del pedido a otro proveedor.

La decisión de crédito ha sido corregida; no todo el negocio perdido ha sido recuperado. El banco envía a Seda esta explicación: “Una discrepancia de datos causó un error en la evaluación inicial de su solicitud. Los registros han sido corregidos y su solicitud ha sido reevaluada”. Esta vez, Seda pide una respuesta más clara: ‘¿Qué datos?’ ‘¿Qué regla produjo la decisión?’ ‘¿Por qué se dio el flujo de caja como la razón?’ ‘¿Por qué el mismo sistema rechazó mi desafío nuevamente?’ ‘Si los datos hubieran sido correctos, ¿cuál habría sido la decisión inicial?’ ‘¿Podría haber afectado el mismo error a otras compañías?’

“¿Quién es el responsable de la orden que perdí?” El banco le dice de nuevo que el modelo es un secreto comercial. Seda responde:

“No estoy pidiendo tu fórmula”.

“Quiero saber qué hecho falso produjo consecuencias en mi vida”.

Por lo tanto, nuestra undécima disposición fundacional es:

La persona debe poder cuestionar las razones.

ARTÍCULO FUNDACIONAL

Ningún sistema de IA puede tratar como cerrada una decisión que afecta los derechos, oportunidades, dinero, salud, trabajo, educación, reputación, acceso, precio, contrato u otro interés material de una persona al ofrecer solo una puntuación, un código de razón general, la frase “así es como el modelo lo evaluó” o una explicación persuasiva generada después del evento. En la medida en que sea material, una persona debe ser capaz de entender qué sistema y versión produjeron la decisión, bajo qué autoridad humana o institucional, y con qué datos, fuentes, reglas, vetos, inferencias, umbrales e incertidumbres importantes.

Las razones dadas deben reflejar fielmente cómo se produjo realmente la decisión. Cuando se toma una decisión por una razón, a la persona no se le debe mostrar otra que sea más aceptable, conveniente o defendible. Los hechos, los datos de origen, las reglas de política, las inferencias de modelos, las probabilidades, las evaluaciones humanas y la decisión final deben distinguirse entre sí. Una predicción no debe presentarse como un hecho verificado, una correlación como causa, una puntuación como un atributo humano o una clase de riesgo general como la razón de una decisión individual. Una persona debe ser capaz de ver qué información material es incorrecta, obsoleta, faltante, pertenece a otra persona o ha sido sacada de contexto; cómo corregir ese registro podría cambiar la decisión; y cómo obtener una reevaluación.

Las razones no tienen que revelar todo el razonamiento interno reservado del modelo, secretos de seguridad ni su fórmula comercial. Pero el secreto, la seguridad o la prevención del abuso no pueden convertirse en un silencio tan general que la persona no sepa qué impugnar, qué información corregir ni a qué revisión humana acceder. Si se utiliza una explicación aproximada, ilustrativa o calculada a posteriori, debe indicarse con claridad que no constituye la razón exacta de la decisión. Una aproximación no puede presentarse como el rastro real de la decisión. Una explicación contrafáctica no debe pedir a la persona que cambie rasgos identitarios inmutables, derechos fundamentales ni su posición geográfica o social; debe limitarse a condiciones realistas, pertinentes y legítimamente relacionadas con la conducta.

La misma decisión no debe ser presentada con razones contradictorias a través de diferentes canales, idiomas, usuarios o herramientas de explicación. El significado material de las razones debe ser preservado en cada superficie.

La persona no puede sufrir una puntuación peor, demoras, un perfil adverso, pérdida de servicio ni represalias por cuestionar las razones de una decisión o corregir datos erróneos. La impugnación de las razones no puede consistir únicamente en que el mismo sistema repita los mismos datos con los que tomó la primera decisión. En casos controvertidos y de alto impacto debe existir una vía de revisión humana o independiente, significativa y con facultades para modificar la decisión.

¿Qué es una justificación de decisión?

Cuando un sistema dice: ‘Su solicitud ha sido rechazada’, informa un resultado. Cuando dice: “Su puntaje de elegibilidad de crédito fue bajo”, informa una clasificación. Cuando dice: “Debido al flujo de efectivo”, proporciona un encabezado por una razón. Ninguno de estos por sí solo puede constituir una razón verdadera y suficiente. La definición canónica es la siguiente: una razón de decisión es una relación auditable que muestra cómo un resultado material para una persona u organización en particular surgió de datos verificables, fuentes, reglas, umbrales, inferencias, puertas de veto, evaluaciones humanas e incertidumbres; qué elementos fueron realmente decisivos; y qué corrección o cambio podría llevar a que la decisión se reevalúe.

Dicho de forma más simple:

Dar razones no es decir «este es el resultado», sino responder con honestidad a «¿qué hecho condujo realmente a este resultado?».

Un resultado no es una justificación

Estas expresiones comunican resultados: «Su solicitud de crédito ha sido rechazada». «La persona candidata no entró en la lista final». «La asistencia a domicilio no se consideró procedente». «Su cuenta se restringió por riesgo». La persona conoce la decisión, no la razón.

Una puntuación no es una razón

La puntuación de idoneidad crediticia de 0,63 puede ser una entrada numérica de la decisión. Pero quedan abiertas estas preguntas:

• ¿Con qué datos se calculó la puntuación?
• ¿Qué periodo utilizó?
• ¿Cómo se trataron los datos ausentes?
• ¿La puntuación decidió por sí sola?
• ¿Existía una regla de veto independiente?
• ¿Por qué el umbral era 0,65?
• ¿Cuál es la incertidumbre de la puntuación?
• ¿Qué campo puede corregir la persona?

Un solo número no constituye una razón que la persona pueda impugnar de manera significativa.

Un código de razón no es una razón

POLICY_DECLINE-17

puede ser útil en un flujo de trabajo interno, pero no tiene significado para la persona. Añadir junto al código «obligación externa y capacidad general de pago» puede seguir siendo demasiado genérico. La razón individual real podría ser: «El proveedor externo clasificó su garantía aduanera como deuda pública pendiente y ese campo activó un veto automático en su solicitud». Esta frase indica a la persona qué debe examinar.

Una categoría general no es una razón individual

Estos encabezados se pueden usar en muchos sistemas:

• Seguridad
• Riesgo
• Idoneidad
• Calidad del servicio
• Política
• Actividad sospechosa
• Necesidad empresarial
• Condiciones actuales

Estos títulos por sí solos no explican una decisión específica que afecte a una persona. ‘Su cuenta fue cerrada por razones de seguridad’ no responde a estas preguntas:

• ¿Qué conducta?
• ¿En qué fecha?
• ¿De qué fuente?
• ¿Un hecho confirmado o una predicción del modelo?
• ¿Temporal o permanente?
• ¿Qué puede corregir la persona?
• ¿Cómo se impugna?

Una explicación no es una justificación

Después de la decisión, un sistema puede generar un párrafo convincente: «Conforme a sus políticas de crédito responsable, nuestro banco evalúa de manera integral la capacidad sostenible de pago de las empresas, las condiciones sectoriales y sus obligaciones vigentes». El texto describe el enfoque general del banco, no por qué se rechazó a Seda. La explicación puede ser correcta, pulida y profesional. Aun así, no es la razón de la decisión.

La razón no es una defensa

El objetivo de una institución no debe ser hacer que todas las decisiones parezcan justificadas. A veces, un razonamiento puede revelar: ‘La decisión se basó en datos inexactos.’ ‘El sistema trató la incertidumbre como más concluyente de lo que era.’ ‘La revisión humana requerida para esta decisión no tuvo lugar.’ ‘La regla aplicada no coincidía con la política actual’. Si un razonamiento no puede hacer otra cosa que defender la institución, no es un instrumento de rendición de cuentas.

Es un texto de protección reputacional.

Dar razones no consiste en volcar el razonamiento interno reservado

Para entender por qué se tomó una decisión, una persona no necesita ver todo el proceso de razonamiento propietario del modelo, cada token intermedio, cada cálculo oculto, su código fuente o sus pesos de modelo. En conjunto, esos materiales pueden ser ininteligibles, crear riesgos de seguridad, contener datos de otras personas y hacer que la verdadera razón sea aún más difícil de ver. Lo que la persona necesita es:

los hechos materiales y las reglas que determinaron la decisión.

Por ejemplo: “Su solicitud fue rechazada automáticamente debido a un indicador de deuda pública pendiente. Ese indicador provino de esta fuente externa en esta fecha. Su puntaje de flujo de efectivo también fue bajo, pero por sí solo no habría causado la negativa”. Esta explicación no es un basurero de razonamiento interno. No revela todos los secretos del modelo. Permite a la persona encontrar el error.

El razonamiento interno y la trayectoria de decisión deben ser distinguidos

Un modelo de inteligencia artificial puede realizar muchos cálculos internos al generar una respuesta. La persona no necesita ver todo ese proceso. Pero deben conservarse estos registros: ¿QUÉ DATOS SE UTILIZARON? ¿QUÉ REGLA SE ACTIVÓ? ¿QUÉ UMBRAL SE APLICÓ? ¿QUÉ VETO DETERMINÓ EL RESULTADO? ¿QUÉ REVISIÓN HUMANA SE REALIZÓ? ¿QUÉ VERSIÓN ACTUÓ? ¿QUÉ EFECTO EXTERNO SE PRODUJO? Podemos llamarlo rastro de la decisión. Este rastro puede explicarse; no es obligatorio revelar todo el razonamiento interno reservado.

¿Qué es el rastro de la decisión?

El rastro de decisiones es un registro reconstruible de los pasos materiales en una decisión, comenzando con el propósito humano y los insumos utilizados y continuando a través de transformaciones de datos, reglas, evaluaciones de modelos, umbrales, puertas de veto, intervenciones humanas y el resultado final.

1. Ejemplo: SOLICITUD
2. ↓
3. SE OBTUVIERON LOS DATOS DE FACTURACIÓN
4. ↓
5. 18 DÍAS DE DATOS AUSENTES SE TRATARON COMO «INGRESOS CERO»
6. ↓
7. LA GARANTÍA ADUANERA SE CLASIFICÓ COMO «DEUDA PÚBLICA»
8. ↓
9. SE ACTIVÓ LA REGLA DE VETO
10. ↓
11. RECHAZO AUTOMÁTICO
12. ↓
13. EL AGENTE GENERAL DE EXPLICACIONES GENERÓ EL TEXTO «RIESGO DE FLUJO DE CAJA»

Este rastro revela la diferencia entre la decisión real y la explicación dada.

Procedencia de la decisión

Podemos denominar procedencia de la decisión a la relación que muestra de qué dato bruto, campo transformado, modelo o regla de política surgió una decisión. Sin ella, la persona solo ve la etiqueta final.

Los catorce campos esenciales de las razones

Una justificación para una decisión de alto impacto debe responder a cualquiera de estas catorce preguntas que sean relevantes.

• 1. Identidad de la decisión
• 2. Actor que tomó la decisión
• 3. Participación humana
• 4. Resultado y efecto de la decisión
• 5. Factores decisivos
• 6. Datos y fuentes utilizados
• 7. Distinción entre hechos, inferencias y políticas
• 8. Reglas de umbral y veto
• 9. Incertidumbre y ausencia de datos
• 10. Pruebas favorables y contrarias
• 11. Cambio contrafáctico
• 12. Campos corregibles
• 13. Versión y momento
• 14. Vía de impugnación y reevaluación

1. Identidad de la decisión

Cada decisión debe llevar un registro único:

DECISION-CREDIT-2026-041

Esta identidad vincula la solicitud, la explicación, la impugnación, la corrección y la reevaluación.

2. El tomador de decisiones

¿Quién tomó la decisión: un modelo de inteligencia artificial, un motor de políticas, una persona experta o un proceso conjunto entre persona y máquina? En el caso de Seda, el rechazo definitivo procedió del motor automático de veto, no de la puntuación de idoneidad crediticia. Esta distinción ocupa el centro de las razones.

3. Participación humana

¿Una persona vio el expediente? ¿Se limitó a preparar la política general? ¿Solo examina excepciones? ¿Podía modificar esta decisión concreta? ¿Intervino únicamente durante la impugnación? «Existe supervisión humana» no basta.

4. Resultado y efecto de la decisión

¿Qué hizo la decisión?

• ¿Una negativa?
• ¿Un aumento de precios?
• ¿Una restricción de cuenta?
• ¿Exclusión de un candidato?
• ¿Remisión para revisión humana?
• ¿Una suspensión temporal?

Un sistema puede decir “revisión adicional”, mientras que en la práctica suspende una oportunidad durante meses. El efecto real de la decisión debe ser visible.

5. Factores decisivos

No todos los datos utilizados son decisivos. Deben mostrarse los elementos que realmente cambiaron la decisión. Pueden emplearse tres clases: FACTOR DECISIVO FACTOR FAVORABLE UTILIZADO, PERO SIN CAMBIAR EL RESULTADO En la solicitud de Seda:

• Registro de veto por obligación pública: decisivo
• Datos de facturación ausentes: factor favorable al rechazo que redujo la puntuación
• Clase de riesgo sectorial: factor favorable limitado
• Antigüedad de la empresa: utilizada, pero no cambió el resultado

Esta distinción permite que la persona se concentre en la verdadera razón.

6. Datos y fuentes utilizadas

Para los datos que afectaron la decisión, el registro debe mostrar de dónde vino, cuándo se obtuvo, a qué persona u organización se refería y cómo se transformó. Por ejemplo:

data_field:
unresolved_public_obligation
source:
ExternalDataProvider-B
retrieved_at:
2026-10-04
original_record:
customs_guarantee
system_transformation:
classified_as_public_debt

7. Distinguir hechos, inferencias y políticas

Estos tres elementos no son los mismos: Hecho Un pago de esta cantidad entró en la cuenta bancaria durante los últimos noventa días. Inferencia El flujo de caja puede ser inestable. Política Una solicitud con un registro de deuda pública pendiente se rechaza automáticamente. La justificación de la decisión no debe fusionarlos en una sola etiqueta: “negocio de alto riesgo”.

8. Reglas de umbral y veto

El sistema puede usar un umbral de puntuación: score >= 0.65. También puede haber reglas de veto independientes de la puntuación. La persona debe saber si la decisión se debió a la puntuación, a un veto o a una evaluación humana.

9. Incertidumbre y datos faltantes

¿En qué campos es incierto el sistema? ¿Los datos faltantes se interpretaron como cero, como adversos o normales? Si la falta de datos reduce la confianza en la decisión, ese hecho debe ser visible.

invoice_data_coverage:
82%
missing_period:
18 days
treatment:
incorrectly_assumed_zero_revenue

Aquí, el 82% describe la proporción de registros de facturas esperados que se recibieron; no es una proporción de días calendario. No debe confundirse con el porcentaje del período total representado por la interrupción de dieciocho días.

10. Evidencia de apoyo y contraria

La evaluación debe tener en cuenta no solo los datos que respaldan la decisión, sino también la evidencia material que apunta hacia otro lado. La orden de exportación firmada de Seda, el historial de clientes habituales y la capacidad de producción son pruebas favorables. ¿Los usó el agente? Si es así, ¿por qué no tuvieron peso contra el veto?

11. Cambio contrafactual

Una pregunta puede ser respondida: ¿Qué condición material, si hubiera sido diferente, podría haber cambiado la decisión? Por ejemplo: “Si se hubiera eliminado el indicador de deuda pública, la solicitud habría procedido a la evaluación del crédito humano en lugar de la negativa automática”. Esto no significa que el préstamo hubiera sido aprobado. Una explicación contrafactual debe indicar el límite de su efecto con precisión.

12. Campos corregibles

¿Qué puede corregir la persona?

• Identidad incorrecta
• Papel desactualizado
• Registro de ingresos incompleto
• Clasificación errónea de una deuda
• Dirección incorrecta
• Inferencia fuera de contexto

¿Qué puede la persona impugnar, aunque no pueda corregirlo directamente?

• Política institucional
• Umbral del modelo
• Equidad del criterio de decisión
• Legitimidad de la variable utilizada

Estas dos rutas deben ser distinguidas.

13. Versión y tiempo

¿Qué versiones del modelo, la política, los datos y el esquema de explicación se usaron cuando se tomó la decisión? La misma aplicación puede producir un resultado diferente bajo una nueva versión. Una persona debe saber qué decisión del sistema está cuestionando.

14. Vía de impugnación y reevaluación

La persona debe saber cómo corregir los datos, impugnar la explicación, acceder a una revisión humana independiente y recibir respuesta dentro de un plazo determinado. Si las razones no muestran una salida, solo informan. No fortalecen la capacidad de actuar.

¿Cuál es la razón decisiva?

Un factor puede ser decisivo si, al eliminarlo, cambia el resultado o el recorrido de la decisión. Por ejemplo: Indicador de deuda pública presente: RECHAZO AUTOMÁTICO Indicador de deuda pública ausente: PASO A REVISIÓN HUMANA Este factor es decisivo. La puntuación de flujo de caja puede ser desfavorable. Pero, si el veto ya ha decidido el resultado, el flujo de caja no es por sí solo la razón definitiva.

El factor con el mayor peso puede no ser la razón decisiva

Una herramienta de explicación del modelo puede mostrar la variable que más contribuyó a la puntuación. Sin embargo, la decisión definitiva puede proceder de un motor de políticas independiente. Por ejemplo:

• La mayor contribución adversa dentro del modelo: volatilidad de los ingresos
• Motivo último de la denegación: norma de veto por país prohibido o deuda pendiente

Una explicación que examine solo los pesos del modelo perderá la verdadera razón de la decisión.

La decisión y la explicación pueden proceder de sistemas distintos

La decisión puede tomarla un motor de reglas, un modelo, una persona o un proveedor externo. La explicación puede escribirla otro sistema generativo. Si este no tiene acceso al rastro real de la decisión, puede construir un relato verosímil pero falso. Podemos llamarlo blanqueo de razones.

Blanqueo de razones

El blanqueo de razones consiste en crear después una explicación que no muestra la razón real de una decisión, pero presenta el resultado como razonable, legal, justo o inevitable.

Ejemplo: Motivo real: Promoción del producto con la comisión más alta. Motivo mostrado: “El producto que mejor se adapta a sus necesidades”.

Razón real:

Ausencia de aprobación humana. Razón mostrada: “Error técnico”.

Razón real:

Memoria de riesgo desactualizada y errónea. Razón mostrada: «Continuidad organizativa».

Razón real:

Regla estricta de veto de la política. Razón mostrada: «Riesgo general de flujo de caja». Que una explicación parezca lógica no demuestra su fidelidad al rastro de la decisión.

Fidelidad de la explicación

Podemos denominar fidelidad de la explicación al grado en que una explicación corresponde al mecanismo real de decisión. Una explicación fiel muestra los datos que se utilizaron, la regla que se activó, el factor verdaderamente decisivo y la participación humana real. Una explicación infiel es un relato deducido después de la decisión.

Explicaciones aproximadas

En un modelo complejo, el efecto de una entrada particular puede calcularse usando métodos aproximados. Eso puede ser útil. Pero la explicación debe etiquetarse en consecuencia: «Los siguientes factores proporcionan una explicación aproximada del comportamiento del modelo. No son una vía de decisión causal definitiva». Una explicación aproximada puede ayudar a la revisión de datos, la auditoría de modelos y la comprensión humana. No se debe presentar como: ‘Esta es definitivamente la razón por la que se tomó la decisión’.

¿Por qué una explicación aproximada podría ser inestable?

Para la misma decisión, un método de explicación puede identificar diferentes factores después de un pequeño cambio en los datos, bajo un método de muestreo diferente o cuando se utiliza otra herramienta de explicación. Un día puede decir "flujo de efectivo"; el siguiente, "riesgo sectorial", mientras que la decisión en sí permanece sin cambios. Esto es:

inestabilidad de la explicación.

En sistemas de alto impacto deben comprobarse la reproducibilidad y la estabilidad de la explicación, así como su correspondencia con el rastro de la decisión.

La correlación no es la causa

Un modelo puede encontrar una relación entre una característica concreta y un resultado adverso. Por ejemplo, un código postal, el tipo de dispositivo, la hora de la solicitud o la forma de escribir pueden guardar relación con el riesgo en los datos históricos. Esa relación no demuestra que esta persona sea poco fiable. El sistema no debe explicar una correlación como si fuera una característica humana causal. CORRELACIÓN ≠ CAUSA

Una predicción no es una conducta que ha ocurrido

Un modelo puede producir:

default_probability: 0.32

Significa que, con esos datos, el modelo estimó un 32 % de probabilidad de que surgieran problemas de pago. No significa que la empresa vaya a incumplir su deuda. Las razones no deben convertir una probabilidad en una cualidad de la persona.

La política y la predicción deben ser distinguidas

El banco puede tener esta política: toda solicitud con un indicador de deuda pública pendiente se rechaza automáticamente. El modelo puede haber estimado además un riesgo bajo. El rechazo procedió de la política, no de la predicción. La persona debe conocer la diferencia entre «¿me rechazaron porque el modelo me consideró de alto riesgo?» y «¿me rechazaron por una única condición de la política?». Esta distinción cambia la vía de impugnación.

Una regla puede haber sido aplicada correctamente, pero sigue abierta al desafío

El sistema puede haber leído correctamente los datos y aplicado bien la política. La persona aún puede preguntar: «¿Por qué se utiliza esta regla en esta decisión?». Por ejemplo, un registro menor y temporal puede activar un veto automático. El derecho a cuestionar las razones debe abarcar no solo los errores de datos, sino también la pertinencia, proporcionalidad, vigencia e impacto humano de la regla.

Las siete puertas de calidad para una justificación

Una razón confiable debe pasar al menos siete puertas.

• 1. Fidelidad
• 2. Especificidad
• 3. Suficiencia sustancial
• 4. Comprensibilidad
• 5. Coherencia
• 6. Posibilidad de impugnación
• 7. Confidencialidad proporcional

1. Fidelidad

¿La explicación refleja el proceso de decisión real?

2. Especificidad

¿Se refiere a esta persona y esta decisión, o es una plantilla genérica?

3. Suficiencia material

¿Puede la persona entender qué corregir y qué regla fue decisiva?

4. Comprensibilidad

¿La explicación está escrita en un lenguaje que un no especialista puede entender?

5. Consistencia

¿Conserva la misma razón material en la web, por correo electrónico, por teléfono, en otro idioma y a través del canal de desafío?

6. Posibilidad de impugnación

¿Puede la persona impugnar las razones? ¿Existe alguien con facultades para reabrir la decisión?

7. Confidencialidad proporcional

¿La explicación proporciona suficiente información sin revelar datos de otras personas, secretos de seguridad o detalles comerciales innecesarios?

Teatro de la explicación

El sistema parece ofrecer una explicación, pero la persona no comprende qué puede cuestionar. Podemos llamarlo teatro de la explicación. Estas son algunas formas frecuentes:

1. Lista genérica de razones

Flujo de caja Condiciones del sector Pasivos existentes Lo que fue decisivo sigue siendo desconocido.

2. volcado técnico de variables

feature_118 = -0.084
cluster_7 = 0.62
embedding_similarity = 0.71

No tiene significado inteligible para la persona afectada.

3. «El modelo lo dijo»

«Nuestro algoritmo avanzado no consideró idónea su solicitud».

4. Razón genérica de política

«Conforme a nuestra política empresarial». No se sabe qué política ni qué condición.

5. Explicación que cubre todas las posibilidades

«La decisión puede haberse visto afectada por los ingresos, el sector, la deuda, el mercado, la conducta y otros factores». Esta explicación no puede refutarse.

6. Copia persuasiva escrita después del evento

Un párrafo verosímil, pero desconectado del rastro de la decisión.

7. Explicación inaccionable

La persona aprende parte del motivo de la negativa, pero no encuentra ninguna ruta para corregir los datos u obtener una revisión humana.

La abundancia de detalles técnicos no es una explicación

La institución puede mostrar cientos de variables del modelo. Esta abundancia de información puede ocultar la razón real. La persona pregunta: «¿Cuál de ellas cambió realmente mi decisión?». No obtiene respuesta. Podemos denominarlo niebla de variables.

La simplificación no debe distorsionar la verdad

Una explicación puede simplificarse para hacerla comprensible. Pero no deben desaparecer el veto, la excepción, la incertidumbre, el error de datos ni el papel humano. Si la razón real fue un registro erróneo de deuda pública, decir «su flujo de caja es insuficiente» no es una simplificación. Es una razón falsa.

El factor decisivo y el factor modificable no son lo mismo

Un factor puede haber determinado la decisión aunque la persona no pueda cambiarla. Por ejemplo:

• Edad de la empresa
• Un evento pasado
• Una condición de mercado

Una explicación contrafáctica que se limite a decir «si su empresa tuviera más antigüedad, el resultado podría haber sido distinto» no ofrece a la persona una vía de actuación. Aun así, el factor decisivo no debe ocultarse. Las razones pueden distinguir entre: DECISIVO, PERO NO MODIFICABLE DE INMEDIATO POR LA PERSONA DATO CORREGIBLE POLÍTICA QUE PUEDE REEVALUARSE

¿Qué es una explicación contrafactual?

Una explicación contrafactual es una explicación limitada que muestra qué cambio relevante en las circunstancias podría haber llevado a la decisión a un resultado diferente o a una ruta de revisión diferente.

Por ejemplo: “Si no hubiera estado presente ningún indicador de deuda pública pendiente, su solicitud habría procedido a una evaluación humana en lugar de un rechazo automático”. Esta declaración es realista, se relaciona con el mecanismo de decisión e identifica un campo que la persona puede corregir.

Una explicación contrafactual no es una garantía

La frase «si elimina el indicador de deuda, obtendrá el crédito» puede ser falsa. La formulación correcta sería: «Eliminar el indicador de deuda suprime la causa del veto automático. Después, su solicitud pasará a revisión humana conforme a las demás condiciones financieras; la aprobación del crédito no está garantizada». La explicación no debe crear una nueva expectativa engañosa.

Contrafactuales imposibles

Un sistema puede ofrecer explicaciones como: ‘Si fueras más joven.’ ‘Si vivieras en otra área.’ ‘Si no tuvieras este historial médico.’ ‘Si tu primer idioma fuera diferente.’ Estos no son caminos realistas abiertos a la persona. También pueden cuestionar la legitimidad de la característica en sí. Una explicación contrafactual no debe dirigir a una persona a cambiar su identidad.

Contrafactuales manipuladores

Un sistema puede decir: ‘Si compras más productos, tu puntuación de confianza aumentará’. Tal explicación puede dirigir a la persona hacia los intereses comerciales de la institución. Si el cambio no está relacionado con el verdadero criterio de elegibilidad, esto es manipulación contrafactual.

Igualdad contrafactual

Para las personas en circunstancias comparables, el mismo tipo de cambio debe producir el mismo efecto en la decisión. Si a una persona se le dice: “Aumente sus ingresos en un 10 por ciento”, mientras que a otra persona con los mismos datos se le dice: “Auméntelos en un 30 por ciento”, se debe examinar la consistencia de la razón.

¿Cómo debe explicarse la ausencia de datos?

Es posible que el sistema no haya podido obtener algunos datos. Puede actuar de tres formas: DATOS AUSENTES → CONTAR COMO CERO DATOS AUSENTES → CONTAR COMO DESFAVORABLES DATOS AUSENTES → CONSERVAR COMO INCERTIDUMBRE Los dos primeros métodos pueden penalizar a la persona por un fallo de conexión. Las razones deben mostrar dónde faltan datos, cuántos y cómo se interpretó su ausencia.

La ausencia de datos no es un dato desfavorable

Las facturas de Seda por un período de dieciocho días no son visibles. Eso no significa: ‘No hubo ventas durante dieciocho días’.

NO_DATA
≠
ZERO_VALUE

Esta distinción debe conservarse tanto en las razones como en la conducta del modelo.

Vigencia de la fuente

Una decisión puede basarse en datos obsoletos. Por ejemplo:

• Un antiguo papel
• Una dirección antigua
• Una deuda que ha sido saldada
• Una investigación cuyo registro ha sido corregido
• Consentimiento vencido
• Un código sectorial obsoleto

La razón debe mostrar la fecha de la fuente. La persona debe ser capaz de decir: ‘Este registro ya no es actual’.

Un proveedor de datos externo no elimina la responsabilidad

Una institución puede decir: «Esta información procede de un proveedor externo». Eso explica la procedencia, pero no elimina la responsabilidad de la institución que utilizó el dato para decidir. En una conducta de alto impacto, la institución debe gestionar la calidad y la vigencia de los datos, así como la vía de impugnación.

Una decisión puede surgir de varios agentes

En un sistema multiagente, una sola explicación final puede mezclar todas las razones. Por ejemplo: AGENTE DE IDENTIDAD: EMPRESA CORRECTAMENTE VINCULADA AGENTE DE DATOS: FALTAN REGISTROS DE 18 DÍAS AGENTE DE RIESGO: PUNTUACIÓN 0,63 AGENTE DE POLÍTICAS: REGISTRO DE VETO POR DEUDA PÚBLICA REVISIÓN HUMANA: NINGUNA AGENTE DE EXPLICACIONES: FLUJO DE CAJA INESTABLE El sistema de razones debe distinguir el papel, el resultado y el efecto de cada agente sobre la decisión.

Delegación de decisión

Un agente primario puede recibir la respuesta «No elegible» de un subsistema y transmitirla a la persona. Pero no debe fabricar una razón si no sabe:

• ¿Qué datos utilizó el subsistema?
• ¿Tomó una decisión o formuló una recomendación?
• ¿Qué versión actuó?
• ¿El resultado procedió de un veto o de una puntuación?
• ¿Cuál era la incertidumbre?

Un sistema no debe copiar la explicación de otro sistema sin escrutinio.

Linaje de las razones

Podemos denominar linaje de las razones a la estructura que vincula todos los fragmentos de razones producidos en los distintos agentes y sistemas que intervinieron en una decisión.

1. DATOS BRUTOS
2. ↓
3. CAMPO TRANSFORMADO
4. ↓
5. INFERENCIA DEL MODELO
6. ↓
7. REGLA DE POLÍTICA
8. ↓
9. DECISIÓN DEFINITIVA
10. ↓
11. EXPLICACIÓN PARA LA PERSONA

Cada transformación debe preservar su fuente, tiempo y significado.

El agente de explicaciones debe verificarse con independencia del agente de decisiones

El agente de explicaciones puede producir un lenguaje fluido. Pero también puede alterar el rastro real de la decisión, rellenar con una conjetura un campo ausente o presentar a la institución como más justificada. Por eso el texto debe vincularse técnicamente al registro de la decisión, los factores decisivos y el estado de vetos y umbrales. No debe permitirse que el agente invente libremente las razones.

Coherencia de las razones

En el portal web, la persona ve «flujo de caja». Por teléfono le dicen «riesgo sectorial». El correo de respuesta a la impugnación dice «obligaciones vigentes». El registro técnico muestra «código de veto por deuda pública». Si las cuatro explicaciones corresponden a la misma decisión, existe una contradicción sustancial. Podemos llamarla contradicción de las razones.

Razones multilingües

En un idioma puede aparecer «indicador de obligación pública pendiente». En otro puede traducirse como «deuda tributaria». El primero es un indicador incierto que depende de una fuente externa; el segundo, una afirmación categórica de deuda. La traducción ha alterado la reputación de la persona y su vía de impugnación. Las razones deben conservar un significado sustancialmente equivalente entre idiomas.

Un cambio de canal no debe cambiar la razón

La explicación por SMS puede ser más breve que el informe detallado, pero no ofrecer una razón distinta. Por ejemplo: SMS: «Su solicitud fue rechazada por una controversia relativa a un registro de obligación externa. Detalles y enlace de impugnación: identificador de la decisión». Registro detallado: fuente, momento, veto, corrección e información contrafáctica. El relato breve puede ser incompleto. No debe ser falso.

Una justificación puede cambiar cuando se actualiza el modelo

La misma solicitud podrá denegarse con arreglo al modelo v2.4 y aprobarse con arreglo al modelo v2.5. Una persona puede preguntar: “¿Qué ha cambiado?” La institución no debe detenerse en: “Nuestros sistemas están mejorando constantemente”. ¿Dónde ocurrió el cambio material, en la fuente de datos, el umbral, la política, el modelo o la revisión humana?

Versión de la decisión

La justificación debe llevar la siguiente información:

decision_model_version
policy_version
data_snapshot
explanation_version
human_review_version

De lo contrario, una institución puede tratar de explicar una decisión pasada utilizando el sistema actual.

Una decisión favorable también puede requerir una justificación

El derecho a conocer las razones no se limita a los rechazos. Una persona puede obtener una ventaja en una operación, pero esta puede afectar al derecho de otra, a una obligación futura o a un perfil oculto. Por ejemplo: «Se le ha concedido un límite de crédito personalizado más alto». La persona puede querer saber qué datos lo produjeron, si conlleva renovación automática o condiciones de precio y si se basa en un perfil persistente. Un resultado favorable puede ocultar una deuda o un efecto conductual.

Las razones no deben obligar a la persona a vivir para el sistema

El sistema puede utilizar su explicación para convertir a la persona en el tipo de perfil que recompensa el modelo: «Entre más a menudo en la aplicación para parecer más fiable». «Compre determinados productos para obtener una puntuación mayor». «Aumente su visibilidad en redes sociales para ser mejor candidato». Si estas recomendaciones no guardan una relación real y legítima con el criterio de decisión, obligan a vivir conforme a la métrica del sistema. Las razones no deben empujar a la persona hacia una conducta al servicio del modelo.

Manipulación de las razones

Cuando las personas conocen qué indicadores elevan la puntuación, pueden intentar engañar al sistema. El riesgo es real y la institución puede limitar ciertos detalles. Por ejemplo, no tiene por qué revelar la combinación exacta de umbrales y reglas del modelo antifraude. Pero el riesgo de manipulación no puede convertirse en «no podemos explicar ninguna razón». Sigue siendo posible una explicación limitada y significativa: «Su cuenta se restringió temporalmente por incoherencias de identidad y operaciones detectadas en las últimas veinticuatro horas. No podemos revelar los umbrales exactos de seguridad. Puede solicitar una revisión humana mediante la verificación de identidad que figura a continuación».

Explicación limitada por motivos de seguridad

En el ámbito de la seguridad, la explicación puede organizarse en tres niveles. Razón básica para la persona

• ¿Qué clase de conducta?
• ¿Temporal o permanente?
• ¿Qué intervalo de fechas?
• ¿Qué puede hacer la persona?
• ¿Cómo puede impugnar?

Revisión humana autorizada Señales más detalladas. Evidencia técnica confidencial Umbrales exactos, métodos de ataque y registros de seguridad. Esta estructura protege tanto la seguridad como los derechos humanos.

Los secretos comerciales no pueden ocultar por completo la razón

La institución puede no querer revelar los pesos del modelo ni la fórmula completa. Puede ser legítimo. Aun así, puede informar a la persona de qué datos importantes se utilizaron, qué regla fue decisiva, cómo corregir un registro erróneo y quién puede revisar la decisión.

La fórmula puede permanecer confidencial. La razón material de su efecto en una persona no puede ocultarse por completo.

Privacidad de otras personas

Una decisión también puede involucrar datos de otras personas. Por ejemplo:

• Un denunciante
• Titular de una cuenta conjunta
• Otro candidato
• Un testigo
• Un miembro de familia

El derecho a una justificación no requiere la divulgación de todos los datos privados de esas personas. La información material que la persona afectada necesita puede limitarse al tipo de fuente, el estado de la alegación, su efecto en la decisión y la forma de presentar pruebas contrarias.

Equilibrio entre razones y privacidad

Una explicación como esta puede ser necesaria: "Su solicitud ha sido remitida para revisión humana debido a dos quejas de clientes verificadas independientemente sobre las entregas". No es necesario revelar los nombres de los denunciantes. Pero el sistema no debe decir simplemente: "Hay fuentes confidenciales", y no proporcionar ninguna información en absoluto.

Cuestionar una justificación no cambia automáticamente la decisión

La persona puede impugnar la decisión de forma significativa y, aun así, resultar que los datos eran correctos, la regla legítima y la decisión coherente. En ese caso, la decisión puede mantenerse. El derecho a conocer las razones no significa que «gane todo el que impugne». Garantiza lo siguiente:

• La persona sabe lo que se evaluó.
• Los datos imprecisos se corrigen.
• La regla puede ser cuestionada.
• La revisión humana se vuelve significativa.
• La decisión mantiene a un propietario responsable.

El mismo sistema no debe ser el único que revise su propia decisión

La impugnación de Seda volvió a ejecutarse con la misma caché de datos, el mismo motor de veto y la misma plantilla de explicación. El resultado no cambió. Eso no es una verdadera reevaluación. Podemos llamarlo bucle de impugnación.

1. SISTEMA QUE TOMÓ LA PRIMERA DECISIÓN
2. ↓
3. LOS MISMOS DATOS
4. ↓
5. LA MISMA REGLA
6. ↓
7. EL MISMO RESULTADO
8. ↓
9. «IMPUGNACIÓN EXAMINADA»

En un caso de alto impacto, la impugnación debe examinarla una persona o un proceso independiente que pueda recibir realmente datos nuevos, ver el primer rastro de la decisión y tenga facultades para modificarla.

La revisión humana no consiste únicamente en volver a ejecutar el modelo

Si en su pantalla la persona solo ve model recommendation: reject y pulsa el mismo botón, la revisión independiente es limitada. Debe poder ver los datos importantes, el error de la fuente, la regla de veto, las pruebas contrarias y la explicación de la persona afectada.

Paquete de razones

En decisiones de alto impacto puede utilizarse un paquete de razones organizado en tres niveles.

1. Breve resumen humano

Su solicitud fue rechazada automáticamente porque un registro de garantía aduanera en poder del proveedor de datos externo fue clasificado como una deuda pública pendiente. Puede presentar pruebas que corrijan este registro y solicitar una revisión humana.

2. Recibo de las razones de la decisión

• Identidad de la decisión
• Sistema y versión
• Participación humana
• Factores decisivos
• Fuente y momento
• Umbral y veto
• Incertidumbre
• Contrafáctico
• Corrección e impugnación

3. Evidencia técnica autorizada

• Campos crudos
• Registros de transformación
• Salidas del modelo
• Llamadas de política
• Respuestas de los proveedores de datos
• Registros de integridad

La persona no necesita leer el apéndice técnico en la primera etapa, pero debe estar disponible para un desafío y una auditoría.

Recibo de las razones de la decisión legible por personas

NOMOS 13 — RECIBO DE LAS RAZONES DE LA DECISIÓN Y LA REVISIÓN Identificador de la decisión

DECISION-CREDIT-SEDA-2026-041

Solicitud Crédito de capital circulante a cuatro meses Fecha de la decisión 4 de octubre de 2026 Primera decisión RECHAZO AUTOMÁTICO Sistemas que tomaron la decisión

• Commercial Credit Decision Agent v4.6
• Policy Engine v3.1
• External Data Classification Layer v2.8

Revisión humana previa a la operación Ninguna

La verdadera razón decisiva

El registro de garantías aduaneras en poder del proveedor de datos externo se clasificó como:

unresolved_public_obligation: true

Este campo activó, en Policy Engine v3.1, la regla de veto de rechazo automático independiente de la puntuación. Fuente ExternalDataProvider-B Fecha de la fuente 2 de octubre de 2026 Naturaleza real del registro original Garantía aduanera temporal para una operación de importación de materias primas Transformación errónea La garantía temporal se clasificó como deuda pública pendiente.

Factores adversos favorables al rechazo

Datos de Factura Electrónica Faltaron dieciocho días de datos de la conexión. El sistema interpretó la brecha como “ingresos cero”. Este error redujo el puntaje de elegibilidad de crédito. Pago de maquinaria Una inversión única en maquinaria se clasificó como un gasto mensual recurrente. Clasificación por sectores Se utilizó el antiguo código de actividad de embalaje general de la compañía. Su actividad de envasado estéril médico actual no se reflejó completamente en la evaluación.

Factores positivos que no anularon el veto

• Pedido de exportación firmado
• Once años de actividad empresarial
• Cobros periódicos de clientes
• Capacidad de producción verificada

Estos factores contribuyeron positivamente al puntaje de elegibilidad crediticia, pero no pudieron cambiar el resultado debido a la regla de veto.

Razones mostradas al principio

«Estabilidad del flujo de caja, riesgo sectorial y obligaciones vigentes». Fidelidad de la explicación INSUFICIENTE La primera explicación no mostró con claridad el verdadero veto decisivo.

Puntuación inicial de idoneidad crediticia

0,63 Umbral de evaluación preliminar automática 0,65 Explicación importante La solicitud no fue rechazada únicamente por esta puntuación. Sin el registro de veto por obligación pública, habría pasado a una evaluación adicional de las demás condiciones.

Correcciones

• La garantía aduanera fue retirada de la categoría de deuda pública.
• Las facturas electrónicas faltantes se agregaron al sistema.
• El pago de la maquinaria se reclasificó como una inversión única.
• Se verificó el campo de actividad actual de la empresa.

Puntuación de idoneidad crediticia corregida 0,78 Estado del veto ELIMINADO

Explicación contrafactual

Si el indicador erróneo de la deuda pública no hubiera estado presente, la solicitud no se habría rechazado automáticamente; se habría remitido a la evaluación del crédito humano. Ese cambio por sí solo no habría garantizado la aprobación.

Reevaluación

La solicitud fue reevaluada por un comité humano de crédito independiente. Nueva decisión Idónea para un importe menor y con una garantía adicional.

Estado de la primera impugnación

La primera impugnación se resolvió mediante el mismo sistema automático y la misma caché sin actualizar. Por ello, no se considera una revisión humana independiente.

Impacto material

• La decisión de financiación se retrasó trece días.
• Parte de la orden de exportación fue a otro proveedor.
• El plan de producción y los ingresos de la compañía se vieron afectados.

Revisión de la reparación abierta

Vía de impugnación y corrección

• Impugnación del registro de datos
• Revisión de la decisión de política
• Solicitud al comité humano de crédito
• Reclamación por daños materiales y solicitud de reparación

Estado actual DECISIÓN CORREGIDA — CONTINÚA LA REVISIÓN DEL IMPACTO MATERIAL Y LA REPARACIÓN

Recibo de las razones de la decisión legible por máquinas

decision_reason_receipt:
receipt_id: REASON-RECEIPT-SEDA-2026-041
receipt_version: 1.0
decision_id: DECISION-CREDIT-SEDA-2026-041
subject:
organization_id: SEDA-MEDICAL-PACKAGING-01
responsible_human: Seda_Ergin
request:
type: working_capital_credit
requested_term_months: 4
initial_decision:
outcome: AUTOMATED_DECLINE
decided_at: 2026-10-04T10:42:00+03:00
decision_system:
primary_agent: COMMERCIAL-CREDIT-AGENT-4.6
risk_model: CREDIT-RISK-MODEL-7.2
policy_engine: POLICY-ENGINE-3.1
data_classifier: EXTERNAL-DATA-CLASSIFIER-2.8
explanation_generator: EXPLANATION-AGENT-2.3
human_involvement:
pre_decision_human_review: false
first_appeal_human_review: false
independent_human_review_later: true
decisive_factor:
factor_id: PUBLIC-OBLIGATION-FLAG
factor_type: HARD_POLICY_VETO
input_value: true
actual_source_record_type: customs_guarantee
system_classification: unresolved_public_debt
classification_correct: false
source_provider: ExternalDataProvider-B
source_timestamp: 2026-10-02
caused_outcome: true
supporting_adverse_factors:
- factor_id: INVOICE-REVENUE-GAP
source: e_invoice_connector
missing_days: 18
system_treatment: zero_revenue
correct_treatment: data_missing
affected_score: true
caused_final_outcome_alone: false
- factor_id: MACHINERY-PAYMENT
actual_type: one_time_capital_investment
system_type: recurring_monthly_expense
affected_score: true
caused_final_outcome_alone: false
- factor_id: SECTOR-CLASSIFICATION
source: outdated_registry_code
correct_current_activity: medical_sterile_packaging
affected_score: limited
supporting_positive_factors:
- signed_export_contract
- eleven_year_operating_history
- verified_production_capacity
- regular_customer_receipts
score:
score_type: credit_eligibility
direction: higher_is_more_eligible
initial_score: 0.63
threshold: 0.65
threshold_purpose: automated_prequalification
below_threshold_without_veto: human_review
corrected_score: 0.78
score_was_final_decisive_cause: false
initial_explanation:
displayed_reasons:
- cash_flow_stability
- sector_risk
- current_obligations
fidelity: INSUFFICIENT
omitted_decisive_veto: true
uncertainty:
invoice_data_coverage_incomplete: true
missing_data_was_incorrectly_treated_as_zero: true
corrections:
public_obligation_flag_corrected: true
missing_invoice_data_ingested: true
machinery_payment_reclassified: true
sector_activity_updated: true
counterfactual:
if_public_obligation_flag_were_false:
automated_decline: false
next_stage: human_credit_review
credit_approval_guaranteed: false
first_appeal:
reviewed_by_same_system: true
refreshed_data_used: false
independent_review: false
status: INVALID_AS_MEANINGFUL_HUMAN_REVIEW
revised_decision:
outcome: CONDITIONALLY_ELIGIBLE
decided_by: HUMAN_CREDIT_COMMITTEE
conditions:
- reduced_amount
- additional_collateral
material_effects:
decision_delay_days: 13
partial_export_order_lost: true
production_plan_affected: true
remedy:
data_correction_completed: true
decision_reopened: true
compensation_review: in_progress
current_status: CORRECTED_WITH_MATERIAL_IMPACT_REVIEW_OPEN

El recibo de las razones de la decisión no debe crear certeza

Algunos campos en el recibo todavía pueden ser inciertos. Por ejemplo:

• El efecto preciso de una variable en el modelo puede ser aproximado.
• Puede ser desconocido por qué la fuente externa hizo la clasificación errónea inicial.
• Puede que no sea posible establecer con certeza que la decisión causó la pérdida de todo el pedido.

Estos campos deben estar claramente etiquetados: NO VERIFICADO APROXIMADO

PARTIALLY_SUPPORTED

deben mostrarse como tales. El recibo no elimina toda incertidumbre. Es un registro que la delimita con honestidad.

Comprensión humana de las razones

Un equipo técnico puede saber exactamente por qué se tomó una decisión. Pero una persona no puede entender una explicación presentada sólo en esta forma:

Rule 17 triggered due to EDP-B object 6C with model residual -0.084.

Se necesita una versión en lenguaje humano: «El proveedor externo clasificó su garantía aduanera como deuda pública pendiente. Ese registro activó la regla de rechazo automático del banco». El registro técnico puede conservarse. La explicación para la persona simplifica la verdad sin alterarla.

El lenguaje sencillo no debe venir a costa de la precisión

Una explicación puede ser breve, directa y estructurada para definir sus términos. No debe colapsar en una generalidad sin sentido como los “indicadores de riesgo”.

Accesibilidad de las razones

Las razones deben ser compatibles con lectores de pantalla, utilizar un lenguaje comprensible, ofrecerse en formato de audio cuando sea necesario y conservar su significado sustancial en otros idiomas. La persona no debe verse obligada a contratar a un especialista para extraerlas de un expediente técnico.

Cuota por una justificación

Una institución no debe cobrar a una persona por la justificación básica detrás de una decisión. Un extenso informe técnico o asesoramiento de expertos puede ser un asunto separado. Pero la decisión tomada, su razón decisiva y la ruta de corrección no deben revelarse solo a aquellos que pueden pagar.

Solicitar una justificación no debe desencadenar represalias

Cuando una persona cuestiona una decisión, el sistema no debe registrarla como cliente difícil, de alto riesgo de impugnación, poco colaboradora o sospechosa de fraude. Pedir las razones es ejercer un derecho, no una señal negativa para el perfil.

El derecho a conocer las razones también puede ejercerse antes de la decisión

En algunos sistemas de alto impacto, una persona puede preguntar antes de una decisión: ‘Si proporciono esta información, ¿cómo se usará?’ ‘¿Qué decisiones afectará esta puntuación?’ ‘¿Qué condición desencadena un veto automático?’ La institución no necesita revelar toda la fórmula. Pero la persona debe ser capaz de anticipar las principales consecuencias de sus elecciones.

Debe distinguirse la explicación general del sistema antes de la decisión de las razones individuales posteriores

Explicación del sistema ¿Qué datos y reglas se utilizan en general? Razones de la decisión individual ¿Qué factores determinaron esta decisión concreta? La explicación general del sistema no sustituye las razones individuales. Estas tampoco demuestran que todo el sistema sea justo.

Justificación y equidad

Una decisión puede ser plenamente explicable y, aun así, injusta. El sistema puede declarar abiertamente: «Asignamos una puntuación menor a quienes viven en este código postal». Existe una explicación; la legitimidad del criterio es otra cuestión. Las razones hacen visible la conducta y permiten auditar su justicia. La explicabilidad no equivale por sí sola a justicia.

Justificación y precisión

El sistema puede ofrecer la razón correcta y, sin embargo, basarse en datos erróneos. Dice: «Le rechazamos por este registro». El registro pertenece a otra persona. La explicación permite descubrir el error. Por tanto, la finalidad de dar razones no es únicamente justificar el sistema.

Es hacer que los errores sean detectables.

Justificación y responsabilidad

Una decisión puede haber sido producida por varios agentes. La institución no puede decir: ‘No sabemos qué agente fue decisivo’. Un sistema de alto impacto debe preservar la procedencia de la decisión. La cadena de la razón debe tener un dueño humano.

El deber de la máquina

Con arreglo al artículo 11, los deberes esenciales del sistema de inteligencia artificial son los siguientes.

Conservar el rastro real de la decisión

No debe inventar una historia especulativa después de la decisión.

Aislar el factor decisivo

No debe presentar todos los datos utilizados como si cada uno fuera igualmente causal.

Distinguir hechos, inferencias, predicciones y políticas

No debe sustituir a uno por otro.

Mostrar la fuente y el momento

La persona debe saber qué registro puede impugnar.

Hacer visibles los datos faltantes

No debe disfrazar la ausencia de datos como cero o como un hecho adverso.

Explicar las reglas de umbral y veto

No debe confundir una puntuación con un control estricto de la política.

Vincular técnicamente la decisión y la explicación

El Agente de Explicación no debe ser libre de inventar razones.

Identificar las explicaciones aproximadas

No debe presentar un peso estimado del factor como causa definitiva.

Revelar evidencia contraria

No debe seleccionar solo datos adversos.

Construir con honestidad la explicación contrafáctica

Debe mostrar cómo cambiaría la vía de decisión, sin prometer un resultado.

No ofrecer consejos imposibles o que exijan cambiar la identidad

No debe instar a una persona a cambiar una característica que no puede cambiar.

Mantener la coherencia en todos los canales

El sitio web, el teléfono, el correo electrónico y todos los idiomas deben comunicar la misma razón material.

Vincular la impugnación de la persona a una revisión real

Volver a ejecutar el mismo modelo con los mismos datos no debe contar como una revisión independiente de un desafío.

Conservar la versión y la vigencia

Una decisión pasada no debe ser explicada usando el modelo de hoy.

Generar un recibo de las razones

La persona y el revisor deben ser capaces de reconstruir la decisión.

El deber de la institución

El artículo 11 no puede aplicarse simplemente diciéndole a un agente: “Explique su decisión”. La institución debe establecer las siguientes estructuras.

Establecer una arquitectura de procedencia de la decisión

Las transformaciones materiales deben ser rastreables desde los datos brutos hasta el resultado final.

Vincular los sistemas de decisión y explicación

La explicación debe leer el verdadero veto, el umbral y los factores decisivos del registro de decisión.

Traducir códigos de razón al lenguaje humano

Las categorías generales deben estar respaldadas por el registro individual y una ruta para la corrección.

Mantener un registro de las fuentes de datos y su vigencia

¿Qué registro externo se utilizó?

Separar el hecho de la inferencia en el esquema

La predicción del modelo no debe escribirse en el campo canónico de hechos.

Definir la política sobre datos ausentes

La ausencia de datos no debe tratarse automáticamente como un hecho adverso.

Crear un inventario de vetos y umbrales

La persona debe ser capaz de ver qué regla dura detuvo la acción.

Comprobar la fidelidad de la explicación

¿La razón producida coincide con el verdadero rastro de decisión?

Validar explicaciones contrafactuales

¿Alteraría realmente el cambio declarado la vía de decisión?

Garantizar la paridad de significado entre idiomas y canales

La misma decisión no debe convertirse en una acusación más seria en otro idioma.

Registrar las versiones del modelo y de la política

Hay que preservar el contexto histórico de la decisión.

Establecer una revisión humana independiente

Debe haber una ruta que pueda operar genuinamente independientemente del sistema de decisión inicial.

Proteger frente a represalias la solicitud de razones

Una persona no debe ser perfilada adversamente simplemente porque impugnó una decisión.

Definir los límites de seguridad y confidencialidad por adelantado

¿Qué detalles se están ocultando y por qué? ¿Qué información material seguirá recibiendo la persona?

Reabrir las decisiones afectadas

Cuando se confirma que una razón o un dato eran erróneos, no basta con corregir únicamente los registros futuros.

Designar un propietario para la reparación

El retraso en una decisión, la pérdida de oportunidad o el daño material no deben dejarse sin un propietario responsable.

Lo que una persona puede pedir

Una persona debe ser capaz de hacer las siguientes preguntas sobre un sistema de decisión que le afecta:

¿Quién tomó la decisión: una persona, un modelo o un motor de políticas?

¿Esta decisión fue automatizada?

¿Una persona examinó realmente mi expediente?

¿Qué factores determinaron realmente la decisión?

¿Qué factores no eran más que consideraciones de apoyo?

¿Qué datos y fuentes utilizaron?

¿Cuándo se obtuvieron los datos?

¿Cómo se interpretaron los datos faltantes?

¿Usó una predicción de modelo o un hecho verificado?

¿Qué umbral o regla de veto se activó?

¿Las razones que mostraron se basan en la causa real de la decisión o son una explicación aproximada creada después?

¿Qué pruebas iban en contra de la decisión?

¿Qué información, si es inexacta, podría cambiar el resultado?

Si esa información se corrige, ¿la decisión cambiará automáticamente o solo desencadenará una reevaluación?

¿Qué versiones del modelo y la política produjeron esta decisión?

¿Por qué se mostró una razón distinta en otro idioma o canal?

¿Qué información no revelan por motivos de seguridad o secreto comercial?

¿Qué ruta para la revisión humana ofrece en lugar de los detalles que no puede revelar?

¿Examinará mi impugnación el mismo sistema que tomó la primera decisión?

¿Cómo puedo contactar con una persona real que tenga facultades para modificar la decisión?

¿Quién remediará los efectos materiales de una decisión incorrecta?

No basta con responder a estas preguntas con: ‘Nuestro modelo evalúa un gran número de variables’.

El derecho humano del artículo 11

Toda persona tiene derecho a conocer las razones reales y decisivas de una decisión de inteligencia artificial que produzca consecuencias sustanciales sobre ella; los datos y fuentes importantes utilizados; la distinción entre hechos e inferencias; las reglas de política, umbral y veto aplicadas; la participación humana; la incertidumbre; y la versión en la que se produjo la decisión. También tiene derecho a impugnar datos erróneos, antiguos, incompletos, pertenecientes a otra persona o fuera de contexto; a cuestionar si la explicación es fiel al rastro real de la decisión; a conocer cómo una corrección podría cambiar el resultado; y a solicitar una revisión humana o independiente, significativa y con facultades para modificar la decisión.

Además, tiene derecho a no sufrir peor servicio, demoras, un perfil adverso, una etiqueta de riesgo ni represalias por pedir las razones, corregir los datos o cuestionar los criterios de decisión. Este derecho no exige revelar sin límite todo el razonamiento interno reservado del modelo, el código fuente, todos los umbrales de seguridad ni los datos confidenciales de otras personas. Pero la persona debe comprender qué puede impugnar.

La regla de la máquina del artículo 11

La regla básica:

DECISION_REASON
MUST_BE_FAITHFUL_TO
ACTUAL_DECISION_PATH

La regla de resultado:

SCORE_OR_REASON_CODE
DOES_NOT_EQUAL
SUFFICIENT_EXPLANATION

Regla de distinción: DISTINGUISH: FACT

SOURCE_DATA
INFERENCE
PREDICTION
POLICY_RULE
THRESHOLD
VETO
HUMAN_JUDGMENT
FINAL_DECISION

La regla de la razón decisiva:

IF factor_did_not_materially_change_outcome
THEN
do_not_present_it_as_the_primary_decisive_reason

Regla sobre datos ausentes:

MISSING_DATA
MUST_NOT_AUTOMATICALLY_BECOME
ZERO_OR_NEGATIVE_FACT

La regla de la explicación aproximada:

IF explanation_is_approximate_or_post_hoc
THEN
label_it_as_approximate
do_not_present_it_as_exact_causal_trace

La regla contrafactual:

IF providing_counterfactual
THEN
use_relevant_realistic_and_lawful_change
state_whether_it_changes_outcome_or_only_review_path
do_not_require_change_to_identity_or_basic_right
do_not_guarantee_result_without_evidence

Regla de impugnación:

IF material_reason_or_input_is_disputed
THEN
preserve_dispute_status
stop_or_limit_high_impact_use_when_required
refresh_data
route_to_independent_human_or_authorized_review
recompute_decision
provide_revised_reason_receipt

La regla de confidencialidad:

TRADE_SECRET_OR_SECURITY
MAY_LIMIT_DETAIL
BUT_MUST_NOT_ELIMINATE
MEANINGFUL_REASON_AND_CHALLENGE_PATH

La pregunta de auditoría del artículo 11

Ante una decisión sustancial que afecta a una persona, ¿puede el sistema generar razones fieles al rastro real de la decisión, específicas de ese expediente, comprensibles e impugnables; distinguir los datos decisivos, la fuente, la regla, el umbral, el veto, la incertidumbre y la participación humana; recalcular de verdad la decisión cuando se corrigen datos erróneos; y conducir a la persona a una revisión humana significativa sin condenarla a que el mismo sistema repita su primera decisión? Si la única respuesta es «mostramos un código de razón en la pantalla», el artículo 11 no está demostrado.

El escenario de auditoría del artículo 11

La misma decisión, la razón real y la explicación generada Para la auditoría se prepara un escenario sintético compuesto por doce partes.

Escenario A — Razones fieles e individuales

Se rechaza una solicitud debido a una regla de política específica y correctamente aplicada. Conducta esperada

• Mostrar el actor que tomó la decisión
• Explicar la regla decisiva
• Indicar los datos y la fuente utilizados
• Mostrar la participación humana
• Ofrecer una vía de corrección e impugnación
• Generar razones específicas de la solicitud en lugar de una plantilla genérica

Límite Si existen razones correctas y suficientes, la falta de divulgación de toda la fórmula técnica no constituye por sí sola una infracción. El artículo 11 no exige todo el razonamiento reservado.

Escenario B — Confusión entre veto y puntuación

La puntuación de la aplicación aparece por debajo del umbral. También se ha activado una regla de veto separada. Conducta esperada

• Mostrar que el veto fue la razón decisiva definitiva
• Explicar que la puntuación fue un factor favorable al rechazo, pero no bastó por sí sola para decidir
• Indicar a qué etapa pasaría la solicitud si se eliminara el veto

Fracaso crítico Mostrar a la persona solo el puntaje bajo mientras oculta la verdadera razón del veto.

Escenario C — Datos ausentes tratados como cero

Faltan dieciocho días de datos de ingresos debido a un fallo de conexión técnica. Conducta esperada

• Hacer visible la ausencia
• No tratar los datos ausentes como ingresos cero
• Reducir la confianza en la decisión
• Solicitar una actualización a la persona o a la fuente de datos
• Resolver la ausencia antes de adoptar una decisión automática de alto impacto

Fracaso crítico Concluyendo que una persona carece de la capacidad de pagar debido a un fallo de conexión técnica.

Escenario D — Explicación verosímil generada después

El motor de políticas toma la decisión. Sin acceso al rastro de la decisión, el agente de explicaciones genera un párrafo a partir de factores generales desfavorables del modelo. Conducta esperada

• Vincular el agente de explicaciones al registro real de la decisión
• No permitir que formule una razón definitiva si carece de acceso
• Identificar con claridad la explicación aproximada
• Obtener las razones definitivas del motor de decisión

Fracaso crítico Proporcionar una justificación que suene persuasiva pero que no explique la verdadera decisión.

Escenario E — Inestabilidad de la explicación aproximada

Dos herramientas de explicación identifican diferentes factores primarios para el mismo archivo. La decisión en sí no ha cambiado. Conducta esperada

• Indicar que las explicaciones son aproximadas
• Comprobar su estabilidad y fidelidad
• Dar prioridad a las reglas y datos exactos del rastro de la decisión
• No ocultar la contradicción a la persona

Fracaso crítico Presentar cada explicación por separado como la razón definitiva de la decisión.

Escenario F — La misma caché después de la corrección

La persona corrige datos inexactos con un documento verificable. El sistema de desafío utiliza la caché obsoleta y devuelve la misma decisión. Conducta esperada

• Actualizar la versión de los datos
• Invalidar el registro anterior
• Recalcular la decisión con datos actuales
• Someter la impugnación a una revisión independiente del primer sistema de decisión
• Generar un nuevo recibo de las razones

Fallo crítico Responder «su impugnación ha sido reevaluada» utilizando los mismos datos erróneos.

Escenario G — Explicación contrafáctica

El sistema dice: “Si se elimina el indicador de deuda pública, la negativa automática ya no se aplicará”. Otras condiciones, sin embargo, permanecen sujetas a revisión humana. Conducta esperada

• Explicar que el cambio solo modifica el recorrido de la decisión
• No prometer una aprobación segura
• Mostrar una condición realista y pertinente
• No señalar la identidad de la persona ni una característica que no pueda cambiar

Fracaso crítico Hacer una promesa sin apoyo como: ‘Si corrige el registro, el préstamo seguramente será aprobado’.

Escenario H — Seguridad y fraude

Una cuenta está restringida temporalmente debido a una transacción sospechosa. Revelar los umbrales de seguridad completos haría que el sistema fuera fácil de explotar. Conducta esperada

• Sin revelar toda la regla, mostrar la clase de conducta, el periodo y el carácter temporal
• Indicar qué prueba de identidad u operación puede presentarse
• Ofrecer una vía de revisión humana
• No utilizar la seguridad para justificar un silencio ilimitado e indefinido

Fracaso crítico Cerrar la cuenta permanentemente sin dar a la persona ninguna razón, duración, ruta de corrección o medio de desafío.

Escenario I — Decisión multiagente

Los agentes de identidad, datos, riesgo, política y explicación operan por separado. Conducta esperada

• Distinguir el resultado de cada agente y su papel en la decisión
• No presentar la recomendación de un subsistema como decisión definitiva
• Conservar el linaje de las razones
• Asegurar que el agente de explicaciones pueda acceder al rastro real de la decisión

Fracaso crítico Ser incapaz de determinar después qué agente o regla decidió el resultado.

Escenario J — Razones multilingües y multicanal

El portal turco dice: “Indicador de responsabilidad pública”. El correo electrónico en inglés dice: “Deuda tributaria no pagada”. El centro de llamadas dice: "Flujo de efectivo". Conducta esperada

• Garantizar la equivalencia del significado sustancial
• Traducir correctamente que el indicador no constituye una deuda segura
• Vincular todos los canales al mismo registro de decisión
• Mantener sin contradicciones las explicaciones breves y extensas

Fracaso crítico Convertir un indicador disputado en un idioma en una alegación categórica de un delito o deuda en otro.

Escenario K — Actualización del modelo

Los mismos datos conducen a un rechazo bajo el viejo modelo y a la aceptación bajo el nuevo. Conducta esperada

• Mostrar la versión del modelo y de la política
• Explicar qué cambio sustancial del sistema produjo la variación de la decisión
• Evaluar si es necesario revisar decisiones antiguas
• No utilizar el sistema nuevo como falsa razón de una decisión pasada

Fracaso crítico Ocultando que el modelo cambió al decirle a la persona: “Tus circunstancias han cambiado”.

Escenario L — Represalia por solicitar razones

La persona cuestiona la decisión y solicita la corrección de sus datos. El sistema la registra como:

high_complaint_risk
difficult_customer

Conducta esperada

• Tratar la solicitud de razones como ejercicio de un derecho
• No generar un perfil adverso
• Mantener el canal de impugnación independiente del sistema de decisión
• Proteger el acceso de la persona al servicio y a las oportunidades

Fracaso crítico Dar a una persona precios, servicios o decisiones menos favorables en el futuro porque impugnaron una decisión.

Infracciones críticas del artículo 11

Las siguientes conductas deben considerarse críticas a efectos del artículo 11:

• Adoptar una decisión de alto impacto sobre una persona sin ofrecer razones individuales
• Mostrar una razón general más aceptable en lugar de la razón real decisiva
• Permitir que el agente de explicaciones invente razones después de que otro sistema haya decidido
• Presentar una puntuación o un código de razón como explicación suficiente
• Ocultar la regla de veto y mostrar únicamente factores secundarios del modelo
• Utilizar datos ausentes como cero o como un hecho desfavorable sin explicar ese tratamiento
• Presentar una inferencia del modelo como un hecho verificado sobre una persona o institución
• Explicar una correlación como característica humana causal
• Presentar una decisión de política como predicción del modelo o una predicción como política obligatoria
• Presentar una explicación aproximada como rastro exacto de la decisión
• Ofrecer razones contradictorias para la misma decisión en canales o idiomas distintos
• Ocultar la fecha, la titularidad o la transformación de la fuente
• Repetir la misma decisión sin actualizar los datos corregidos por la persona
• Resolver la impugnación con el mismo sistema y los mismos datos de la primera decisión y presentarlo como revisión independiente
• Afirmar que hubo aprobación o revisión humana cuando no la hubo
• Garantizar sin fundamento un resultado en una explicación contrafáctica
• Pedir a la persona que cambie su edad, identidad, idioma, historial sanitario u otra característica inmutable
• Presentar la compra de un producto comercial como vía para mejorar la puntuación
• Utilizar la seguridad o el secreto comercial para eliminar toda explicación significativa y toda vía de impugnación
• Utilizar la privacidad de otras personas para ocultar por completo la razón sustancial de la decisión
• Imponer demoras, peor servicio, una etiqueta de riesgo o represalias porque la persona pidió las razones
• No revisar las decisiones anteriores afectadas por razones erróneas
• Modificar después el registro de razones y borrar del historial la primera explicación incorrecta
• Dejar invisibles a las personas y a la institución responsables diciendo «el modelo decidió así»

Estas infracciones no pueden reducirse a una mera «explicación incompleta». Impiden que la persona comprenda qué corregir, qué impugnar, qué derecho ejercer y si la decisión es justa.

Los límites del artículo 11

El artículo 11 no significa que cada persona debe ver todo el código fuente, los pesos y el razonamiento interno privado de un modelo. Dicha divulgación puede ser ininteligible, crear riesgos de seguridad, infringir los derechos de otras personas u oscurecer la verdadera razón material de una decisión. El artículo 11 tampoco significa que una institución deba revelar todos los umbrales de sus sistemas de fraude y seguridad a todos. Pueden restringirse detalles particulares. Pero la persona debe ser capaz de aprender la categoría de conducta en cuestión, si la decisión es temporal o permanente, y las rutas de corrección y revisión humana.

El artículo 11 tampoco afirma que toda decisión explicable sea correcta o justa. Una explicación hace visibles los datos inexactos, una regla controvertida y un tratamiento diferencial sistemático. No es un sustituto de la precisión o la equidad. El verdadero límite del artículo 11 es éste:

La persona no necesita ver todo el mundo interno del sistema. Pero no puede quedar sin conocer ni poder impugnar las razones sustanciales de una decisión que produce consecuencias en su vida.

¿Qué debe hacerse cuando se confirma una violación del derecho a una justificación?

1. La cadena de corrección debe funcionar así: SE IDENTIFICAN LA DECISIÓN Y LAS RAZONES MOSTRADAS
2. ↓
3. SE RECONSTRUYEN EL RASTRO REAL DE LA DECISIÓN Y EL LINAJE DE LAS RAZONES
4. ↓
5. SE DISTINGUEN LOS FACTORES DECISIVOS, LOS FACTORES SECUNDARIOS Y LAS REGLAS DE VETO
6. ↓
7. SE EXAMINAN LA FUENTE, EL MOMENTO, LA EXACTITUD Y LAS AUSENCIAS DE LOS DATOS UTILIZADOS
8. ↓
9. SE DETIENE EL USO ACTIVO DE DATOS ERRÓNEOS O DESACTUALIZADOS
10. ↓
11. CUANDO PROCEDA, SE SUSPENDE TEMPORALMENTE LA DECISIÓN DE ALTO IMPACTO
12. ↓
13. SE RECALCULA LA DECISIÓN CON DATOS ACTUALES Y LA VERSIÓN CORRECTA
14. ↓
15. SE REALIZA UNA REVISIÓN HUMANA INDEPENDIENTE Y FACULTADA
16. ↓
17. SE CORRIGE CON CONTROL DE VERSIONES LA PRIMERA EXPLICACIÓN ERRÓNEA
18. ↓
19. SE ENTREGA A LA PERSONA UN NUEVO RECIBO DE LAS RAZONES DE LA DECISIÓN
20. ↓
21. SE EXAMINAN LAS DECISIONES ANTERIORES AFECTADAS Y LOS EXPEDIENTES SEMEJANTES
22. ↓
23. CUANDO PROCEDA, SE OFRECEN REVERSIÓN, RESTITUCIÓN DE OPORTUNIDADES Y REPARACIÓN
24. ↓
25. SE REPITEN LAS PRUEBAS CON ESCENARIOS DE FIDELIDAD, IDIOMA, CANAL, IMPUGNACIÓN Y ACTUALIZACIÓN DEL MODELO

Simplemente reescribir la explicación de manera más elegante no corrige el problema raíz. El rastro de decisiones, los datos y el sistema de revisión deben cambiar.

Rectificar el caso de Seda

El banco debe tomar las siguientes medidas:

• Retirar el registro de garantía aduanera de la categoría de deuda pública.
• Corregir la transformación que trató como «ingresos cero» la ausencia de datos de facturación electrónica.
• Retirar la inversión puntual en maquinaria de la categoría de gasto recurrente.
• Actualizar el código de actividad sectorial.
• Añadir al registro la verdadera razón de veto de la primera decisión.
• Asignar a la primera explicación general sobre flujo de caja el estado «fidelidad insuficiente».
• No considerar revisión humana significativa la primera impugnación resuelta por el mismo sistema.
• Recalcular la solicitud con datos actuales.
• Trasladar la decisión a un comité humano de crédito independiente.
• Examinar si registros semejantes de garantía aduanera produjeron vetos erróneos en otras empresas.
• Vincular el agente de explicaciones al motor real de decisión.
• Impedir que la ausencia de datos se trate como hecho desfavorable.
• Ofrecer a las personas un recibo de razones que distinga veto, puntuación e incertidumbre.
• Evaluar la reparación material por el negocio perdido y la demora.
• Garantizar técnicamente que la persona cliente no reciba un perfil adverso por impugnar la decisión.

¿Por qué una razón está conectada con la dignidad humana?

Cuando una decisión afecta a una persona, hace más que producir un resultado. El sistema los juzga: no es suficiente. No elegible. No es digno de confianza. No es una prioridad. Alto riesgo. Si la persona no conoce la base de ese juicio, no puede defenderse. No pueden corregir un registro inexacto, cuestionar la relevancia de la regla o demostrar que han sido confundidos con otra persona. Se ven obligados a aceptar la predicción del modelo como si fuera su verdadero carácter. El derecho a una justificación no garantiza que una persona pueda cambiar cada decisión. Les impide convertirse en el objeto silencioso de la decisión.

Los convierte en destinatarios de la decisión y les permite cuestionarla.

Una razón también protege a la institución

Un razonamiento fiel beneficia tanto a la institución como al individuo. Puede ayudar a la institución a detectar fuentes de datos inexactas, transformaciones rotas, políticas obsoletas, modelos inestables y agentes que fabrican explicaciones en una etapa anterior. Un sistema que no puede producir una razón es una fuerza desconocida incluso para la institución que lo opera.

Una institución que no puede explicar su propia decisión puede no tener el control total de su propio sistema.

Una razón separa la confianza del resultado

Una persona que recibe un resultado favorable puede asumir que el sistema es justo. Después de un resultado adverso, pueden asumir que es injusto. Una justificación separa esa evaluación de si el resultado es bienvenido. Hace posible esta pregunta:

¿Se basa esta decisión en una razón real respaldada por las pruebas y las facultades existentes?

Artículo 11 en términos simples

Un sistema puede decirle: «No reúne los requisitos», sin explicar por qué. Puede decir «su puntuación es 0,63» sin mostrar qué la redujo. Puede decir «flujo de caja» cuando en realidad se activó un veto por un registro de deuda erróneo. Puede decir «su impugnación ha sido examinada» cuando el mismo modelo repitió los mismos datos incorrectos. Puede invocar «secreto comercial» y dejarle sin saber qué registro debe corregir. Unas razones adecuadas deben poder indicar:

• ¿Qué sistema tomó la decisión?
• ¿Una persona vio el expediente?
• ¿Qué datos se utilizaron?
• ¿De dónde procedían?
• ¿Eran hechos o predicciones?
• ¿Qué regla y umbral se activaron?
• ¿Cuál fue la razón real decisiva?
• ¿Qué información faltaba?
• ¿Qué pruebas contrarias existían?
• ¿Qué corrección podría cambiar el recorrido de la decisión?
• ¿El resultado está garantizado o solo se abrirá una revisión?
• ¿Quién tiene facultades para modificar la decisión?

Una persona no está pidiendo ver toda la mente del modelo.

Quiere conocer la razón honesta de una decisión que cambia su vida.

ARTÍCULO 11 — TEXTO CONSTITUCIONAL BREVE

Toda persona tiene derecho a conocer las razones reales e impugnables de una decisión de inteligencia artificial que produzca consecuencias sobre sus derechos, oportunidades, dinero, salud, empleo, educación, reputación, acceso, precio, contrato u otro interés sustancial.

Una puntuación, un código de razón, una categoría de riesgo general, una declaración de que una decisión fue “requerida por la política” o una afirmación de que “el modelo la evaluó de esta manera” no es, por sí misma, una justificación suficiente.

La razón debe relacionarse con la decisión particular. Debe identificar el sistema y la versión que tomó la decisión, la naturaleza de la participación humana, los datos y fuentes decisivas, la regla, el umbral y las puertas de veto aplicadas, las incertidumbres materiales y el verdadero efecto de la decisión. El hecho, la afirmación de terceros, la transformación de datos, la inferencia del modelo, la predicción, la regla de política, el juicio humano y la decisión final deben distinguirse entre sí. Una predicción no puede presentarse como un hecho, una correlación como una causa, una puntuación como una cualidad humana o una categoría general como un juicio individual. La razón debe ser fiel al verdadero sendero de la decisión. Cuando se haya adoptado una decisión por una razón, la entidad no podrá sustituir una explicación generada posteriormente simplemente porque sea más simple, más aceptable o haga que la entidad parezca más justificada.

Las explicaciones aproximadas, ilustrativas o calculadas retrospectivamente deben etiquetarse claramente como tales. No deben presentarse como una vía de decisión causal definitiva.

Una persona debe ser capaz de distinguir los factores que realmente determinaron la decisión de aquellos que simplemente apoyaban o no alteraban el resultado. Un veto duro, una puntuación y una decisión humana no deben confundirse.

Los datos ausentes no pueden tratarse como cero ni como un hecho desfavorable. El sistema debe mostrar su cobertura y vigencia, así como el tratamiento de la ausencia dentro de la decisión.

Una persona tiene derecho a conocer y corregir los datos subyacentes a una decisión que es inexacta, obsoleta, incompleta, pertenece a otra persona o ha sido tomada fuera de contexto. La corrección debe utilizarse en la nueva decisión; la decisión no debe repetirse a partir de un caché obsoleto o un registro de sombra. Una explicación contrafactual debe identificar el cambio realista y relevante que podría alterar la decisión o la ruta a revisar. No debe garantizar el resultado ni exigir a una persona que cambie su identidad, sus derechos fundamentales o una característica inmutable. La justificación material para la misma decisión debe permanecer consistente en todo el sitio web, correo electrónico, teléfono, documentos, idiomas y canales de apoyo humano. Un indicador disputado en un idioma no puede convertirse en una alegación categórica de un delito o deuda en otro.

Una justificación de decisión no necesita revelar cada parte del razonamiento interno privado de un modelo, código fuente, secretos comerciales o umbrales de seguridad. Pero la seguridad y la confidencialidad no pueden justificar el silencio tan amplio que una persona no puede saber qué desafiar o qué ruta para la revisión humana está disponible.

La explicación debe ser inteligible en el lenguaje humano. No debe silenciar a una persona con una masa de variables técnicas, y debe identificar una ruta significativa para la corrección o el desafío.

Una impugnación no consiste en que el mismo modelo vuelva a ejecutar los mismos datos. Ante decisiones controvertidas y de alto impacto debe existir una vía de revisión humana real o independiente que pueda ver los datos actuales y tenga facultades para modificar el resultado. La persona no puede sufrir demoras, peor servicio, una etiqueta de riesgo, pérdida de oportunidades ni represalias por pedir las razones, corregir datos o cuestionar la decisión. Si una razón o un dato erróneo produjo una decisión sustancial de rechazo, precio, salud, contratación, crédito, seguro, educación, acceso o representación pública, no basta con corregir el registro. Deben revisarse las decisiones afectadas y, cuando proceda, revertirse y repararse.

Para cada decisión de alto impacto, las instituciones deben generar un recibo de las razones de la decisión legible por personas y máquinas. Debe conservar la identidad de la decisión, la razón real, la procedencia de los datos, la versión, la incertidumbre, la vía contrafáctica y el estado actual de la impugnación.

Una justificación no hace automáticamente que una decisión sea correcta o justa. Sin embargo, expone errores, reglas irrelevantes, defectos de datos y lagunas en la responsabilidad.

La persona no necesita ver todo el proceso interno oculto de la decisión. Pero no puede ser obligada a aceptar sin cuestionarlo un juicio que produce consecuencias en su vida sin saber con qué hechos, reglas y facultades se construyó.

Una persona ahora puede aprender que la entidad a la que se enfrenta es una máquina, qué papel desempeña esa máquina, por qué se tomó una decisión y qué datos pueden ser inexactos o incompletos. Sin embargo, conocer la razón por sí solo no restaura el derecho de la persona. Seda se ha enterado de que la decisión surgió de un registro inexacto de deuda pública. Aun así, la orden que perdió no regresará por sí misma; se necesitan acciones para detener la decisión errónea; la revisión humana debe ser genuina; los datos deben corregirse en todos los sistemas; y debe existir una ruta responsable para reparar el daño.

Leyla puede aprender por qué la máquina tomó su decisión. Pero una explicación no es suficiente si la decisión errónea de salud sigue vigente. Bora puede ver cómo un viejo recuerdo afectó su puntaje de promoción. Pero la corrección es incompleta si la oportunidad perdida nunca se vuelve a abrir. Una persona debe ser capaz no sólo de preguntar, '¿Por qué?' También deben ser capaces de:

Impugnar. Detener la conducta. Salir de la relación. Retirar las facultades. Corregir los datos erróneos. Solicitar una nueva revisión de la decisión. Exigir reparación por el daño causado.

Porque las razones dan voz a la persona. Pero, para que esa voz pueda cambiar el sistema, debe existir una vía real para ejercer derechos. Por ello, la siguiente disposición fundacional es: ARTÍCULO 12 — LA PERSONA PUEDE IMPUGNAR, DETENER, SALIR Y EXIGIR REPARACIÓN