¿Deben reevaluarse decisiones anteriores cuando cambia la versión del modelo, los datos, la instrucción, la política o la herramienta de un sistema de IA?

En lenguaje claro

Cuando se corrige el software de una báscula, quizá no sea necesario volver a pesar todas las cajas del año pasado. Pero si se descubre que la báscula anterior pesaba sistemáticamente de menos en un intervalo concreto, debe volver a comprobar decisiones importantes que dependieron de esas mediciones.

Por qué importa

Repetir a ciegas todas las decisiones pasadas crea un coste desproporcionado; no reabrir ninguna permite que un error conocido siga afectando a personas y sistemas.

No confundir

• Un cambio de versión es un evento técnico; el impacto relevante requiere pruebas aparte.
• Una corrección realizada hoy no modifica por sí sola una decisión pasada.
• La exactitud histórica se evalúa según la información y las reglas del momento; la vigencia actual, según el estado presente.
• El análisis retrospectivo de impacto identifica la población en riesgo; una nueva determinación vuelve a decidir un caso individual.
• Efecto continuado significa que una decisión anterior sigue produciendo consecuencias hoy para una persona o un sistema.

Qué hacer

1. Compare campo por campo el modelo, los datos, la instrucción, la política, la herramienta y la configuración modificados con la versión anterior.
2. Registre en un paquete de cambio el propósito, motivo, responsable, fecha e impacto esperado sobre decisiones.
3. Identifique tipos de decisión, intervalos de fechas, grupos de personas, entidades y resultados posteriores afectados.
4. Compare las versiones antigua y nueva en casos representativos utilizando el mismo paquete de decisión.
5. Abra una revisión dirigida cuando exista un error crítico, una persona equivocada, un daño continuado o una exigencia jurídica.
6. Corrija las decisiones reevaluadas y propague el resultado a todos los sistemas afectados.
7. Documente con motivos el alcance considerado no afectado, sus excepciones y la incertidumbre restante.

Cómo auditarlo

• ¿Se registraron todos los componentes y versiones modificados?
• ¿Se trató el cambio como irrelevante sin probar su efecto?
• ¿Se identificaron las fechas, decisiones, personas y sistemas posteriores afectados?
• ¿Se compararon las versiones antigua y nueva en las mismas condiciones?
• ¿Se reevaluaron decisiones críticas con efectos continuados?
• ¿Sobrescribió silenciosamente la nueva versión los registros históricos?
• ¿Existen pruebas del resultado corregido en producción y de su propagación?