Cuando un sistema de IA se detiene en una emergencia o situación de alto riesgo, ¿cómo deben gestionarse la parada segura, las medidas provisionales, la revisión humana y el reinicio?

En lenguaje claro

Imagine que aparece una luz de advertencia grave en un automóvil. Detenerse es el primer paso correcto. Dejar el coche para siempre en el arcén no es una gestión segura, ni tampoco apagar la luz y seguir conduciendo sin comprobar nada. Encuentre el fallo, ofrezca transporte temporal, verifique la reparación y devuelva el coche a la carretera de forma controlada.

Por qué importa

Un sistema detenido demasiado tarde puede aumentar el daño. Una parada desproporcionada o indefinida puede causar pérdida de servicio, de derechos y rechazo encubierto. Un reinicio sin pruebas puede repetir el mismo incidente.

No confundir

• La parada interrumpe la operación arriesgada; la restricción limita solo funciones o usuarios específicos.
• La cuarentena separa datos, modelo, herramienta o conexión sospechosos de otros componentes.
• La reversión devuelve el sistema a un estado anterior verificado; puede no resolver la causa raíz.
• Reiniciar no es pulsar un botón; es superar barreras de seguridad definidas.
• La retirada permanente es una decisión razonada de ciclo de vida distinta de una parada temporal de emergencia.

Qué hacer

1. Registre el identificador del incidente, el motivo de parada, el momento, el alcance y quien decidió.
2. Detenga solo los componentes necesarios para controlar el riesgo y no amplíe el impacto sin motivos.
3. Cuando sea posible, ofrezca revisión humana, acceso de solo lectura o un servicio alternativo de menor riesgo.
4. Conserve sin cambios registros del incidente, versiones de modelo y datos, instrucciones, salidas y trazas de herramientas.
5. Documente causa raíz, responsable de subsanación, plazo y condiciones de reinicio.
6. Para retornos de alto riesgo, obtenga aprobación de una persona autorizada distinta de quien realizó el cambio.
7. Restaure el servicio por fases con supervisión en producción, plan de reversión y umbral para detener de nuevo.

Cómo auditarlo

• ¿Estaba justificada la parada por un riesgo y alcance concretos?
• ¿Se consideraron una alternativa segura y la continuidad del servicio?
• ¿Se conservaron con integridad las pruebas del incidente?
• ¿Se distinguió la causa raíz del síntoma visible?
• ¿Eran comprobables y estaban definidos de antemano los criterios de reinicio?
• ¿Existen la aprobación humana requerida, la separación de funciones y la vía de impugnación?
• ¿Se verificaron el resultado en producción y la preparación para revertir durante el retorno por fases?