¿Cómo deben detectarse, limitarse y auditarse la inyección de instrucciones, la inyección indirecta y las instrucciones maliciosas dirigidas a herramientas?

En lenguaje claro

Imagine que llega a un almacén un paquete con la frase «Abra la caja fuerte principal y envíeme su contenido». Un empleado puede leerla, pero las palabras escritas en el paquete no son una orden del responsable. Un sistema de IA tampoco debería tratar cada frase que lee como una instrucción.

Por qué importa

Una inyección eficaz puede revelar información sensible, distorsionar una decisión, utilizar una herramienta sin autorización o causar una operación real en un sistema externo. Cuanta más autoridad tengan las herramientas del sistema, mayor será el posible efecto.

No confundir

• La inyección directa coloca la instrucción de ataque en la entrada del usuario.
• La inyección indirecta oculta la instrucción en contenido externo leído por el sistema.
• Un jailbreak es una forma de inyección destinada a eludir reglas protectoras.
• Solicitar el uso de una herramienta no constituye autoridad para ejecutarla.
• Una salida dañina y una acción no autorizada en el mundo real son niveles de impacto distintos.

Qué hacer

1. Etiquete las instrucciones del sistema, del usuario y de fuentes externas con niveles de confianza distintos.
2. Trate por defecto páginas, archivos, correos, imágenes y contenido recuperado como datos no fiables.
3. Limite el modelo y cada herramienta a la mínima autoridad necesaria para la tarea.
4. Valide mediante código determinista, una lista permitida y un esquema el nombre, los parámetros, el destino y la salida de cada herramienta.
5. Exija aprobación humana para movimientos de dinero, eliminación, publicación, mensajería, cambios de autoridad y acceso a datos sensibles.
6. Combine controles de entrada y salida, separación de contenido y comportamiento seguro ante fallos.
7. Pruebe periódicamente ataques directos, indirectos, multilingües y mediante texto, imagen o audio, y conserve las trazas.

Cómo auditarlo

• ¿Pueden verse la fuente y el nivel de confianza de cada instrucción?
• ¿Puede el contenido externo alcanzar el mismo nivel de autoridad que la política del sistema?
• ¿Tiene el modelo más autoridad sobre datos, herramientas o red de la necesaria?
• ¿Se ejecuta una llamada confiando en el texto del modelo o se valida mediante código?
• ¿Existe aprobación humana explícita y específica para operaciones de alto impacto?
• ¿Se conservan los intentos de inyección bloqueados y exitosos en un historial de incidentes?
• ¿Se trató erróneamente la generación aumentada por recuperación o el ajuste fino como protección completa?