Respuesta directa
La «misma entrada» no es solo la misma frase del usuario. El paquete de decisión incluye las versiones del modelo y del sistema, las instrucciones, la selección de información, la copia temporal de los datos, los resultados de las herramientas, la política, la intervención humana, el momento, el país, el idioma, la configuración y, cuando sea posible, el estado de aleatoriedad. Defina primero el tipo de equivalencia exigido: redacción idéntica, mismas afirmaciones relevantes, misma clase o misma acción. Mida la variabilidad con pruebas repetidas y en condiciones cruzadas. Si la diferencia supera el intervalo esperado, abra una investigación de causa raíz.
En lenguaje claro
Cocinar dos veces la misma receta no garantiza que cada bocado tenga la misma forma. Pero si un plato contiene sal y el otro azúcar, no puede descartarlo diciendo que la cocina es variable. Debe comprobar ingredientes, horno, tiempo y versión de la receta.
Por qué importa
Tratar la variación esperada como un error crea alarmas innecesarias; tratar como azar una deriva real de versión o datos oculta diferencias graves en las decisiones. Un paquete de decisión incompleto también debilita la explicación y la impugnación.
No confundir
- El mismo texto no implica la misma selección de información, resultado de herramienta o contexto temporal.
- La equivalencia exacta de salida espera que la respuesta coincida palabra por palabra.
- La equivalencia semántica admite una redacción distinta con el mismo significado relevante.
- La equivalencia de decisión pregunta si se obtiene la misma acción autorizada aunque difiera la salida.
- La repetibilidad se refiere al mismo equipo y condiciones; la reproducibilidad permite también otro equipo o entorno suficientemente equipado.
Qué hacer
- Defina de antemano el objeto que debe reproducirse y el nivel de equivalencia aceptado.
- Conserve el paquete de decisión: modelo, datos, instrucción, selección de información, herramientas, política, personas, momento y entorno.
- Ejecute suficientes repeticiones en las mismas condiciones para medir la distribución normal de salidas y los cambios de decisión.
- Cambie de uno en uno la versión, el idioma, el país y el momento para identificar la condición que afecta al resultado.
- Clasifique la diferencia como variabilidad esperada, entrada ausente, deriva de versión o datos, error de implementación, estado externo o manipulación.
- Active revisión humana y el proceso de incidentes cuando cambie una clase de decisión crítica.
- Permita que un equipo suficientemente independiente pruebe el resultado a partir del paquete registrado e informe de los límites.
Cómo auditarlo
- ¿Está claro el objetivo de reproducción a nivel de redacción, significado, decisión o acción?
- ¿Se conservaron todos los componentes relevantes del paquete real de decisión?
- ¿Se declaró éxito o fracaso a partir de una sola repetición?
- ¿Se investigaron las derivas de modelo, datos, selección de información, herramientas, política y tiempo?
- ¿Quedaron ocultos cambios de decisiones críticas dentro de una puntuación media de similitud?
- ¿Puede una reproducción independiente acceder a las mismas pruebas y reglas de decisión?
- ¿Se dejaron las diferencias sin explicar como UNRESOLVED en lugar de fingir certeza?
Límite
En sistemas cerrados de terceros puede ser imposible conservar por completo el estado del modelo, la configuración del servidor o la aleatoriedad. Pueden surgir diferencias probabilísticas incluso con el mismo paquete de decisión. La falta de reproducción no demuestra por sí sola un error, un ataque o una decisión equivocada.
Recuérdalo en una frase
La misma frase no es el mismo paquete de decisión.
Fuentes de este registro
- S35W3C, *PROV-O: The PROV Ontology*Estándar
- S36W3C, *Trace Context*Estándar
- S37OpenTelemetry, *General Trace Semantic Conventions*Documentación de estándar y proyecto
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*Guía institucional voluntaria orientada a estándares
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Marco institucional voluntario orientado a estándares
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*Manual técnico de una autoridad oficial
- S52NIST CSWP 31, *Proxy Validation and Verification for Critical AI Systems: A Proxy Design Process*Libro blanco técnico de una autoridad oficial