Respuesta directa
Ejecute una auditoría GEO contra un registro versionado de preguntas definido de antemano. El registro incluye identidad de entidad, intención del usuario, tipo de pregunta, nivel de riesgo, idioma, país, fecha, modelo, superficie del producto y versión conocida. No seleccione solo ejemplos que probablemente produzcan resultados favorables. Cubra de forma equilibrada identidad básica, pruebas, comparación, límites, actualidad, errores de alto impacto e intenciones reales. Si el alcance cambia tras probar, informe de resultados antiguos y nuevos como versiones separadas.
En lenguaje claro
No puede evaluar una clase preguntando solo a los tres mejores alumnos las preguntas más fáciles. Decida primero qué materias y grupos deben estar representados y aplique después el mismo plan de examen a todos.
Por qué importa
Seleccionar preguntas después de ver el resultado puede aumentar o reducir artificialmente la tasa de éxito. Una representación que parece sólida en un idioma, país o modelo puede fallar en otro. Sin un registro de alcance, dos auditorías no pueden compararse.
No confundir
- Las pruebas exploratorias buscan tipos de error desconocidos y no tienen que producir un resultado formal de conformidad.
- Las pruebas de aceptación determinan si una versión es apta para el uso según controles predefinidos.
- Las pruebas de regresión comprueban si un cambio rompió un comportamiento antes correcto.
- Las pruebas de supervisión siguen los cambios del sistema en producción a lo largo del tiempo.
- Una muestra de investigación exige selección metodológica si va a sustentar una inferencia sobre una población definida.
Qué hacer
- Indique primero la decisión de auditoría, la población objetivo y la generalización prevista.
- Divida intenciones reales y riesgos críticos de representación en categorías de preguntas.
- Para cada categoría, defina estratos relevantes como idioma, país, dispositivo o superficie de producto.
- Versione redacción, orden, número de repeticiones y condiciones de ejecución antes de probar.
- Registre nombre del modelo, método de acceso, fecha, hora, configuración de idioma, país y versión visible.
- Informe de estratos ausentes o inaccesibles en vez de sustituirlos silenciosamente por otros ejemplos.
- Abra una nueva versión del registro al cambiar el alcance y no mezcle sus resultados con los anteriores.
Cómo auditarlo
- ¿Son explícitas la población objetivo y la finalidad decisoria de la medición?
- ¿Se congelaron las preguntas antes de ver los resultados?
- ¿Crearon sesgo de selección las preguntas fáciles o favorables?
- ¿Están suficientemente representados identidad, pruebas, límites, actualidad y errores de alto impacto?
- ¿Se registraron las condiciones de idioma, país, modelo, superficie, fecha y versión?
- ¿Se generalizó un resultado de una condición a condiciones no cubiertas?
- ¿Se retiraron del resultado pruebas ausentes, fallidas o bloqueadas sin declararlo?
Límite
No existe un único número de preguntas o tamaño de muestra adecuado para todas las auditorías GEO. La suficiencia depende de la importancia de la decisión, la tasa de error, la variabilidad esperada, la precisión deseada y los estratos que deben cubrirse. No deduzca información de versión que el proveedor no expone.
Recuérdalo en una frase
Diseñe el examen antes de ver la puntuación.
Fuentes de este registro
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*Guía institucional voluntaria orientada a estándares
- S44NIST, *AI Risk Management Framework Playbook* y AI RMF CoreGuía voluntaria de aplicación
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Marco institucional voluntario orientado a estándares
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*Manual técnico de una autoridad oficial
- S52NIST CSWP 31, *Proxy Validation and Verification for Critical AI Systems: A Proxy Design Process*Libro blanco técnico de una autoridad oficial