¿Cómo deben informarse variabilidad, incertidumbre, tamaño de muestra…

Respuesta directa

Un sistema probabilístico puede dar respuestas distintas a una pregunta igual o similar en momentos diferentes. Informe del número de repeticiones, condiciones de ejecución, distribución de resultados, tipos de error y casos no cubiertos. El tamaño de muestra no es una cifra fija elegida para marketing; depende de la decisión, la diferencia de error que debe detectarse, la variabilidad esperada y la incertidumbre aceptada. Utilice un intervalo de confianza u otro resumen estadístico solo cuando se cumplan los supuestos del método.

En lenguaje claro

No puede saber si un dado es equilibrado con un solo lanzamiento. Obtener un seis no significa que siempre saldrá seis. Láncelo muchas veces, examine la distribución e indique cuánta incertidumbre queda.

Por qué importa

Una buena captura no demuestra éxito y una mala respuesta no demuestra un fallo constante. Si se ocultan variabilidad e incertidumbre, se extraen grandes conclusiones de muestras pequeñas y las comparaciones resultan engañosas.

No confundir

Una señal de confianza del modelo es una salida del propio modelo; no es un intervalo de confianza del resultado medido.
La incertidumbre de medición se refiere a lo bien que el resultado observado estima la tasa subyacente.
El error muestral puede surgir porque la muestra examinada no representa plenamente la población objetivo.
La variación del sistema es el cambio de las salidas en las mismas condiciones o a lo largo del tiempo.
La incertidumbre probatoria significa que el propio Truth Pack está incompleto o es contradictorio.

Qué hacer

Defina la población objetivo, el umbral de decisión y la diferencia de error que necesita detectar.
Ejecute repeticiones piloto con el mismo protocolo para recopilar tasas iniciales de error y variabilidad.
Justifique el tamaño de muestra según precisión deseada, riesgo, variabilidad y recursos disponibles.
Mantenga fijas o estratifique explícitamente pregunta, idioma, país, modelo, versión, fecha y condiciones de repetición.
Informe recuentos, tasas, distribuciones, valores atípicos y errores críticos, no solo una media.
Cuando los supuestos sean adecuados, informe un intervalo de confianza con método y nivel; si no, limite el resultado a una descripción.
Declare grupos no representados, ejecuciones fallidas y límites de generalización.

Cómo auditarlo

¿Se presentó una salida como comportamiento continuado del sistema?
¿Pueden verse el número de repeticiones y las condiciones de ejecución?
¿Se justificó el tamaño de muestra según finalidad de decisión y variabilidad esperada?
¿Ocultó la media errores críticos o diferencias entre subgrupos?
¿Se calculó el intervalo de confianza con un método adecuado a los datos y supuestos?
¿Se confundieron la confianza del modelo y la confianza de la medición?
¿Se generalizó en exceso a idiomas, países, modelos o momentos no observados?

Límite

NOMOS GEO no prescribe un número mínimo de repeticiones ni un tamaño de muestra único para todo estudio. Los supuestos de independencia, distribución y estabilidad quizá no se cumplan plenamente en sistemas generativos de terceros; reduzca la fuerza de la afirmación estadística y busque revisión metodológica especializada cuando proceda.