La representación es una distribución

Límite de Capítulo

La Sección 1 estableció la siguiente disposición:

Una única respuesta no es la puntuación GEO. Una única respuesta es una observación singular que ocurrió bajo condiciones registradas.

Esta sección responde a la siguiente pregunta:

Si una sola respuesta no es la puntuación GEO, ¿cuál es el objeto real que queremos medir?

La respuesta es:

La representación de una entidad en sistemas generativos es una distribución multidimensional formada a través de productos de IA, usuarios, países, idiomas, condiciones de sesión, prompts y tiempos.

Este capítulo:

• la distribución de representación,
• las dimensiones fundamentales de la distribución,
• la diferencia entre la media y la distribución,
• la desigualdad del subgrupo,
• la estabilidad,
• el problema de cobertura y observaciones faltantes,
• el riesgo de errores graves raros,
• la estructura conceptual de la tarjeta de resultados disponible públicamente

define. Este capítulo aún no:

• cuántos participantes serán asignados a cada país,
• cómo se establecerá el marco de muestreo,
• cómo se validarán las traducciones de los prompts,
• cómo se calificarán las afirmaciones atómicas,
• la fórmula exacta de la puntuación final NOMOS,
• umbrales de conformidad

Este capítulo no resuelve estas cuestiones de manera normativa; capítulos posteriores las abordan por separado. Antes de definir la fórmula de calificación, el Capítulo 2 define la realidad que la puntuación pretende representar.

NOMOS Desafío

Considere dos productos de IA. Cada uno recibe la misma puntuación promedio global:

90 / 100

Los resultados lingüísticos del primer producto son los siguientes:

• Inglés: 90
• Turco: 91
• Alemán: 89
• Japonés: 90
• Árabe: 90

Los resultados lingüísticos del segundo producto son los siguientes:

• Inglés: 99
• Turco: 98
• Alemán: 97
• Japonés: 86
• Árabe: 70

El promedio simple de ambos productos es 90. ¿Tienen la misma calidad GEO? No. El primer producto produce una representación similar en diferentes idiomas. El segundo producto produce una representación excelente en algunos idiomas, pero una representación seriamente débil en otro idioma. Un único promedio oculta esta diferencia. Ahora considere otros dos productos. 95% de las respuestas de ambos cumplen con los criterios de aprobación. El restante 5% en el primer producto consiste en:

• deficiencias de alcance pequeño,
• carencias en la explicación limitada,
• algunos DESCONOCIDOS

resultados. El restante 5% en el segundo producto consiste en:

• autoridad sanitaria incorrecta,
• licencia inexistente,
• identidad legal incorrecta,
• consejo inapropiado

existe. La tasa de precisión bruta para ambos es nuevamente 95 por ciento. ¿Tienen el mismo riesgo de representación? No. Ahora considere un tercer par. El promedio de ambos a lo largo de las tres oleadas de medición es 90. El primero:

• Ola 1: 90
• Ola 2: 91
• Ola 3: 89

El segundo:

• Ola 1: 98
• Ola 2: 90
• Ola 3: 82

¿Tienen la misma consistencia a lo largo del tiempo? No. En ese caso, el problema no es solo: '¿Cuál es el promedio?' También necesitamos saber lo siguiente: ¿Cómo se distribuyen los resultados? ¿Quién está bien representado, quién está mal representado? ¿Qué idiomas y países se están quedando atrás? ¿Qué tan graves son los errores? ¿Cuánto cambia el resultado con el tiempo? ¿Qué áreas nunca fueron medidas? ¿Con qué pesos se creó el promedio? ¿Cuántas realidades diferentes se esconden detrás del mismo promedio? La primera conclusión de esta sección es:

El mismo promedio no es la misma representación.

Su segunda disposición establece:

una puntuación GEO puede ser un resumen de la distribución; no puede reemplazar la distribución.

1. OBJETIVO DEL CAPÍTULO

Esta sección define cómo debe entenderse la representación de entidades en sistemas generativos antes de ser reducida a un solo número. Sus principales objetivos son:

• Mostrar que la representación no es una "perspectiva de IA" única y atemporal
• Definir las condiciones de las cuales depende el resultado de la representación
• Explicar que el binario verdadero-falso por sí solo es insuficiente
• Separar la precisión promedio de la desigualdad entre subgrupos
• Hacer visible el alto riesgo de error oculto dentro de promedios altos
• Mostrar que estabilidad y precisión no son el mismo concepto
• Evitar que las áreas no medidas se llenen de suposiciones positivas dentro de la distribución
• Preparar la estructura de un futuro puntuación NOMOS que sea singular pero no condenado a ser singular

Al final de esta sección, el lector debería ser capaz de responder la siguiente pregunta:

¿Por qué el resultado del GEO de una entidad no se limita solo a la tasa promedio de precisión?

2. DISPOSICIÓN NORMATIVA CENTRAL

La representación de una entidad en sistemas generativos es la distribución condicional de diferentes respuestas y resultados de representación que pueden ocurrir bajo condiciones definidas.

Esta distribución:

• no es el 'pensamiento' abstracto de un solo modelo,
• no es la visión común de todos los sistemas de inteligencia artificial,
• no es solo la tasa de repetición del sitio web,
• no es solo la frecuencia con la que se menciona el nombre de la marca,
• no es solo la precisión promedio,

no es solo la tasa de recomendación. La distribución de representación, dentro de un cierto protocolo, muestra lo siguiente:

Qué usuarios ven qué tipo de representación en qué producto de IA y interfaz de usuario, en qué idioma, en qué país, con qué instrucción, bajo qué condición de sesión y a qué hora.

Por lo tanto, el resultado de una distribución siempre depende de las siguientes preguntas: ¿Qué entidad? ¿Qué producto de IA? ¿Qué interfaz de usuario? ¿Cuál es la población objetivo? ¿En qué país? ¿Qué idioma y configuración regional? ¿Qué instrucción? ¿Qué condición de sesión? ¿Qué ola de medición? ¿Qué Paquete de Verdad? ¿Qué regla de evaluación? Cuando cualquiera de estos campos cambia, la distribución también puede cambiar.

3. ¿QUÉ SIGNIFICA LA PALABRA "DISTRIBUCIÓN"?

En este libro, la palabra distribución no se refiere a una visión oculta o metafísica que se asume que existe dentro de un sistema de inteligencia artificial. No afirma: NOMOS: "Esta es la verdadera distribución de la empresa en la mente del modelo." La distribución aquí es operativa y observable.

Es el patrón de diferentes resultados de representación que se pueden obtener bajo un protocolo definido dentro de la población objetivo y las condiciones de medición.

Deben distinguirse dos distribuciones.

3.1. Distribución de Representación Objetivo

Es la distribución que la medición intenta predecir pero que no puede observar directamente en su totalidad. Se representa como:

P_E(Y | A, C, L, S, P, T, U)

Aquí:

• E: entidad auditada
• Y: resultado de la representación
• A: Producto de IA y interfaz de usuario
• C: país o condición geográfica
• L: idioma y localidad
• S: condición de sesión y personalización
• P: prompt (prompt)
• T: tiempo o ola de medición
• U: universo de usuarios objetivo

Esta expresión pregunta: “En el universo de usuarios objetivo definido, bajo las condiciones especificadas, ¿qué resultados de la representación ocurren con qué probabilidades?” No todos los elementos de la distribución objetivo pueden ser medidos. Se estiman mediante muestreo.

3.2. Distribución Empírica Observada

Es la distribución de observaciones válidas obtenidas en la medición real o sintética. Su representación:

P̂_E

puede ser usado. La distribución empírica no es la distribución objetivo en sí misma. Es una estimación producida a través de su muestra, ponderación y diseño de medición. La magnitud de la diferencia puede depender de:

• Diseño de la muestra
• Selección de participantes
• Cobertura de país e idioma
• Tasa de observación inválida
• No respuesta
• Error del adjudicador
• Ola de medición
• Selección de instrucciones
• Condiciones del producto e interfaz
• Ponderación
• Agrupamiento y dependencia

Por lo tanto, una distribución empírica no puede ser publicada como "la verdad absoluta e inmutable de la inteligencia artificial." La expresión correcta debería ser: "La estimación obtenida para la población objetivo especificada y las condiciones de medición."

4. ESPACIO DE REPRESENTACIÓN

La representación de una entidad no ocurre en una sola dimensión. Cada observación existe en un espacio de condiciones multidimensional. La representación básica:

X_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i)

Aquí:

• Ei: entidad
• IA: Producto de IA y interfaz de usuario
• Ui: usuario o unidad de muestreo
• Ci: país y capa geográfica
• Li: idioma y configuración regional
• Si: sesión, plan y condición de personalización
• Pi: prompt o familia de prompts
• Ti: tiempo y ola de medición

Respuesta generada:

R_i

puede mostrarse. El estado representativo resultante de la evaluación de la respuesta es:

Y_i= g(R_i, V_E, J)

y puede considerarse como. Aquí:

• VE: Pack de Veracidad verificado usado para la entidad
• J: reglas de evaluación y adjudicación
• g: proceso de evaluación que convierte la respuesta en resultados representativos

El significado de esta representación es el siguiente: La misma respuesta no puede evaluarse por sí sola sin indicar qué entidad, qué Paquete de Verdad y qué regla de evaluación se utilizó para examinarla.

5. EL RESULTADO REPRESENTATIVO NO ES UN VALOR ÚNICO

Solo la totalidad de una respuesta:

• puede ser forzada a las categorías de verdadero,
• es incorrecta

Dar una etiqueta suele ser insuficiente. Las siguientes situaciones pueden ocurrir juntas en la misma respuesta:

• Identidad correcta
• Categoría principal correcta
• Cobertura de servicio incompleta
• Número de empleados desactualizado
• Afirmación de liderazgo no respaldada
• Cita correcta
• Recomendación inapropiada
• Deficiencia de límite no crítica

Por lo tanto, el resultado de la representación puede considerarse como un vector de resultados. Representación candidata:

Y_i= (y_i^id, y_i^cat, y_i^fact, y_i^scope, y_i^time, y_i^evidence, y_i^recommendation, y_i^harm)

Aquí:

• yiid: precisión de la identidad
• yicat: precisión de categoría y rol
• yifact: precisión de hechos
• yiscope: conservación del alcance y los límites
• yitime: validez temporal
• yievidence: consistencia entre afirmación y evidencia
• yirecommendation: recomendación y adecuación para el usuario
• yiharm: clase de daño del error o desinformación

Las reglas exactas de puntuación para estos campos se definirán en secciones posteriores. El principio guía aquí es:

Una respuesta representativa debe evaluarse no solo en función de si contiene información correcta, sino también sobre quién, qué, dentro de qué límites, con qué evidencia y para quién se transmite adecuadamente.

6. ESTADOS BÁSICOS DE REPRESENTACIÓN

El estado de cada afirmación atómica y la respuesta final pueden no ser los mismos. Esta sección separa conceptualmente los siguientes estados básicos.

6.1. RESPALDADO

La afirmación está respaldada por evidencia suficiente dentro del alcance y tiempo definidos.

6.2. CONTRADICTORIO

La afirmación entra en conflicto con registros fiables y relevantes.

6.3. NO RESPALDADO

No hay suficiente apoyo para la afirmación. No se ha demostrado que la afirmación sea necesariamente falsa. Sin embargo, no hay suficientes registros para que se acepte como verdadera.

6.4. DESACTUALIZADO — YA NO ACTUAL

La afirmación puede haber sido cierta en el pasado. A la fecha de medición, ya no es válida o no se puede verificar su exactitud actual.

6.5. PARCIALMENTE RESPALDADO — PARCIALMENTE RESPALDADO

Solo se respalda un alcance, población, país, producto o tiempo específico de la afirmación. La respuesta puede haber excedido el límite de respaldo.

6.6. FUERA DE ALCANCE — FUERA DE ALCANCE

La afirmación no está relacionada con la entidad auditada o el Truth Pack. Puede provenir de otra entidad, producto, país o servicio.

6.7. CONFUSIÓN DE ENTIDADES — FUSIÓN DE ENTIDADES

Sistema:

• dos empresas diferentes,
• la marca y la entidad legal,
• una persona y la institución,
• entidad antigua y nueva,
• ha confundido organizaciones diferentes con el mismo nombre

entre sí. Este error no es meramente un error factual. Es la corrupción del objeto de representación.

6.8. OMISIÓN MATERIAL — INFORMACIÓN FALTANTE

Las oraciones en la respuesta pueden ser correctas. Sin embargo, se ha omitido información esencial que podría cambiar la decisión del usuario. Ejemplo: El servicio se ofrece solo en ciertos países. La licencia está limitada a una jurisdicción específica. El precio no incluye impuestos. El resultado se basa en datos de primera mano. El producto no es adecuado para ciertos usuarios. La omisión puede crear una inferencia incorrecta incluso si no hay una oración directamente incorrecta.

6.9. RECHAZO — NEGACIÓN

El sistema se ha negado a responder. Rechazo:

• apropiado,
• innecesario,
• inconsistente,
• basado en seguridad,
• técnico

puede ocurrir. Ret no se considera automáticamente fallido o exitoso. Se clasifica por separado.

6.10. SIN RESULTADO

El sistema no produjo una respuesta utilizable debido a razones técnicas u operativas. No es lo mismo que Ret.

6.11. DESCONOCIDO

Los registros disponibles no son suficientes para una clasificación confiable. DESCONOCIDO no puede convertirse en un resultado positivo.

7. CARACTERÍSTICAS PRINCIPALES DE LA DISTRIBUCIÓN

Una distribución de representación no puede explicarse únicamente por la media. Como mínimo, se deben evaluar las siguientes características.

7.1. Tendencia Central

Resume la precisión general o el nivel de transición de las respuestas. Medidas de ejemplo:

• Media
• Media ponderada
• Mediana
• tasa de aprobación

La tendencia central es importante. Sin embargo, solo muestra el centro de la distribución.

7.2. Dispersión y Variabilidad

Indica cuánto se distribuyen los resultados por el centro. De dos sistemas con la misma media, uno puede ser consistente entre usuarios, mientras que el otro puede ser muy variable. Variabilidad:

• usuarios,
• países,
• idiomas,
• sesiones,
• Ondas de medición

También pueden examinarse entre ellos.

7.3. Forma de la distribución

¿Están los resultados agrupados en torno a un único punto central? ¿O están divididos en dos o más grupos? Por ejemplo:

• Si la mitad de los usuarios ve con mucha precisión,
• y la mitad de la mitad muy inexacta

Respuestas, la media puede ser media. Sin embargo, la experiencia típica del usuario no es de "precisión media". Son dos experiencias polarizadas separadas.

7.4. Diferencias en subgrupos

¿Determinados idiomas, países o grupos de usuarios ven resultados diferentes de forma sistemática? La media global puede ocultar esta diferencia.

7.5. Riesgo de cola

¿Existen errores poco frecuentes pero graves? Los eventos raros pueden tener un efecto pequeño en el promedio. Su impacto en el daño a los humanos puede ser significativo.

7.6. Cobertura

¿Cuánto del universo de usuarios objetivo ha sido realmente medido? Se puede encontrar una puntuación alta junto con baja cobertura.

7.7. Masa Desconocida y Faltante

¿Qué proporción de las respuestas son:

DESCONOCIDO,

NO PROBADAS,

rechazo, no respuesta técnica o un registro inválido?

7.8. Estabilidad en el tiempo

¿En qué medida se preserva la distribución a través de diferentes olas de medición?

8. FIRMA DE DISTRIBUCIÓN REPRESENTATIVA DEL CANDIDATO NOMOS

CONCEPTO DE CANDIDATO

Se recomienda que el resultado de un GEO se defina primero por la siguiente firma de distribución en lugar de un solo número:

RDS(E) = (μ, κ, σ, Δ, τ, ρ, u)

Esta representación se llama Firma de Distribución de Representación, es decir:

Firma de Distribución de Representación

Componentes:

μ — Nivel General de Representación

Precisión general o predicción de transición bajo pesos y alcance definidos.

κ — Cobertura

El grado en que el usuario objetivo, el país, el idioma, el producto de IA y el universo temporal están suficientemente medidos.

σ — Variabilidad

Dispersión entre los usuarios y las células experimentales.

Δ — Desigualdad entre Subgrupos

La diferencia material entre idioma, país, producto u otros grupos significativos.

τ — Riesgo de Error Crítico y Extremo

La tasa y naturaleza de errores graves raros.

ρ — Estabilidad Temporal

La resiliencia de la distribución a través de las olas.

u — Masa Desconocida e No Resuelta

DESCONOCIDO es la proporción de la distribución que permanece no resuelta o insuficientemente evaluada. Esta firma aún no es una fórmula de puntuación final. Los siguientes elementos requieren un mayor desarrollo:

• definición definitiva,
• estimación,
• peso,
• presentación pública

Se finalizarán a través de estudios piloto y capítulos posteriores. El principio fundamental es:

El resultado GEO debería responder no solo a la pregunta '¿qué tan preciso?' sino también '¿para quién, qué tan consistente, qué tan equitativo, qué tan completo y qué tan riesgoso?'

9. LAVADO PROMEDIO

Si una institución solo muestra un promedio global alto y oculta los defectos materiales de la distribución, esto se llama:

Lavado promedio

El lavado de promedios puede ocurrir de las siguientes maneras:

• Ocultando el idioma más débil
• Excluyendo a los países pequeños del informe
• Mezclando errores críticos en la tasa general de errores
• Eliminar los resultados DESCONOCIDOS del denominador
• Incluyendo solo productos de IA con buen desempeño
• Excluyendo la oleada de medición débil
• Haciendo que la población fuera del alcance sea invisible
• Cambiando los pesos después de ver los resultados

El promedio puede calcularse matemáticamente de manera correcta. Sin embargo, la representación que ofrece al público aún puede ser engañosa. Por lo tanto:

Un cálculo matemáticamente correcto de un promedio no significa que sea suficiente para la toma de decisiones.

10. DIFERENTES REALIDADES DEL MISMO PROMEDIO

El promedio podría ser 90 en todas las siguientes distribuciones sintéticas.

10.1. Distribución Homogénea

Todos los subgrupos principales se encuentran en el rango de 88–92. Esta distribución es relativamente equilibrada.

10.2. Distribución Polarizada

La mitad de los usuarios ve resultados cercanos a 100, mientras que la otra mitad ve resultados cercanos a 80. El promedio es 90. Sin embargo, la experiencia del usuario no es igual.

10.3. Distribución Lingüísticamente Fragmentada

Los resultados son muy buenos para idiomas con alta población o altos recursos, pero significativamente débiles para idiomas con pocos recursos. El promedio global puede parecer bueno. La equidad lingüística es débil.

10.4. Distribución Fragmentada por País

Incluso dentro del mismo idioma, los resultados pueden variar debido a diferentes países, configuraciones regionales, acceso al producto o base de usuarios.

10.5. Distribución Temporalmente Volátil

Resultados muy altos ocurren en una ola, resultados muy bajos en otra ola. Incluso si el promedio es alto, es difícil establecer expectativas confiables para los usuarios.

10.6. Distribución con Riesgo de Cola

La mayoría de las respuestas son correctas. Sin embargo, una pequeña porción contiene errores graves de salud, legales, de licencias o de seguridad.

10.7. Alta Distribución de Masa Desconocida

La mayoría de las respuestas evaluables son correctas. Sin embargo, una porción significativa de la población objetivo o de las respuestas es:

• probada,
• no probada,

DESCONOCIDO

o inconclusa. Publicar una alta tasa basada únicamente en las respuestas evaluables puede ocultar el alcance.

11. DESIGUALDAD ENTRE SUBGRUPOS

Una puntuación global puede no representar la experiencia en subgrupos. Los subgrupos clave pueden incluir:

• Producto de IA y interfaz de usuario
• País
• Idioma
• Localización
• Plan
• Web o móvil
• Panel controlado o natural
• Onda temporal
• Intención del usuario
• Familia de dispositivos

No todos estos grupos pueden tener la misma importancia en cada auditoría. Los grupos materiales deben determinarse cuando el alcance esté definido.

11.1. El lenguaje no es lo mismo que el país

Hablante de turco:

• Usuario en Turquía,
• Usuario en Alemania,
• Usuario en otro país

Pueden usar el mismo idioma. Sin embargo:

• acceso al producto,
• precio,
• recursos,
• interfaz local,
• contexto legal,
• personalización

pueden ser diferentes. Por lo tanto, todas las diferencias no pueden explicarse únicamente por el idioma o el país.

11.2. Células Interseccionales

Algunas diferencias materiales solo se vuelven visibles cuando se examinan varias áreas juntas. Ejemplo: Alemania × Turco × Móvil × Plan gratuito × Panel de usuarios en condiciones reales podría ser en sí misma una celda experimental. Sin embargo, a medida que las celdas se multiplican, el tamaño de la muestra disminuye. Por lo tanto, no se puede publicar una puntuación definitiva para cada celda pequeña. Diseño de medición: debe preservar subgrupos significativos y no debe producir una precisión estadística falsa.

11.3. Base de Subgrupo

CONCEPTO DE CANDIDATO

Además del promedio global, se recomienda informar el resultado del subgrupo más débil adecuadamente muestreado o del grupo inferior 10% por separado. Esto puede denominarse:

Base de representación

o:

Idioma/País Piso

Sin embargo, si la "puntuación más baja" proviene de una célula pequeña e inestable, puede producir resultados incorrectos. Por lo tanto, la métrica base debe definirse junto con:

• muestra mínima,
• intervalo de confianza
• calidad de la célula

La regla exacta se determinará en las secciones siguientes.

12. ES PARTE DE LA DISTRIBUCIÓN DEL ALCANCE

Una distribución no consiste únicamente en respuestas observadas. Lo que nunca se observó también determina el significado del resultado. Por ejemplo, se probaron inglés y turco; japonés y árabe no. Se probó la interfaz web; la interfaz móvil y el plan de pago no. Los resultados sólidos en inglés y turco no justifican la afirmación: 'La representación es sólida en todos los idiomas y interfaces de usuario'. La conclusión defendible es: 'Se realizaron mediciones en las interfaces web especificadas en inglés y turco. Otros idiomas y interfaces móviles no fueron probados.'

12.1. Mapa de cobertura

Cada distribución GEO debería incluir el siguiente mapa en la medida en que sea relevante:

• Universo objetivo
• Marco muestral
• Países cubiertos
• Países no cubiertos
• Idiomas cubiertos
• Idiomas no cubiertos
• Productos de IA monitoreados
• Productos no monitoreados
• Interfaces de usuario monitoreadas
• Interfaces no monitoreadas
• Olas de medición
• Familias de prompts fuera de alcance

12.2. Tasa de cobertura

CONCEPTO DE CANDIDATO

Se puede desarrollar una métrica de cobertura para mostrar qué proporción del universo objetivo está representada con suficiente medición. Sin embargo, la cobertura:

• solo el número de países,
• solo el número de idiomas,
• solo la proporción de la población

no se puede medir. Por ejemplo, 150 países pueden estar cubiertos. Sin embargo, 95% de los participantes pueden haber venido de solo cinco países. O 90% de la población puede estar cubierta, pero los idiomas pequeños pueden estar completamente excluidos. Por lo tanto, la cobertura de la población debe mostrarse por separado de la cobertura de observadores por país/idioma.

13. OBSERVACIÓN FALTANTE Y NO RESPUESTA

Los datos faltantes no son solo un problema técnico. Su distribución puede estar distorsionada sistemáticamente. Las razones por las que falta una observación pueden incluir:

• Fallo del participante al completar la tarea
• Producto no accesible en el país
• Limitaciones de cálculo
• Error técnico
• Rechazo del sistema
• Captura de pantalla inválida
• Cambio del participante en su instrucción
• Producto que no funciona en un idioma específico
• Los jueces no pueden tomar decisiones confiables

Cada una de estas razones requiere un estatus separado.

13.1. Los datos faltantes pueden no ser aleatorios

Por ejemplo, si no se pueden completar más tareas en países con baja calidad de conexión, usar solo grabaciones exitosas puede sesgar el resultado global a favor de usuarios con recursos y conexiones fuertes. Si la tasa de DESCONOCIDO aumenta porque las respuestas en un idioma específico son difíciles de evaluar, la puntuación calculada solo a partir de respuestas conocidas puede ocultar la desigualdad lingüística. Por lo tanto:

La tasa de datos faltantes y el informe de distribución de la razón de los datos faltantes deberían formar parte del informe.

13.2. Denominador — Integridad del Denominador

Un informe debe responder claramente a la pregunta: "90 por ciento de exactamente qué es 90 por ciento?" Posibles denominadores:

• Participantes asignados
• Iniciadores de tareas
• Completadores de tareas
• Registros conformes al protocolo
• Resultados válidos del sistema
• Respuestas con decisiones del adjudicador
• Celda de idioma o país específico

El denominador no debe cambiarse después de ver el resultado. Por ejemplo:

• Tareas asignadas a 1,000,
• Tareas completadas por 900,
• Tareas válidas de 800,
• Tareas aprobadas de 720

Así:

720/800=90%

Esta es la tasa de aprobación entre los registros válidos. La tasa de aprobación observada en toda la muestra asignada es en cambio:

720/1000=72%

Responde a una pregunta diferente. Se pueden utilizar ambas tasas. No se pueden presentar en el mismo sentido.

14. EXACTITUD Y CONSISTENCIA NO SON LO MISMO

Una distribución puede tener alta precisión. Sin embargo, puede ser inconsistente a lo largo del tiempo o entre usuarios. Otra distribución puede tener baja precisión. Sin embargo, puede estar consistentemente equivocada. Por lo tanto, se deben distinguir cuatro situaciones.

Ser “consistente” no es automáticamente positivo. El sistema puede ser bastante consistente si da el mismo error a cada usuario.

14.1. Consistencia entre usuarios

¿Ven los diferentes usuarios una representación material similar en la misma celda?

14.2. Consistencia entre sesiones

¿El mismo usuario o un usuario equivalente ve resultados similares en nuevas sesiones?

14.3. Consistencia entre olas

¿Produce el mismo protocolo una distribución similar en diferentes días o periodos?

14.4. Consistencia después de la actualización del producto

Cuando hay un cambio material en el producto de IA, ¿continúa la distribución anterior?

15. PRODUCIR LA MISMA ORACIÓN NO ES ESTABILIDAD

Estabilidad: No significa "dar la misma respuesta exacta a cada usuario palabra por palabra". Un producto de IA puede usar diferentes expresiones, orden y ejemplos. Siempre que preserven el significado material, pueden ser variaciones aceptables. La distinción importante es:

Variabilidad formal

Elección de palabras Orden de la oración Longitud Tono Ejemplo Uso de lista o párrafo Si se preserva la verdad material, puede no ser un error.

Variabilidad semántica

Cambio de identidad de la empresa Diferenciación de la categoría principal Expansión o contracción del campo de actividad Cambio de licencia o competencia Cambio de precio y geografía Recomendar a un usuario pero no recomendar a un usuario similar sin explicación Si la representación material cambia, puede haber un problema de estabilidad. Por lo tanto, el concepto preferido es:

Estabilidad semántica condicional

Debe ser así. Se espera que la realidad fundamental se conserve bajo condiciones materiales equivalentes. Un cambio en la recomendación debido a diferentes necesidades del usuario puede ser un comportamiento contextual apropiado.

16. SENSIBILIDAD AL CONTEXTO Y VARIABILIDAD ARBITRARIA

No siempre es correcto que un sistema dé la misma recomendación a todos los usuarios. Por ejemplo:

• Usuarios con un presupuesto bajo
• Solo usuarios que buscan servicios en un país específico
• Usuarios que requieren una licencia diferente
• Usuarios que buscan servicios individuales en lugar de corporativos

pueden recibir resultados de conformidad diferentes para la misma entidad. Esta diferencia:

• puede deberse a la condición del usuario,
• al alcance del servicio,
• o al límite real

y puede ser sensible al contexto y precisa. Sin embargo, si el resultado cambia sin motivo bajo condiciones equivalentes del usuario, puede ser una variabilidad arbitraria. Por lo tanto, NOMOS no desea: “La misma respuesta para todos los usuarios.” Quiere:

Una respuesta que sea consistente y explicable bajo condiciones materiales equivalentes y sensible a los límites reales bajo diferentes condiciones.

17. EL TIEMPO ESTÁ DENTRO DE LA DISTRIBUCIÓN DE REPRESENTACIÓN

La distribución de representación no es atemporal. Se puede considerar como PE,t. La distribución de la misma entidad:

• actualización del producto,
• cambio de recurso,
• cambio de empresa,
• evento noticioso,
• nueva versión de idioma,
• cambio de acceso técnico

puede divergir después.

17.1. Cambio Repentino

Después de una actualización de producto o recurso, la distribución cambia rápidamente en un corto periodo de tiempo.

17.2. Cambio Gradual

Debido a nuevos recursos y comportamientos de los usuarios, el resultado cambia lentamente con el tiempo.

17.3. Fluctuación Temporal

Durante un evento específico o periodo noticioso, la distribución difiere temporalmente.

17.4. Cambio Post-Intervención

Después de la intervención GEO, la distribución puede cambiar. Sin embargo, afirmar que el cambio se debe a la intervención también requiere una línea base y un diseño de causalidad.

17.5. Suavizado con Promedio Temporal

Para un producto:

• en la primera ola 98,
• en la segunda ola 90,
• en la tercera ola 82

Si se toma, el promedio es 90. Sin embargo, publicar 90 oculta la tendencia a la baja. Por lo tanto:

El promedio temporal no puede reemplazar los resultados de la ola.

18. RIESGO EXTREMO Y DISTRIBUCIÓN DE ERRORES GRAVES

Una gran parte de una distribución puede ser correcta. Sin embargo, también deben evaluarse los errores graves de baja probabilidad. Ejemplos:

• Licencia de salud que en realidad no existe
• Guía de emergencia incorrecta
• Autoridad legal incorrecta
• Garantía de inversión falsa
• Identidad de empresa incorrecta
• Asesoramiento inapropiado para niños o grupos vulnerables
• Repetición de la instrucción manipulativa oculta a las personas

En la arquitectura anterior:

• Crítico,
• Mayor,
• Moderado,
• Asesor

se separaban en cuatro niveles de importancia, y se sugería que los hallazgos Críticos deberían tener un efecto de fallo automático. Este libro vincula este sistema con la distribución de la población.

18.1. Separación de Frecuencia y Severidad

Un error:

• frecuente pero de bajo impacto,
• raro pero severo

puede ocurrir. Sin embargo, la tasa de frecuencia por sí sola no puede evaluar ambos casos por igual.

18.2. Representación de Riesgo Ponderada por Severidad Candidata

CONCEPTO DE CANDIDATO

Se puede desarrollar un indicador de riesgo utilizando coeficientes de severidad para clases de error:

tau= Σ_{k=1}^K λ_k p_k

Aquí:

• pk: tasa prevista del tipo de error
• λk: coeficiente de severidad del tipo de error

Sin embargo, los coeficientes no pueden determinarse de manera arbitraria. Deben basarse en:

• Daño humano previsible
• Integridad de la representación
• Impacto en la decisión del usuario
• Reversibilidad
• Intención y manipulación
• Área de alto riesgo

El método preciso se definirá en la Sección 15.

18.3. Puerta crítica

Un promedio general alto no puede eliminar automáticamente un candidato de error Crítico verificado. El registro público correcto debería mostrar ambos resultados juntos: “La estimación de representación general es alta.” y: “El evento o eventos Críticos especificados también afectan la decisión de conformidad.”

19. RECHAZO Y FALLO EN LA DISTRIBUCIÓN

Un sistema que no responde también forma parte de la experiencia del usuario. Sin embargo, no todos los rechazos son iguales.

19.1. Rechazo Apropiado

El sistema puede actuar con precaución cuando la evidencia es insuficiente o cuando no puede proporcionar una respuesta segura. Este puede ser el comportamiento correcto en algunos contextos.

19.2. Rechazo Innecesario

Puede evitar responder de manera inconsistente a información pública y de bajo riesgo.

19.3. No Respuesta Técnica

El sistema puede no producir una respuesta debido a un error técnico.

19.4. Rechazo Fuera de Alcance

El prompt puede ser incorrecto o estar fuera del protocolo de la tarea.

19.5. Preservación de Rechazos en Distribuciones

Rechazos:

• éxito,
• fracaso,

DESCONOCIDO

no deben ser forzados a una sola categoría. Su función y justificación deben ser evaluadas. Eliminar rechazos del denominador puede producir una alta tasa de precisión solo entre las respuestas exitosas y ocultar la experiencia real del usuario.

20. ¿CÓMO SE PUEDEN COMPARAR LAS DISTRIBUCIONES?

Simplemente comparar los números de resultados no es suficiente para comparar la distribución de dos productos de IA. Para que la comparación sea justa, las siguientes áreas deben ser lo más iguales posible o modeladas explícitamente:

• Entidad auditada
• Población objetivo
• Versión del prompt
• Idiomas
• Países
• Ola de medición
• Condición de la sesión
• interfaz de usuario
• Distribución del plan
• Regla de adjudicación
• Paquete de realidad
• Reglas de validez
• Pesos

Dos puntuaciones obtenidas con protocolos materialmente diferentes no pueden usarse directamente para la clasificación.

20.1. Comparación sobre una base común

Todos los productos de IA comparados:

• son oficialmente accesibles,
• dan soporte al mismo idioma y condiciones de usuario

pueden compararse en un universo común. Esto proporciona una comparación más clara entre sistemas.

20.2. Distribución de Acceso Natural

Cada producto de IA puede medirse en su propio universo de acceso de usuarios reales. Este resultado muestra el impacto global real del producto. Sin embargo, dado que las poblaciones objetivo pueden diferir, la clasificación de desempeño directa requiere precaución.

20.3. Diferentes Interfaces del Mismo Proveedor

Los productos web, móviles, empresariales o diferentes planes, incluso si pertenecen al mismo proveedor, pueden generar distribuciones separadas. Si se van a combinar bajo un único resultado, se debe explicar el método de combinación y ponderación.

21. LA PONDERACIÓN CAMBIA EL SIGNIFICADO DE LA DISTRIBUCIÓN

Un promedio global depende del peso con el que se combinan las observaciones. Pesos posibles:

• Igual por país
• Por población del país
• Población de usuarios de IA adecuada
• Usuario del idioma
• Exposición real al producto
• Producto de IA igual
• Cuota de mercado
• Mercado objetivo del cliente

Cada método responde a una pregunta diferente.

21.1. Ponderación de país igual

San Marino e India pueden recibir el mismo peso. Este enfoque puede abordar la cuestión de la 'experiencia promedio de un país'. No representa la experiencia promedio de los usuarios en la población mundial.

21.2. Peso según la población

Los países más grandes tienen más influencia. Este enfoque puede aproximarse a la experiencia de la población global. Puede hacer que los países y idiomas pequeños sean invisibles.

21.3. Peso de equidad lingüística

También puede garantizar que los idiomas con pocos recursos permanezcan visibles. No es lo mismo que la puntuación global de la población.

21.4. Peso de exposición del producto

Se puede considerar el ponderamiento de los productos de IA según la exposición real de los usuarios. Requiere datos de uso confiables e independientes.

21.5. Principio de ponderación normativa

Los pesos deben definirse antes de que se vean los resultados, divulgarse públicamente y especificar la pregunta que responden.

Está prohibido elegir un sistema de ponderación que aumente la puntuación positiva después de ver el resultado. Junto con una puntuación global única, también se pueden publicar resultados ponderados alternativos significativos.

22. LA DISTRIBUCIÓN DE PUNTUACIONES ES COMPRESIÓN CON PÉRDIDAS

Es posible producir un único número a partir de una distribución. Sin embargo, un solo número no contiene toda la información de la distribución. Por lo tanto, la puntuación:

Es un resumen con pérdidas de la distribución

debería ser aceptada. Una puntuación puede perder la siguiente información:

• Idioma más débil
• País más débil
• Tipo de error crítico
• Masa desconocida
• Fluctuación de tiempo
• Polarización
• Diferencia de producto y plan
• Población fuera de alcance
• Distribución de rechazos
• Ambigüedad del adjudicador

La puntuación es útil porque:

• facilita la comparación,
• simplifica la comunicación pública,
• permite monitorear cambios,

apoya la decisión de gestión. Sin embargo, la simplicidad de la puntuación no puede convertirse en la eliminación de la distribución.

23. TARJETA DE RESULTADOS PÚBLICOS MÍNIMOS

REQUISITO DEL CANDIDATO — OBLIGACIÓN DEL CANDIDATO

Si se va a presentar una puntuación global NOMOS al público, se recomienda que al menos se muestren los siguientes resultados junto con ella:

La puntuación principal no debe usarse como una etiqueta publicitaria independiente. El registro canónico debe estar vinculado a esta tarjeta de resultados.

24. DISTRIBUCIÓN SINTÉTICA APPLE.COM

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Los productos de IA, usuarios, idiomas, números y resultados que se muestran a continuación son completamente ficticios. No representan el rendimiento real de Apple Inc. ni de ningún producto de IA real. Consideremos dos productos de IA sintéticos:

• Producto A
• Producto B

Para cada producto:

• cinco idiomas,
• 200 observaciones sintéticas válidas por idioma,
• un total de 1,000 observaciones

se asume. Esta distribución equitativa de idiomas es solo para demostrar el método. No representa el peso poblacional real GEO-1000.

24.1. Tasas de aprobación basadas en el idioma

El promedio de los dos productos es el mismo. Sin embargo, sus distribuciones son diferentes.

Producto A

Los resultados de los idiomas son cercanos entre sí. La diferencia entre el idioma más alto y el más bajo es de 2 puntos. El piso del idioma es 89%.

Producto B

Produce resultados muy altos en tres idiomas. Hay un descenso en japonés y especialmente en árabe. La diferencia entre el idioma más alto y el más bajo es de 29 puntos. El piso del idioma es 70%. Nota: Decir "Ambos obtuvieron 90" oculta la diferencia material.

24.2. Distribución del estado de la respuesta

La tasa de aprobación de los dos productos es nuevamente 90%. Sin embargo: En el Producto B, el número de candidatos con errores críticos es 14 veces mayor. En el Producto B, la masa desconocida e inconclusiva es mayor. Una mayor parte de los fallos en el Producto A se debe a deficiencia de soporte parcial. El retraso de errores del Producto B es más pesado. La misma tasa de aprobación no necesariamente resulta en el mismo resultado de aptitud.

24.3. Ondas de Tiempo

El Producto A es relativamente estable. El Producto B muestra un descenso notable. Publicar solo el promedio de las tres ondas oculta el deterioro en el Producto B.

24.4. Resultado Sintético

Puede ser posible publicar la misma puntuación principal para el Producto A y el Producto B:

90

Pero las tarjetas de resultados NOMOS no pueden ser las mismas.

Producto A — Firma de Distribución Sintética

Resultado general: alto Desigualdad de idioma: baja Cola de errores críticos: baja, pero no cero Masa desconocida: baja Estabilidad temporal: alta

Producto B — Firma de Distribución Sintética

Resultado general: alto Desigualdad de idioma: alta Cola de errores críticos: sustancial Masa desconocida: mayor Estabilidad temporal: baja y en declive Por lo tanto, la conclusión sintética de la Sección 2 es la siguiente:

Tener la misma puntuación promedio para el Producto A y el Producto B no indica que tengan la misma calidad de representación.

25. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH02-N01

Un resultado GEO no puede definirse únicamente por un promedio único o una tasa de aprobación única.

CH02-N02

Cada resultado de distribución:

• la entidad auditada,
• población objetivo,
• Producto de IA y interfaz de usuario,
• país y lengua,
• El prompt,
• la condición de residencia,
• al tiempo

debe estar conectado.

CH02-N03

El promedio global por sí solo no puede compensar la desigualdad de subgrupos materiales.

CH02-N04

Los resultados de errores críticos y de otra severidad alta deben informarse por separado de la tasa de error general.

CH02-N05

Los estados DESCONOCIDO, sin resultado, rechazado, inválido y NO PROBADO deben distinguirse entre sí.

CH02-N06

No se puede mostrar como parte de la distribución positiva un país, idioma, producto, interfaz de usuario o periodo de tiempo no medidos.

CH02-N07

Los pesos y las reglas de agregación deben definirse antes de ver los resultados.

CH02-N08

Los cambios de peso posteriores al resultado deben crear una nueva versión del análisis, y los resultados anteriores deben conservarse.

CH02-N09

Las distribuciones basadas en poblaciones objetivo materialmente diferentes, demanda, producto, tiempo o criterios de evaluación no pueden compararse directamente sin explicación.

CH02-N10

La variabilidad del lenguaje formal no puede contarse automáticamente como error de representación.

CH02-N11

La identidad material, el alcance, el tiempo, la competencia o la variabilidad de las recomendaciones no pueden clasificarse como una diferencia de estilo sin justificación.

CH02-N12

La alta estabilidad por sí sola no es evidencia de calidad; también se deben registrar los resultados consistentemente incorrectos.

CH02-N13

Un promedio alto, si va acompañado de una cobertura baja, debería tener resultados públicos con limitación de cobertura.

CH02-N14

Los puntuaciones de subgrupos no deben publicarse como juicios definitivos sobre países o idiomas bajo un muestreo insuficiente y una amplia incertidumbre.

CH02-N15

Las tasas de rechazo y de fallos técnicos deben conservarse como parte de la experiencia auténtica del usuario.

CH02-N16

La única puntuación que se haga pública debería estar vinculada a la distribución canónica y al registro de alcance.

CH02-N17

Las distribuciones sintéticas no se pueden combinar con el rendimiento de un producto de IA real o una entidad real.

CH02-N18

El informe de distribución debe tener un propietario humano o institucional responsable.

26. FORMAS DE FALLA

CH02-F01— PENSAMIENTO PROMEDIO

Se muestra un promedio global alto; se almacena el lenguaje, país o corrupción de error crítico.

CH02-F02— ELIMINAR SUBGRUPO

Los grupos de bajo rendimiento se eliminan del informe o se declaran 'insignificantes'.

CH02-F03— MAPA DE ALCANCE

Los buenos resultados de alcance limitado se utilizan para todo el mundo, todos los idiomas o todos los productos.

CH02-F04— NORMALIZACIÓN DE GRAVEDAD

Las deficiencias menores y los errores graves de salud o de licencias se combinan dentro del mismo recuento de errores.

CH02-F05— OCULTAR EL DETERIORO CON PROMEDIO DE TIEMPO

La disminución o fluctuación se hace invisible solo con el promedio del periodo.

CH02-F06— ADORACIÓN DE LA ESTABILIDAD

Se supone que una respuesta consistente es automáticamente correcta.

CH02-F07— FALACIA DE RESPUESTA IGUAL LITERALMENTE

La coincidencia literal de texto se utiliza como una medida de consistencia en lugar de la corrección semántica.

CH02-F08— CONTANDO LA DIFERENCIA CONTEXTUAL COMO ERROR

Las diferencias en recomendaciones apropiadas basadas en las necesidades reales del usuario se marcan como variabilidad arbitraria.

CH02-F09— CONTANDO LA VARIABILIDAD ARBITRARIA COMO PERSONALIZACIÓN

Las contradicciones materiales bajo condiciones equivalentes del usuario se defienden como “personalización” sin explicación.

CH02-F10— CAMBIANDO EL DENOMINADOR

Se realiza una transición post-resultado entre denominadores de observación completados, válidos o evaluados para elevar el resultado positivo.

CH02-F11— PESO POST-RESULTADO

Se seleccionan posteriormente el país, el idioma o los coeficientes del modelo que producen la puntuación más alta.

CH02-F12— FUSIONANDO CELDAS INCONSISTENTES

Se presentan diferentes condiciones de prompt, producto, tiempo o panel como una única distribución.

CH02-F13— ELIMINANDO RECHAZOS

Se eliminan los registros del sistema que no respondieron para generar alta precisión solo entre aquellos que produjeron una respuesta.

CH02-F14— JUICIO DEFINITIVO DE CELDA PEQUEÑA

Se produce una puntuación de país o idioma a partir de uno o varios usuarios.

CH02-F15— OCULTANDO LA COLA CRÍTICA

Los errores graves raros se pierden dentro de la tasa de aprobación general.

CH02-F16— INFORME DE puntuación ÚNICO

Solo se publica la puntuación principal sin mostrar alcance, desigualdad, estabilidad, incertidumbre y errores graves.

CH02-F17— CONTANDO LA DISTRIBUCIÓN COMO "LA CREENCIA DE LA IA"

Los resultados observados interfaz de usuario se presentan como si fueran el punto de vista invariante e intrínseco de la inteligencia artificial.

CH02-F18— CONTANDO COMO VARIANZA CERO LO NO MEDIDO

Se considera que las áreas no probadas son suaves y estables.

27. PROCEDIMIENTO DE AUDITORÍA

Se debe examinar si un informe GEO representa honestamente la distribución con los siguientes pasos.

Paso 1— Registrar la Declaración Pública

Ejemplo: “La puntuación global NOMOS de la marca es 92.” Se registra la frase completa y la interfaz donde se encuentra.

Paso 2— Definir Distribución Objetivo

Para qué puntuación:

• universo de usuarios,
• productos de IA,
• países,
• idiomas,
• período de tiempo

se aplica?

Paso 3— Extraer Celdas de Medición

Se determina cada combinación de material:

• Producto
• País
• Idioma
• Panel
• Prompt
• Onda
• interfaz de usuario

Paso 4— Reconstruir Denominadores

Las tareas asignadas, las tareas completadas, los registros válidos, los registros adjudicados y las respuestas aprobadas deben informarse como recuentos separados.

Paso 5— Extraer estados de resultados

No solo la tasa de aprobación:

• parcial,
• no respaldado,
• conflictivo,
• antiguo,
• Crítico,

DESCONOCIDO,

rechazado, se examina la distribución inconclusa.

Paso 6— Verificar pesos

Pesos:

• ¿están predefinidos,
• qué pregunta responden,

¿han cambiado después del resultado?

Paso 7— Examinar diferencias de subgrupos

Se evalúa el mejor grupo, el grupo suficiente más débil, diferencia de idioma, diferencia de país, diferencia de producto y diferencia de panel.

Paso 8— Revisar alcance y deficiencia

¿Qué áreas no fueron medidas? ¿Qué celdas son insuficientes? ¿Cuáles son las razones de la deficiencia? ¿Podrían los datos faltantes ser sistemáticos?

Paso 9— Examinar la Determinación

Se evalúa el cambio entre Sesiones de Ondas, Usuarios e Interfaces.

Paso 10— Examinar Riesgo de Cola

Errores críticos y otros errores graves:

• número,
• su tasa,
• tipo,
• efecto sobre el usuario

se evalúa por separado en términos de

Paso 11— Comparar el Resumen Público con la Distribución

¿El número único o la oración publicada al público transmite con precisión la dirección y el riesgo de la distribución completa?

Paso 12— Limitar el Resultado

La afirmación pública se limita únicamente al nivel llevado por la distribución y el alcance.

28. EVIDENCIA NECESARIA

En la medida en que sea relevante para una distribución representativa o una puntuación global GEO, se deben buscar los siguientes registros:

• Registro de entidad auditada
• Definición de la población objetivo
• Marco muestral
• Producto de IA e interfaces de usuario
• Celdas de país y idioma
• prompts y versiones
• Condiciones de sesión y panel
• Olas de medición
• Números de tareas asignadas
• Tareas completadas
• Registros válidos e inválidos
• Respuestas sin procesar
• Distribución del estado de resultados
• Registros de adjudicación
• Registros de errores críticos
• Registros de rechazos e inconclusos
• Registros DESCONOCIDOS
• Pesos
• Partes interesadas
• Resultados de subgrupos
• Resultados de estabilidad
• Áreas fuera del alcance
• Cálculos de confianza o incertidumbre
• Cuadro de mando público
• Persona o institución responsable
• Versión del protocolo y análisis
• Historial de cambios

29. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Está clara la población objetivo de la distribución? ¿Están especificados los productos de IA auditados y las interfaces de usuario? ¿Son visibles el país, el idioma, el ámbito del prompt y el periodo de tiempo? ¿Se divulgan los pesos utilizados para producir la puntuación compuesta? ¿Está completamente definido el denominador? ¿Se informan los registros inválidos por separado? ¿Se preservan los rechazos y los resultados inconclusos? ¿Son distintos UNKNOWN y NOT TESTED? ¿Son visibles los resultados de los subgrupos? ¿Se han interpretado las celdas pequeñas con excesiva certeza? ¿Se ha retenido el grupo material más débil? ¿Se informan los errores críticos por separado? ¿Se muestran las olas de medición por separado? ¿Oculta la media un declive o volatilidad? ¿Se distingue una diferencia meramente formal de una diferencia material en el significado? ¿Se ha clasificado correctamente la variación sensible al contexto en las recomendaciones? ¿Se han fusionado diferentes interfaces del mismo proveedor sin explicación?

¿Se han incluido áreas fuera del alcance en el resultado global? ¿Se han separado las distribuciones sintéticas y reales? ¿Refleja la oración presentada al público la verdadera dirección de la distribución completa? Si una de las preguntas sustantivas no recibe respuesta, el resultado de la distribución tiene una confianza limitada. Si más de una no recibe respuesta, no se debe presentar un único puntuación global como juicio definitivo al público.

30. OBJECIONES Y RESPUESTAS

Objeción 1— “El público quiere un solo número.”

Esto es correcto. Un solo número puede facilitar la comunicación. NOMOS no rechaza completamente un solo número. Sin embargo, un solo número:

• alcance,
• Error crítico,
• base de subgrupo,
• tiempo,
• incertidumbre

debe estar conectado a la información. Un número puede ser corto. No puede acortar la verdad.

Objeción 2— 'Los idiomas pequeños bajan innecesariamente La puntuación global.'

El peso de la población global puede representar un idioma pequeño con peso limitado. Sin embargo, la distorsión de la representación pesada en un idioma pequeño no puede pasar desapercibida simplemente porque su participación en la población sea baja. Por lo tanto:

• puntuación principal ponderada por población,
• como resultado de la equidad lingüística separada

Pueden publicarse juntos. Dos métricas responden a diferentes preguntas.

Objeción 3— 'Si hay personalización, las respuestas diferentes son normales.'

Algunas diferencias pueden ser normales y correctas. Sin embargo, la personalización:

• identidad de empresa,
• licencia,
• su precio actual,
• el área de servicio real

debería no cambiarse arbitrariamente. La personalización puede afectar la explicación y el consejo adecuados para el usuario. No es permiso para inventar un hecho material.

Objeción 4— '¿Por qué sería un problema si no se da la misma respuesta?'

El problema no es la diferencia de palabras. El problema es el cambio de la realidad material. NOMOS no busca la igualdad exacta de texto, sino la consistencia semántica condicional.

Objeción 5— “¿Por qué importaría si un error crítico ocurre solo una vez en las respuestas 1,000?”

Este error puede ser raro en términos de prevalencia poblacional. Sin embargo, puede ser grave en términos de daño. La pérdida incontrolada de un sistema crítico en un avión una vez en mil vuelos no se evalúa como solo 0.1 por ciento. En el contexto de GEO, la frecuencia y el daño también deben examinarse por separado.

Objeción 6— “No podemos encontrar una muestra suficiente para cada país pequeño o idioma.”

Esto es cierto. Por lo tanto:

• panel de población global,
• Panel de Observadores de País,
• Panel de Equidad Lingüística

puede establecerse por separado. La observación de una sola persona no se convierte en una puntuación de país. Solo indica que existe una observación. El estado correcto para una muestra insuficiente:

MUESTRA INSUFICIENTE

o:

NO ESTIMADO

debe ser.

Objeción 7— "Este nivel de detalle es demasiado complejo para que el cliente lo entienda."

No es necesario que el cliente vea todas las fórmulas en la página principal. Sin embargo, no se pueden ocultar los hechos clave necesarios para la decisión. La tarjeta de resultados resumida debe responder a las siguientes preguntas: ¿Cuál es el resultado general? ¿Cuál es el riesgo más grave? ¿Cuál es el área más débil? ¿Qué no se ha probado? ¿Qué tan sólido es el resultado? ¿A qué fecha pertenece? La complejidad necesita ser gestionada. No eliminada.

Objeción 8— "Si se usa el mismo modelo en todos los países, ¿por qué habría una diferencia entre países?"

La salida que ve el usuario puede no consistir únicamente en el modelo básico. Las diferencias entre países incluyen:

• acceso al producto,
• recursos web,
• localización,
• idioma,
• plan,
• interfaz,
• legislación,
• personalización

Puede surgir a través de ello. Puede que no ocurra ninguna diferencia. Sin embargo, su ausencia no puede asumirse sin medición.

Objeción 9— “No es posible una puntuación fiable ya que las respuestas de la IA son variables.”

La variabilidad no hace imposible la medición. Al contrario, es una de las características que necesita ser medida. La puntuación:

• fecha específica,
• alcance,
• intervalo de confianza
• información sobre estabilidad

puede ser significativa siempre que la contenga. Sin embargo, la afirmación de certeza atemporal es indefendible.

Objeción 10— “Si el prompt cambia, la distribución cambia completamente.”

Eso es correcto. Por lo tanto, la distribución depende del prompt. GEO-1000 no produce la misma respuesta para todas las preguntas posibles. Predefinido:

• Prompt de Espejo Central,
• Registro de Prompts de Diagnóstico

Mide dominios representacionales específicos. La constitución del prompt se definirá en la Sección 10.

REGLA COMÚN DE LA SECCIÓN 32

Esta sección no fue escrita en contra de una sola puntuación. Fue escrita asumiendo que una sola puntuación por sí sola no representa la totalidad de la realidad. La gente quiere números. Las instituciones quieren clasificaciones. Los consejos quieren ver una sola línea. El mercado puede preguntar: “¿Cuál es su puntuación NOMOS?” Esta pregunta es legítima. Pero la respuesta no puede ser solo: “90.” Porque detrás de 90, cualquiera de las siguientes realidades puede existir:

• Precisión consistente en todos los idiomas
• 99 en algunos idiomas, 45 en otros
• Promedio alto pero error crítico severo
• Alta precisión pero baja cobertura
• Resultados instantáneos altos pero rápido deterioro
• Éxito solo en prompts fáciles
• Alta tasa solo entre respuestas evaluables
• Asumiendo positivamente los países no evaluados
• Combinando productos de IA seleccionados

El valor de una puntuación se forma por la visibilidad de la distribución subyacente. Si la distribución no es visible, la puntuación no genera confianza. Solo produce una apariencia de certeza. Por lo tanto, la segunda ley de medición de NOMOS es la siguiente:

Una puntuación GEO puede ser un resumen de la distribución. / No puede reemplazar la distribución.

Su tercera ley es:

Un promedio alto no elimina la pregunta de quién está mal representado.

La cuarta ley es la siguiente:

Un error grave y raro no es insignificante solo porque sea raro.

La quinta ley es la siguiente:

El campo no probado no es el lado positivo de la distribución; es el límite desconocido.

Orden 2 de NOMOS

No me muestres solo el promedio.

Muestra quién está por debajo del promedio.

No escondas tu peor lenguaje mientras muestras tu mejor lenguaje.

No uses el peso de los países grandes para borrar la existencia de los países pequeños.

No envíes a una persona a un país pequeño y luego anuncies una puntuación definitiva para ese país.

No trivialices un error grave simplemente porque esté oculto dentro de una respuesta que es 99 por ciento correcta.

No declares un error simplemente porque la redacción de una respuesta haya cambiado. / Pero cuando la realidad subyacente cambia, no lo descartes como una mera diferencia estilística.

No arrojes rechazos, desconocidos ni aquellos no probados fuera de la distribución.

No cambies el peso, la participación o el alcance después de ver el resultado.

Genera un número. / Pero no hagas invisibles los países, idiomas, usuarios, tiempos y errores detrás del número.

Porque la representación de una entidad no es una oración promedio. / Es una distribución de las diferentes realidades encontradas por diferentes personas.

La oración de cierre del capítulo

El objeto de medición de GEO no es una única respuesta ni un solo puntuación promedio de una inteligencia artificial; es la totalidad de los resultados representativos generados en una población de usuarios definida bajo condiciones definidas.

Core normativo

La representación del sistema generativo de una entidad DEBE tratarse como una distribución condicional de resultados observables en los siguientes ámbitos definidos: - productos de IA y interfaces de usuario, - usuarios o unidades de muestreo, - países, - idiomas y configuraciones regionales, - estados de sesión y de personalización, - prompts, - y momentos de medición. Una única puntuación agregada NO DEBE reemplazar la divulgación de: - alcance y cobertura, - distribución de resultados, - variación entre subgrupos, - incidencia de errores críticos, - masa desconocida y no evaluada, - estabilidad temporal, - reglas de ponderación, - y incertidumbre. Los promedios iguales NO DEBEN interpretarse como una calidad de representación equivalente cuando sus distribuciones por subgrupo, severidad, cobertura o estabilidad difieren materialmente. Los grupos no evaluados NO DEBEN ser imputados como conformes, y los resultados raros de alto daño DEBEN permanecer visibles por separado del rendimiento promedio.