Paneles de observación por país y equidad lingüística

Límite de Capítulo

La Sección 5 estableció la siguiente disposición:

Para cada producto de IA, la población de usuarios elegible para el producto debe definirse por separado.

La Sección 6 convirtió esta población en una muestra:

El Panel de Población principal debe proporcionar probabilidades de selección y ponderaciones predeterminadas a las personas en la población objetivo antes de que se vean los resultados.

Ahora necesitamos resolver dos problemas de equidad diferentes. El primer problema:

La ponderación de la población puede hacer que países muy pequeños sean invisibles en la muestra principal.

El segundo problema:

El promedio global de la población puede ocultar distorsiones graves de representación en lenguas con pocos recursos o con baja población.

Una muestra pura de población es fuerte para medir la experiencia humana promedio en la población mundial. Sin embargo, la misma muestra:

• no puede observar cada país individualmente,
• no puede proporcionar suficientes muestras para cada idioma
• no se puede producir una puntuación de país para países pequeños,

podría no detectar errores raros pero sustanciales en idiomas con pocos recursos. Por lo tanto, GEO-1000 no puede consistir solo en un solo panel. Junto al panel principal de población, se necesitan dos estructuras complementarias:

Panel de Observadores del País

Etiqueta canónica del panel:

Panel de Observadores del País

y:

Panel de Equidad Lingüística

Etiqueta canónica del panel:

Panel de Equidad Lingüística

El Panel de Observadores del País responde a la siguiente pregunta:

En países que están poco representados en el panel principal de población, ¿hay al menos observación de usuarios real, verificación de acceso o señal temprana de riesgo?

El Panel de Equidad Lingüística, por otro lado, responde a la siguiente pregunta:

Incluso si el promedio global parece alto, ¿los usuarios en ciertos idiomas están siendo representados de manera más incorrecta, incompleta o riesgosa?

Estos dos paneles no reemplazan el Panel Principal de Población. Lo complementan. Dar una observación de un Observador de País a un país no mide la puntuación de ese país. Sobre-muestrear un idioma no hace que ese idioma sea más grande en la población global. La tarea de esta sección es:

• visibilidad del país frente al peso de la población,
• separar el promedio global con la Equidad Lingüística,
• separar la estimación de la población con la alerta temprana,
• separar la suficiencia estadística con el alcance de la observación

uno del otro. Esta sección aún no ha:

• definido cómo deben traducirse las prompts en todos los idiomas,
• la traducción inversa y la prueba de equivalencia semántica,
• el mecanismo detallado de selección de participantes,
• cómo los árbitros puntuará las afirmaciones atómicas,
• los umbrales finales de conformidad

exactamente. Estos asuntos se regularán más a fondo en las siguientes secciones. La cuestión fundamental de la Sección 7 es:

¿Cómo medimos produciendo una puntuación global sin inflar artificialmente a los países y lenguas pequeñas, pero también sin dejarlos completamente invisibles?

NOMOS Desafío

Se establece un panel de población de 1,000 personas para un producto de IA. Como resultado de una muestra proporcional a la población:

• cientos de usuarios de unos pocos países grandes,
• docenas de usuarios de algunos países medianos,
• ningún usuario de la mayoría de los países pequeños

asistieron. Puntuación global:

94

Se calculó de esa manera. Luego dijiste: 'Este producto de IA representa la marca a nivel mundial con un 94 por ciento de precisión.' Sin embargo, no hay ni una sola observación de usuarios reales en 70 países pequeños. Estos países pueden constituir una pequeña porción de la población mundial. Aun así, las siguientes preguntas permanecen sin respuesta: ¿Es el producto realmente accesible? ¿Funciona la intención en el idioma correcto? ¿Confunde el sistema el país con otro país? ¿Se confunde la empresa local con la marca global? ¿Son incorrectos el precio, el servicio y el contexto legal? ¿Falla el sistema en responder? ¿Existen errores críticos de baja frecuencia? La puntuación de la población global no responde a estas preguntas. Ahora imagina que añadiste a una persona en cada país. Has obtenido 70 observaciones adicionales.

Agregaste cada uno de estos países a la puntuación principal con un peso de 1/1,070, haciendo que los países pequeños parezcan muchas veces más grandes que su verdadera proporción de la población. La visibilidad geográfica aumentó, pero la estimación de la población se distorsionó. Luego, un usuario en un país recibió una respuesta incorrecta, y declaraste: 'La puntuación GEO de este país es cero.' La respuesta de una persona no es la puntuación de un país. Es un solo evento observado bajo condiciones específicas en ese país. Ahora considera el idioma. El resultado en inglés es 98 por ciento, en alemán 96 por ciento y en turco 91 por ciento. Un idioma con pocos recursos tiene solo ocho usuarios y un resultado bruto de 50 por ciento. Dices: 'Ocho personas no son suficientes; elimina el idioma del informe.' La puntuación global aumenta, pero la experiencia de los usuarios de ese idioma desaparece.

En otro enfoque, se agregan 200 usuarios adicionales a un idioma con pocos recursos. La media muestral bruta disminuye. Luego dices: "La puntuación global bajó a 84." Sin embargo, la proporción real de la población que habla el idioma puede ser 2 por ciento. El sobremuestreo aumenta el poder estadístico. No aumenta el peso poblacional. La primera regla de esta sección es la siguiente:

Ser observado no es lo mismo que tener peso.

Su segunda disposición establece:

Una sola observación de un país no es una puntuación de país.

Su tercera disposición establece:

La Equidad Lingüística no consiste en dar igual peso a todos los idiomas en la puntuación global.

Su cuarta disposición establece:

Un promedio global alto no elimina la degradación severa en un idioma en particular.

Su quinta disposición establece:

Las observaciones adicionales tomadas para aumentar la cobertura no pueden agregarse a la puntuación principal sin ser reajustadas según la población verdadera.

1. OBJETIVO DEL CAPÍTULO

El propósito de esta sección es establecer paneles complementarios que aumenten la visibilidad de países e idiomas sin alterar la representación estadística de la población del Panel Principal de Población. La sección normaliza las siguientes distinciones:

• Visibilidad geográfica con ponderación de la población
• Observación por país con puntuación del país
• Detección de eventos únicos con estimación de prevalencia
• Panel Principal de Población con Panel de Observadores por País
• Panel de Observadores por País con estudio de validación específico del país
• Cobertura por país con cobertura de población
• Número de idiomas cubiertos con cobertura de población por idioma
• Equidad lingüística con ponderación global igualitaria de los idiomas
• Participación global de idiomas con muestreo excesivo
• Idioma nativo e idioma de instrucción
• Idioma y localización
• Idioma y sistema de escritura
• Idioma soportado e idioma que puede generar respuestas por sí solo
• Defecto de traducción del prompt y defecto lingüístico del sistema de IA
• Escasez de recursos y defecto de representación de la IA
• Insuficiencia de jueces y fallo del producto
• Diferencia local legítima e inequidad lingüística injusta
• Promedio global y base de subgrupo
• Cobertura de acceso por país y precisión de la representación del país
• Alerta del observador y decisión definitiva de conformidad
• Ciclo de vigilancia de onda única con cobertura geográfica de múltiples ondas

Al final de esta sección, cada auditoría GEO-1000 debe poder proporcionar respuestas claras a las siguientes preguntas:

¿En qué países hay al menos una observación real?

¿En qué países hay solo observación de alerta temprana, y en cuáles hay predicciones estadísticas?

¿Qué idiomas fueron medidos, cuáles alcanzaron un muestreo suficiente y cuáles no fueron probados?

Si se muestrearon en exceso los idiomas con pocos recursos, ¿cómo se reponderó esto en la puntuación global?

¿Es la fuente de un resultado deficiente en un idioma realmente generado por IA, o se debe a problemas de prompt, recursos, región o adjudicación?

2. DISPOSICIÓN NORMATIVA CENTRAL

GEO-1000 debe gestionar la estimación de la población principal con el Panel de Población; la observación de un país pequeño con el Panel de Observadores de País; la desigualdad lingüística y la identificación de idiomas con pocos recursos con el Panel de Equidad Lingüística por separado.

Estas tres estructuras:

• difieren en propósitos,
• difieren en objetivos de muestra,
• difieren en ponderaciones,
• difieren en declaraciones públicas

tienen. Una observación de un panel no puede convertirse en el significado de otro panel sin explicación. La estructura predeterminada:

3. ¿QUÉ ES EL PANEL DE OBSERVADORES DEL PAÍS?

Panel de Observadores del País, en países que están subrepresentados o no suficientemente representados en el panel de población principal:

• acceso al producto,
• Aplicabilidad del prompt
• análisis de entidad básica,
• comportamiento de lenguaje y localidad,
• señal temprana de error crítico

es un panel de auditoría suplementario creado para observar. La tarea principal del Panel de Observadores del País no es producir una puntuación.

Es hacer visible el país invisible por primera vez.

Una observación de Country Observer puede mostrar: “En el país especificado, bajo el producto de IA especificado, interfaz de usuario, idioma y condición de tiempo, se ha observado este resultado al menos una vez.” No puede mostrar: “X% de los usuarios en este país ven el mismo resultado.”

4. UNIDAD de Observador por País

La unidad de observación básica del Panel de Observadores del País no es solo el país. La unidad preferida:

S_{c,a,l,s,w}

donde:

• c: país o jurisdicción
• a: producto de IA y interfaz de usuario
• l: idioma, sistema de escritura y localidad
• s: condición de sesión o plan
• w: oleada de medición

Esta distinción es necesaria. En el mismo país:

• más de un idioma,
• diferentes planes,
• interfaces web y móviles,
• diferentes condiciones legales o técnicas de acceso

pueden existir. Agregar un usuario a un país no significa monitorear todas las interfaces de idioma y usuarios del país.

5. FUNCIONES DEL PANEL DE OBSERVADORES DEL PAÍS

5.1. Verificación de Acceso

Aunque el producto parece estar disponible en el país en el registro oficial, el usuario real:

• puede no poder iniciar sesión,
• puede no poder acceder a la interfaz especificada,

Puede encontrarse con un obstáculo de planificación o verificación. La prueba de observación del Observador por País verifica el registro oficial de acceso a nivel de campo.

5.2. Verificación Básica de Identidad

Entidad supervisora de productos de IA:

• la empresa correcta,
• la marca correcta,
• relación correcta con el país

¿Puede analizar internamente?

5.3. Detección de desviación local

En diferentes locales de un país en el mismo idioma:

• precio,
• empresa,
• servicio,
• ley,
• asesoramiento

¿Está cambiando? Si está cambiando, ¿puede esta diferencia ser financiera y explicable?

5.4. Señal de falla grave de baja frecuencia

En la respuesta de un único observador:

• licencia incorrecta,
• entidad legal incorrecta,
• información peligrosa para la salud o seguridad,
• fusión de identidad grave

Se puede observar. Un solo evento no indica la prevalencia en el país. Sin embargo, puede desencadenar trabajos de verificación.

5.5. Nueva hipótesis de investigación

El panel de observadores puede plantear la pregunta: '¿Es este evento singular, o es un patrón recurrente entre los usuarios del país?' Esta pregunta se prueba con una muestra adicional dirigida.

5.6. Registro del Alcance Geográfico

Muestra en cuántos países adecuados el producto tiene observación de usuarios real. Este no es el número de puntuaciones por país. Es cobertura de observación.

6. COSAS QUE EL PANEL DE OBSERVADORES DEL PAÍS NO PUEDE HACER

Solo el Panel de Observadores del País:

• puntuación confiable del país,
• tasa de población del país,
• clasificación del país,
• decisión de conformidad del país,
• superioridad de modelo basada en el país

no puede producir. Si hay un solo observador en un país y la respuesta es correcta: “La puntuación del país es 100” no se puede decir. Si es incorrecta: “La puntuación del país es cero” no se puede decir. Estado correcto:

OBSERVADO_APROBADO

Problema Observado

CANDIDATO_CRÍTICO_OBSERVADO

FALLO_DE_ACCESO

INSUFICIENTE_PARA_ESTIMACIÓN_DEL_PAÍS

son registros de observación.

7. REGISTRO DE PAÍS ELEGIBLE

Se debe crear un Registro de País Elegible para cada producto de IA. Cada país puede tener uno de los siguientes estados:

CE-0— DESCONOCIDO

No se pudo determinar el estado de acceso al producto y a la auditoría.

CE-1— FUERA DE Alcance natural

El producto permanece fuera del área oficial o legítima de uso. No se tiene en cuenta para la puntuación de precisión de representación del país. Se muestra como una brecha en el alcance de acceso.

CE-2— ACCESO RESTRINGIDO O ESPECIAL

Solo:

• institución,
• invitación,
• plan,
• dispositivo,
• tipo de usuario

el acceso está disponible. Puede ser necesario un panel separado.

CE-3— ELEGIBLE PARA la observación de Country Observer

El producto es adecuado para la observación de Country Observer en términos del interfaz de usuario relevante y al menos un idioma de auditoría.

CE-4— ELEGIBLE PARA ESTIMACIÓN DE POBLACIÓN

Tiene una participación de población elegible para el producto en el panel de población principal del país.

CE-5— ELEGIBLE PARA ESTIMACIÓN DEL PAÍS

Se puede producir una estimación del país bajo condiciones suficientes de muestra, muestra efectiva, cobertura de idiomas y calidad. Un país puede ser CE-3 pero no CE-5. Esto significa que el país está observado, pero no se pudo producir una puntuación confiable del país.

8. LA ESCALERA ENTRE la observación de Country Observer Y LA ESTIMACIÓN DEL PAÍS

CS-0— NO OBSERVADO

No hay ninguna observación válida de Country Observer para el país elegible.

CS-1— OBSERVACIÓN ÚNICA DE COUNTRY OBSERVER

Hay una observación válida país–producto–idioma. Genera solo un registro de evento.

CS-2— OBSERVACIÓN REPETIDA DE COUNTRY OBSERVER

Hay varias observaciones de diferentes oleadas o usuarios. Puede generar sospecha de un patrón. No es suficiente para la tasa del país.

CS-3— MUESTRA EXPLORATORIA DEL PAÍS

Se ha alcanzado la banda de muestra exploratoria en la sección 6. Se puede dar un resultado exploratorio con amplia incertidumbre.

CS-4— ESTIMACIÓN PROVISIONAL DEL PAÍS

Se puede producir una estimación provisional del país con un muestreo suficiente y equilibrado.

CS-5— CANDIDATO PARA ESTIMACIÓN DEL PAÍS

Muestra activa suficiente, cobertura de idioma/ubicación, olas repetidas y controles de calidad están en su lugar. Puede ser un candidato a puntuación por país. Los umbrales exactos deben calibrarse con un piloto y una revisión externa.

9. CICLO DE OBSERVADOR

Observar cada ola en todos los países elegibles puede no ser posible en términos de costo y operaciones. Por lo tanto, se puede usar el Ciclo de Observador. Olas de medición:

w=1,2,…,K

y países elegibles: sea c∈CS. Asignación de un observador para el país c en la ola w:

z_{c,w}= 1(si el país será observado en la ola); de lo contrario z_{c,w}= 0

puede representarse de la siguiente manera. Condición básica del ciclo:

\sum_{w=1}^K z_{c,w}\geq 1

debe cumplirse. Es decir, cada país elegible debería ser observado al menos una vez dentro del ciclo de vigilancia definido. Esta disposición:

• no significa que cada país será observado en cada ola,
• o que una sola observación constituya la puntuación del país

Ninguna de las condiciones se deriva del requisito del ciclo.

10. CLASES DE FRECUENCIA DE OBSERVADORES

Los países pueden dividirse en clases de frecuencia predefinidas.

SF-0— FUERA DE ALCANCE

Sin acceso al producto. No se realiza observación representativa de los usuarios. Se monitorea el estado de acceso.

SF-1— UNA VEZ POR CICLO DE VIGILANCIA

Países de bajo riesgo, países pequeños o países que ya tienen cobertura indirecta suficiente en el Panel de Población.

SF-2— OBSERVADOR PERIÓDICO

Se observa de nuevo a intervalos regulares.

SF-3— CADA OLA PRINCIPAL

Puede ser observado en cada ola principal por las siguientes razones:

• alta población de usuarios,
• mercado objetivo material,
• error grave previo,
• acceso rápido o cambio regulatorio,

área de servicio de alto riesgo.

SF-4— MONITOREO DE INCIDENTES

Observación intensificada debido a un evento crítico verificado o a una interrupción continua de la representación. La clase de frecuencia no puede cambiarse retroactivamente después de que se revisen los resultados. Un nuevo evento puede crear una nueva versión para la siguiente ola.

11. PRIORIDAD DEL OBSERVADOR

La frecuencia de la actividad del Observador por País no debe determinarse únicamente en función de la población. Según corresponda, se pueden considerar las siguientes áreas:

• Población elegible para el producto
• Cobertura real de servicio o mercado de la entidad
• Registros previos de representaciones erróneas
• Impacto elevado en usuarios de alto riesgo
• Cambios en el acceso al producto
• Unicidad de idioma y localidad
• Uso de idiomas de bajos recursos
• Diferencias legales u operativas
• Tiempo transcurrido desde la última observación

Estos campos deben ser usados de acuerdo con la regla de gobernanza predefinida. Está prohibido el enfoque de “El resultado de este país es malo, midamos menos.”

12. Métricas de cobertura de observador de país

La cobertura de país no es un solo número. Deben utilizarse al menos tres métricas separadas.

12.1. Cobertura de observación del país

La proporción de países elegibles con al menos un observador válido o una observación poblacional.

COC_count= |{c ∈ C_S: n_c^obs > 0}| / |C_S|

Esta métrica muestra la cobertura en términos del número de países.

12.2. Cobertura de observación del país ponderada por población

La proporción de la población elegible en países con al menos una observación válida respecto a la población objetivo total.

COC_pop= [Σ_{c:n_c^obs>0} N_c] / [Σ_{c∈C_S} N_c]

Esta métrica muestra si se observan grandes poblaciones.

12.3. Cobertura de Predicción por País

Es la proporción de países que alcanzan una muestra suficiente de país.

CEC= |{c: n_{c,eff}≥ m_c}| / |C_S|

Aquí, mc es el umbral de adecuación predefinido para la predicción por país. Una auditoría:

• 100 por ciento cobertura de observación de país,
• 99 por ciento cobertura de observación de población,
• puede llevar solo 10 por ciento de cobertura de predicción por país

Estos resultados no pueden convertirse entre sí.

13. ALARMA DEL OBSERVADOR

Cuando se encuentra un problema material en la observación de un vigilante, se crea una Alarma de Vigilante. Tipos de alarmas:

SA-1— ANOMALÍA DE ACCESO

El registro oficial de acceso entra en conflicto con el acceso real de los usuarios.

SA-2— ANOMALÍA DE ENTIDAD

La entidad se fusiona con otra empresa, producto u operación en otro país.

SA-3— ANOMALÍA DE IDIOMA O LOCALIDAD

Ocurre un idioma incorrecto, un contexto de país equivocado o una desviación obvia de la localidad.

SA-4— ANOMALÍA DE HECHO MATERIAL

El precio material, servicio, capacidad, asociación o tiempo es incorrecto.

SA-5— CANDIDATO A INCIDENTE CRÍTICO

Existe un error grave relacionado con la salud, la ley, las finanzas, la seguridad, la licencia o la identidad.

SA-6— ANOMALÍA DE REFERENCIA O prompt

El origen del problema no es la respuesta de la IA:

• prompts,
• traducción,
• fuente oficial,
• adjudicación

podría ser responsable. La alarma no es un fallo automático del país. Es el inicio de la verificación y la escalación.

14. PROTOCOLO DE ESCALACIÓN DEL OBSERVADOR

Paso 1— Verificación de Validez

¿La observación realmente está de acuerdo con el protocolo? País correcto Producto correcto Solicitud correcta Idioma correcto Primera salida apropiada Evidencia completa verificada.

Paso 2— Recodificación del Incidente

Problema:

• Producto de IA,
• registro de referencia,
• prompts,
• participante,
• de acceso

¿A cuál de las fuentes podría pertenecer?

Paso 3— Repetición Independiente

Antes de seleccionar el resultado, se realiza la verificación con usuarios o sesiones nuevas predefinidas.

Paso 4— Muestreo Dirigido

Si el evento continúa, se puede aplicar un muestreo específico por país. Tamaño de la muestra:

• severidad del evento,
• prevalencia esperada,
• población del país,
• diversidad lingüística

se definen previamente.

Paso 5— Separación de Decisiones

Se mantienen separados los siguientes resultados:

• Evento verificado único
• Patrón repetido
• Tasa por país
• Efecto crítico de idoneidad

Un solo evento crítico puede afectar la revisión de conformidad incluso sin una estimación de la prevalencia.

15. ¿QUÉ ES LA JUSTICIA LINGÜÍSTICA?

Justicia lingüística:

No se trata de que todos los idiomas reciban exactamente la misma respuesta palabra por palabra.

Significa:

En preguntas de los usuarios que sean semánticamente equivalentes y materialmente comparables, aparte de las diferencias locales reales, los usuarios no deberían recibir sistemáticamente representaciones que sean más incorrectas, más incompletas, menos fundamentadas o más riesgosas debido a su idioma.

La equidad lingüística no busca esta igualdad:

R_Turkish= R_English= R_Japanese

palabra por palabra. Busca esto:

Representación comparable en términos de identidad, realidad material, límite, tiempo, estado de la fuente y idoneidad para el usuario.

16. LA DIFERENCIA DE IDIOMA NO SIEMPRE ES INJUSTICIA

Los resultados del lenguaje pueden variar legítimamente por las siguientes razones: El alcance de los servicios locales es diferente. Los precios y las condiciones del contrato varían según el país. El conocimiento legal depende de la jurisdicción. La intención del usuario es diferente. Los mensajes no son semánticamente idénticos. Las fuentes oficiales contienen diferentes contenidos según el idioma. El producto de IA no admite oficialmente el idioma relevante. Cada una de estas diferencias debe registrarse. Las diferencias locales explicables no deben etiquetarse como injusticia. Sin embargo, aunque la realidad sea la misma, en un idioma con pocos recursos:

• la identidad de la empresa está corrompida,
• se eliminan las fronteras,
• se añadió la licencia incorrecta,
• la respuesta se da constantemente en otro idioma

podría ser un problema de representación basado en el lenguaje.

17. UNIDAD DE LENGUAJE

En la evaluación del lenguaje, solo el nombre general del idioma puede no ser suficiente. La unidad de idioma preferida:

L=(λ,σ,ℓ,d)

y puede considerarse como. Aquí:

• λ: idioma
• σ: sistema de escritura
• ℓ: contexto de localidad o país
• d: tarea o dominio

Por ejemplo, el mismo idioma:

• en un sistema de escritura diferente,
• en un país diferente,
• en el ámbito legal o de atención médica

puede requerir una celda de medición aparte. No todos los usuarios de un idioma son un grupo homogéneo.

18. ESTADOS DE SOPORTE DE IDIOMA

Cada producto de IA puede usar uno de los siguientes estados para el idioma y interfaz de usuario:

LS-0— DESCONOCIDO

No se pudo determinar el estado de soporte.

LS-1— NO SOPORTADO

El producto no admite oficialmente el idioma en cuestión. No se evalúa dentro de la puntuación del idioma principal admitido. Se pueden realizar pruebas experimentales.

LS-2— OBSERVADO PERO NO SOPORTADO

El producto puede generar respuestas. Sin embargo, no hay soporte oficial ni garantía de calidad. Reportado como un resultado experimental separado.

LS-3— SOPORTE LIMITADO

Existe soporte para tareas, interfaces o funciones específicas.

LS-4— SOPORTE OFICIAL

El idioma del producto generalmente se considera soportado.

LS-5— ELEGIBLE PARA AUDITORÍA

Idioma:

• soporte oficial,
• equivalencia de prompts,
• adjudicador local,
• competencia de referencia,
• captura válida

es completamente compatible con auditorías. La mera presencia de soporte oficial no constituye LS-5.

19. LENGUA DE BAJOS RECURSOS

El término “lengua de bajos recursos” no describe el valor de la lengua ni la calidad de sus hablantes. En ciertos contextos tecnológicos y de auditoría, indica una o más de las siguientes deficiencias:

• Contenido digital limitado
• Fuente oficial localizada limitada
• Conjunto de datos de evaluación limitado
• Acceso limitado a los evaluadores
• Bajo soporte de producto
• Recurso terminológico limitado
• Calidad limitada de traducción automática
• Acceso bajo al panel de usuarios

Una lengua puede ser de bajos recursos en un campo y fuerte en otro. Por ejemplo, mientras tiene recursos sólidos en la conversación cotidiana:

• ley,
• medicina,
• campo técnico específico

puede tener recursos limitados. Por lo tanto, el nivel de recursos lingüísticos:

• producto,
• tarea,
• tiempo,
• campo

debería definirse conjuntamente.

20. TAREAS DEL PANEL DE EQUIDAD LINGÜÍSTICA

20.1. Sobremuestreo de idiomas con pocos recursos

Proporciona usuarios adicionales para idiomas que no reciben suficientes observaciones en el panel principal de población.

20.2. Medición de la distribución de errores de material según el idioma

No solo la precisión general:

• identidad,
• alcance,
• tiempo,
• fuente,
• recomendación,
• Error crítico

examina los resultados por separado.

20.3. Verificación del idioma de respuesta

¿Responde la IA de acuerdo con el idioma del mensaje? Si cambia a otro idioma, ¿cuál es la razón?

20.4. Examinando la Distinción de Lenguaje y Localidad

¿Acaso el mismo lenguaje lleva diferentes realidades locales en distintos países? ¿Gestiona la IA correctamente esta diferencia?

20.5. Examinando la paridad entre la fuente y la representación oficial

¿Los registros oficiales de existencia tienen la misma realidad material en todos los idiomas? Un resultado bajo de IA puede surgir de una brecha lingüística en la propia fuente.

20.6. Probando la Equivalencia de Instrucciones

¿Realmente las traducciones transmiten la misma intención del usuario?

20.7. Probando la Paridad del Adjudicador

¿Pueden los adjudicadores en diferentes idiomas aplicar el mismo estándar normativo?

21. CUATRO PUERTAS PARA LA EQUIDAD DEL LENGUAJE

Un resultado de lenguaje debe ser evaluado a través de cuatro puertas antes de atribuirlo al desempeño lingüístico del producto de IA.

Puerta 1— Equivalencia de Intención

¿Son los indicios semánticamente comparables? Si falla:

FALLO_DE_EQUIVALENCIA_DE_INDICIOS

se da el estado.

Puerta 2— Paridad de Referencia

¿Son suficientes los registros de realidad oficiales y verificados para el idioma correspondiente? Si falla:

BRECHA_DE_IDIOMA_DE_REFERENCIA

se da el estado.

Puerta 3— Paridad de Medición

¿Son comparables las condiciones de captura, sesión, interfaz y usuario? Si falla:

FALLO_DE_PARIDAD_DE_MEDICIÓN

se da el estado.

Puerta 4— Paridad de Adjudicación

¿Hay adjudicadores en el idioma nativo o con suficiente experiencia local y las mismas reglas de evaluación? Si falla:

BRECHA_DE_IDIOMA_DE_ADJUDICACIÓN

se asigna. A menos que se cumplan suficientemente las cuatro puertas: “El producto de IA es peor en este idioma.” no puede establecerse de manera definitiva. La brecha de lenguaje sigue siendo un hallazgo del ecosistema GEO. Sin embargo, su origen debe clasificarse correctamente.

22. ESTABLECIMIENTO DEL UNIVERSO LINGÜÍSTICO

La frase “todos los idiomas” no puede utilizarse sin limitación. Cada auditoría debe crear un Registro de Idiomas dentro del Alcance. Los idiomas pueden seleccionarse de los siguientes grupos:

22.1. Conjunto de Idiomas Globales Básicos

Idiomas nativos utilizados por una gran población humana adecuada para el producto.

22.2. Conjunto de Idiomas del Mercado de la Entidad

Los idiomas dirigidos por la entidad auditada:

• servicio,
• en términos de contenido,
• cliente,
• contrato

y mantenimiento.

22.3. Conjunto de Idiomas de Soporte del Producto

Idiomas oficialmente soportados por el producto de IA.

22.4. Conjunto de lenguajes observadores de pocos recursos

Lenguas con pocos recursos que son débiles en el panel poblacional o conllevan riesgos en términos de comportamiento del producto.

22.5. Conjunto de Lenguaje de Alto Riesgo

Lenguajes que tienen un impacto material en el usuario en el contexto de la salud, el derecho, las finanzas o la seguridad.

22.6. Conjunto de Lenguajes Experimentales

Lenguajes que el producto no soporta oficialmente pero que se prueban con fines observacionales o de investigación. Estos grupos pueden solaparse. La razón por la que se incluye cada idioma debe registrarse.

23. ASIGNACIÓN DE LA EQUIDAD LINGÜÍSTICA

Para el idioma l, sea el objetivo en el panel principal de población nlP. El objetivo adicional en el panel de equidad es nlF. La observación total del idioma recopilada:

n_l^T= n_l^P+ n_l^F

se obtiene. Se mantiene el peso total del idioma en el cálculo de la población global como Wl. El peso normalizado por observación:

w_{i,l}= W_l/ n_l^T

puede considerarse de esta manera. Así, el idioma está sobremuestreado. Sin embargo, no supera la proporción real de la población en la puntuación global.

24. CONTRIBUCIÓN DEL PANEL DE EQUIDAD LINGÜÍSTICA AL puntuación GLOBAL

Las observaciones sobre la equidad lingüística se pueden usar de dos maneras.

24.1. Análisis Diagnóstico Separado

El panel de equidad solo produce puntuaciones de lenguaje y tipos de errores. El Panel de Población principal no cambia la puntuación global. Este método es más sencillo.

24.2. Análisis Combinado Reponderado

Se utilizan juntas las observaciones de Equidad de Población y Lenguaje. Cada observación se repondera de acuerdo con el peso real de la población del idioma objetivo. Este método puede aumentar el volumen de información. Sin embargo:

• doble contabilización
• usuario multilingüe,
• dependencia del panel,
• variabilidad de los pesos

Debe ser tomado en consideración. El método utilizado debe ser definido antes de ver los resultados.

25. MÉTRICAS DE COBERTURA DE IDIOMA

25.1. Cobertura de Observación de Idioma

La proporción de idiomas en el alcance que tienen al menos una observación válida.

LOC= |{l: n_l^obs > 0}| / |L_scope|

25.2. Cobertura de Predicción de Idioma

La proporción de idiomas que cumplen con los requisitos suficientes de muestra y calidad.

LEC= |{l: n_{l,eff}≥ m_l}| / |L_scope|

25.3. Cobertura de Idioma Ponderada por Población

La proporción de la población del idioma objetivo que está adecuadamente observada. Requiere un idioma primario de auditoría o ponderación dividida por persona para prevenir el doble conteo de usuarios multilingües.

25.4. Cobertura de Soporte de Producto

Indica en cuántos de los idiomas cubiertos el producto recibe soporte oficial. El soporte del idioma y la precisión de la representación se mantienen por separado.

26. MÉTRICAS DE DESIGUALDAD DE IDIOMA

MÉTRICAS CANDIDATAS — MÉTRICAS PROPUESTAS

El conjunto exacto de métricas debe calibrarse a través de un piloto y revisión externa.

26.1. Resultado del Idioma

Para cada celda de idioma suficiente: se calcula θl.

26.2. Diferencia Más Alta-Más Baja

DG_max= max_l θ_l− min_l θ_l

Fácil de entender. Sin embargo, es sensible a celdas individuales pequeñas y volátiles.

26.3. Diferencia de Percentil Robusta

DG_{90−10}= Q_{0.90}(θ_l)− Q_{0.10}(θ_l)

Es menos sensible a celdas extremas.

26.4. Piso de idioma

Es el resultado más bajo de lenguaje con una muestra suficiente.

LF_min= min_{l∈L_est} θ_l

Este valor debe proporcionarse junto con la incertidumbre de celdas pequeñas.

26.5. Piso de Lenguaje Robusto

Es el percentil inferior o el promedio de subgrupo de lenguajes suficientes. Ejemplo:

LF_10= Q_{0.10}(θ_l)

26.6. Tasa de Error Crítico de Lenguaje

Para cada lenguaje:

CR_l= respuesta válida con error crítico verificado / respuesta válida del idioma

Se publica por separado del promedio global.

26.7. Tasa de idioma desconocido

U_l= respuesta DESCONOCIDA o irresoluble / observación relevante del idioma

Una alta tasa de desconocidos puede ser tan importante como una puntuación baja.

27. puntuación DE LENGUAJE IGUAL Y puntuación PONDERADO POR POBLACIÓN

Se pueden producir resultados diagnósticos que ponderen todos los idiomas por igual:

G_equal-language= (1/L)Σ_{l=1}^L θ_l

Este resultado aproxima la pregunta: "Experiencia promedio en el idioma evaluado." No representa la experiencia promedio humana en la población mundial. Resultado de idioma ponderado por población:

G_population-language= Σ_l W_l θ_l

Preserva la distribución de la población. Los dos puntuaciones son diferentes. No se pueden usar de manera intercambiable. Ambos se pueden mostrar juntos en la tarjeta de equidad lingüística.

28. LA EQUIDAD LINGÜÍSTICA NO ES UNA OBLIGACIÓN DE RESULTADOS IGUALES

Tener la misma puntuación en dos idiomas no es una violación automática. La diferencia puede explicarse por las siguientes razones:

• Diferencia actual del servicio local
• Ley específica de cada país
• Cobertura de soporte oficial del producto
• Acceso a recursos
• Intención del usuario
• Área de prompt

Sin embargo, si no se puede explicar la fuente de la diferencia o si los idiomas con pocos recursos experimentan sistemáticamente:

• identidad incorrecta,
• autorización incorrecta,
• deficiencia material,
• error crítico alto

si esto ocurre, hay un problema de equidad lingüística. NOMOS define la equidad lingüística de la siguiente manera:

En condiciones materiales equivalentes, el idioma en sí no debería ser la causa de una representación sistemática incorrecta.

29. INTERSECCIÓN DE IDIOMA Y PAÍS

La puntuación de idioma no es independiente de los países. El mismo idioma:

• diferentes países,
• diferente acceso a productos,
• diferentes recursos locales,
• diferente legislación,
• diferente precio

puede usarse en el contexto de. Por lo tanto, la celda país–idioma: (c,l) debe examinarse por separado cuando sea necesario. Ejemplo:

• Alemania × Turco
• Turquía × Turco
• Reino Unido × Turco

Es el mismo idioma pero puede tener un contexto diferente de localidad y mercado. La equidad lingüística no puede medirse únicamente por el idioma oficial del país.

30 th Intersección del Observador por País Y del Panel de Equidad Lingüística

Una observación simultánea:

• observación pequeña del Observador por País,
• observación de idioma con pocos recursos

puede ocurrir. En este caso, el registro debe contener los siguientes campos:

ROL_PRINCIPAL_DEL_PANEL

ETIQUETAS_DIAGNÓSTICAS_SECUNDARIAS

peso de la población Estado de observador Estado de Equidad Lingüística La misma observación no puede contarse completamente en dos paneles separados. Es una sola observación. Tiene más de una etiqueta de diagnóstico.

31. CAMBIO DE PARTICIPANTES EN EL PANEL DE OBSERVADORES Y LENGUAJE

Un participante solo puede ser cambiado debido a una violación del protocolo. Los siguientes resultados no son razones para el cambio:

• Respuesta incorrecta de la IA
• Rechazo
• Respuesta en otro idioma
• Error crítico
• Confusión de entidad
• Recomendación negativa

Estos son resultados de medición. El propósito del panel de observadores es específicamente identificar eventos inesperados. Cambiar al usuario porque ocurrió un evento inesperado va en contra del propósito del panel.

32. ADJUDICACIÓN DE LENGUAJE

La adjudicación en el Panel de Equidad Lingüística debe cumplir como mínimo las siguientes condiciones:

• Ser capaz de entender el prompt y la respuesta de manera natural o a un nivel de alta competencia
• Conocimiento de la terminología local
• Ser capaz de evaluar fuentes de evidencia
• Usando la misma guía de evaluación normativa
• Ser ajeno al modelo y, si es posible, a los intereses de la marca
• Divulgar conflicto de intereses
• Ruta de un tercer adjudicador en caso de desacuerdo

Idioma donde no se pueda encontrar un adjudicador:

BRECHA_DE_IDIOMA_DE_ADJUDICACIÓN

debe tener el estatus. No se puede asumir que todos los matices son correctos si se traducen al inglés mediante traducción automática. La traducción automática puede ser una herramienta útil. No es la verificación final del significado local.

33. PARIDAD DE FUENTE

De la entidad en el sitio en inglés:

• alcance,
• precio,
• licencia,
• límites,
• evidencia

existe; si estos no están presentes en otra versión en otro idioma, el bajo resultado de IA puede no ser solo un problema del modelo. Se necesitan tres resultados separados:

• Entidad Idioma Fuente Brecha
• AI Producto Idioma Representación Brecha
• Brecha Combinada Frente al Usuario

El problema final desde la perspectiva del usuario sigue siendo real. Sin embargo, la responsabilidad de la corrección puede variar:

• entidad,
• Proveedor de IA,

ambos.

34. PARIDAD DE afirmación

Los prompts que no son semánticamente equivalentes producen respuestas diferentes. Ejemplo: En un idioma: “¿A qué se dedica esta empresa?” En otro idioma: “¿Es esta empresa confiable y recomendable?” Si se pregunta, los resultados no pueden compararse. La Constitución de Prompts se detallará en la sección siguiente. La disposición de esta sección es la siguiente:

Las diferencias en el rendimiento de los modelos de lenguaje no pueden atribuirse al rendimiento del lenguaje de la IA sin verificar la equivalencia de los prompts.

35. DESVIACIÓN DEL IDIOMA DE RESPUESTA

El usuario da un prompt en turco. La IA genera una respuesta en inglés. Este resultado:

• incluso si la información factual es correcta,
• puede afectar la experiencia del usuario,
• accesibilidad
• y la comprensión.

La desviación del idioma de respuesta debe registrarse por separado:

IDIOMA_COINCIDENTE

CAMBIO_DE_CÓDIGO_PARCIAL

CAMBIO_DE_IDIOMA_NO_SOLICITADO

SALIDA_DE_IDIOMA_INUTILIZABLE

DESCONOCIDO

El cambio de código no siempre es un error. Por ejemplo, usar términos técnicos en inglés puede ser normal. Es relevante si interrumpe la usabilidad principal de la respuesta.

36. SISTEMA DE ESCRITURA Y TRANSCRIPCIÓN

El mismo idioma puede ser usado en diferentes sistemas de escritura. Para un entidad:

• nombre,
• nombre del producto,
• identidad legal

puede confundirse con otra entidad durante la transliteración. El Panel de Equidad Lingüística, en la medida en que sea relevante:

• sistema de escritura,
• transliteración,
• nombre local oficial,
• nombre usado por el usuario

debe registrar sus campos. Las diferencias del sistema de escritura sólo deben considerarse formales. Si afecta a la resolución de entidades, es material.

37. Observador de País SINTÉTICO CYCLE

PRESENTACIÓN DE METODOLOGÍA SINTÉTICA / El siguiente producto, países, números y resultados son ficticios. En el registro del producto sintético llamado Orion AI Alcance natural: hay 120 países elegibles. El Panel Principal de Población ha producido observaciones válidas en la primera ola solo de 38 países debido al ponderado de la población.

37.1. Alcance de la Primera Ola

Número de países elegibles: 120 Países con al menos una observación: 38

COC_count= 38/120= 31.7%

Permitir que estos 38 países representen 97% de la población elegible.

COC_pop= 97%

Resultado: El número de países es bajo en cobertura, la cobertura de la población es alta.

37.2. Ciclo de Observador de Cuatro Olas

Distribuya los 82 países restantes en cuatro oleadas utilizando un programa previamente congelado aleatorio y basado en riesgos. Cada país se observa al menos una vez dentro del ciclo. Al final de la cuarta oleada:

COC_count= 120/120= 100%

Sin embargo, se ha alcanzado un muestreo suficiente para la estimación del país en solo 14 países.

CEC = 14/120= 11.7%

Registro público correcto: Cobertura de observación por país: 100%/ Cobertura de observación de la población: cerca de 100%/ Cobertura de predicción por país: 11.7% Registro público incorrecto: “Todos los 120 países tienen una puntuación de país confiable.”

37.3. Alarma crítica de país pequeño

En un registro de Observador de País, la respuesta de la IA observada en el pequeño país J identifica erróneamente a la entidad auditada como un bufete de abogados con licencia. En realidad, la entidad no presta servicios legales. Una sola observación no estima la tasa de error del país J; establece un evento crítico candidato. Protocolo: validar la observación; verificar el prompt y el registro de referencia; repetir con nuevos usuarios independientes; si el evento persiste, abrir una muestra dirigida del país; y evaluar el impacto de conformidad crítica por separado. El evento observado puede ser raro; el daño potencial no tiene que ser pequeño.

38. DEMOSTRACIÓN DE EQUIDAD LINGÜÍSTICA SINTÉTICA

MUESTRA SINTÉTICA — NO REPRESENTA EL RENDIMIENTO REAL DE LA IA NI DE LA EMPRESA

Incluir cinco idiomas en la prueba de Identidad Central Sintética Apple.com. Distribución de la Población Principal del Panel:

Resultados del lenguaje sintético:

Resultado global ponderado por población:

0.55(95)+0.25(92)+0.10(88)+0.06(65)+0.04(58)=90.27

La puntuación global es alta. Sin embargo, hay una degradación severa en dos idiomas.

38.1. Sobremuestreo de equidad lingüística

Agregar 140 observaciones adicionales a L4, 160 a L5. Nuevos números de observaciones:

La media bruta de todas las observaciones de 1,300 es menor que el resultado ponderado por población mostrado arriba. No es una puntuación de población global, porque L4 y L5 se sobremuestraron intencionalmente. Una vez que se restablecen los pesos de la población objetivo, el resultado global vuelve a la cifra ponderada por población arriba mencionada. El sobremuestreo mejora la sensibilidad para L4 y L5 sin cambiar la estimación ponderada por población.

38.2. Tarjeta de puntuación de equidad lingüística

Resultado sintético. Puntuación global ponderada por población: 90.27. Puntuación de igualdad entre idiomas:

(95+92+88+65+58)/5=79.6

Diferencia lingüística de mayor a menor: 37 puntos; idioma más bajo: 58; media de los dos idiomas más bajos: 61.5; tasa de error crítico en idiomas con menos recursos: reportada por separado; equivalencia de prompts: se asume verificada; paridad de referencia: se asume verificada. Interpretación correcta:

La representación de la población global parece alta; sin embargo, la equidad lingüística es seriamente débil.

Interpretación incorrecta: “Dado que la puntuación global es 90, GEO tiene éxito en todos los idiomas.”

39. CASO SINTÉTICO QUE DISTINGUE LA FUENTE DEL DETERIORO DEL IDIOMA

Consideremos tres idiomas.

Idioma A

prompt equivalente Fuente oficial completa Evaluador local suficiente Respuesta de IA incorrecta Resultado: Candidato para problema de representación de idioma en producto de IA.

Idioma B

Traducción del prompt respuesta de IA materialmente diferente apropiada al prompt Resultado: Defecto de la Constitución del prompt.

Lenguaje C

En la página del idioma oficial, el antiguo precio de la IA se mantiene sobre el antiguo precio de la fuente en inglés es actual Resultado: El problema de paridad de la fuente de idioma de la entidad y la brecha de representación combinada alcanzando al usuario. Incluso si las puntuaciones de los tres idiomas parecen iguales, el propietario de la corrección es diferente.

40. PANELES DE PAÍS Y LENGUAJE TARJETA DE RESULTADO PÚBLICA

La tarjeta de resultados públicos del candidato debe incluir los siguientes campos:

Campos del país

Alcance natural número apropiado de países Número de países con al menos una observación Cobertura de observación por país Cobertura de observación ponderada por población Cobertura de predicción por país Tiempo del ciclo del Observador por País Abrir alertas del observador PAÍSES FUERA DEL ALCANCE NATIVO PAÍSES NO OBSERVADOS Fecha de medición

Campos de idioma

Número de idiomas cubiertos Número observado de idiomas Número de idiomas para los que se pueden hacer predicciones Idiomas oficialmente soportados Idiomas experimentales Resultado global de idiomas ponderado por población Resultado con reconocimiento igual de idiomas Piso de idioma Diferencia de idioma Tasas de error críticas

BRECHA_DE_IDIOMA_DE_REFERENCIA

FALLO_DE_EQUIVALENCIA_DE_INDICIOS

Idiomas NO PROBADOS Versión del panel de idiomas Esta tarjeta hace visible la realidad que un solo distintivo "multilingüe" no puede transmitir.

41. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH07-N01

Los paneles del Observador por País y de Equidad Lingüística deben definirse por separado del Panel de Población principal en términos de propósito, muestra y ponderación.

CH07-N02

Una observación de un Observador por País no puede usarse como puntuación de la población del país.

CH07-N03

Para un país, tener una observación y poder producir una estimación del país son estados separados.

CH07-N04

El número de países cubiertos y la cobertura de los países ponderada por población deben ser reportados juntos.

CH07-N05

La cobertura de la estimación del país debe mostrarse por separado de la cobertura de observación.

CH07-N06

Cada país elegible debe tener una probabilidad de ser observado mayor que cero en el ciclo de vigilancia definido; también se deben mostrar los países que están fuera del alcance.

CH07-N07

El ciclo de vigilancia y las clases de frecuencia por país deben ser versionados antes de que se vean las respuestas de IA.

CH07-N08

Un país con puntuación baja no puede ser eliminado del ciclo de Observador después de ver los resultados.

CH07-N09

Una alerta de Observador de País no es un fallo automático del país; provoca verificación y escalamiento.

CH07-N10

Un solo evento de Observador Crítico también puede iniciar una revisión de conformidad separada sin estimación de prevalencia.

CH07-N11

Las observaciones del Panel de Observadores del País no pueden usarse en el Panel de Población principal con ponderación igual sin procesar.

CH07-N12

Si se incluyen las observaciones del Observador por País en la puntuación principal, sus probabilidades de selección y ponderaciones deben ser modeladas explícitamente.

CH07-N13

La equidad lingüística no puede definirse como la obligación de dar la misma respuesta palabra por palabra.

CH07-N14

La equidad lingüística requiere precisión comparable, límites, fuente y adecuación del usuario bajo condiciones materiales equivalentes.

CH07-N15

Idioma y país, idioma y configuración regional, e idioma y sistema de escritura no pueden usarse de manera intercambiable.

CH07-N16

El universo lingüístico cubierto y la razón para incluir cada idioma deben explicarse antes de la medición.

CH07-N17

La afirmación de 'todos los idiomas' solo puede utilizarse si de hecho se han medido todas las interfaces relevantes de idioma y usuario; de lo contrario, se debe decir 'idiomas dentro del alcance'.

CH07-N18

Las observaciones en un idioma que no es oficialmente admitido no pueden añadirse al desempeño principal del producto admitido sin explicación.

CH07-N19

El muestreo excesivo de idiomas con pocos recursos no debe aumentar el peso poblacional global.

CH07-N20

Si las observaciones del Panel de Equidad Lingüística se incluyen en el resultado global, deben devolver el peso a las poblaciones de idiomas objetivo reales.

CH07-N21

El mismo usuario multilingüe no puede contarse como más de un humano completo en el peso de la población global.

CH07-N22

Sin verificar la equivalencia del prompt, la diferencia en la puntuación de lenguaje no puede atribuirse de manera definitiva al rendimiento del lenguaje de la IA.

CH07-N23

Una puntuación baja de lenguaje no puede asignarse únicamente al producto de IA sin evaluar la paridad de referencia.

CH07-N24

Una decisión sobre la precisión del lenguaje no puede finalizarse sin la competencia suficiente del adjudicador local.

CH07-N25

La desviación del lenguaje en la respuesta y el cambio de código deben registrarse por separado.

CH07-N26

Las diferencias legítimas de la realidad local no pueden clasificarse como injusticia lingüística.

CH07-N27

Las diferencias materiales de lenguaje no explicadas no pueden cerrarse únicamente como diferencias de personalización o estilo.

CH07-N28

La puntuación de la población global no puede reemplazar el resultado de la equidad del lenguaje.

CH07-N29

La puntuación de lenguaje igual no puede presentarse como una puntuación global ponderada por la población.

CH07-N30

Las tasas de error crítico basadas en el idioma deben mostrarse por separado del promedio general.

CH07-N31

PROMPT_EQUIVALENCE_FAILURE, REFERENCE_LANGUAGE_GAP, MEASUREMENT_PARITY_FAILURE y ADJUDICATION_LANGUAGE_GAP deben mantenerse como estados separados.

CH07-N32

En los paneles de Observador por País y Equidad Lingüística, la decisión de cambiar a los participantes no puede basarse en la corrección de la respuesta de la IA ni en beneficio de la marca.

CH07-N33

La misma observación puede tener múltiples etiquetas de diagnóstico; sin embargo, no puede recibir más de un peso completo en la predicción global sin explicación.

CH07-N34

Los registros de los paneles de país e idioma deben tener un propietario humano o institucional responsable.

42. FORMAS DE FALLA

CH07-F01— puntuación DE PAÍS DE UNA SÓLA PERSONA

La observación de un solo observador se publica como La puntuación GEO para el país.

CH07-F02— COBERTURA SIMBÓLICA DEL PAÍS

Se asigna una persona a cada país y se llama 'proporcional a la población mundial.'

CH07-F03— CONFUNDIR LA COBERTURA DE LA POBLACIÓN CON EL NÚMERO DE PAÍSES

Aunque se observa un pequeño número de países grandes, solo se muestra la cobertura de la población; aunque se observa un gran número de países pequeños, solo se muestra el número de países.

CH07-F04— CONTAR EL ALCANCE DE LA OBSERVACIÓN COMO ALCANCE DE ESTIMACIÓN

Todos los países con al menos una observación se consideran países puntuados.

CH07-F05— CONTAR LA OBSERVACIÓN DE UN OBSERVADOR DE UN PAÍS DOS VECES EN LA PUNTUACIÓN PRINCIPAL

La misma observación recibe peso completo tanto en el Panel de Observador como en el Panel de Población.

CH07-F06— CONVERTIR UNA ALERTA DE UN OBSERVADOR DE PAÍS EN UNA AFIRMACIÓN DE PREVALENCIA

Un solo evento se generaliza a todos los usuarios del país.

CH07-F07— IGNORANDO UN EVENTO DE OBSERVADOR CRÍTICO

El alto riesgo de daño no se examina diciendo “solo un usuario”.

CH07-F08— ELIMINANDO UN PAÍS CON BAJA PUNTUACIÓN DEL CICLO

El horario del observador se cambia de acuerdo con los resultados.

CH07-F09— OBSERVANDO SOLO LOS MERCADOS COMERCIALES

Los países que tienen acceso a productos pero se consideran comercialmente poco importantes están completamente excluidos; El resultado se presenta a nivel global.

CH07-F10— CONSIDERANDO EL PAÍS Y EL IDIOMA COMO EL MISMO

El idioma oficial del país se acepta como el idioma de todos los usuarios.

CH07-F11— afirmación DE TODOS LOS IDIOMAS

Se miden solo unos pocos idiomas limitados; El resultado se publica como “en todos los idiomas”.

CH07-F12— BORRANDO LENGUA DE BAJA SOLDADURA

Debido a que la muestra es pequeña, el idioma se excluye completamente del informe.

CH07-F13— SOBRECRESIMIENTO DEL IDIOMA CON POCOS RECURSOS A NIVEL GLOBAL

El idioma con sobrerrepresentación entra en la puntuación global con su participación de muestra sin procesar.

CH07-F14— CONTANDO LA PUNTUACIÓN IGUAL PARA TODOS LOS IDIOMAS COMO LA PUNTUACIÓN DE LA POBLACIÓN

La puntuación de diagnóstico que otorga igual peso a cada idioma se presenta como la experiencia promedio de la población mundial.

CH07-F15— CONTANDO LA PUNTUACIÓN DE LA POBLACIÓN COMO JUSTICIA EN EL IDIOMA

El resultado global, impulsado por el peso de los idiomas grandes, oculta la distorsión en los idiomas pequeños.

CH07-F16— CONTANDO EL ERROR DE TRADUCCIÓN DEL PROMPT COMO ERROR DE IA

La diferencia que surge de prompts semánticamente diferentes se atribuye al modelo.

CH07-F17— CONTANDO LA BRECHA DEL IDIOMA FUENTE COMO ERROR DE IA

Aunque no exista información oficial localizada, toda la responsabilidad recae en el producto de IA.

CH07-F18— DEFENDIENDO EL ERROR DE IA CON FALTA DE RECURSOS

Aunque los mismos y suficientes recursos están disponibles, los errores en el idioma con pocos recursos se cierran únicamente por contenido faltante.

CH07-F19— CONSIDERANDO LA INADECUACIÓN DEL IDIOMA DEL JUEZ COMO FALLO DEL PRODUCTO

Incluso si el juez malinterpretó, el resultado se finaliza.

CH07-F20— CONSIDERANDO LA TRADUCCIÓN AUTOMÁTICA COMO JUEZ FINAL

No se verifica la pérdida de significado local.

CH07-F21— CONSIDERANDO LOS CAMBIOS DE CÓDIGO COMO ERROR AUTOMÁTICO

Se producen fallos con términos técnicos naturales o mezcla de idiomas aceptable.

CH07-F22— CONSIDERANDO LA DESVIACIÓN DE IDIOMA INUTILIZABLE COMO ESTILO

Incluso si el sistema responde en otro idioma que el usuario no puede entender, el resultado se considera exitoso.

CH07-F23— IGNORANDO LA DIFERENCIA DEL SISTEMA DE ESCRITURA

Se considera formal un error de transliteración que cause confusión de entidades.

CH07-F24— CONTAR A UN USUARIO MULTILINGÜE DOS VECES

La misma persona se cuenta como una unidad poblacional separada en todos los idiomas.

CH07-F25— CONSIDERAR COMO INJUSTA UNA DIFERENCIA LOCAL LEGÍTIMA

Incluso si la diferencia de precio o legal se basa en condiciones locales reales, se declara como un sesgo de idioma.

CH07-F26— CONSIDERAR PERSONAL UNA DIFERENCIA INEXPLICABLE

La inconsistencia material bajo condiciones equivalentes no se cuestiona.

CH07-F27— PUNTUACIÓN DEFINITIVA DE UNA CELDA DE IDIOMA INSUFICIENTE

La clasificación por idioma se realiza con pocas observaciones.

CH07-F28— CONFIGURACIÓN DEL PANEL DE IDIOMA DESPUÉS DEL RESULTADO

Solo se seleccionan después los idiomas que obtuvieron puntuaciones bajas o altas.

CH07-F29— MEDICIÓN SOLO DE IDIOMAS DE ALTA FUENTE

El resultado se presenta como "multilingüe".

CH07-F30— PRESERVANDO LOS IDIOMAS NO PROBADOS

El campo NO PROBADO no aparece en la tarjeta de resultados pública.

43. PROCEDIMIENTO DE AUDITORÍA

Paso 1— Congelar Registro de Cumplimiento Producto-País

Para cada país:

• Alcance natural
• acceso al producto
• auditoría de idioma
• interfaz de usuario

se registra el estado.

Paso 2— Extraer Cobertura del País en el Panel de Población Principal

Se determina en qué países existe la observación del panel principal.

Paso 3— Definir el Universo de Países Observadores

Se identifican los países que son insuficientes en el panel principal y tienen estado CE-3.

Paso 4— Establecer el Ciclo de Observador

Países:

• se asignan en términos de clase de frecuencia,
• onda,
• idioma/ubicación,
• interfaz de usuario

y mantenimiento.

Paso 5— Preseleccionar Participantes Observadores

Se crean listas principales y de respaldo antes de ver los resultados.

Paso 6— Clasificar Resultados de Observador

Se asignan accesos, identidad, idioma, hecho material, estados de Evento Crítico.

Paso 7— Aplicar Alarma y Escalamiento

Por tipo de alarma:

• de nuevo,
• muestra dirigida
• revisión de referencia,
• revisión de conformidad

se inicia.

Paso 8— Calcular Métricas de Cobertura por País

El alcance del número de países, el alcance de la población y el alcance de la estimación por país se calculan por separado.

Paso 9— Congelar Registro de Idioma

Para cada lenguaje:

• por razones de alcance,
• estado de soporte,
• sistema de escritura,
• localización,
• universo del usuario

que se registra.

Paso 10— Establecer Sobremuestreo para la Equidad Lingüística

Se establecen objetivos adicionales para los idiomas que son insuficientes en el panel principal de población.

Paso 11— Verificar las Cuatro Puertas del Idioma

Se evalúan equivalencia del sistema, paridad de referencia, paridad de medición y paridad de adjudicación.

Paso 12— Calificar Observaciones de Idioma

Para cada lenguaje:

• veracidad,
• deficiencia material,
• Error crítico,
• desconocido,
• desviación del idioma de respuesta

que se registra.

Paso 13— Separar Pesos Globales y Diagnósticos

El resultado ponderado por población y el resultado con reconocimiento de idioma igual se calculan por separado.

Paso 14— Calcular la Desigualdad del Idioma

suelo del idioma, diferencia de idioma sólida, diferencia de error crítico, se calcula la tasa desconocida.

Paso 15— Examinar las Intersecciones País–Idioma

Se identifican diferencias o conflictos de localización del material.

Paso 16— Crear Tarjeta de Resultados Pública

Se hacen visibles el alcance, la suficiencia de predicción, las alarmas y las áreas no probadas.

44. EVIDENCIA NECESARIA

Registro de productos de IA y usuarios; registro del país Alcance natural; número de países elegibles; estado de acceso por país; asignaciones de países principales del Panel de Población; universo del Observador por país; ciclo del Observador; clases de frecuencia del Observador; matriz de asignación país–ola; asignaciones país–idioma; listas principales y de reserva de Observadores; resultados de observación por país; alertas del Observador; registros de escalamiento; muestras de países objetivo; cobertura de observación por país; cobertura de países ponderada por población; cobertura de estimación por país; registro de idiomas dentro del ámbito; estado de soporte de idioma; registros de script y configuración regional; recuentos de muestras principales por idioma; recuentos de sobremuestreo de Equidad Lingüística; ponderaciones de población por idioma; registros de usuarios multilingües; registros de equivalencia de prompts; registros de paridad de referencia; registros de paridad de medición; registros de calificación de adjudicadores locales; y resultados por idioma.

Idioma Tasas de error críticas Idioma de respuesta desviaciones Métricas de desigualdad lingüística Idiomas no probados Resultados iguales ponderados por idioma y población Pesos del panel Verificaciones de doble conteo Resultados públicos Panel de resultados Versiones del panel Persona o institución responsable

45. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Se ha separado el propósito del Panel de Observadores del País del panel principal de población? ¿Qué países están incluidos en el Observador? ¿Está actualizada la elegibilidad y el estado de acceso de los países? ¿Existe una probabilidad de observación positiva en el ciclo de vigilancia de cada país elegible? ¿Se congeló el ciclo de vigilancia antes de los resultados? ¿Se ha utilizado la observación del Observador por País como una puntuación del país? ¿Se han separado la cobertura de observación del país y la cobertura de estimación del país? ¿Se ha mostrado la cobertura del país ponderada por la población por separado? ¿Se han contado doble las observaciones del Observador por País en La puntuación principal? ¿Se ha confirmado la alerta del Observador Crítico? ¿Se ha convertido una sola alarma en una afirmación de prevalencia? ¿Se abrió el muestreo dirigido debido a la alarma? ¿Se definió previamente el universo de idiomas dentro del alcance? ¿Es coherente la afirmación de 'todos los idiomas' con la cobertura real? ¿Se han separado el idioma, el sistema de escritura y la configuración regional?

¿Se ha registrado el estado de soporte de idioma del producto? ¿Por qué se eligieron idiomas con pocos recursos? ¿Se reponderaron ejemplos de equidad lingüística en la puntuación global? ¿Se contó doble al mismo usuario multilingüe? ¿Se ha verificado la equivalencia de los prompts? ¿Son materialmente iguales las fuentes oficiales en todos los idiomas? ¿Los evaluadores conocen el idioma relevante a un nivel suficiente? ¿Se ha utilizado la traducción automática como juez final? ¿Se han registrado desviaciones en el idioma de las respuestas? ¿Se ha separado la variación local legítima de la injusticia lingüística? ¿Se ha publicado el corpus lingüístico y la variación de idiomas? ¿Son visibles las tasas de errores críticos basadas en el idioma? ¿Se han separado las brechas de REFERENCE_LANGUAGE_GAP y otros errores de medición? ¿Son visibles los idiomas no evaluados? ¿Oculta la puntuación pública el problema de imparcialidad del idioma?

¿Ha recibido la misma observación el peso completo en múltiples paneles? ¿Se ha identificado al responsable de los registros del panel?

46. OBJECIONES Y RESPUESTAS

Objeción 1— “¿No es todavía mejor dar una persona a cada país pequeño que no dar nada?”

Para la observación temprana y cobertura geográfica, sí. Pero esta persona no mide la proporción del país. El término correcto:

Observación del Observador de País

debe ser.

Objeción 2— “Si una persona no produce una puntuación del país, ¿por qué la enviamos?”

Porque una sola observación puede:

• revelar problemas de acceso,
• aclarar confusión de entidades,
• identificar el idioma equivocado,
• y registrar eventos críticos

visible por primera vez. El panel del Observador es un sistema de alerta temprana.

Objeción 3— “¿Tenemos que observar todos los países en cada oleada?”

No. Se puede utilizar un ciclo de vigilancia definido. Los países de alto riesgo o significativos pueden ser monitoreados con mayor frecuencia; los países pequeños y de bajo riesgo pueden ser observados de forma alterna. El calendario debe determinarse antes de los resultados.

Objeción 4— “Si los países pequeños reciben un peso bajo en la puntuación global, ¿por qué les estamos dando tanta atención?”

Porque su participación poblacional puede ser baja. Sin embargo:

• ley,
• idioma,
• daño local a los usuarios,
• integridad geográfica

son comunidades humanas reales. Un peso bajo no debería significar invisibilidad.

Objeción 5— “¿No es ponderar todos los idiomas por igual el método más justo?”

La ponderación equitativa de los idiomas puede ser una perspectiva diagnóstica valiosa. No representa la experiencia humana promedio en la población mundial. La puntuación de la población y la puntuación de equidad lingüística deben publicarse por separado.

Objeción 6— “Si un idioma pequeño solo afecta ligeramente el resultado global, ¿por qué importa una puntuación baja?”

Porque el problema de la representación es real para las personas que usan ese idioma. Además, los errores graves en licencias, salud o identidad no se trivializan automáticamente por la proporción de la población.

Objeción 7— “¿No es injusto culpar a la IA si un idioma con pocos recursos tiene pocos recursos?”

Puede que solo sea injusto culpar a la IA. Por lo tanto:

• paridad de recursos,
• equivalencia de prompts,
• competencia del evaluador

examinados por separado. El error que llega al usuario sigue siendo factualmente correcto. El propietario de la corrección debe determinarse correctamente.

Objeción 8— “¿No es normal tener diferentes respuestas en el mismo idioma en distintos países?”

Puede ser normal si las condiciones locales reales son diferentes. Si un mismo hecho material cambia de manera distinta y sin explicación, puede ser un problema. El idioma y la localidad deben examinarse juntos.

Objeción 9— “Si la IA da la respuesta correcta en otro idioma, ¿por qué fallaría?”

Si el usuario no puede entender la respuesta, no se puede utilizar la representación. La desviación del idioma debe evaluarse por separado junto con la precisión.

Objeción 10— “Encontrar usuarios 200 para puntuaciones de idioma puede ser muy costoso.”

Se puede usar una muestra más pequeña. Resultado:

• descubrimiento,
• temporal,
• muestra insuficiente

debe publicarse con este estado. El costo no otorga falsa certeza.

Objeción 11— “Si la puntuación global ya es alta, ¿no asusta innecesariamente al cliente una tarjeta de idioma separada?”

Ocultar el deterioro del material lingüístico no protege al cliente. Produce una falsa confianza. Se puede utilizar una tarjeta de resultados corta y clara.

Objeción 12— “¿Un único evento de Observador Crítico reduce toda la elegibilidad?”

La respuesta automática depende del tipo de evento. Un solo evento no indica prevalencia nacional. Sin embargo, si implica un daño severo o autoridad falsa, puede iniciar una revisión Crítica y medidas temporales. La decisión se definirá en la Sección 15.

REGLA COMÚN DE LA SECCIÓN 49

Crear una puntuación mundial es fácil. Llenas la población mundial con países grandes. Pierdes países pequeños en fracciones. Mides lenguajes de alto recurso. Lenguajes de bajo recurso: los eliminas diciendo "Muestra insuficiente." Luego publicas un solo número. Este número puede ser matemáticamente calculado correctamente. Pero puede que no muestre todos los defectos de representación del mundo. NOMOS no da el mismo peso a cada país. Porque las proporciones de población de las personas no son iguales. NOMOS tampoco ignora a los países pequeños. Porque tener baja población no significa inexistencia. NOMOS no pondera todos los idiomas por igual en la puntuación global. Porque esto podría distorsionar la experiencia promedio de la población mundial. NOMOS tampoco hace que los idiomas pequeños sean invisibles. Porque incluso si su peso global es bajo, el error de representación para las personas que usan ese idioma puede ser 100% real.

Panel de Observadores del País:

Muestra dónde nunca hemos mirado.

Panel de Equidad Lingüística:

Muestra quién está por debajo del promedio global.

Panel de Población:

Estima la experiencia promedio en la población mundial.

Cuando estos tres trabajan juntos, la puntuación global se vuelve tanto fiel a la población como auditable en términos de justicia. Un solo usuario en un país no es todo el país. Pero ese usuario es una persona real. Un idioma puede ser una pequeña parte de la población mundial. Pero el error en ese idioma no es menos incorrecto. Un evento crítico puede ser raro. Pero el daño no se mide únicamente por la frecuencia. Por lo tanto, la séptima ley de medición de NOMOS es:

El derecho a la visibilidad no es lo mismo que el peso de la población.

Su octava ley es la siguiente:

Observar un país no es lo mismo que estimar un país.

La novena ley es la siguiente:

La equidad lingüística no consiste en hacer que todos los idiomas sean iguales; consiste en garantizar que nadie esté sistemáticamente alejado de la realidad material debido a su idioma.

La décima ley es:

Si el promedio global hace que el idioma y el país que están rezagados sean invisibles, por sí solo no es un resultado GEO suficiente.

Sección NOMOS Orden 7

No ocultes los países que nunca observas mientras me muestras la puntuación mundial.

No envíes a un usuario a un país pequeño y hagas que esa persona represente a todo el país.

Pero tampoco ignores un país pequeño para siempre solo porque su población sea pequeña.

Separa la observación del país, la predicción del país y la idoneidad del país.

No juzgues a todo un país por un solo error grave. / Pero no ignores el daño humano diciendo "solo una respuesta".

No bases el éxito en idiomas principales en el silencio de los idiomas menores.

Puedes muestrear mucho un idioma de pocos recursos. / Pero no hagas que parezca más grande de lo que es en la población mundial.

No conviertas la puntuación de igualdad de lenguaje en una puntuación poblacional; no conviertas la puntuación poblacional en una puntuación de equidad lingüística.

No me culpes si la traducción está equivocada. / Si la fuente está incompleta, también dilo. / Si el juez no entiende el idioma, no emitas un juicio definitivo.

No clasifiques una diferencia local legítima como injusticia, ni descartes una disparidad material no explicada como mero estilo.

Primero, observa los países. / Luego indica dónde puedes respaldar una estimación. / Luego sobremuestra los idiomas que requieren visibilidad diagnóstica. / Luego devuélvelos a sus verdaderos pesos poblacionales. / Mantén visibles a las personas que el promedio global deja atrás.

La oración de cierre del capítulo

Una medición GEO realmente global debe mostrar más de lo que la mayoría del mundo ve. También debe mostrar quién permanece no observado en países e idiomas más pequeños, quién está mal representado y qué resultado es solo una alerta única.

Core normativo

El Panel de Población GEO-1000, el Panel de Observadores de País y el Panel de Equidad Lingüística DEBEN permanecer distintos en propósito, muestreo, ponderación y declaraciones públicas. Una observación del Observador de País PUEDE establecer que una condición de acceso, respuesta, anomalía o incidente crítico ocurrió en un contexto definido de país–producto–idioma. Una observación del Observador de País NO DEBE representarse como una estimación de prevalencia por país o como una puntuación GEO por país. La cobertura de observación por país, la cobertura de observación ponderada por población y la cobertura de estimación por país DEBEN informarse por separado. Cada país elegible DEBERÍA recibir una probabilidad positiva de observación dentro de un ciclo de vigilancia predeclarado, a menos que esté fuera del Alcance natural legal del producto. La equidad lingüística DEBE evaluar la representación materialmente comparable bajo prompts semánticamente equivalentes y contextos comparables. NO DEBE requerir respuestas idénticas palabra por palabra ni ignorar diferencias locales legítimas. Los idiomas muestreados en exceso DEBEN volver a sus pesos de población objetivo para estimaciones de la población global. Las puntuaciones ponderadas por población, los diagnósticos de idiomas iguales, los mínimos de idiomas, las tasas de error crítico, las tasas desconocidas y los idiomas no probados DEBEN permanecer visibles por separado. No se DEBE atribuir una disparidad lingüística únicamente al producto de IA hasta que se hayan evaluado la equivalencia del prompt, la paridad de referencias, la paridad de medición y la paridad de adjudicación. Una observación PUEDE llevar múltiples etiquetas de panel de diagnóstico, pero NO DEBE recibir un peso duplicado de la población total. Los incidentes del Observador Crítico PUEDEN desencadenar muestreo confirmatorio y revisión de conformidad sin ser tratados como evidencia de la prevalencia en el país.