La población usuaria pertinente para cada producto de IA

Límite de Capítulo

Los primeros cuatro capítulos establecieron los objetos básicos de medición: una sola respuesta no es una puntuación GEO; la representación es una distribución condicional, no un solo número; la entidad auditada debe resolverse antes de observar los resultados; y una respuesta de IA debe evaluarse tanto contra la representación oficial como contra la realidad verificada basada en evidencia. Ahora debemos definir el denominador de la medición:

¿Sobre qué población humana hará esta distribución una declaración?

¿Todos los que viven en un país? ¿Solo adultos? ¿Aquellos con acceso a internet? ¿Aquellos que pueden usar oficialmente un producto de IA específico? ¿Titulares de cuentas gratuitas? ¿Usuarios de planes pagos? ¿Personas que pueden usar el producto en el idioma de supervisión? ¿Usuarios verdaderamente activos? ¿Usuarios potenciales que podrían usarlo algún día? ¿Personas en mercados donde la marca puede ofrecer servicios? Si la población de un país es muy grande pero el producto de IA relevante no es accesible oficialmente en ese país, ¿cómo se incluirá ese país en el panel principal del producto? Si la proporción de población de un país pequeño está muy por debajo de una persona en una muestra de 1,000, ¿ese país será completamente invisible?

Si una persona conoce tres idiomas, ¿debería contarse como tres personas? ¿A qué población pertenece un usuario si puede acceder a la interfaz móvil de un producto pero no a su interfaz web? Hasta que estas preguntas sean respondidas, ‘1,000 usuarios aleatorios para cada producto de IA’ no define una población objetivo científica; solo indica un número de personas. Este capítulo no descarta la población del país. Le asigna su papel adecuado:

La población del país es la base inicial para el muestreo; no es la población final de usuarios elegibles.

En esta sección, el sistema de auditoría aplica directamente el requisito previamente determinado para país, idioma, fecha, producto y registro de medición a la definición de la población. Porque solicitar evidencia, límites, contexto y tiempo también requiere definir con la misma claridad a qué personas se hace referencia. Esta sección aún no ha:

• Finalizado cómo se distribuirá la muestra de personas 1,000 entre los países,
• qué algoritmo se usará para redondear fracciones a números enteros,
• de qué participantes del panel se seleccionarán,
• cómo se calcularán los pesos de muestreo,
• o qué método de varianza se utilizará para producir intervalos de confianza

Estos se organizarán en las secciones siguientes. La tarea de la Sección 5 es más básica:

Para cada producto de IA y cada pregunta de medición, definir a qué población humana se pueden generalizar los resultados.

NOMOS Desafío

Abres un mapa del mundo. Sumas las poblaciones de los países. Luego quieres distribuir 1,000 personas según la población. Los países grandes recibirán muchos participantes. Los países pequeños recibirán uno o casi ninguna participación. El núcleo de esta idea es correcto:

Una persona en la población mundial no debería ser cientos de veces más influyente que una persona en un país grande solo porque viva en un país pequeño.

Pero ahora aplica el mismo método a dos productos de IA diferentes. El primer producto:

• puede usarse oficialmente en algunos países,
• está limitado en algunos países.

No se ofrece en absoluto en algunos países. La cobertura de países del segundo producto es diferente. ¿Qué ocurre si divides la población mundial de la misma manera entre los dos productos? En los países donde el primer producto no está disponible, se puede pedir a las personas que proporcionen mediciones. Los participantes:

• pueden ser alentados a falsear su ubicación,
• usar métodos de acceso prohibidos o no compatibles,
• abrir una cuenta en otro país,
• eludir la seguridad y las condiciones de uso

Esto no mide la verdadera experiencia del usuario. Genera una experiencia de acceso artificial. Ahora considera otro problema. En cierto país, la población es muy grande. Sin embargo:

• una parte significativa de la población no cumple con el requisito de edad mínima del producto.
• no todos tienen acceso confiable a internet,
• el producto solo puede usarse en ciertos dispositivos
• el lenguaje de auditoría no puede ser utilizado por toda la población,

un plan específico solo está disponible para usuarios con un método de pago. Si haces que toda la población sea el denominador directamente, incluyes personas que en realidad no pueden ser monitoreadas y que no pueden usar el producto en la población objetivo. Ahora imagina un país pequeño. La participación teórica en una muestra de 1,000 bajo ponderación poblacional: 0.03 personas.

Un tercio de una persona no puede ser seleccionado. Si asignas una persona al país, puedes sobrerepresentar al país en el panel principal ponderado por población. Si no asignas a nadie, entonces en ese país:

• acceso,
• idioma,
• comportamiento del producto,
• representación local

pueden permanecer completamente invisibles. Estos dos objetivos son diferentes:

• Medir la experiencia promedio del usuario en la población mundial
• Evitar que los países pequeños queden completamente sin monitoreo

El mismo panel único no puede cumplir perfectamente ambos objetivos. Por lo tanto, NOMOS establece tres principios separados:

El peso de la población determina la participación de las personas en el promedio global.

La cobertura de observadores evita que los países y lenguas pequeñas sean completamente invisibles.

La justicia lingüística y de accesibilidad mide además los subgrupos que pueden ser suprimidos por el promedio de la población.

La primera premisa de esta sección es:

La población total de un país no es la población de usuarios elegibles para IA en ese país.

Su segunda disposición establece:

La población objetivo de un producto de IA no puede transferirse automáticamente a otro producto de IA.

Su tercera disposición establece:

El peso de una persona en la puntuación principal no es el mismo que el derecho de su país a aparecer en la auditoría.

Su cuarta disposición establece:

La falta de acceso al producto no es una representación errónea; sin embargo, es una limitación global de acceso y también debe ser reportada.

1. OBJETIVO DEL CAPÍTULO

El propósito de esta sección es definir la población humana objetivo de la medición GEO-1000 en términos de producto, pregunta, país, idioma, interfaz y tiempo. La sección estandariza las siguientes distinciones:

• Población total del país y población de usuarios de IA adecuada
• Acceso potencial y uso real
• Accesibilidad del producto y precisión representacional
• Población objetivo y marco de muestreo
• Observación analítica válida con el participante seleccionado
• Cuenta con persona
• Sesión con persona
• Modelo central con producto
• Poblaciones de planes gratuitos y de pago
• Poblaciones de usuarios web y móviles
• Uso que excede la restricción de acceso con acceso oficial
• Cobertura del Country Observer con ponderación de la población del país
• Panel de Equidad Lingüística con participación del idioma ponderada por la población
• Exposición del usuario activo con población potencial de usuarios
• Consulta de dominio de mercado o jurisdicción con consulta de identidad global
• Producto corporativo, educativo o para desarrolladores con producto principal para consumidores
• Accesibilidad de la herramienta de recopilación de datos para usuarios con necesidades de accesibilidad
• Usuarios fuera de la población objetivo y usuarios NO PROBADOS
• Países donde el producto es inutilizable y países donde se reciben respuestas incorrectas en el producto

Al final de esta sección, cada auditoría GEO-1000 debe poder responder explícitamente la siguiente pregunta:

¿Sobre qué universo de usuarios, seleccionado de qué personas, hace este resultado un juicio?

2. DISPOSICIÓN NORMATIVA CENTRAL

Antes de que se observen los resultados, cada auditoría GEO-1000 debe definir y versionar una población objetivo de usuarios específica para el producto de IA auditado, la pregunta de medición, el país, el idioma, la interfaz, el plan y las condiciones de tiempo. [K04–K07]

Población objetivo:

• "población mundial"
• "usuarios de internet",
• "usuarios de IA",
• "clientes"

La población no puede quedar bajo una etiqueta ambigua como ‘usuarios relevantes’. Según corresponda, deben responderse las siguientes preguntas: ¿Qué producto de IA? ¿Qué interfaz de usuario? ¿Qué países? ¿Acceso a partir de qué fecha? ¿Qué condición de edad? ¿Qué idioma o idiomas? ¿Qué dispositivo e interfaz? ¿Qué tipo de plan o cuenta? ¿Cuáles son los términos de uso oficiales? ¿Deben los usuarios pagar para acceder al producto? ¿La pregunta de medición se aplica a todos los usuarios o solo a un mercado o jurisdicción particular? ¿Se están midiendo usuarios activos o potenciales? ¿Qué grupos de usuarios están fuera del alcance? ¿Qué grupos pertenecen a la población objetivo pero están ausentes del marco de muestreo? Un cambio en cualquiera de estos campos puede modificar la población objetivo. Cuando esto ocurre, las puntuaciones antiguas y nuevas no pueden combinarse en la misma serie sin explicación.

3. LA POBLACIÓN NO ES UN NÚMERO ÚNICO

La población total oficial o estimada de un país es solo la capa inicial para GEO-1000. La población de auditoría puede consistir en las siguientes capas de restricción.

3.1. Población residente

La población humana total que vive en el país o jurisdicción especificada. Este número:

• no implica ninguna idoneidad en términos de edad,
• internet,
• acceso al producto,
• idioma,
• cuenta,
• dispositivo

consideraciones.

3.2. Población con edad elegible

La población que cumple con el requisito de edad del producto de IA y del protocolo de investigación correspondiente. Para un producto:

• edad mínima de uso,
• requisito de consentimiento parental,
• regla de edad específica del país

puede existir. El protocolo de investigación puede ser más restrictivo que la condición del producto. Por ejemplo, el panel fundacional GEO-1000 puede estar compuesto solo por participantes adultos para reducir la complejidad ética y legal. En este caso, la puntuación no es: "Toda la población":

sino más bien "Población adulta definida y elegible para el producto"

resultado.

3.3. Población Conectada

La población que puede usar el producto relevante a un nivel donde:

• internet,
• dispositivo,
• calidad de la conexión,
• acceso técnico

está disponible. El acceso a Internet puede no ser una característica binaria. Una persona:

• puede usar la mensajería,
• sin embargo, puede que no pueda ejecutar la aplicación web pesada,
• puede usar internet móvil,
• sin embargo, puede que no pueda acceder a la experiencia de escritorio.

puede que no pueda subir respuestas o capturas de pantalla debido a la baja conectividad. Las limitaciones de conexión no deben excluir automáticamente al usuario de la población objetivo. Debe asociarse con las condiciones reales de uso del producto medido.

3.4. Población accesible desde la perspectiva del producto

Para el producto de IA relevante en la fecha especificada:

• lanzado oficialmente,
• podría utilizarse de acuerdo con la ley y las condiciones del producto,
• se podría acceder a la interfaz necesaria

Es población. La ausencia de un producto en un país no significa que las personas en ese país estén mal representadas. En este caso: la respuesta de representación es ninguna, no hay cobertura de acceso. Los dos resultados deben mantenerse separados.

3.5. Población adecuada en términos de cuenta y plan

Algunos productos:

• pueden requerir una cuenta,
• puede requerir verificación telefónica,
• puede requerir un método de pago,
• puede ofrecerse solamente con un contrato corporativo,

puede desbloquear ciertas funciones solo en un plan de pago. Estas condiciones afectan qué parte de la población objetivo puede acceder realmente al interfaz de usuario relevante. La puntuación del plan gratuito no se puede aplicar automáticamente a los usuarios del plan de pago.

3.6. Población adecuada en términos de idioma

La población que puede usar el prompt y la respuesta de IA relevante a un nivel suficiente en el idioma de auditoría. La idoneidad del idioma por sí sola:

• no puede determinarse solo por el idioma oficial del país,
• la lengua materna de la persona

Debe diferenciarse:

• Lengua materna o del hogar
• Idioma de uso diario
• Idioma de la interfaz de IA
• Idioma del prompt
• Idioma de respuesta
• Idioma para uso profesional
• Dominio de lectura

Una persona puede ser apta en varios idiomas. Esta persona no puede contarse como más de una persona completa en el cálculo de la población global.

3.7. Población elegible para la interfaz

Medición:

• web,
• aplicación móvil,
• aplicación de escritorio,
• espacio de trabajo corporativo,
• asistente integrado

puede ser usado. El universo de usuarios accesible puede diferir para cada interfaz. Un usuario con acceso web puede no tener el producto móvil. El interfaz de usuario corporativo puede no estar disponible públicamente.

3.8. Población elegible para investigación

Incluso si una persona puede usar el producto, para su inclusión en la investigación, además:

• consentimiento voluntario,
• privacidad
• procesamiento de datos,
• recopilación de capturas de pantalla,
• requisitos de investigación específicos por país,
• no implica ninguna idoneidad en términos de edad,
• seguridad

se pueden necesitar cumplir ciertas condiciones. Las personas que no pueden ser incluidas en la investigación pero usan el producto real pueden formar parte de la población objetivo. En este caso, el marco muestral subrepresenta a la población objetivo. Esta subrepresentación no debe ocultarse.

3.9. Población analíticamente elegible

La población para la cual los datos recopilados pueden usarse para producir resultados. El participante:

• desvió el prompt,
• usó el producto incorrecto,
• elegió la respuesta,
• presentó evidencia incompleta

Es posible. Incluso si un individuo pertenece a la población objetivo, su observación puede no entrar en el conjunto de datos analíticos. Las observaciones válidas y la población objetivo no son lo mismo.

4. DEFINICIÓN DE LA POBLACIÓN DE USUARIOS ADECUADA

Para el producto de IA a en el tiempo t, el universo de usuarios elegibles puede definirse de la siguiente manera:

U_{a,t}= {u ∈ P_t: AgeEligible(u,a,t)=1∧ Connected(u,a,t)=1∧ ProductAvailable(u,a,t)=1∧ LawfulAccess(u,a,t)=1∧ InterfaceEligible(u,a,t)=1}

Aquí:

• Pt: la población humana general en la fecha especificada
• u: humano individual
• a: producto de IA y interfaz de usuario
• t: momento de la medición

En términos de idioma y prompt, el universo objetivo puede restringirse más adelante de la siguiente manera:

U_{a,c,l,s,p,t}= {u∈ U_{a,t}: Country(u)=c ∧ LanguageEligible(u,l)=1∧ SurfaceEligible(u,s)=1∧ PromptRelevant(u,p)=1}

Aquí:

• c: país o jurisdicción
• l: idioma y configuración regional
• s: interfaz de usuario
• p: prompt o familia de preguntas

El propósito de esta notación no es registrar a todos los individuos uno por uno. Es hacer visible el límite lógico de la población objetivo.

5. ESTÁ PROHIBIDO MULTIPLICAR CIEGAMENTE LAS TASAS MARGINALES

La población elegible a veces puede calcularse aproximadamente con una fórmula como la siguiente:

N× p_age× p_internet× p_product× p_language

Este cálculo solo puede justificarse bajo la independencia de condiciones o la suposición de una distribución conjunta apropiada. En la vida real, las características pueden no ser independientes. Por ejemplo:

• el uso de Internet puede variar según la edad,
• el acceso a un plan de pago puede estar relacionado con los ingresos,
• el uso de ciertos idiomas puede estar relacionado con la región dentro del país y la educación,

el acceso a dispositivos y la calidad de la conexión pueden variar conjuntamente. Multiplicar las tasas marginales puede predecir una población objetivo que es:

• más grande de lo necesario,
• más pequeño de lo necesario

El orden de preferencia debería ser:

• Microdatos conjuntos o tabulación cruzada apropiada
• Proyección poblacional multidimensional confiable
• Modelo calibrado
• Enfoque marginal con justificación explicada y análisis de sensibilidad

Si se usa multiplicación simple:

• suposición,
• fuente de datos,
• incertidumbre,
• escenario alternativo

deben ser divulgados.

6. LA PREGUNTA DE AUDITORÍA CAMBIA LA POBLACIÓN OBJETIVO

No todos los indicios tienen el mismo universo de medición para toda la población mundial.

6.1. Preguntas de Identidad Global

Ejemplo: “¿Qué tipo de empresa es Apple.com?” Esta pregunta puede hacerse ampliamente entre la población de usuarios global adecuada para el producto. Porque la identidad de la empresa no se limita a los usuarios de un mercado específico.

6.2. Preguntas sobre Servicio Local

Ejemplo: “¿Esta empresa ofrece servicios en Turquía?” Población objetivo principal:

• Usuarios elegibles en Turquía,
• Usuarios externos investigando el servicio en Turquía

Es posible. No es necesario dar el mismo peso a toda la población mundial.

6.3. Preguntas sobre Precio y Compra

Precio:

• país,
• impuesto,
• actualidad,
• plan,
• tipo de cliente

puede variar. La población objetivo debe definirse según el mercado comercial relevante y el tipo de usuario.

6.4. Cuestiones Legales y de Licencias

La licencia y la autoridad legal dependen de la jurisdicción. La población objetivo:

• puede obtener el servicio relevante en ese país,
• están sujetos a ese régimen legal.

La población objetivo puede estar restringida en consecuencia.

6.5. Cuestiones de Asesoramiento

La población objetivo para la pregunta "¿Es esta empresa adecuada para mí?" no es toda la gente. Puede definirse según:

• Necesidades del usuario
• País
• Presupuesto
• Tipo de cliente
• Alcance del servicio
• Condiciones de elegibilidad y exclusión

La población de asesoramiento puede ser más estrecha que la población de identidad.

6.6. Preguntas de Alto Riesgo

En los campos de salud, derecho, finanzas o seguridad:

• juicio,
• perfil del usuario,
• estado de riesgo,
• autoridad profesional

limita más fuertemente la población objetivo.

7. EL MARCO POBLACIONAL DEBE ESTAR VINCULADO A LA FAMILIA DE PROMPT

En una auditoría, puede haber múltiples marcos poblacionales en lugar de una única población objetivo.

7.1. Población de Identidad Central

La población global o ampliamente elegible que mide la identidad central de la entidad.

7.2. Población Relevante para el Servicio

Es la población para la cual la entidad puede realmente proporcionar servicio o puede ser considerada para recibir servicio por parte del usuario.

7.3. Población de Transacción de Mercado

El precio específico, la compra, la devolución o la condición comercial es la población a la que puede aplicarse.

7.4. Población Jurisdiccional

Es la población de usuarios a la que puede aplicarse una licencia, afirmación legal o regulatorio específico.

7.5. Población Elegible para Recomendación

Es la población de usuarios que puede ser apropiada dentro del verdadero alcance de la entidad.

7.6. Población Afectada de Alto Riesgo

Es una población para la cual la tergiversación puede causar un daño serio. Estos marcos no deben confundirse entre sí. Una puntuación de identidad global no significa "recomendable para todo el mundo."

8. EL TIPO DE PRODUCTO DE IA DETERMINA LA POBLACIÓN

No todos los productos de IA son productos de chat disponibles públicamente.

8.1. Producto de IA para Consumidor General

Población objetivo:

• Puede haber personas que puedan acceder al producto,
• cumplir con los términos de uso,
• y usarlo en el idioma correspondiente.

El panel de usuarios reales GEO-1000 se puede aplicar directamente a este tipo de producto.

8.2. Producto de IA Empresarial

El producto es solo para:

• contrato del empleador,
• licencia corporativa,
• puede ser utilizado con una cuenta de usuario interna

La población objetivo no es la población adulta general:

Es el asiento o universo de usuarios con acceso corporativo al producto.

Los resultados corporativos no pueden compararse con el producto de consumo general en el ponderado de población.

8.3. Producto Educativo

Población objetivo:

• estudiante,
• profesor,
• institución,
• grupo de edad,
• licencia educativa

puede estar limitada en términos de. Si se van a incluir niños o menores, se requiere un protocolo ético separado.

8.4. Producto para Desarrollador o API

La salida de una API no puede mostrarse directamente a través de una interfaz de usuario final. La unidad objetivo es:

• desarrollador,
• aplicación,
• llamada API,
• sesión de prueba controlada

puede ser. El panel de población humana GEO-1000 no puede aplicarse directamente y sin cambios a la API. Por separado para la API:

Auditoría de Sistema Controlado

puede ser requerida.

8.5. Asistente de IA Integrado

IA:

• sistema operativo,
• interfaz de búsqueda,
• plataforma de compras,
• software empresarial,
• dispositivo

Puede estar integrado. La población objetivo es la población de usuarios real del producto integrado. No es la población total de usuarios del proveedor del modelo base.

8.6. IA Experta o Sectorial

El producto es solo para:

• abogados,
• médicos,
• profesionales de finanzas,
• ingenieros

puede estar diseñado para. La población objetivo debe estar limitada por profesión y condiciones de acceso.

9. ESTADOS DE ACCESO AL PRODUCTO

El estado de acceso debe registrarse para cada país, producto, interfaz y fecha.

PA-0— DESCONOCIDO

No se pudo determinar el estado de acceso de manera confiable.

PA-1— NO DISPONIBLE

El producto no se ofrece en el país o grupo de usuarios relevante.

PA-2— RESTRINGIDO

El producto está limitado a ciertos:

• cuenta,
• invitación,
• institución,
• no implica ninguna idoneidad en términos de edad,
• plan,
• dispositivo

términos.

PA-3— ACCESIBLE PERO NO OFICIALMENTE SOPORTADO

Se puede observar el acceso real al producto. Sin embargo, el soporte oficial o el estado de uso no está claro o es limitado. Estos usuarios no deben ser añadidos automáticamente al panel principal de la población oficial. Se puede crear un panel experimental separado.

PA-4— DISPONIBLE OFICIALMENTE

El producto es accesible oficialmente y se definen las condiciones principales de uso.

PA-5— DISPONIBLE OFICIALMENTE CON INTERFAZ DE AUDITORÍA COMPLETA

El producto no solo es inaccesible; está controlado:

• idioma,
• plan,
• interfaz,
• bajo condiciones de sesión

adecuadas para generar la observación requerida por el protocolo. La disponibilidad del producto en un país no significa que todos los planes y lenguajes cumplan con el control.

10. EL SALTO DE RESTRICCIÓN NO ES UNA MEDICIÓN REAL DE LA POBLACIÓN

No se puede pedir a los participantes que realicen los siguientes comportamientos:

• Declarar el país incorrecto
• Crear una cuenta falsa
• Cambiar la información de edad
• Eludir la restricción de acceso oficial
• Usar la cuenta de otra persona
• Eludir la seguridad o verificación del producto
• Violar los términos de uso

Estos comportamientos también pueden examinarse como un experimento técnico. Sin embargo:

La experiencia de la población de usuarios natural y legítima

no puede ser reportada como tal. Si no hay acceso en un país, el estado correcto debería ser: NO DISPONIBLE / o / FUERA DE ALCANCE NATIVO. Una sola observación que excede la restricción no genera una puntuación de población por país.

11. DISTINCIÓN ENTRE USUARIO POTENCIAL Y USUARIO ACTIVO

Las personas que pueden usar el producto no son la misma comunidad que las personas que realmente usan el producto.

11.1. Población con Acceso Potencial

Estas son las personas que técnicamente y legalmente pueden usar el producto. Esta población responde a la pregunta: '¿Qué vería una persona adecuada si usara el producto?' La población es valiosa para la justicia y la comparación de productos.

11.2. Población de Usuarios Activos

Estas son las personas que realmente usaron el producto durante un período específico. Esta población aborda la pregunta: '¿Qué ven las personas dentro del volumen de uso real?' Requiere datos fiables de uso activo.

11.3. Población de Usuarios Expuestos a Consultas

Estas son las personas que usan el producto y tienen el potencial de hacer preguntas sobre la marca o tema monitoreado. Esta población a menudo no se puede conocer directamente. Puede ser necesario contar con datos de comportamiento de búsqueda o consulta.

11.4. Población que Realmente Ve la Respuesta

Son usuarios que están realmente expuestos a una salida de representación específica. Esto puede no ser completamente medible sin datos reales del proveedor del producto fuera del panel de usuarios.

12. EL PESO DE EXPOSICIÓN NO ES IGUAL AL PESO DE ELEGIBILIDAD

Se pueden generar dos resultados globales separados.

12.1. Resultado Ponderado por Población Elegible

Cada persona se pondera según su participación dentro de la población de usuarios elegibles definida. Este resultado es:

• globalmente justo,
• potencialmente accesible,
• representativo de la población

en términos de

12.2. Resultado Ponderado por Exposición Real

Los productos de IA o los grupos de usuarios se ponderan según los volúmenes de uso reales. Este resultado:

• es valioso en términos de
• impacto comercial actual,
• auténtica exposición del usuario.

riesgo operacional. Sin embargo, los datos de uso confiables pueden no estar disponibles. Las estimaciones pueden depender de declaraciones del proveedor, datos de mercado o muestreos incompletos. Por lo tanto, el tipo de ponderación debe indicarse explícitamente.

12.3. Sustituir uno por otro está prohibido

Puntuación de la población elegible: no significa "La mayoría de los usuarios reales vieron esta respuesta." Puntuación de exposición: no significa "Se asegura una representación justa de la población mundial."

13. EL ALCANCE DE ACCESO Y LA EXACTITUD DE LA REPRESENTACIÓN DEBERÍAN ESTAR SEPARADOS

Un producto de IA puede estar disponible solo en países limitados. En estos países, puede generar representaciones muy precisas. Otro producto puede tener un acceso más amplio pero puede producir menor precisión. Si solo analizamos la precisión de la representación, el producto con acceso limitado puede parecer superior. Si solo analizamos la cobertura de acceso, se puede pasar por alto la representación incorrecta. Por lo tanto, se necesitan dos resultados separados.

13.1. Cobertura de acceso

Indica cuánto de la población de referencia global especificada puede usar apropiadamente el producto de IA relevante. Representación candidata:

AC_a= N(U_{a,t}) / N(G_t)

Aquí:

• Ua,t: población de usuarios elegibles del producto
• Gt: población de referencia global definida

13.2. Precisión de Representación Condicional

Es la probabilidad de ver una representación precisa entre los usuarios que pueden acceder al producto. Notación candidata:

RA_a= Pr(Y=1| u ∈ U_{a,t})

13.3. Acceso Efectivo a Representación Precisa

CONCEPTO DE CANDIDATO

Se puede desarrollar una métrica operativa que combine la cobertura de acceso con la precisión condicional:

ECR_a= AC_a× RA_a

Esta métrica se aproxima aproximadamente a la pregunta: “¿Qué proporción de la población de referencia global definida puede acceder a este producto y cumplir con la condición de ver una representación precisa?” Esto aún no es la fórmula final NOMOS. Porque:

• el acceso es diferente del uso real,
• las estructuras de peso y dependencia son complejas,
• el uso del producto es voluntario,

La representación correcta depende del prompt. Sin embargo, mantiene la distinción básica:

No poder acceder no es lo mismo que obtener una respuesta incorrecta.

14. Alcance natural Y Base común de comparación

Al comparar productos de IA, se necesitan dos universos poblacionales separados.

14.1. Población Alcance natural

Cada producto de IA tiene su población elegible dentro de su dominio de acceso oficial y real. Este resultado responde a la siguiente pregunta:

¿Hasta qué punto el producto representa con precisión a la población a la que realmente puede llegar?

Las poblaciones objetivo pueden diferir entre productos.

14.2. Población Base común de comparación

En una forma común en todos los productos de IA comparados:

• accesible oficialmente,
• puede usarse bajo la misma condición de idioma o interfaz

es la población. Este resultado responde a la siguiente pregunta:

¿Qué producto produce una representación más precisa en el mismo universo de usuarios?

14.3. Dos resultados deben publicarse juntos

Alcance natural:

• muestra el acceso real al producto,
• distribución geográfica natural

Base común de comparación: proporciona una comparación de producto más justa. Un producto puede tener una puntuación alta en Alcance natural, pero menor en Base común de comparación. Dos resultados responden a preguntas diferentes.

15. POBLACIÓN RELACIONADA CON EL MERCADO

La puntuación de identidad global de una entidad puede diferir de su puntuación de mercado objetivo comercial. Ejemplo: Si un bufete de abogados local ofrece servicios solo en Turquía: la pregunta de identidad global se puede medir en la población de usuarios elegibles en todo el mundo, pero las recomendaciones y la idoneidad del servicio solo deben medirse para usuarios en Turquía o dentro del alcance real de los servicios. La institución puede seleccionar el resultado a su favor:

• solo el mercado de alta puntuación,
• solo su propio idioma,
• solo sus clientes existentes

la población objetivo no puede ser anunciada. Mercado objetivo:

• Antes de que comience la auditoría,
• a los registros de servicio,
• dentro del alcance del contrato y operaciones

Debe bloquearse de acuerdo con.

16. SEPARACIÓN DE PERSONA, CUENTA Y SESIÓN

El peso de la población pertenece a las personas. No a las cuentas de IA.

16.1. Una Persona, Múltiples Cuentas

La misma persona:

• gratis,
• pagada,
• corporativa

puede tener múltiples cuentas. Estas cuentas pueden producir observaciones separadas en comparaciones de interfaz del producto. No se pueden contar como individuos separados en la población humana global.

16.2. Una Cuenta, Múltiples Personas

Una cuenta familiar, de equipo o corporativa puede ser utilizada por múltiples personas. No equivale al número de usuarios de la cuenta.

16.3. Una Persona, Múltiples Sesiones

Una persona puede generar observaciones separadas en diferentes sesiones. Estas observaciones pueden medir el tiempo o la estabilidad de la sesión. No aumentan el tamaño de la población independiente.

16.4. Una Persona, Múltiples Productos de IA

Es valioso para la comparación de productos emparejados. Sin embargo, las observaciones son dependientes debido a características compartidas a nivel de usuario.

16.5. Unidad de Peso Principal

En la puntuación GEO basada en la población, la unidad de peso principal debería ser:

humano

Los cálculos, la sesión y las observaciones del producto deben estar asociados bajo la unidad humana.

17. POBLACIÓN DE IDIOMA

Usar solo el idioma oficial del país no es suficiente para la equidad lingüística.

17.1. Idioma de Solicitud

El idioma en el que el participante hace la pregunta de auditoría.

17.2. Idioma de la Interfaz

El idioma utilizado en el menú y la interfaz de usuario del producto de IA. Puede que no sea el mismo que el idioma de la solicitud.

17.3. Idioma de Respuesta

El idioma en el que la IA realmente responde. El sistema puede responder en un idioma diferente al idioma del prompt. Esto también es un resultado de medición.

17.4. Idioma de competencia del usuario

El idioma en el que el participante puede usar de manera significativa el prompt y la respuesta. No tiene que ser el idioma nativo.

17.5. Configuración regional

El contexto regional junto con el idioma. El mismo idioma puede ser diferente:

• país,
• precio,
• ley,
• terminología

puede llevar la condición.

18. DOBLE CONTEO DE USUARIOS MULTILINGÜES

Una persona:

• turco,
• puede ser capaz de usar inglés.
• inglés

Esta persona puede realizar tres pruebas de idioma separadas. Sin embargo, contarlas como tres personas en el peso de la población global distorsiona la estimación de la población. Se pueden usar tres métodos.

18.1. Tarea sobre la lengua materna de madre soltera

La persona está asignada a una sola celda de idioma en el análisis principal. Otros idiomas se utilizan como pruebas adicionales o emparejadas.

18.2. Dividir Peso de Persona

El peso poblacional de la persona puede dividirse entre los idiomas apropiados de una manera predeterminada. El peso total no excede el de una persona.

18.3. Panel Multilingüe Emparejado Separado

Los usuarios multilingües se utilizan para comparaciones entre idiomas de la misma persona. Este panel se analiza por separado del panel principal de la población. Independientemente del método utilizado:

El peso poblacional total de la misma persona no puede replicarse sin explicación.

19. ¿CÓMO DEBE VERIFICARSE LA COMPETENCIA LINGÜÍSTICA?

La declaración de un participante: "Conozco este idioma." puede ser un registro inicial. Sin embargo, en auditorías de alta seguridad, se puede utilizar uno de los siguientes métodos:

• Declaración de idioma nativo o uso diario
• Prueba breve de lectura y comprensión
• Registro de idioma del proveedor del panel
• Verificación del adjudicador local
• Registro de uso educativo o profesional
• Éxito en la misión piloto

Los paneles de prueba de idiomas extremadamente difíciles pueden ser accesibles para usuarios capacitados y de altos ingresos. El propósito no es realizar un examen académico de idiomas. Es verificar la competencia para entender la prompt y la respuesta como un usuario real.

20. ¿QUÉ PASA SI UN IDIOMA NO ESTÁ SOPORTADO?

Un producto de IA puede:

• no soportar oficialmente un idioma en particular,
• darle soporte parcial,
• no afirmar soportarlo pero poder generar respuestas

Puede ser. Los estados del idioma deben registrarse por separado:

SOPORTADO_OFICIALMENTE

SOPORTE_LIMITADO

OBSERVADO_PERO_NO_COMPATIBLE

NO_COMPATIBLE

DESCONOCIDO

Respuesta recibida en un idioma que no es oficialmente compatible:

• descubrimiento,
• acceso experimental,
• resiliencia del idioma

puede ser medida. No debe añadirse automáticamente a la puntuación principal de la población de usuarios compatibles. También debe informarse sobre el límite de acceso al idioma.

21. PONDERACIÓN DE LA POBLACIÓN DEL PAÍS Y COBERTURA DEL Observador por País

El panel principal ponderado por población y el panel de visibilidad del país tienen propósitos separados.

21.1. Panel de Población

Los participantes se distribuyen según su proporción en la población objetivo adecuada para el producto. Las poblaciones más grandes elegibles reciben mayor ponderación. Produce la puntuación principal de la población global.

21.2. Panel de Observadores del País

El Panel de Observadores del País busca al menos una observación de los países más pequeños que reciben poca o ninguna representación en la muestra principal de la población. Una sola observación del Observador por País:

• indica que hay acceso disponible,
• que un resultado singular específico ha ocurrido,
• muestra la necesidad de nueva investigación

puede indicar. No produce una puntuación del país por sí sola.

21.3. Suficiencia para La puntuación del País

Para que se publiquen tasas basadas en el país:

• muestra mínima,
• tasa de observación válida,
• incertidumbre,
• representatividad del panel

deben cumplirse condiciones. Con uno o varios participantes: 'La puntuación NOMOS del país' no puede ser anunciado.

22. Panel de Equidad Lingüística

El peso de la población puede hacer que los idiomas con baja población o pocos recursos sean invisibles en la puntuación principal. Por lo tanto, se puede establecer un Panel de Equidad Lingüística. Propósito:

• para probar idiomas subrepresentados,
• para detectar una degradación severa basada en el idioma,
• para identificar problemas de traducción de prompts,
• para hacer visible el comportamiento de los idiomas con pocos recursos

debe ser. El Panel de Equidad Lingüística puede proporcionar muestras adicionales al panel principal de población. Sin embargo, las observaciones de idiomas sobre-muestreadas deben ajustarse a los pesos reales de la población en la puntuación global. De lo contrario, el panel de equidad altera la estimación de la población global.

23. PANEL DE ACCESIBILIDAD

Los usuarios con necesidades de accesibilidad visual, auditiva, motora, cognitiva u otras son una parte real de la población objetivo. Si la tarea de Captura o investigación NOMOS no es adecuada para la participación de estos individuos: los usuarios no pueden ser eliminados de la población objetivo. Resultado correcto:

El marco de muestreo está incompleto en términos de accesibilidad.

Un panel de accesibilidad separado puede evaluar lo siguiente:

• Compatibilidad con lectores de pantalla
• Uso del teclado
• Entrada por voz
• Configuraciones para baja visión
• Carga cognitiva
• Accesibilidad móvil
• Usabilidad de la herramienta de Captura

El panel de accesibilidad debe ver a los usuarios como parte de la cobertura de la población, no como una "excepción especial."

24. POBLACIÓN OBJETIVO Y MARCO DE MUESTREO

Estos dos conceptos no deben confundirse entre sí.

24.1. Población objetivo

Todo el grupo de personas sobre el que se desea hacer una conclusión.

24.2. Marco muestral

La población de la cual se pueden seleccionar realmente los participantes:

• panel,
• lista,
• base de datos,
• organización conjunta,
• grupo de usuarios

es el clúster. El marco muestral puede no cubrir completamente a la población objetivo.

24.3. Población contactable

Estas son las personas a quienes se puede entregar realmente la invitación a la investigación.

24.4. Población que acepta participar

Aquellos que participan voluntariamente en la investigación.

24.5. Población que completa la tarea

Aquellos que completan la tarea de auditoría.

24.6. Población Analítica Válida

Son los que producen observaciones adecuadas para el protocolo y utilizables en el análisis. Los números de estas capas deben informarse por separado.

25. ERROR DE COBERTURA

El marco de muestreo puede excluir algunas partes de la población objetivo. Esto se llama error de cobertura. Ejemplos:

• Solo paneles profesionales en línea
• Solo usuarios de escritorio
• Solo personas con tarjetas de crédito
• Solo aquellos que usan una interfaz en inglés
• Solo residentes de grandes ciudades
• Solo usuarios muy interesados en la tecnología
• Exclusión de personas con necesidades de accesibilidad

Error de cobertura:

• debe ser explicado,
• de ser medido si es posible,

debe reducirse mediante ponderación o un panel adicional. La ponderación no puede crear mágicamente un grupo que no existe en el marco de muestreo.

26. COBERTURA EXCESIVA

Personas que no pertenecen a la población objetivo pueden encontrarse en el marco de muestreo. Ejemplos:

• Participante en un país donde el producto no es accesible
• Persona que no cumple con la condición de edad requerida
• Plan incorrecto o interfaz de usuario
• Participante que no puede usar el idioma de la auditoría
• Persona encontrada nuevamente con múltiples registros
• Usuario que trabaja en nombre de otro país

Los registros de cobertura excesiva no deben incluirse en la puntuación principal. Sin embargo, se debe informar la razón de exclusión y la tasa.

27. NO RESPUESTA Y AUTOSELECCIÓN

Las personas que aceptan participar en la investigación pueden diferir sistemáticamente de la población objetivo. Los voluntarios:

• Pueden usar productos de IA con más frecuencia,
• Pueden estar más interesados en la tecnología,
• Pueden tener un nivel más alto de educación,
• Pueden estar ya familiarizados con la marca,

Pueden comportarse de manera diferente debido a recompensas o compensación. Por lo tanto: la expresión "1,000 personas aleatorias en el mundo" solo debe usarse en diseños de selección verdaderamente probabilísticos y documentados. Si se utiliza un voluntario o un panel en línea, la expresión correcta es:

Panel de usuarios voluntarios estratificado y ponderado

puede ser posible. El tipo de panel no puede almacenarse.

28. LA POBLACIÓN ADECUADA CAMBIA CON EL TIEMPO

El universo de usuarios de un producto de IA no es fijo. Lo siguiente puede cambiar:

• Países admitidos
• Edad mínima
• Acceso gratuito
• Estructura del plan de pago
• Disponibilidad en móvil o web
• Soporte de idiomas
• Términos de la cuenta
• Cobertura del producto empresarial
• Estado legal y regulatorio

Por esta razón, cada registro de población:

• fecha de observación,
• período de validez,
• versión de la fuente,
• fecha de última verificación

debe llevar.

28.1. Cambio durante la ola de medición

Si el acceso al producto cambia de manera significativa durante la ola:

• la ola puede ser detenida,
• dos períodos separados pueden ser creados antes y después del cambio,

los países afectados pueden ser analizados por separado. Los usuarios antes y después del cambio no pueden ser combinados como una sola población.

29. ARCHIVO DE FUENTE DE POBLACIÓN

Cada auditoría debe almacenar los datos de la población objetivo que utiliza en un archivo versionado. Según corresponda, se deben incluir los siguientes campos:

• País
• Población de referencia
• Historial de la población
• Elegibilidad por edad
• Acceso a Internet y dispositivos
• Estado de acceso al producto
• Acceso a la interfaz
• Requisito de plan y cuenta
• Grupos de idioma
• Elegibilidad para investigación
• Método común de distribución
• Incertidumbre
• Fuentes
• Última fecha de verificación
• Persona responsable
• Versión de la población

Las cuotas por país no se pueden reproducir después de los resultados sin este archivo.

30. PRODUCTO SINTÉTICO Y DISPLAY DE PAÍS

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Los siguientes países, producto de IA, números de población y tasas de acceso son completamente ficticios. No representan a ningún país o producto real. Consideremos un producto de consumo general sintético llamado Orion AI. Hay cuatro países sintéticos.

30.1. Si se usara la población total

El País A tendría una gran participación en la muestra principal debido a su población muy grande. Sin embargo, el producto no puede ser usado en ese país. Los participantes no podrían generar una experiencia de usuario natural.

30.2. Cuando se usa la población Alcance natural

Las participaciones poblacionales teóricas del panel principal de productos son aproximadamente:

• País B: 67.53%
• País C: 32.47%
• País D: 0.003%
• País A: fuera de Alcance natural

La participación teórica del País D en una muestra principal de 1,000 personas es muy inferior a una persona. Por lo tanto, la puntuación principal ponderada por población no debería dar un peso alto al País D. Sin embargo, si no se pretende que el país sea completamente invisible:

Panel de Observadores del País

Se puede obtener al menos una observación exploratoria. Esta observación:

• no es la puntuación del País D,
• no cambia el peso poblacional principal,

muestra que el comportamiento del producto puede observarse en el país.

30.3. ¿Cómo se informa el País A?

Para el País A:

Se utiliza el estado OUTSIDE_NATIVE_REACH

La exclusión del País A no debería ocultar los límites de acceso del producto. La tarjeta de resultados pública también muestra:

• Cobertura de acceso al producto
• Participación no accesible en la población de referencia global
• Puntuación Alcance natural
• Puntuación comparativa Base común de comparación

31. REPRESENTACIÓN DE LA POBLACIÓN DE PROMPT SINTÉTICO

EJEMPLO SINTÉTICO

Consideremos tres prompts para el mismo producto Orion AI.

Prompt A

"¿Qué tipo de empresa es Asteron?" Población objetivo: podría ser la amplia población de usuarios adecuada de Orion AI.

Prompt B

"¿Asteron proporciona servicios de viajes corporativos en Turquía?" Población objetivo:

• Usuarios elegibles en Turquía,
• Usuarios externos identificados investigando el servicio de Turquía

puede ser.

Solicitud C

“¿Es Asteron adecuado para la consultoría de inmigración legal para mí?” Si Asteron no proporciona tal servicio: puede que no haya población elegible para asesoramiento, la respuesta correcta debería excluir a todos los usuarios adecuados. Combinar esta solicitud en La puntuación de identidad general podría ser incorrecto. Este ejemplo muestra:

Incluso para la misma entidad y el mismo producto de IA, la población objetivo puede variar dependiendo de la pregunta del usuario medida.

32. ARQUITECTURA DE CUATRO PANELES

ARQUITECTURA CANDIDATA — ARQUITECTURA CANDIDATA

Se recomiendan cuatro paneles complementarios para la implementación global y justa de GEO-1000.

32.1. Panel de Población

El panel principal ponderado según la población de usuarios elegibles para el producto. Produce la estimación principal de la población.

32.2. Panel de Observadores del País

Evita que los países pequeños que no pueden proporcionar suficientes muestras en el panel de población queden completamente invisibles. No es suficiente por sí solo para producir una puntuación de país.

32.3. Panel de Equidad Lingüística

También mide idiomas que tienen pocos recursos o que están suprimidos en los promedios de población. Se reconecta con la puntuación global principal usando pesos reales de la población.

32.4. Panel de Accesibilidad

Mide necesidades de accesibilidad y usuarios de tecnología asistida que el panel digital estándar podría excluir. Observaciones de estos cuatro paneles:

• objetivo,
• peso,
• universo de inferencia

Debe etiquetarse por separado en términos de mantenimiento. La misma observación no puede usarse con peso completo en más de un panel sin explicación.

33. PANEL INICIAL DE ADULTOS

REGLA BÁSICA DE CANDIDATO — REGLA FUNDAMENTAL DEL CANDIDATO

En la primera versión general de GEO-1000, los paneles de usuario reales:

de participantes adultos que cumplen con las condiciones del producto y del país

Se recomienda que sea creado. Este enfoque:

• consentimiento,
• protección de datos,
• recopilación de capturas de pantalla,
• investigación de alto riesgo,
• consentimiento parental

Puede reducir su complejidad. Sin embargo, no se puede llegar a la siguiente conclusión: 'La experiencia de los niños y jóvenes usuarios ha sido medida con el panel de adultos.' En productos que afectan a niños o jóvenes, por separado:

• aprobación ética,
• protocolo adecuado para la edad,
• procesos de los padres o tutores,
• protección contra daños

son requeridos.

34. NINGÚN MARCO DE POBLACIÓN PUEDE LLAMARSE "TODAHUMANIDAD"

Un producto:

• si no existe en algunos países,
• si no soporta algunos idiomas,
• si solo funciona en ciertos dispositivos,
• si tiene cierta condición de edad o plan,

resultado: no se puede presentar como “la experiencia GEO de todas las personas del mundo”. La expresión correcta:

Representación estimada en la población objetivo adecuada para el producto especificado

debería usarse. La palabra global:

• multipaís
• multilingüe
• gran población

puede definir una medida. No significa cobertura ilimitada y universal.

35. LÍMITE ÉTICO FUNDAMENTAL DE LA POBLACIÓN

Definir una población para la medición no significa considerar a algunas personas como inútiles. Un grupo puede recibir un bajo peso en la puntuación principal. Sin embargo:

• alto riesgo,
• justicia lingüística,
• accesibilidad
• visibilidad del país

también pueden ser examinados por separado. Un grupo puede ser excluido de la puntuación Alcance natural porque no pueden acceder a un producto. Esta falta de acceso también puede ser reportada como una brecha de cobertura global. El propósito de NOMOS:

• comprender a todos en un solo promedio artificial,
• ver solo a las poblaciones más grandes,
• parecer representar simbólicamente a las comunidades pequeñas con una sola persona

no es el objetivo. El objetivo es:

Representar a cada persona en el denominador correcto de la pregunta correcta, sin mezclar su peso y visibilidad.

36. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH05-N01

La población objetivo del usuario debe definirse por separado para cada producto de IA.

CH05-N02

La población total de un país no puede ser utilizada directamente como la población de usuarios elegibles para IA.

CH05-N03

La población objetivo debe estar vinculada a producto, país, edad, acceso, interfaz, plan, idioma, solicitud y condiciones de tiempo.

CH05-N04

La población objetivo y las reglas de exclusión deben versionarse antes de ver los resultados.

CH05-N05

La población objetivo de un producto de IA no puede ser transferida a otro producto de IA sin explicación.

CH05-N06

La falta de acceso al producto no puede ser calificada como un resultado de tergiversación; debe ser reportada por separado como cobertura de acceso.

CH05-N07

No se puede pedir a los participantes que eviten las restricciones de acceso a productos o países.

CH05-N08

El acceso no oficialmente soportado no puede añadirse automáticamente a la población principal Alcance natural.

CH05-N09

Las unidades individuales, de cuenta y de sesión deben estar separadas entre sí.

CH05-N10

Múltiples cuentas o idiomas de una persona no pueden multiplicar al individuo en el peso poblacional.

CH05-N11

La elegibilidad lingüística no puede asignarse únicamente en función del idioma oficial del país.

CH05-N12

El idioma solicitado, el idioma de la interfaz, el idioma de respuesta y el idioma de competencia del usuario deben registrarse por separado.

CH05-N13

El peso total de la población de una persona que utiliza varios idiomas no puede exceder el de una persona sin explicación.

CH05-N14

El panel ponderado por población y el panel de Observadores del País deben mantenerse separados.

CH05-N15

Una o varias observaciones del Observador por País no pueden publicarse como una puntuación del país.

CH05-N16

En el Panel de Equidad Lingüística, las observaciones sobremuestreadas deben revertirse a su peso poblacional verdadero en la puntuación global.

CH05-N17

No se pueden excluir de la población objetivo a los usuarios con necesidades de accesibilidad porque la herramienta de recolección de datos no sea adecuada.

CH05-N18

La población objetivo, el marco de muestreo, la población contactada, los participantes y las observaciones analíticas válidas deben informarse por separado.

CH05-N19

Un panel de no probabilidad o voluntario no debe representarse como una muestra aleatoria de la población global.

CH05-N20

La ponderación no puede hacer que un grupo que está completamente ausente en el marco de muestreo sea observable.

CH05-N21

La población potencial adecuada y la exposición de usuarios activos no pueden usarse como la misma métrica.

CH05-N22

Los resultados Alcance natural y Base común de comparación deben separarse entre sí.

CH05-N23

La misma población objetivo no puede usarse automáticamente para solicitudes de identidad, servicio, precio, legales y recomendaciones.

CH05-N24

Los datos de población, el estado de acceso al producto y la distribución lingüística deben llevar una marca de tiempo y la versión de la fuente.

CH05-N25

Las relaciones de utilidad marginal no pueden multiplicarse a ciegas sin una explicación del supuesto de independencia.

CH05-N26

Si el tipo de producto no es adecuado para el panel general de consumidores, el método de población humana GEO-1000 no puede aplicarse sin explicación.

CH05-N27

No se pueden incluir niños o usuarios menores en el panel principal sin un protocolo ético y legal separado.

CH05-N28

La cobertura de acceso al producto y la exactitud de la representatividad deben publicarse como resultados separados.

CH05-N29

El término global no puede hacer que países, idiomas, edades, interfaces o planes que están fuera del alcance sean invisibles.

CH05-N30

El registro de la población objetivo debe tener un propietario humano o institucional responsable.

37. FORMAS DE FALLA

CH05-F01— CONTAR LA POBLACIÓN TOTAL COMO POBLACIÓN ELEGIBLE

La población del país se incluye directamente en el denominador sin evaluar condiciones de producto, edad, internet, idioma e interfaz.

CH05-F02— APLICAR EL MISMO MAPA MUNDIAL A TODOS LOS PRODUCTOS

Los productos de IA con diferentes áreas de acceso se miden contra la misma población objetivo.

CH05-F03— CONTAR A UN USUARIO QUE EXCEDE EL LÍMITE COMO USUARIO NATURAL

Se presentan como experiencia de la población del país las observaciones que exceden las condiciones de acceso oficial.

CH05-F04— CONTAR LA AUSENCIA DE PRODUCTO COMO RESPUESTA INCORRECTA

Los países que son inaccesibles se consideran cero en precisión de representación.

CH05-F05— OCULTANDO COMPLETAMENTE LA AUSENCIA DE PRODUCTO

Las grandes poblaciones que son inaccesibles se eliminan del denominador Alcance natural; la cobertura de acceso tampoco se muestra.

CH05-F06— CONTANDO A UNA PERSONA COMO MÁS DE UNA

La cuenta de la misma persona, su idioma u observaciones de productos multiplican el peso de la población.

CH05-F07— CONTANDO CUENTA COMO PERSONA

No se considera la propiedad de múltiples cuentas o el uso compartido de cuentas.

CH05-F08— CONTANDO EL IDIOMA OFICIAL COMO IDIOMA DEL USUARIO

El idioma oficial del país se considera el idioma de auditoría para todos los participantes.

CH05-F09— CONTANDO DOS VECES A LOS INDIVIDUOS MULTILINGÜES

El mismo individuo recibe el peso completo de la población en cada idioma.

CH05-F10— ASIGNANDO UNA PERSONA A UN PAÍS PEQUEÑO Y EXPLICANDO LA PUNTUACIÓN DEL PAÍS

La observación del Observador por País se transforma en una estimación estadística del país.

CH05-F11— ELIMINANDO COMPLETAMENTE LOS PAÍSES PEQUEÑOS

Debido a que la proporción de población es baja, el país o el idioma no se incluyen en ningún panel adicional de cobertura.

CH05-F12— SOBREPONIENDO EJEMPLOS DE JUSTICIA DE IDIOMA EN LA PUNTUACIÓN PRINCIPAL

Los idiomas sobre-muestreados no se devuelven a su peso poblacional real.

CH05-F13— CONTANDO AL USUARIO ACTIVO COMO POBLACIÓN POTENCIAL

Los datos de uso reales se presentan como si incluyeran a todas las personas que podrían acceder al producto.

CH05-F14— CONTANDO LA POBLACIÓN POTENCIAL COMO EXPOSICIÓN REAL

Se supone que la respuesta de todos los que podrían usar el producto se observa realmente.

CH05-F15— CONTANDO EL PANEL VOLUNTARIO COMO UNA MUESTRA ALEATORIA DEL MUNDO

La auto-selección y el sesgo del panel están ocultos.

CH05-F16— IGNORANDO EL ERROR DE COBERTURA CON PONDERACIÓN

Se afirma que los grupos no presentes en el marco están representados únicamente mediante ponderación.

CH05-F17— ELIMINANDO USUARIOS EXCLUIDOS POR LA HERRAMIENTA DE RECOLECCIÓN DE DATOS DE LA POBLACIÓN

Los problemas de accesibilidad o del dispositivo se interpretan como si el usuario no fuera adecuado.

CH05-F18— APLICANDO LA MISMA POBLACIÓN A TODAS LAS SOLICITUDES

La identidad global, los precios locales y las preguntas de asesoría legal se combinan en el mismo denominador.

CH05-F19— APLICANDO LA POBLACIÓN GENERAL DE CONSUMIDORES AL PRODUCTO API

El panel de usuarios humanos se transfiere directamente al desarrollador o producto de la aplicación.

CH05-F20— COMBINANDO SECRETAMENTE PLANES GRATUITOS Y DE PAGO

Se publica una distribución de producto única sin registrar la diferencia de planes.

CH05-F21— UNIFICANDO POBLACIONES WEB Y MÓVILES

Las diferencias en el acceso a la interfaz y el comportamiento permanecen invisibles.

CH05-F22— IGNORANDO EL LÍMITE DE EDAD

Se añaden grupos de edad inapropiados a la población objetivo o al panel sin explicación.

CH05-F23— MULTIPLICANDO TASAS MARGINALES COMO SI FUERAN INDEPENDIENTES

Se ignora la relación entre edad, internet, idioma y acceso.

CH05-F24— CAMBIANDO LA POBLACIÓN DESPUÉS DEL RESULTADO

Se elimina de la población objetivo un país o grupo de usuarios con puntuación baja.

CH05-F25— USANDO EL MAPA DE ALCANCE DEL PRODUCTO ANTIGUO

El alcance real del producto en la fecha de medición no está verificado.

CH05-F26— CONFUNDIENDO LOS RESULTADOS DE Base común de comparación Y Alcance natural

Las comparaciones realizadas sobre la población conjunta se presentan como si reflejaran el alcance global real del producto.

CH05-F27— RESTRINGIENDO EL MERCADO OBJETIVO SEGÚN EL INTERÉS COMERCIAL

La organización solo declara los países donde tiene éxito como mercados objetivo.

CH05-F28— CONTANDO EL ALCANCE DE ACCESO COMO PRECISIÓN GEOGRÁFICA

Estar presente en muchos países se presenta como prueba de una representación precisa.

CH05-F29— VENDIENDO ACCESO LIMITADO COMO ALTO ÉXITO GEOGRÁFICO

Una alta precisión en un pequeño número de países se presenta como superioridad global.

CH05-F30— USANDO EL TÉRMINO “EL MUNDO ENTERO” SIN REGISTRO DE COBERTURA

Las exclusiones de producto, idioma, país y plan están ocultas.

38. PROCEDIMIENTO DE AUDITORÍA

Paso 1— Fijar el Producto de IA y interfaz de usuario

Tipo de cuenta del plan de interfaz del producto Modelo mostrado Fecha de medición registrada.

Paso 2— Clasificar la Pregunta de Medición

prompt:

• identidad global,
• servicio local,
• precio,
• ley,
• recomendación,
• alto riesgo

¿A cuál de sus familias pertenece?

Paso 3— Determinar la Población de Referencia Global

Se define el universo humano inicial al cual se asociará el resultado.

Paso 4— Determinar Edad y Elegibilidad para la Investigación

Condición de edad del producto Condición de edad de investigación Se registran los términos de consentimiento y procesamiento de datos.

Paso 5— Verificar acceso al producto según el país

Se asigna un estado de acceso entre PA-0 y PA-5 para cada país.

Paso 6— Determinar compatibilidad de Internet, dispositivo e interfaz

Se estima la población que puede usar la interfaz medida.

Paso 7— Establecer el universo de idioma y localidad

Se separan el idioma del prompt, el idioma de la interfaz, el idioma de respuesta y la competencia lingüística del usuario.

Paso 8— Aplicar la relevancia del prompt

Se evalúa si todos los usuarios pertenecen a la población objetivo de la familia de prompts relevante.

Paso 9— Seleccionar el modelo de población apropiado para el tipo de producto

Se separa el producto en consumidor, empresa, educación, API o producto integrado.

Paso 10— Compara la población objetivo con el marco de muestreo

Se registra como cobertura insuficiente y sobrecobertura.

Paso 11— Identificar los paneles principales y complementarios

Los ámbitos del Panel de Población, Panel de Observadores por Países, Panel de Equidad Lingüística y Panel de Accesibilidad están versionados.

Paso 12— Separar los universos Alcance natural y Base común de comparación

Los resultados intraproducto y las poblaciones de comparación entre productos se registran por separado.

Paso 13— Separar el alcance de acceso y los resultados de precisión

La precisión entre la población a la que puede llegar un producto y la de usuarios alcanzados se informa por separado.

Paso 14— congelar el archivo de población

Las fuentes de datos, suposiciones, fecha y versión poblacional están fijadas.

Paso 15— Seguimiento de los cambios de materiales

Si el acceso al producto o las condiciones cambian durante la medición, se crea una nueva versión.

39. EVIDENCIA REQUERIDA

Identidad del producto de IA; interfaz de usuario; condiciones del plan y de la cuenta; fecha de medición; países en los que el producto es accesible; estado de acceso a nivel de país; condiciones de edad; condiciones legales y éticas de participación; registros de población por país; distribuciones de edad; registros de acceso a internet y dispositivos; distribuciones de idioma y localidad; soporte de idioma del producto; accesibilidad de la interfaz; familia de prompts objetivo; definición de población objetivo; marco de muestreo; subcobertura; sobrecobertura; tipo de panel; método de selección de participantes; estado de panel por probabilidad o de inscripción voluntaria; ponderaciones para usuarios multilingües; cobertura del Observador por País; cobertura de Equidad Lingüística; cobertura del Panel de Accesibilidad; población Alcance natural; Población Base común de comparación; datos de usuarios activos, dónde se utilizan; cálculo de cobertura de acceso; supuestos y análisis de sensibilidad; versión de la población; y fecha de la última verificación.

Persona o institución responsable

40. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Qué producto de IA y interfaz de usuario se está midiendo? ¿Para qué fecha se definió la población objetivo? ¿Se separaron la población total del país y la población de usuarios elegibles? ¿Se aplicó un requisito de edad? ¿Se evaluó el acceso a internet y a dispositivos? ¿Es el producto oficialmente accesible por país? ¿Se les pidió a los participantes que superaran restricciones de acceso? ¿Se separaron los planes gratuitos y de pago? ¿Se separaron las interfaces web y móvil? ¿La familia de prompts cambió la población objetivo? ¿Cómo se determinó la idoneidad del idioma y la configuración regional? ¿Se contaron dos veces los usuarios multilingües? ¿Está clara la diferencia entre la población objetivo y el marco muestral? ¿Es el panel probabilístico o voluntario? ¿Se midió el error de cobertura? ¿Se excluyeron silenciosamente los usuarios con necesidades de accesibilidad?

¿Se han convertido las observaciones del Observador por País en una puntuación por país? ¿Tuvieron los ejemplos de Equidad Lingüística un peso excesivo en la puntuación principal? ¿Se separaron los resultados de Alcance natural y Base común de comparación? ¿Son separadas la cobertura y la exactitud de la representación? ¿Se separaron los resultados de usuarios activos y usuarios potenciales? ¿Es el tipo de producto adecuado para el panel de población humana? ¿Se multiplicaron ciegamente las tasas marginales en los pesos de la población? ¿Se cambió la definición de la población después de ver los resultados? ¿Están versionados los datos utilizados de población y acceso? ¿Son visibles los grupos no probados? ¿Es consistente el término “global” con la cobertura real? ¿Existe un propietario claramente responsable del registro de la población?

41. OBJECIONES Y RESPUESTAS

Objeción 1— “¿No sería más justo distribuir directamente según la población mundial?”

La población mundial es una base de partida sólida. Sin embargo, incluir a personas que no pueden usar el producto en la muestra principal del producto no genera experiencia real del usuario. El método correcto es:

• peso poblacional dentro de la población elegible para el producto,
• cobertura de acceso global.

Se deben informar ambos resultados.

Objeción 2— “¿No deberían la mayoría de los usuarios provenir de países grandes?”

Los países que cumplen con las condiciones de producto, idioma y acceso deberían, naturalmente, tener una participación alta. Sin embargo, solo porque la población total sea grande, no se puede generar una experiencia de usuario falsa desde un país donde el producto no es accesible.

Objeción 3— “¿Por qué sería incorrecto dar una persona a un país pequeño como San Marino?”

Una persona es valiosa para la exploración y la observación del país mediante el Observador de País. Lo que está mal es presentar el resultado de esa persona como un 'puntuación del país'. La visibilidad del país pequeño puede protegerse con el Panel del Observador de País. El peso principal de la población sigue siendo según la participación real de la población.

Objeción 4— “Si damos al menos una persona a cada país, ¿no pareceríamos más globales?”

Se ofrece una cobertura geográfica más amplia. Sin embargo, la estimación de la población puede estar distorsionada. Por lo tanto:

• ámbito geográfico,
• Densidad de población

Son resultados separados. Puede ser un panel de alcance para asignar una persona a cada país. No es un panel de población.

Objeción 5— "Si damos cero a un producto en un país inaccesible, ¿no sería castigado injustamente ese producto?"

Un país inalcanzable no cuenta como cero en precisión de representación. Se hace visible en la métrica de cobertura de acceso. Esta distinción protege el producto tanto de sanciones injustas como de falsa universalidad.

Objeción 6— "Si existen datos reales de uso, ¿por qué necesitamos datos de población?"

Los datos de uso real muestran el impacto operativo. Sin embargo, el producto:

• a las poblaciones que no ha alcanzado,
• la desigualdad geográfica en la base de usuarios,
• equidad del usuario potencial

No se muestra por sí solo. Los dos tipos de datos responden a diferentes preguntas.

Objeción 7— 'Dado que todos los usuarios harán la misma solicitud, ¿por qué es importante la relevancia de la solicitud?'

Las preguntas de identidad pueden ser significativas en una población amplia. Las preguntas sobre precio, legales o de asesoramiento solo son significativas para ciertos usuarios y mercados. Una población irrelevante puede distorsionar la distribución de respuestas alejándola de la realidad del usuario.

Objeción 8— 'Si una persona conoce varios idiomas, ¿por qué no debería contarse completamente en todos los idiomas?'

Puedes probar todos los idiomas en una comparación entre idiomas. Sin embargo, multiplicar a la misma persona en el ponderamiento de población aumenta artificialmente la población mundial. El peso de la persona debe dividirse, o debe usarse un panel separado equivalente.

Objeción 9— '¿No deja incompleto el resultado global el hecho de probar solo a adultos?'

Lo hace. Esta limitación debe indicarse claramente. Comenzar con un panel de adultos puede ser una elección ética y operativa. No implica un juicio sobre los usuarios infantiles.

Objeción 10— '¿No es suficiente el panel de investigación en línea?'

Puede ser muy valioso para investigaciones piloto y ponderadas. Pero el panel:

• cuánto de la población objetivo cubre,
• quién queda excluido,
• cómo la participación voluntaria crea sesgo

Debe explicarse. Usar un panel no es un error. Presentar el panel como aleatorio, como la población mundial, sí lo es.

Objeción 11— “¿Por qué el panel de accesibilidad está relacionado con la puntuación GEO principal?”

Porque una parte de los usuarios reales de IA utiliza tecnología de asistencia o formas diferentes de interacción. Si la herramienta de recopilación de datos excluye a estas personas, la puntuación principal puede no representar a toda la población objetivo.

Objeción 12— “¿No hace que sea imposible tener una sola puntuación NOMOS el hecho de tener tantas definiciones de población diferentes?”

No. Se puede producir una única puntuación. Sin embargo, debe quedar claro a qué pregunta de población responde. Por ejemplo:

• Puntuación de Población Alcance natural
• Puntuación Base común de comparación
• Puntuación Relevante para el Mercado
• Resultado de Equidad Lingüística

puede tener registros separados. El significado de un número surge de la claridad de su denominador.

JUICIO COMÚN DEL CAPÍTULO 44

GEO-1000 contiene ‘1,000’ en su nombre, pero el valor de esas 1,000 personas no surge únicamente del número. Surge de las respuestas a estas preguntas: ¿Quiénes son? ¿De qué población fueron seleccionados? ¿Pueden usar el producto de manera genuina? ¿Dónde viven? ¿Qué idiomas usan? ¿Cuántas veces se contó a la misma persona? ¿Son visibles los países pequeños? ¿Mantienen los países grandes su verdadero peso poblacional? ¿Dónde toma en cuenta la puntuación a las personas a las que el producto no puede llegar? ¿A quién excluyó la infraestructura del panel? ¿Qué resultado mide el acceso potencial y cuál mide la exposición real? Un país grande puede tener una población grande elegible para el producto y, por lo tanto, merecer un peso sustancial en el panel principal. Pero si el producto no está disponible allí, la auditoría no debe inventar usuarios. La brecha de acceso debe divulgarse por separado.

Si un país es muy pequeño, el peso principal de la población debería permanecer bajo. Sin embargo, no tiene que ser completamente invisible. Puede observarse con un panel de monitoreo. Si un idioma tiene una pequeña población, puede que no determine el promedio global. Sin embargo, si hay una distorsión severa en la representación de ese idioma, también debería ser visible. Si una persona conoce tres idiomas, puede producir tres experiencias diferentes. Sin embargo, no son tres personas diferentes. Si un producto de IA solo proporciona cierto comportamiento en un plan de pago, la puntuación de los usuarios gratuitos no representa ese plan. Un panel de población humana es adecuado para un producto de chat para consumidores. El mismo modelo de población puede no ser adecuado para una API o producto empresarial. Por lo tanto, la quinta ley de medición de NOMOS es la siguiente:

Incluso la puntuación más sensible da la respuesta correcta a la pregunta equivocada si el denominador es incorrecto.

Su sexta ley es:

El peso de la población no reemplaza la visibilidad del país y del idioma.

Su séptima ley es la siguiente:

Una persona que no puede acceder a [algo] no ha sido mal representada; sin embargo, forma parte del límite de acceso global.

Su octava ley es la siguiente:

Una persona que tiene múltiples cuentas, idiomas o sesiones no aumenta la población humana.

La novena ley es la siguiente:

La medición global no es una afirmación de que todos sean medidos; es un registro honesto de quién es medido y quién no.

Orden de la Sección 5 de NOMOS

No me des solo las poblaciones de los países. / Muestra qué personas pueden realmente usar el producto.

No llenes un país grande con usuarios falsos cuando el producto no está allí.

No des a una persona a un país pequeño y declares que la respuesta de esa persona es la voz del país.

No dupliques a una persona tantas veces como tengan cuentas, idiomas y sesiones.

No se debe confundir el idioma oficial con el uso real del idioma por parte de la gente.

No haga que un usuario gratuito sea el representante de un plan de pago, ni que un usuario móvil sea el representante de la interfaz web.

No llame al panel de voluntarios una población mundial aleatoria.

No borre a un usuario con necesidades de accesibilidad de la población porque la herramienta no funcione.

No elimine de la puntuación de precisión a la población a la que el producto no alcanza y oculte la brecha de acceso global.

No aplique la misma proporción a una pregunta de precio que a una pregunta de identidad, ni a una marca global que a una licencia local.

Primero, defina el producto. / Luego defina la pregunta. / Luego defina el universo humano. / Luego limite el acceso, el idioma, la edad y la interfaz. / Luego explique a quién no puede seleccionar. / Y solo después de eso distribuya 1,000 personas.

La oración de cierre del capítulo

En GEO-1000, la justicia no consiste en dar el mismo número de personas a cada país; consiste en representar a cada persona en la población objetivo correcta, con el peso adecuado, sin ocultar los lugares donde no se mide.

Core normativo

Cada auditoría de población GEO DEBE definir, antes de la inspección de resultados, una población de usuarios objetivo con límite de tiempo y específica para el producto para cada uno de los siguientes: - Producto de IA y interfaz de usuario, - país o jurisdicción, - edad y condición de acceso legal, - condición de cuenta o plan, - idioma y localidad, - interfaz, - familia de prompts, - y propósito de la medición. La población residente total NO DEBE ser tratada como población elegible para el producto sin ajustes de elegibilidad justificados. La indisponibilidad del producto DEBE ser reportada como una limitación de cobertura de acceso, no puntuarse silenciosamente como representación incorrecta ni eliminarse silenciosamente del alcance global. El acceso potencial, el uso activo, la exposición real, Alcance natural, Base común de comparación, la relevancia del mercado y la observabilidad de la investigación DEBEN mantenerse como conceptos de población distintos. Las personas, cuentas, sesiones, idiomas y observaciones de productos NO DEBEN tratarse como unidades de población intercambiables. Los países, idiomas y grupos de accesibilidad sobrerepresentados DEBEN reajustarse para estimaciones de población mientras permanecen visiblemente separados para análisis de equidad y cobertura. Las observaciones del Country Observer PUEDEN establecer cobertura de observación geográfica, pero NO DEBEN representarse como puntuaciones de país estadísticamente fiables. NO se DEBE exigir a los participantes que eludan restricciones de producto, geográficas, de edad, de identidad o de cuenta para entrar en el panel de población oficial. Cada marco de población DEBE estar versionado, tener fuente, ser consciente de la incertidumbre y ser atribuible a un humano o una organización responsable.