La muestra GEO-1000 proporcional a la población

Límite de Capítulo

La Sección 5 estableció la siguiente disposición:

La población objetivo de usuarios de cada producto de IA debe definirse por separado. La población total de un país no es la población de usuarios elegibles para el producto en ese país.

Ahora llegamos a la siguiente pregunta:

De la población de usuarios elegibles definida para GEO-1000, ¿cuántas personas serán seleccionadas, de qué país, qué idioma y por qué método?

La población de usuarios elegibles para un producto de IA es:

• 40% en el país A,
• 25% en el país B,
• 15% en el país C,
• 0.04% en un país pequeño

Si está disponible, ¿cómo deberían distribuirse las observaciones válidas 1,000? ¿Cómo se convertirán las cuotas fraccionarias en números enteros? ¿Se excluirán completamente los países con una participación poblacional de menos de una persona? ¿Se distorsionará el ponderado por población cuando se asigne al menos una persona a cada país? ¿Se pueden agrupar los países pequeños en un grupo separado? Si se sobremuestrean algunos idiomas por equidad lingüística, ¿cómo se calculará la puntuación global? Si el objetivo es 100 observaciones válidas en un país, ¿a cuántas personas se debería invitar? ¿Quién reemplazará al participante si no completa la tarea? ¿Se puede reemplazar a un usuario que da respuestas incorrectas? Si la misma persona prueba más de un producto de IA, ¿seguiría siendo independiente la muestra?

Incluso con una muestra sin procesar de 1,000 personas, ¿pueden los pesos altamente desiguales reducir la información estadística efectiva por debajo de la de 1,000 observaciones independientes con pesos iguales? Estos no son simplemente detalles operativos. El diseño de la muestra determina cuánto influye cada persona en la puntuación GEO. Una muestra defectuosa:

• puede pesar mal las respuestas correctas,
• puede sobre-representar simbólicamente a los países pequeños,
• puede hacer que las poblaciones grandes parezcan más pequeñas de lo que son,
• puede hacer invisibles a los idiomas con pocos recursos,
• puede presentar a los usuarios voluntarios de tecnología como si fueran la población mundial.

Se puede ajustar para lograr la puntuación deseada después de revisar los resultados. La arquitectura de auditoría previamente establecida requiere que cada auditoría sea medible y que el modelo/producto lleve la fecha, el país, el idioma, el conjunto de consultas, el número de repeticiones y el registro de medición. Esta sección aplica la misma disciplina al diseño de la muestra. Debido a que la evidencia genuina requiere solicitar límites, contexto y tiempo; también requiere hacer visible cómo se creó la muestra. Esta sección:

• cómo se distribuirán las observaciones válidas 1,000 del panel de población principal,
• cómo se establecerán los estratos y celdas,
• cómo se gestionarán los países pequeños,
• cómo se convertirán las fracciones en números enteros,
• cómo se ponderará el sobremuestreo,
• cómo separar invitación, respaldo y objetivos de observación válidos,
• cómo establecer los pesos de diseño y análisis,
• por qué el tamaño efectivo de la muestra puede diferir del número bruto

define. Este capítulo aún no:

• de qué proveedor del panel se seleccionarán los participantes,
• los detalles completos de la implementación de campo en muestreos voluntarios o probabilísticos,
• revisión y puntuación de respuestas,
• el método final de intervalo de confianza,
• todas las fórmulas de puntuación NOMOS

no están completamente finalizadas. La tarea de la Sección 6 es:

Transformar la población objetivo definida en una muestra GEO-1000 congelada, ponderable y reproducible antes de ver el resultado.

NOMOS Desafío

Está configurando un panel global de 1,000 personas para un producto de IA. Las poblaciones elegibles para el producto de diez países son las siguientes:

Cuotas brutas según la proporción pura de la población:

No se puede seleccionar a media persona. No se pueden enviar 0.4 personas a un país. Si redondea las cuotas brutas al número entero más cercano, el total puede exceder o ser inferior a 1,000. Si da al menos una persona a cada país, se sobre-representarán los países I y J en comparación con sus proporciones de población.

Dar una persona al país I aumenta su participación teórica 2.5 veces. Dar una persona al país J aumenta su participación teórica 10 veces. Esta representación extrema puede corregirse en gran medida. Pero no se puede producir una puntuación de país con una sola persona. ¿Qué sucede si no das a nadie ni a I ni a J?

Si defines estos países como estratos separados y obligatorios, la probabilidad de que algunas personas en la población objetivo sean seleccionadas se vuelve cero. En este caso, la afirmación de una “muestra probabilística que representa a toda la población global apropiada” se debilita. Ahora considera una decisión más peligrosa. Primero, recopilas las respuestas.

El único usuario en el país J obtiene una respuesta incorrecta. Luego dices: “El tamaño de muestra de este país es muy pequeño, excluyámoslo del alcance.” En el país A, hay muchas respuestas positivas. Lo conservas con peso completo. Esto ya no es redondeo. Es un cambio de muestra basado en resultados.

En otro caso, se incrementa la tasa de registros inválidos en un grupo de idiomas con resultados bajos, utilizando únicamente participantes de respaldo hasta obtener una respuesta positiva. Esto tampoco es una muestra. Es un mecanismo de selección de respuestas. La primera disposición de esta sección es:

La muestra debe establecerse antes de ver las respuestas de la IA.

Su segunda disposición establece:

La probabilidad de que un participante sea seleccionado no puede depender de la corrección de su respuesta.

Su tercera disposición establece:

La visibilidad del país pequeño y el peso de la población en la puntuación global deben gestionarse por separado.

Su cuarta disposición establece:

El sobremuestreo es posible; el sobrepeso no es obligatorio.

Su quinta disposición establece:

Los registros en bruto 1,000 no siempre contienen información estadística equivalente a las observaciones 1,000.

1. OBJETIVO DEL CAPÍTULO

El propósito de esta sección es transformar las observaciones válidas 1,000 dirigidas para cada producto de IA y ola de medición en un diseño de muestra verificable basado en la población de usuarios elegibles para el producto. La sección estandariza las siguientes distinciones:

• Población objetivo versus muestra seleccionada
• Cuota bruta versus asignación entera
• Panel de población principal versus paneles complementarios
• Visibilidad del país versus peso del país
• Estrato versus celda experimental
• Estratos de países grandes versus grupo de países pequeños
• Asignación proporcional frente a sobremuestreo desproporcionado
• Participación de la muestra versus participación de la población
• Número de invitaciones versus objetivo de observaciones válidas
• Participante de respaldo versus reemplazo posterior al resultado
• Invalidez de la recolección de datos versus resultado adverso de la IA
• Peso de diseño vs. peso de resultado
• Tamaño de muestra bruto vs. tamaño de muestra efectivo
• Muestra por país vs. muestra por idioma
• Usuario multilingüe vs. más de una persona
• Selección de una sola etapa vs. selección de múltiples etapas
• Asignación Alcance natural vs. asignación Base común de comparación
• Asignación de onda instantánea y asignación de series temporales
• Estimación de la población y análisis de reconocimiento por país o idioma
• Principales observaciones 1,000 con observadores auxiliares y paneles de equidad

Al final de esta sección, cada auditoría debería poder responder estas preguntas:

¿Por qué se distribuyeron las observaciones 1,000 en estos números a través de este país, idioma y grupos de usuarios?

¿Cómo se determinó el peso de cada observación en el resultado global?

¿Quién tenía una probabilidad cero de ser seleccionado y por qué?

¿Cuántas personas fueron invitadas, cuántas completaron y cuántas observaciones permanecieron válidas?

¿Se congelaron los resultados de la muestra antes de ser vistos?

2. DISPOSICIÓN NORMATIVA CENTRAL

La muestra de la población principal GEO-1000 debe basarse en un diseño de muestreo estratificado que asigne probabilidades conocidas o predecibles de selección a las personas en el marco de población elegible para productos precongelados para cada producto de IA y ola de medición. El objetivo predeterminado del panel de la población principal es:

Al menos 1,000 observaciones válidas por producto de IA y ola de medición principal

se mantiene. Este número:

• no es el número de personas invitadas,
• no es el número de cuentas,
• no es el número de capturas de pantalla sin procesar.

No es la suma de todos los paneles suplementarios. 1,000 es el objetivo para observaciones de productos válidas que cumplan con el protocolo en el panel de la población principal. Los paneles de Observador por País, Equidad Lingüística y Accesibilidad pueden crear muestras adicionales. Estas muestras adicionales:

• pueden aumentar el volumen total de campo por encima de 1,000,
• pueden ser utilizadas con pesos apropiados en el resultado de la población global,

pero no pueden ser utilizadas para reducir encubiertamente el objetivo de observaciones válidas 1,000 del panel principal.

3. REPRESENTACIÓN BÁSICA DE LA MUESTRA

Para un producto específico de IA a, una ola de medición w y un marco de población objetivo, los estratos:

h∈ H_{a,w}

están indicados. Para cada estrato:

• Nh: población estimada apropiada para el producto en el estrato
• N: población objetivo total
• Wh: peso poblacional del estrato
• n: observación principal del panel objetivo válida
• qh: cuota proporcional cruda
• nh: observación objetivo válida de entero asignado

es. Población objetivo total:

N= Σ_{h=1}^H N_h

Peso de la población del estrato:

W_h= N_h/ N

Cuota proporcional cruda:

q_h= nW_h

es. Asignación proporcional principal, en condiciones ideales:

n_h≈ nW_h

debe ser. Sin embargo:

• qh puede ser fraccionaria,
• algunas celdas pueden ser inferiores a una persona,
• puede ser necesaria una muestra diagnóstica mínima para los subgrupos de idioma y país,
• también se pueden examinar grupos pequeños de alto riesgo

las tasas de finalización de campo pueden variar. Por lo tanto, la cuota bruta no es directamente la asignación final.

4. TRES PROPÓSITOS DISTINTOS DEL DISEÑO DE MUESTRA

La misma muestra puede no cumplir todos los propósitos con la misma fuerza. Se deben separar tres propósitos.

4.1. Estimación de Población Global

Responde a la pregunta:

¿Qué resultado representativo vería la persona promedio en la población global de usuarios adecuada para el producto?

El peso de la población es la prioridad principal.

4.2. Diagnóstico de Subgrupos

Responde a la pregunta:

¿Qué distorsiones de representación ocurren en países específicos, idiomas, planes o grupos de usuarios?

Puede ser necesario un sobremuestreo de grupos pequeños.

4.3. Cobertura Geográfica y Lingüística

Responde a la pregunta:

¿En qué países e idiomas hay al menos observación real de usuarios?

Los paneles de Observador por País y de Equidad Lingüística se vuelven importantes. Estos tres objetivos no pueden combinarse inexplicablemente en una única muestra.

5. ARQUITECTURA PRINCIPAL DE LA MUESTRA

La arquitectura de muestra principal candidata para GEO-1000 consta de cuatro capas.

5.1. Panel de Población

Cada producto y oleada de IA tiene un mínimo de 1,000 observaciones válidas como panel principal. Esto produce una estimación de población global.

5.2. Superposición del Observador por País

Proporciona observaciones geográficas adicionales para países pequeños que no pueden ser representados directamente en el panel de población principal. Estas observaciones pueden indicar:

• evento único,
• estado de acceso,
• necesidades de investigación futura

No generan una puntuación de país por sí solas.

5.3. Sobremuestra de Equidad Lingüística

Genera observaciones adicionales para idiomas con pocos recursos o idiomas subrepresentados en el panel principal. Estas se reponderan según los pesos poblacionales reales en el resultado global.

5.4. Sobremuestreo de accesibilidad

También mide a los usuarios de tecnología de asistencia y accesibilidad, que no están adecuadamente representados por el panel estándar. El universo objetivo y el peso de estas observaciones se registran por separado.

6. ¿QUÉ ES UN ESTRATO?

Un estrato es un segmento de la población que se gestiona por separado en términos de asignación de muestras y probabilidad de selección. El estrato puede ser una combinación de una o más de las siguientes áreas:

• País
• Región
• Idioma
• Localización
• Plan de IA
• Web o móvil
• Controlado o Panel de usuarios en condiciones reales
• Estado de accesibilidad
• Tipo de usuario
• Jurisdicción

Si cada pequeña combinación se convierte en un estrato separado, la muestra se fragmenta. Por ejemplo: la combinación País × idioma × plan × móvil/web × grupo etario × tipo de usuario puede producir cientos o miles de celdas. Las observaciones 1,000 no proporcionan estimaciones confiables para la mayoría de estas celdas. Por lo tanto, la estratificación debe ser:

• sustancial,
• medible,
• apropiada para el tamaño de la muestra

debe ser.

7. UN ESTRATO NO ES LO MISMO QUE UNA CELDA DE INFORME

Puede mostrarse por separado en una tarjeta de resultados grupales. Sin embargo, no tiene que ser un estrato separado en el diseño de la muestra. Por ejemplo:

• un idioma pequeño,
• un grupo de accesibilidad específico,
• una cierta franja etaria

Se puede seleccionar dentro de un estrato más amplio en la muestra principal. Más adelante, puede informarse por separado en el análisis. También es posible lo contrario: dos regiones pueden estratificarse por separado para mejorar la eficiencia del muestreo. Sin embargo, en el informe público, pueden combinarse bajo un único resultado regional. El diseño de estratificación y la estructura de informes deben llevar registros separados.

8. SECUENCIA DE ESTABLECIMIENTO DEL ESTRATO

La secuencia candidata para el Panel de Población Principal es la siguiente:

• Producto de IA y interfaz de usuario
• Marco poblacional Alcance natural o Base común de comparación
• País o conjunto de países pequeños
• Idioma principal de auditoría o grupo de idiomas
• Separación de plan/material o interfaz, si es necesario
• Marco de selección de participantes

El plan y la interfaz no tienen que convertirse en capas separadas para cada país. Esto puede gestionarse mediante:

• subcapa,
• cuota,
• asignación aleatoria

métodos.

9. CAPAS DE PAÍSES GRANDES Y PEQUEÑOS

La cuota bruta de un país:

q_c= nN_c/ N

está en esta forma. Si la cuota bruta es lo suficientemente grande, el país puede mantenerse directamente como una capa separada. Esto puede llamarse:

capa de país auto-representante

Hacer que los países con cuotas brutas muy pequeñas se conviertan individualmente en capas obligatorias separadas puede reducir la eficiencia del muestreo. Estos países pueden:</n:

• regional,
• familia de idiomas,
• régimen de acceso a productos,
• proximidad geográfica

pueden incluirse en grupos de países pequeños.

10. GRUPO DE PAÍSES PEQUEÑOS

Un grupo de países pequeños:

Que se represente como B_r= {c_1, c_2, …, c_k}

La población total elegible de la muestra:

N_{B_r}= Σ_{c∈B_r} N_c

Cuota principal de la muestra:

q_{B_r}= nN_{B_r}/ N

se calcula como. Dentro de la muestra, la selección de países se puede hacer con una probabilidad proporcional al tamaño de la población elegible. La probabilidad de que el país c sea seleccionado dentro de la muestra:

Pr(c | B_r) = N_c/ N_{B_r}

Puede ser. Luego se selecciona un participante dentro del país elegido. Este enfoque:

• puede prevenir que los países pequeños tengan cero probabilidades de ser seleccionados en la población objetivo,
• no garantiza que cada país será seleccionado en una ola dada,

preserva la estimación de la población global. No seleccionar un país en esa ola:

NO SELECCIONADO EN LA MUESTRA DE POBLACIÓN

no significa: "El país no forma parte de la población objetivo."

11. LIMITACIONES DE AGRUPAR PAÍSES PEQUEÑOS

Los países pequeños no pueden ser colocados al azar en el mismo grupo solo porque sus poblaciones sean pequeñas. Los países dentro del grupo son similares en la medida en que son relevantes:

• acceso al producto,
• interfaz de usuario,
• lenguaje o estructura local,
• acceso legal,
• región geográfica,
• método de recolección de datos

debe ser considerado. Un país sin acceso al producto no puede colocarse en el mismo grupo principal que un país con acceso completo. No se pueden hacer invisibles las diferentes condiciones de uso.

12. EL GRUPO DE PAÍSES PEQUEÑOS NO PRODUCE puntuación POR PAÍS

Una o dos observaciones seleccionadas del grupo: pueden ser utilizadas en la contribución global de la población del grupo, pueden indicar un solo evento de país. Sin embargo, no produce una puntuación estadística separado para un país pequeño. Si se desea una puntuación basado en el país, adicionalmente:

• Observador por País,
• muestra específica de cada país,
• muestra acumulativa de varias olas

puede ser requerida.

13. ASIGNACIÓN PROPORCIONAL A LA POBLACIÓN PURA

Asignación proporcional pura: se basa en la fórmula:

q_h= nW_h

Ventajas:

• es comprensible para la estimación principal de la población,
• da naturalmente peso a las poblaciones grandes,
• pode reducir las diferencias de peso,

pode acercarse a un diseño de auto-pesaje. Limitaciones:

• pode muestrear muy pocos países y lenguas pequeñas,
• podría ser insuficiente para producir puntuaciones de subgrupos,
• podría dejar invisibles a pequeños grupos de alto riesgo,

pode crear cuotas fraccionarias y cercanas a cero. Por lo tanto, la asignación proporcional pura puede ser un valor predeterminado sólido para el Panel Principal de Población. No reemplaza los paneles complementarios.

14. CONVERTIR FRACCIONES A NÚMEROS ENTEROS

Las cuotas brutas suelen ser fraccionarias. La asignación total debe ser exactamente n. El Método del Mayor Residuo puede usarse como el método predeterminado.

14.1. Primer Paso

Cada cuota bruta se redondea hacia abajo:

b_h= ⌊q_h⌋

14.2. Segundo Paso

El número de observaciones no asignadas:

R= n− Σ_h b_h

se calcula.

14.3. Tercer Paso

La parte fraccionaria de cada estrato:

f_h= q_h− b_h

donde f_h es la parte fraccionaria de q_h.

14.4. Cuarto Paso

Las R observaciones restantes se añaden una por una a las capas con los valores de fh más altos.

14.5. Situación de igualdad

Si las partes fraccionarias de las dos capas son iguales:

• tamaño de la población,
• orden fijo predeterminado,
• semilla aleatoria registrada

Se debe utilizar una regla independiente para romper empates, sin importar el resultado. No se puede elegir un país basado en los resultados.

15. ASIGNACIÓN ENTERA SINTÉTICA

VISUALIZACIÓN SINTÉTICA

Poblaciones apropiadas al inicio de la sección:

Si los países están protegidos como capas separadas, redondear hacia abajo:

Queda una observación. Se añade a H porque la fracción más alta es 0.5 en el país H. Asignación final:

Aunque este diseño define a I y J como estratos determinísticos separados, si no se les da la posibilidad de ser seleccionados, puede representar un problema en términos de la inferencia del universo objetivo completo. Una solución más precisa es un pequeño conjunto de países.

16. ASIGNACIÓN SINTÉTICA CON PEQUEÑO CONJUNTO DE PAÍSES

Países H, I y J:

B_small= {H, I, J}

deben combinarse en el conjunto. Población del conjunto:

1,500,000+400,000+100,000=2,000,000

Cuota del conjunto:

1,000× 2,000,000/ 1,000,000,000= 2

se convierte en. Asignación principal:

Pesos de selección de los países dentro del conjunto:

Se seleccionan dos observaciones principales de la población según estas probabilidades. En la misma ola:

• ambas observaciones pueden provenir de H,
• uno de H y uno de I,
• rara vez de J

Esto puede ocurrir. El diseño no hace que J sea visible en cada ola, pero no reduce a cero la probabilidad de selección de J. Si J debe ser observado, se añade por separado al Panel de Observadores del País. Una observación del Observador por País no le da a J un peso de uno en 1,000 en la asignación global principal; J mantiene su verdadero peso poblacional en el panel principal.

17. ASIGNACIÓN MÍNIMA DE CELDA

La cuota puramente proporcional puede no ser suficiente para realizar un análisis diagnóstico para algunos subgrupos. Por ejemplo, la cuota bruta para una celda de idioma podría ser 8. No se puede producir una puntuación de idioma confiable con ocho observaciones. En este caso, hay tres opciones:

• No publicar La puntuación de idioma
• Combinar la celda con grupos similares
• Sobremuestrear la celda

La asignación mínima de celdas debe definirse antes de los resultados.

18. BANDAS DE INFORME DE CANDIDATOS

BANDAS DE INFORME DE CANDIDATOS — BANDAS DE INFORME DE CANDIDATOS

Los umbrales a continuación no son decisiones científicas finales. Deben calibrarse mediante pruebas piloto y revisión externa.

1–29 Observación Válida

Evento único y tasa de descubrimiento por país o idioma no publicada

SOLO OBSERVACIONAL

30–99 Observaciones Válidas

Estimación a nivel exploratorio Incertidumbre amplia No se da un juicio definitivo de conformidad

EXPLORATORIO

100–199 Observaciones Válidas

Primera estimación de subgrupo La incertidumbre debería ser visible

PROVISIONAL

200 y superior Observaciones Válidas

Estimación de subgrupo más fuerte candidato Efecto de diseño y pesos nuevamente evaluados

CANDIDATO DE ESTIMACIÓN ESTÁNDAR

Estas bandas:

• tasa de error,
• precisión esperada,
• variabilidad de peso,
• efecto de diseño

no puede considerarse automáticamente suficiente sin ser tomada en cuenta.

19. SOBREMUESTREO

Un país, idioma o grupo de usuarios puede tener más observaciones que su participación en la población. Esto se llama sobremuestreo. Sus propósitos:

• aumentar la sensibilidad del subgrupo,
• hacer visible un idioma con pocos recursos,
• examinar un grupo pequeño de alto riesgo,
• ampliar la cobertura de Observador de País,
• representar adecuadamente a los usuarios con accesibilidad

son posibles. El sobremuestreo no está mal. Lo que está mal:

Es usar la proporción de la muestra del grupo sobremuestreado como si fuera la verdadera proporción de la población.

20. PARTICIPACIÓN DE LA POBLACIÓN Y PARTICIPACIÓN DE LA MUESTRA

Participación de la población para la capa h:

W_h= N_h/ N

Participación de la muestra:

S_h= n_h/ n

está en la forma. En asignación puramente proporcional:

S_h≈ W_h

bien. En muestreo excesivo:

S_h> W_h

Es posible. En una muestra pequeña:

S_h< W_h

Es posible. La estimación de la población global debería mantener los valores Wh en lugar de Sh.

21. CARGA BÁSICA DE DISEÑO

En un muestreo estratificado simple, el peso básico de cada observación dentro del estrato h se puede considerar como:

d_i= N_h/ n_h

El peso del estrato normalizado se puede escribir como:

a_h= W_h/ S_h

El peso normalizado a nivel de observación puede ser:

w_i= W_h/ n_h

Se asegura que la suma sea uno:

Σ_i w_i= 1

La estimación de transición binaria ponderada se puede calcular como:

θ̂ = Σ_i w_iY_i

Aquí:

Yi=1: respuesta que cumple con el criterio de transición

Yi=0: respuesta que no lo cumple

Es posible. El sistema final NOMOS no tiene que usar únicamente resultados binarios. La misma lógica de ponderación también se puede aplicar a puntuaciones de respuesta multidimensionales.

22. EJEMPLO DE MUESTREO EXCESIVO

EJEMPLO SINTÉTICO

En la población adecuada del país B:

• Idioma X: 80 por ciento
• Idioma Y: 20 por ciento

Sea así. En el Panel de Población, hay 250 observaciones para el país B. Asignación pura:

• Idioma X: 200
• Idioma Y: 50

Que se tomen 50 observaciones adicionales de Equidad Lingüística para el Idioma Y. Observaciones recopiladas:

• Idioma X: 200
• Idioma Y: 100

La proporción del Idioma Y en la muestra sin procesar:

100/300 = 33.3%

Ha sido. La proporción real de la población es 20%. En la cuenta de la población global, el Idioma Y no puede tener un peso de 33.3%. Pesos normalizados dentro del estrato:

• Peso total para el Idioma X: 80%
• Peso total para el Idioma Y: 20%

se preserva. Cada una de las 100 observaciones en el Idioma Y recibe un peso individual menor que una sola observación en el Idioma X. En contraste, todas las 100 observaciones se utilizan en el informe diagnóstico separado del Idioma Y. Este enfoque: aumenta la visibilidad del subgrupo, no distorsiona la estimación de la población global.

23. ASIGNACIÓN DE USUARIOS MULTILINGÜES

Una persona puede ser adecuada para más de una celda de idioma. Uno de los enfoques preferidos para el Panel de Población principal es asignar un idioma de auditoría principal predefinido al usuario. El idioma de auditoría principal puede determinarse de acuerdo con estos campos:

• Idioma de uso diario de la IA
• Lengua materna o del hogar
• Mercado y localización
• Competencia en el uso natural del prompt
• Equilibrio del panel

Si el usuario también será evaluado en otros idiomas, estas observaciones:

• panel multilingüe emparejado,
• Panel de Equidad Lingüística

también se etiquetan en consecuencia. Está prohibido que la misma persona reciba ponderación completa de la población en todos los idiomas.

24. ASIGNACIÓN DE IDIOMA DENTRO DEL PAÍS

Sea la población adecuada para los grupos de idioma l en el país c: N_{c,l}. Si la cuota del país es: n_c, entonces la cuota de idioma bruta:

q_{c,l}= n_c× N_{c,l}/ Σ_l N_{c,l}

puede calcularse de esta manera. Sin embargo, si los grupos de idiomas se superponen:

Σ_l N_{c,l}> N_c

puede ser posible. En este caso, usar una participación directa crea un doble conteo. Opciones de solución:

• clasificación principal del idioma de auditoría,
• dividir el peso humano,
• modelo común multilingüe,
• panel de idioma coincidente separado

pueden utilizarse. El método utilizado debe registrarse.

25. ASIGNACIÓN DEL PLAN E INTERFAZ DENTRO DE LA POBLACIÓN

Los usuarios gratuitos y de pago o las interfaces web y móviles pueden comportarse de manera diferente. Sin embargo, dividir cada celda país-idioma por separado en capas de plan e interfaz puede fragmentar demasiado la muestra. Se pueden usar tres enfoques.

25.1. Subasignación proporcional a la población

Si se conoce la distribución real de usuarios, la asignación se realiza según el plan y las cuotas de la interfaz.

25.2. Asignación Experimental Equilibrada

Se realiza un muestreo igual o mayor para comparar la diferencia entre el plan o la interfaz. En la estimación global, se re-pesa según las cuotas de uso reales.

25.3. Separar Puntuaciones interfaz del producto

Los productos web gratuitos, web de pago y móviles se reportan como objetos de auditoría separados. También se puede producir un resultado combinado. El enfoque a utilizar debe definirse antes de la medición.

26. NÚMERO DE INVITACIÓN Y OBJETIVO DE OBSERVACIÓN VÁLIDO

Si el objetivo de observación válido para un estrato es nh, invitar exactamente nh personas generalmente no es suficiente. Porque:

• algunas personas no participan,
• algunas no completan la tarea,
• algunos registros quedan fuera de protocolo,

algunos paquetes de evidencia se vuelven inválidos. Sea la tasa de finalización esperada para el estrato rh y la tasa de validez esperada vh. El objetivo de invitación es aproximadamente:

m_h= ⌈n_h/ (r_h v_h)⌉

puede calcularse de la siguiente manera. Ejemplo:

• Objetivo de observación válida: 100
• Tasa de finalización esperada: 80 por ciento
• Tasa de validez esperada: 90 por ciento

m_h= ⌈100/ (0.80× 0.90)⌉ = 139

personas pueden ser invitadas. Esto no es una garantía. A medida que avanza el campo, se puede usar el sistema de respaldo predefinido.

27. LÍMITE DE INFLACIÓN DE INVITACIONES

Invitar a más personas por sí solo no resuelve el sesgo de la muestra. Los primeros en responder pueden ser sistemáticamente diferentes de los últimos en responder. Tomar solo a los primeros 1,000 que completen:

• zona horaria,
• interés en la tecnología,
• calidad de la conexión,
• horario de trabajo

puede producir sesgo en términos de. Invitación y orden de selección:

• debería ser aleatorizado,
• debe ser registrado dentro del estrato,

debería ser gestionado durante toda la ventana de campo.

28. SISTEMA DE PARTICIPANTES ALTERNATIVO

Se debe crear una lista de respaldo ordenada para cada estrato antes de que se vean los resultados. Un participante de respaldo solo puede ser activado por las siguientes razones:

• No respuesta a la invitación
• Incumplimiento en la realización de la tarea
• Problema de idoneidad técnica o ética
• Violación del protocolo de demanda
• Invalidez del paquete de evidencia
• Re-registro de la misma persona

El usuario de respaldo no puede intervenir por la siguiente razón:

La respuesta de la IA del usuario anterior dio un resultado incorrecto, negativo o no deseado.

Una respuesta incorrecta de la IA es el resultado válido del sistema. No puede ser una razón para el cambio de participante.

29. RESULTA CEGUERA EN DECISIÓN DE VALIDEZ

La persona que decide si la observación cumple con el protocolo tanto como sea posible:

• debe evaluar la respuesta sin saber si es correcta o incorrecta,
• o si es positivo o negativo para la marca.

Primero:

• Validez de captura y protocolo
• Luego la evaluación de la respuesta sustantiva

debe hacerse. De lo contrario, las respuestas negativas pueden ser declaradas más fácilmente como: "inválidas."

30. ORDEN DE RESERVA DENTRO DE LA CAPA

El participante de reserva debería ser, en la medida de lo posible, del mismo:

• país,
• idioma,
• interfaz del producto,
• plan,
• condición del panel

capa. Si no queda reserva en la misma capa, se aplica la escalada predefinida:

• Selección aleatoria adicional dentro de la misma capa
• Pool predefinido de la capa superior
• Dejar la asignación incompleta y advertencia de alcance
• Nueva versión de análisis

Después de ver el resultado, traer a un usuario de otro país y cerrar la brecha no se puede hacer silenciosamente.

31. ¿QUÉ SUCEDE SI UNA CAPA ES DEMASIADO CORTA?

Puede quedar por debajo del objetivo de la capa. Ejemplo:

• objetivo: 100
• observación válida: 72

Opciones correctas:

• Extender la ventana de campo hasta un alcance predefinido
• Usar la lista de respaldo
• Combinar la celda con una capa superior similar y predefinida
• Informe el resultado con amplia incertidumbre
• No publique el resultado de la celda
• Recalcule el peso global usando un método apropiado

Opción incorrecta: Eliminar completamente la capa de bajo puntuación del análisis.

32. CAMBIO DE CUOTA POST-RESULTADO

Los siguientes cambios son manipulaciones de muestras orientadas a resultados:

• Reducir la cuota objetivo del país de bajo puntuación
• Aumentar la cuota del idioma de alto puntuación
• Anular la validez de los usuarios que brindan respuestas negativas
• Redefinir el grupo de países pequeños basado en los resultados
• Excluir un plan con errores críticos
• Agregar nuevos usuarios hasta alcanzar el promedio deseado

Cada cambio de cuota material:

• nueva versión de asignación,
• justificación,
• fecha,
• tomador de decisiones
• Preservación del resultado anterior

debe realizarse con.

33. MUESTREO MULTIETAPA

El muestreo multi-etapa se puede usar cuando no es posible acceder directamente a todos los individuos. Ejemplo:

• Selección de región o grupo de países
• Selección de país
• Selección de panel o socio local de investigación
• Selección de usuario
• Asignación de producto o tarea de IA

La probabilidad total de selección de un usuario individual es el producto de las probabilidades condicionales en cada etapa:

π_i= π_r× π_{c|r}× π_{f|c}× π_{i|f}

Aquí:

• r: región o grupo pequeño de países
• c: país
• f: marco de muestreo o panel
• i: persona

Peso de diseño básico:

d_i= 1/π_i

Si no se pueden registrar las probabilidades de selección, no se puede presentar el diseño como una muestra completamente basada en probabilidades. [K04; K07]

34. ASIGNACIÓN EN PANELES VOLUNTARIOS Y NO PROBABILÍSTICOS

Un panel mundial verdaderamente basado en probabilidades puede no ser siempre posible. Se puede usar un panel en línea voluntario o profesional. En este caso, aún se pueden establecer cuotas de país e idioma de acuerdo con la población elegible para el producto. Sin embargo:

• la probabilidad real de selección del participante puede ser desconocida,
• puede ocurrir auto-selección,

el ponderado solo puede hacer ajustes basados en variables observadas. El estado correcto:

Panel de usuarios no probabilístico estratificado y calibrado a la población

puede ser. La siguiente declaración no puede usarse: “1,000 personas seleccionadas completamente al azar de la población mundial.”

35. ARQUITECTURA DE PONDERACIÓN

El peso final de la observación puede consistir en múltiples componentes:

w_i= d_i× a_i^{NR}× g_i^{CAL}

Aquí:

• di: peso de diseño base
• aiNR: ajuste por no respuesta
• giCAL: coeficiente de calibración

35.1. Peso de Diseño

Es el inverso de la probabilidad de selección del participante en el diseño de muestreo.

35.2. Ajuste por No Respuesta

Para personas seleccionadas con características similares:

• cuántos respondieron,
• cuántos produjeron una observación válida

se puede tener en cuenta. Para la clase de respuesta de muestra r:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

Aquí:

• Sr: muestra elegible seleccionada
• Rr: aquellos que respondieron o produjeron una observación válida

puede ser. Ajuste por no respuesta: no resuelve completamente el sesgo no observado, debe explicarse junto con sus supuestos.

35.3. Peso de calibración

La muestra, a totales poblacionales conocidos:

• país,
• idioma,
• edad,
• plan,
• interfaz de usuario.

La calibración puede aplicarse a estas dimensiones, pero solo donde existan totales externos confiables.

36. NORMALIZACIÓN DE PESO

Pesos:

• a la población total,
• a el tamaño total de la muestra,
• a individuo

puede ser normalizado. La normalización utilizada en la fórmula de puntuación debe explicarse. Pesos normalizados individualmente:

w̃_i= w_i/ Σ_j w_j

se obtienen. Estimación ponderada:

θ̂ = Σ_i w̃_iY_i

se calcula de la siguiente manera.

37. RECORTE DE PESOS

Algunos participantes pueden recibir pesos muy altos porque representan grupos muy pequeños y poco muestreados. Esta situación:

• puede aumentar la varianza estimada,
• la influencia de una sola observación,
• y la volatilidad de la puntuación

puede aumentar. Los pesos pueden recortarse en un límite superior. Sin embargo, el recorte: puede crear sesgo en la representación de la población, puede hacer que los grupos pequeños sean invisibles nuevamente. Por lo tanto, el recorte de pesos debe:

• definirse antes de los resultados,
• mostrarse junto con los resultados sin recortar,

y llevar un análisis de sensibilidad.

38. TAMAÑO EFECTIVO DE LA MUESTRA

Aunque el número bruto de observaciones es n, si los pesos varían mucho, la cantidad real de información puede ser menor. Tamaño de muestra efectivo de Kish:

n_eff= (Σ_i w_i)^2/ Σ_i w_i^2 [K08]

puede mostrarse como. Con pesos iguales:

neff≈n

se obtiene. Si los pesos están muy desequilibrados: neff<n. un estudio GEO-1000:

• 1,000 observaciones válidas,
• pueden representar un tamaño de muestra efectivo de 620

. Solo para el público: decir “Se midió a 1,000 personas.” puede parecer fuerte debido a la precisión. En el informe principal, al menos:

• conteo bruto de observaciones válidas,
• tamaño de muestra efectivo,
• variabilidad de los pesos

debe determinarse.

39. EFECTO DEL DISEÑO DEL PESO

Efecto de diseño aproximado debido a los pesos:

DEFF_w≈ 1+ CV(w)^2

puede ser mostrado. Aquí:

CV(w) = sd(w) / mean(w)

Este es el coeficiente de variación de los pesos y solo una representación aproximada de su efecto. El efecto total del diseño también puede variar con:

• agrupamiento,
• estratificación,
• medición repetida,
• usuarios emparejados

Estos efectos deben ser estimados por separado.

40. AGRUPAMIENTO

Lo mismo:

• Del panel de investigación,
• del país,
• de la comunidad lingüística,
• del dispositivo o institución,
• del usuario

Las observaciones pueden parecerse entre sí. En ese caso, 1,000 observaciones no equivalen a 1,000 unidades de información completamente independientes. Agrupación:

• en el diseño de la muestra,
• en el cálculo de la varianza,
• en el tamaño efectivo de la muestra

debe ser tomado en cuenta.

41. PRUEBA DE MÁS DE UN PRODUCTO DE AI POR EL MISMO USUARIO

Permitir que un usuario pruebe múltiples productos de IA permite medir la diferencia entre modelos en la misma persona. Ventaja: se pueden controlar las características del usuario, la comparación pareada se puede reforzar. Limitación:

• las observaciones del producto no son independientes,
• el orden de las tareas puede afectar otras respuestas,
• un usuario puede transmitir la respuesta vista en el primer sistema al siguiente sistema,

los usuarios que pueden acceder a todos los productos pueden diferir de la población. Por lo tanto, los productos:

• debería asignarse en orden aleatorio,
• se debería prevenir la compartición de respuestas previas,
• el diseño pareado debería registrarse,

El análisis debería proteger la dependencia. Cada producto de IA debería nuevamente tener su propio objetivo de 1,000 observaciones de productos válidas. Si los mismos 1,000 humanos prueban diez productos:

• 1,000 humanos únicos,
• 10,000 observaciones de productos

pueden formarse. Estos dos números no son iguales.

42. DISEÑO DE BLOQUES FALTANTES BALANCEADO

No todos los usuarios necesitan acceder a todos los productos de IA. Por ejemplo, si hay diez productos de IA, a cada participante se le pueden asignar tres productos. Si las asignaciones se hacen de manera balanceada:

• cada producto 1,000 observaciones,
• cada par de productos usuarios compartidos suficientes,
• participación de una población más amplia

puede lograrse. Como candidato para este enfoque:

Diseño de bloques incompletos balanceados

puede ser utilizado. Sus ventajas:

• reduce la carga sobre los participantes,
• disminuye el riesgo de seleccionar solo usuarios intensivos de IA,

proporciona comparaciones emparejadas entre modelos. El diseño exacto se detallará en las Secciones 8 y 9.

43. Alcance natural ASIGNACIÓN

Cada producto de IA recibe una asignación separada de acuerdo con su propia población Alcance natural. Por lo tanto, el mismo país:

• 200 para un producto,
• 0 para otro producto,
• 50 para un tercer producto

puede ser observado. Esta diferencia no es injusticia. Es que los universos reales de acceso de los productos son diferentes. Dado que las puntuaciones Alcance natural pertenecen a diferentes poblaciones, no deberían usarse solas para un ranking directo.

44. Base común de comparación ASIGNACIÓN

Se crea un universo de acceso común para la comparación entre productos. La población común:

U_CS= ⋂_{a∈A} U_a

podría considerarse de esta manera. Cada producto se mide con los mismos pesos de población Base común de comparación. Este enfoque:

• proporciona una comparación justa de productos,
• fijo para el mismo país y idioma

lo asegura. Sin embargo, no muestra la diferencia natural de acceso global de los productos. Por lo tanto, los resultados Alcance natural y Base común de comparación deberían reportarse juntos.

45. GESTIÓN DE LA MUESTRA A TRAVÉS DE OLEADAS

Puede haber dos objetivos diferentes a través de múltiples oleadas de medición.

45.1. Resultado de Corte Transversal Actual

En cada ola, se utiliza un marco poblacional actual elegible para el producto. Esta puntuación responde a la pregunta: "¿Qué está pasando ahora en el universo de acceso global real?"

45.2. Resultado de Tendencia con Marco Fijo

Se preservan los pesos poblacionales de la ola inicial. Esta puntuación responde a la pregunta: "¿Cómo ha cambiado la representación en la misma población de referencia a lo largo del tiempo?"

45.3. Separación de Dos Resultados

Cuando el producto se expande a nuevos países, La puntuación actual puede disminuir. Esta disminución:

• se debe al deterioro del producto,
• debido a la inclusión de poblaciones nuevas y difíciles

Puede ser atribuible. Una tendencia con marco fijo puede mostrar mejora al mismo tiempo. Por lo tanto:

• Instantánea con Marco Actual
• Tendencia con Marco Fijo

Son resultados separados.

46. RENOVACIÓN Y TRANSFORMACIÓN DEL PANEL

Entre las olas:

• los mismos usuarios,
• usuarios completamente nuevos,
• panel parcialmente renovado

utilizable.

46.1. Panel de Sección Completa

Se seleccionan nuevos usuarios en cada ola. Puede ser fuerte para la estimación de la población. No mide el cambio individual.

46.2. Panel Longitudinal

Se miden nuevamente los mismos usuarios. Muestra los cambios individuales de usuarios y productos. El panel puede crear efectos de desgaste y aprendizaje.

46.3. Panel Rotativo

Se retiene una parte de los participantes, mientras que una parte se renueva. Proporciona tanto tendencia como representación de población fresca. La estructura del panel utilizada debe ser visible en la tarjeta de resultados.

47. FIJACIÓN DE MUESTRA

Los siguientes registros deben ser fijados antes de que comience cada ola:

• Producto de IA
• interfaz de usuario
• Versión de la población objetivo
• Países Alcance natural
• Países Base común de comparación
• Estratos
• Pequeños grupos de países
• Cuotas brutas
• Asignaciones enteras
• Asignaciones de idioma
• Plan de sobremuestreo
• Objetivos de invitación
• Listas de reserva
• Método de selección
• Fórmula de ponderación
• Regla de ceguera de resultados
• Escalada de déficit
• Plan de análisis
• Método de decodificación
• Semilla aleatoria, si se usa
• Aprobación humana responsable

A este archivo:

Fijación de asignación de muestra NOMOS

puede recibir el nombre.

48. CAMBIOS PERMITIDOS DESPUÉS DEL FIJACIÓN DE LA MUESTRA

Los siguientes eventos pueden requerir una nueva versión:

• Terminación del acceso al producto en el país
• Problema grave de seguridad en campo
• Error material en los datos de población
• Proveedor de panel incapaz de entregar a un país específico
• Cambio en los requisitos de ética de investigación
• Error crítico en la herramienta de medición

Cambio:

• debe ser justificado,
• con fecha,
• aprobado,
• realizado preservando la versión anterior.

La fortaleza o debilidad de los resultados no es una razón para el cambio.

49. ESTADOS DE CALIDAD DE LA MUESTRA

Una ola de muestra puede tener uno de los siguientes estados:

SQ-0— NO DISEÑADO

No hay un diseño de muestra documentado.

SQ-1— OBSERVACIÓN POR CONVENIENCIA

Se trata de una observación por conveniencia o voluntaria. No se puede hacer una generalización a la población.

SQ-2— CUOTAS CONTROLADAS

Existen cuotas por país e idioma. Las probabilidades de selección no se conocen completamente.

SQ-3— PANEL PONDERADO

Existe un panel estratificado y calibración de la población. Persisten limitaciones de cobertura y auto-selección.

SQ-4— BASADO EN PROBABILIDAD O HÍBRIDO

Existen probabilidades de selección conocidas o un diseño híbrido sólido.

SQ-5— REPLICADO Y CALIBRADO

El diseño ha sido replicado en diferentes olas y aplicaciones externas; se ha calibrado el comportamiento del sesgo y la varianza. Estos estados pueden afectar la clase de confianza de la puntuación público.

50. ASIGNACIÓN SINTÉTICA INTEGRAL GEO-1000

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Los siguientes países, poblaciones, idiomas, producto de IA y cálculos son completamente ficticios. Para el producto de IA Sintético Orion, deje que la población adecuada para Alcance natural sea de 1 mil millones de personas. Objetivo del Panel de Población Principal:

n=1,000

50.1. Asignación de Países y Pequeños Países

50.2. Asignación de Idiomas en el País B

Población elegible en el País B:

• Idioma X: 80 por ciento
• Idioma Y: 20 por ciento

Asignación del Panel de Población:

• Idioma X: 200
• Idioma Y: 50

Asignación adicional de Equidad de Idiomas: Idioma Y: 50 Objetivo de campo en el País B:

• Idioma X: 200
• Idioma Y: 100
• Total: 300

Sin embargo, los pesos de la población global del Panel de Población:

• Idioma X: 80% del País B
• Idioma Y: 20% del País B

permanecer como tal.

50.3. Apéndice del Observador por País

Hay dos observaciones de probabilidad para H, I y J en el pequeño grupo de países en el Panel de Población. El Panel de Observador por País también:

H: 1

I: 1

J: 1

puede orientar observaciones. Estas tres observaciones:

• aumentan la cobertura geográfica,
• muestran eventos de países individuales,

no crean una puntuación del país.

50.4. Suplemento de Accesibilidad

Si se encuentra que el panel principal cubre de manera insuficiente a los usuarios con accesibilidad, se pueden tomar observaciones adicionales 40. Estos usuarios: se calibran según los grupos de población relevantes, producen un resultado separado del Panel de Accesibilidad.

50.5. Volumen total de campo

El nombre GEO-1000 sigue siendo válido. Porque:

1,000 es el objetivo de observación válido para el panel de población principal.

Se pueden añadir paneles complementarios de justicia y cobertura a esto.

50.6. Volumen de invitación

En el Panel de Población en promedio:

• finalización: 82 por ciento
• validez: 92 por ciento

que sea esperado. Invitación requerida:

⌈1,000/ (0.82× 0.92)⌉ = 1,326

puede ser. Con paneles complementarios, el total de invitaciones puede superar 1,500. Por lo tanto:

GEO-1000 no es solo un método para enviar invitaciones a 1,000 personas.

50.7. Resultado de campo

En el Panel de Población:

• 1,326 personas han sido invitadas,
• 1,080 tareas completadas,
• 1,012 registros han sido encontrados válidos en términos de protocolo,
• los primeros 1,000 fueron incluidos en el análisis principal según un orden aleatorio/respaldo predefinido

Está bien. Los 12 registros válidos restantes:

• verificación de respaldo,
• análisis de sensibilidad,
• reverificación

Se puede almacenar por. No se puede decidir qué 1,000 se elegirá solo mirando los resultados.

51. ALGORITMO DE ASIGNACIÓN NORMATIVA

La secuencia predeterminada de operaciones para un panel principal GEO-1000 es la siguiente:

Paso 1— Fijar el Producto y el ID de Onda

Determinar qué producto AI, interfaz y fecha se miden.

Paso 2— Fijar la Versión de la Población Objetivo

Se utiliza el marco de población elegible por producto de la sección 5.

Paso 3— Definir el Objetivo Principal de Observación Actual

Objetivo candidato predeterminado:

n=1,000

Paso 4— Definir Capas de Material

Se definen país, idioma y, si es necesario, capas de plan/interfaz.

Paso 5— Configurar Pequeños Grupos de Países

Los países que generen asignaciones cercanas a cero se incluyen en los grupos correspondientes.

Paso 6— Calcular Cuotas Proporcionales Brutas

qh=nWh

Paso 7— Realizar Asignación Entera

Se aplica el método de Mayor Resto o su equivalente predeclarado.

Paso 8— Añadir Plan de Sobremuestreo

Los suplementos de Observador por País, Equidad Lingüística y Accesibilidad se guardan por separado.

Paso 9— Calcular Números de Invitación y Respaldo

Se utilizan las tasas esperadas de finalización y validez.

Paso 10— Aleatorizar Orden de Selección

Las listas principales y de respaldo se congelan.

Paso 11— Guardar Fórmula de Pesos

Se definen los pesos de diseño, respuesta y calibración.

Paso 12— Confirmar Fijación de Muestra

Se crea un registro de versión e integridad antes de que se vean las respuestas de la IA.

52. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH06-N01

La asignación de muestra GEO-1000 debe ser creada y versionada antes de que se puedan ver las respuestas de IA.

CH06-N02

El objetivo principal del Panel de Población debe definirse como al menos 1,000 observaciones válidas por producto de IA y ola de medición principal; si se utiliza un objetivo diferente, se debe explicar la justificación.

CH06-N03

La persona invitada, la persona que completa la tarea y los números de observación válidos deben distinguirse entre sí.

CH06-N04

La asignación principal debe basarse en la población elegible para el producto definida en la Sección 5.

CH06-N05

Las cuotas por país o idioma deben calcularse en función de la proporción de la población elegible para el producto relevante, no de la población total.

CH06-N06

El método para convertir cuotas fraccionarias en números enteros debe definirse de antemano.

CH06-N07

La resolución de los empates al redondear debe ser independiente de los resultados.

CH06-N08

Los países pequeños con una población objetivo positiva no deberían dejarse como estratos deterministas separados con probabilidad cero; se debería utilizar un método de agrupamiento o selección probabilística adecuado.

CH06-N09

Las piscinas de países pequeños deben justificarse en términos de acceso a productos y características financieras de la población.

CH06-N10

Las observaciones del Observador por País también deben registrarse sin cambiar el peso principal de la población.

CH06-N11

Una observación de un Observador por País no puede presentarse como una puntuación del país.

CH06-N12

Los países, idiomas o grupos de usuarios sobrerrepresentados deben ser ajustados a los pesos de la población objetivo real en la estimación global.

CH06-N13

La proporción de la muestra no puede usarse como la proporción de la población.

CH06-N14

La misma persona no puede ser duplicada en la población humana global debido a múltiples idiomas, cuentas, sesiones o productos.

CH06-N15

Las observaciones inválidas deben clasificarse sin basar la razón de la invalidez en el contenido de los resultados.

CH06-N16

Incorrecto, negativo, rechazo o respuestas críticas de IA no pueden ser la razón para cambiar a un participante.

CH06-N17

Se deben crear listas de participantes de respaldo dentro del estrato antes de ver los resultados.

CH06-N18

Las brechas de capa no pueden cerrarse silenciosamente por otro país o idioma.

CH06-N19

Los cambios de cuota posterior al resultado, de capa, de grupo de país pequeño o de peso requieren una nueva versión del análisis.

CH06-N20

Todos los componentes de los pesos y el método de normalización deben publicarse.

CH06-N21

Deben explicarse los supuestos del ajuste por no respuesta.

CH06-N22

Si se utiliza el recorte de pesos, deben conservarse el resultado sin recortar y el análisis de sensibilidad.

CH06-N23

El informe principal debe mostrar el tamaño de muestra efectivo apropiado junto con el número bruto de observaciones.

CH06-N24

Se deben tener en cuenta la agrupación, repetición y dependencias de usuarios emparejados en el cálculo de la varianza.

CH06-N25

El diseño en el que la misma persona prueba múltiples productos de IA no puede presentarse como una muestra de usuarios completamente independiente.

CH06-N26

Cada producto de IA debe alcanzar por separado su propio objetivo de 1,000 observaciones de producto válidas.

CH06-N27

Las asignaciones Alcance natural y Base común de comparación deben mantener registros de muestras separados.

CH06-N28

Los resultados actuales y de marco fijo entre las oleadas no se pueden combinar sin explicación.

CH06-N29

Si la muestra es insuficiente para un subgrupo, el estado correcto debe ser MUESTRA INSUFICIENTE, EXPLORATORIA, o NO ESTIMADA.

CH06-N30

El tamaño de muestra bruto no puede utilizarse como un indicador definitivo de precisión, ignorando los pesos y el efecto del diseño.

CH06-N31

No se pueden reclamar pesos de diseño en un panel de voluntarios o de no probabilidad como si se conocieran las probabilidades de selección.

CH06-N32

La muestra no puede modificarse a posteriori para excluir grupos con puntuaciones bajas o para ampliar grupos con puntuaciones altas.

CH06-N33

Las observaciones del Panel de Población principal y de los paneles complementarios deben etiquetarse por separado en términos de propósito y peso.

CH06-N34

El fijación de la muestra debe tener un propietario humano o institucional responsable.

53. FORMAS DE FALLA

CH06-F01— ESTABLECER CUOTA DESPUÉS DEL RESULTADO

El número de países e idiomas se determina después de ver las respuestas de la IA.

CH06-F02— USAR RESPALDO HASTA OBTENER LA MEJOR RESPUESTA

Las respuestas negativas se reemplazan con un nuevo usuario incluso si son válidas.

CH06-F03— CONTAR 1,000 INVITACIONES COMO 1,000 OBSERVACIONES VÁLIDAS

No se muestran la falta de finalización y la invalidez.

CH06-F04— REINICIAR EL PAÍS A CERO CON REDONDEO PURAMENTE

La probabilidad de selección de un país con población objetivo positiva se deja en cero.

CH06-F05— ASIGNAR UNA PERSONA A CADA PAÍS Y LLAMARLO LA PROPORCIÓN DE POBLACIÓN

La desproporción causada por la cuota mínima está oculta.

CH06-F06— CONSIDERANDO la observación del Observador por País COMO OBSERVACIÓN DE LA POBLACIÓN

La observación adicional de un país pequeño recibe peso completo en el panel principal de 1,000 personas.

CH06-F07— ESTABLECIENDO EL GRUPO DE PAÍSES PEQUEÑOS BASADO EN RESULTADOS

Un país que produce puntuaciones bajos se traslada a otro grupo o se excluye de la cobertura.

CH06-F08— PONIENDO PAÍSES INCOMPATIBLES EN EL MISMO GRUPO

Países que difieren en acceso a productos, idioma o jurisdicción se combinan únicamente porque son pequeños.

CH06-F09— SOBREPONIENDO EL MUestreo EXCESIVO

Determina el resultado global con una participación de muestra mayor que la participación de población de idioma o país.

CH06-F10— MULTIPLICANDO INDIVIDUOS MULTILINGÜES

Una persona se cuenta como una unidad poblacional separada en cada celda de idioma.

CH06-F11— CONSIDERANDO LA PARTICIPACIÓN DE LA MUESTRA COMO PARTICIPACIÓN POBLACIONAL

Los números de respuesta en bruto se convierten directamente en la puntuación global.

CH06-F12— ORDENANDO EL ORDEN DE INVITACIÓN POR ORDEN DE FACILIDAD

Los usuarios que responden primero y rápidamente determinan el panel.

CH06-F13— USANDO RESERVAS DE ESTRATO-EXCLUSIÓN

Las observaciones faltantes de país o idioma se completan silenciosamente con participantes de otro grupo.

CH06-F14— VINCULANDO INVALIDEZ CON EL CONTENIDO DE LA RESPUESTA

La respuesta incorrecta de la IA se declara técnicamente inválida.

CH06-F15— REEMPLAZANDO RECHAZOS CON UN NUEVO USUARIO

El rechazo del sistema se elimina del denominador aunque sea el resultado real del usuario.

CH06-F16— OCULTANDO LA FÓRMULA DE PESO

La puntuación pública no muestra con qué población y pesos muestrales fue producida.

CH06-F17— RECORTANDO PESOS PARA ELIMINAR GRUPOS PEQUEÑOS

Se recortan los grupos pequeños con pesos altos porque el resultado no se ve bien.

CH06-F18— OCULTANDO LA MUESTRA EFECTIVA

Incluso si los registros brutos 1,000 caen a 500–600 puntos de datos debido a los pesos, se presenta como “precisión de 1,000 personas”.

CH06-F19— CONSIDERANDO LA AGRUPACIÓN COMO INDEPENDENCIA

Se consideran completamente independientes las observaciones del mismo panel, institución o usuario.

CH06-F20— CONSIDERANDO A LAS MISMAS 1,000 PERSONAS COMO DIEZ MIL PERSONAS INDEPENDIENTES

Diez observaciones de un producto de IA se describen como si la población fuera diez veces mayor.

CH06-F21— CONSIDERANDO Base común de comparación COMO Alcance natural

La muestra de comparación común se presenta como si fuera la población de alcance global real del producto.

CH06-F22— CLASIFICANDO DIRECTAMENTE LOS RESULTADOS Alcance natural

Se comparan las puntuaciones del producto en diferentes poblaciones objetivo como si fueran del mismo universo.

CH06-F23— OCULTANDO EL CAMBIO DE POBLACIÓN EN OLEADAS

Aunque nuevos países o grupos de usuarios entren en la puntuación, la tendencia se interpreta solo como un cambio en la calidad del producto.

CH06-F24— PRODUCIENDO PUNTUACIONES DEFINITIVAS A PARTIR DE MUESTRAS INSUFICIENTES PARA UN SUBGRUPO

Se publican unas pocas docenas de observaciones como puntuaciones definitivas para un país o idioma.

CH06-F25— CAMBIANDO SILENCIOSAMENTE EL FIJACIÓN DE MUESTREO

Se actualizan las definiciones de cuota, ponderación o grupo sin un registro de versión.

CH06-F26— MULTIPLICANDO A CIEGAS LAS TASAS DE ELEGIBILIDAD

La población elegible y los cálculos de cuota ignoran las características de la población dependiente.

CH06-F27— REEMPLAZANDO EL PANEL PRINCIPAL CON EL PANEL COMPLEMENTARIO

La equidad lingüística u observaciones del Observador Nacional se utilizan para reducir el objetivo de población principal de 1,000.

CH06-F28— ELIMINANDO CELDAS DE BAJA PUNTUACIÓN CUANDO EL PANEL ES ESCASO

Se excluyen las muestras incompletas porque son desventajosas en términos de resultados.

CH06-F29— USANDO PONDERACIÓN COMO TOQUE CIENTÍFICO

Se afirma que el problema de representación se resuelve solo agregando peso sin explicar el sesgo de selección y cobertura.

CH06-F30— PENSANDO QUE A GEO-1000 DEBERÍA PEDÍRSELE EXACTAMENTE 1,000 PERSONAS

Se ignoran la invitación, los paneles complementarios, la invalidez, la repetición y la estructura de la muestra efectiva.

54. PROCEDIMIENTO DE AUDITORÍA

Paso 1— Registrar el Propósito de la Muestra

La estimación de la población global se divide en diagnóstico de subgrupos, alcance por país, equidad lingüística, accesibilidad y comparaciones de productos.

Paso 2— Validar la Versión de la Población Objetivo

Se revisan el archivo de población y el registro de fechas en la Sección 5.

Paso 3— Definir el Objetivo Principal de Observación Actual

Se escribe el objetivo GEO-1000 predeterminado o un alternativo justificado.

Paso 4— Establecer Estratos

Se determinan diferencias en el país, idioma y material interfaz de usuario.

Paso 5— Identificar Conjuntos de Países Pequeños

Cada conjunto tiene:

• países,
• población,
• justificación de similitud,
• método interno de selección

que se registra.

Paso 6— Calcular Cuotas Brutas

qh=nWh

Se utiliza la fórmula o una alternativa justificada.

Paso 7— Aplicar la Asignación de Enteros

Se registran las reglas de redondeo y de desempate.

Paso 8— Agregar Sobremuestreo Complementario

Los objetivos de Observador por País, Equidad Lingüística y Accesibilidad se definen por separado.

Paso 9— Calcular el Volumen de Invitación y Reserva

Se utilizan las expectativas de finalización y validez.

Paso 10— Congelar la Selección y el Orden de Reserva

Los participantes son seleccionados u ordenados antes de ver los resultados.

Paso 11— Calcular Pesos de Diseño

Se registran las probabilidades de selección y los pesos de capa.

Paso 12— Definir el Procedimiento para Mantenerse en Silencio y No Responder

Se escribe una respuesta previamente anunciada en la brecha de la capa.

Paso 13— Crear el Fijación de Muestra

Se agregan el ID del documento, la versión, la fecha y el registro de integridad.

Paso 14— Revisar el Flujo de Validez Post-Campo

Se verifica que las decisiones de validez se dan independientemente de la precisión de las respuestas.

Paso 15— Generar los Pesos Finales

El diseño se separa en componentes de respuesta y de calibración.

Paso 16— Calcular el Tamaño Efectivo de la Muestra

Se reporta la diferencia entre el número bruto y el volumen de información.

Paso 17— Comparar la Asignación y los Valores Reales

Se muestran los números de observaciones planificadas y reales celda por celda.

Paso 18— Revisar los Cambios Post-Resultados

Se verifican los cambios de cuota, grupo, peso y alcance.

55. EVIDENCIA REQUERIDA

Identidad del producto de IA; oleada de medición; versión de población objetivo; Panel de Población objetivo; Observador de País objetivo; objetivo de Equidad Lingüística; objetivo de Panel de Accesibilidad; lista de estratos; poblaciones de estratos; ponderaciones de población; cuotas brutas; método de redondeo; registros de asignación fraccionaria y restos; regla de desempate; grupos de países pequeños; probabilidades de selección dentro del grupo; asignaciones por país e idioma; asignaciones de plan e interfaz; justificaciones de sobremuestreo; objetivos de invitación; supuestos de finalización; supuestos de validez; listas de participantes primarios y de reserva; registro de selección o aleatorización; registros de no respuesta; razones de observaciones inválidas; fechas de decisión de validez; ponderaciones de diseño; ajustes por no respuesta; coeficientes de calibración; política de recorte de pesos; tamaños de muestra brutos y efectivos; agrupamiento y registros de usuarios emparejados; asignación Alcance natural; y asignación Base común de comparación.

Pesos de marco fijos y actuales Comparación de la asignación planificada y real Fijación de muestra Registro de cambios Persona o institución responsable

56. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Está abierto el objetivo principal de observación válido? ¿El objetivo 1,000 invita u observa de manera válida? ¿Se congeló la muestra antes de que se vieran las respuestas de la IA? ¿Qué marco poblacional se utilizó? ¿Sobre qué base se establecieron los estratos? ¿Se muestran las cuotas de país e idioma en bruto? ¿Es claro el método para convertir fracciones en números enteros? ¿Se predeterminó la regla de abandono? ¿La probabilidad de selección para países pequeños es cero? ¿Son lógicamente consistentes los grupos de países pequeños? ¿Se han mezclado las observaciones del Observador por País en el peso de la población principal? ¿Se ha producido una puntuación de país a partir de una observación del Observador por País? Si se hizo un sobremuestreo de grupos de idioma y accesibilidad, ¿se les asignó un peso nuevamente? ¿Se ha contado a la misma persona como más de una unidad poblacional? ¿Se enumeran por separado los números de invitaciones, completados y observaciones válidas?

¿Se han creado listas de respaldo con anticipación? ¿Se ha reemplazado a un participante debido a una respuesta incorrecta o negativa de la IA? ¿Se tomó la decisión de validez antes de la puntuación de exactitud del material? ¿Se cerró silenciosamente la brecha de pestañas desde otro país? ¿Ha cambiado la cuota o el grupo después de los resultados? ¿Se pueden reproducir los pesos del diseño? ¿Son claras las suposiciones del ajuste por no respuesta? ¿Se ha realizado el recorte de pesos y se ha mostrado su efecto? ¿Se proporcionan juntos los tamaños de muestra brutos y efectivos? ¿El mismo usuario ha probado más de un producto de IA? ¿Se ha preservado esta dependencia en el análisis? ¿Ha alcanzado cada producto de IA por separado las observaciones del producto 1,000? ¿Fueron separados los muestras Alcance natural y Base común de comparación? ¿Cambió el marco de población entre oleadas?

¿Se han separado las tendencias enmarcadas fijas y actuales? ¿Se han publicado submuestras insuficientes como si fueran puntuaciones definitivas? ¿Es correcto el estado de calidad de la muestra? ¿Han reemplazado los paneles complementarios al panel principal? ¿Existe un propietario claramente responsable del registro de la muestra?

57. OBJECIONES Y RESPUESTAS

Objeción 1— "¿Por qué no damos a cada país individuos directamente según la proporción de la población?"

Esta es una suposición fuerte en países con poblaciones grandes y medianas. En países muy pequeños, la cuota bruta puede caer por debajo de una persona. En este caso:

• pool de países pequeños,
• selección probabilística de países,
• panel de Observadores separado

puede ser más preciso.

Objeción 2— “¿No sería más justo dar al menos una persona a cada país?”

Podría ser útil en términos de cobertura geográfica. Es desproporcionado en términos de estimación de población. La solución correcta es etiquetar por separado a esta persona como observación de un Observador por País.

Objeción 3— “¿No excluye completamente a un país recibir cero personas en el panel principal?”

Puede ser un problema si un país recibe una cuota cero como una capa determinista separada. Se puede otorgar una probabilidad de selección positiva en el grupo de países pequeños. Además, el Panel de Observadores puede mantener la visibilidad de observación del país.

Objeción 4— “¿Acaso agrupar países pequeños borra las diferencias culturales?”

Puede eliminarse si se utiliza para generar una puntuación del país. Para la estimación global principal, el grupo gestiona la probabilidad de selección. El identificador del país se conserva en el registro de observación. Se puede realizar un muestreo separado de Observadores y específico del país.

Objeción 5— "¿Por qué no incluimos a los usuarios Observadores dentro del 1,000?"

Pueden ser incluidos. Pero entonces la muestra de personas 1,000 ya no es proporcional a la población pura. Se necesitaría ponderación, y el tamaño efectivo de la muestra de la estimación principal podría disminuir. En la arquitectura fundacional, las observaciones 1,000 se asignan al Panel de Población; se añaden observaciones del Observador por País a esto.

Objeción 6— "¿No se volverá muy alto el costo total de campo?"

Podría. La norma no debe producir precisión artificial ocultando el costo. Con un presupuesto más bajo:

• menos productos de IA,
• menos idiomas,
• piloto más pequeño,
• incertidumbre mayor

puede ser usado. El estado correcto debe estar claramente escrito.

Objeción 7— “¿Por qué estamos recolectando 1,093 o más observaciones cuando existe el nombre GEO-1000?”

1,000 es el objetivo de observación válido para el panel de población principal. Se pueden agregar paneles de justicia y cobertura al objetivo principal. Esto no compromete el nombre del estándar. Hace visible el volumen total de campo real de la medición.

Objeción 8— “¿Por qué el sobrerremuestreo de un idioma distorsionaría el resultado global?”

Un idioma sobrerremuestreado parece grande porque está en respuestas brutas. Cuando se vuelve al peso de la población, el resultado global no se distorsiona. El resultado por idioma separado se vuelve más preciso.

Objeción 9— 'Los pesos son muy complejos; ¿no es más fácil entender la media bruta?'

La media bruta puede ser significativa si es proporcional a la población de la muestra. El muestreo excesivo, la falta de respuesta o las diferencias de cobertura pueden hacer que la media bruta responda a la pregunta incorrecta. La complejidad no puede ser ocultada si surge del diseño de la muestra.

Objeción 10— “Si hay 1,000 observaciones válidas, ¿por qué la muestra efectiva debería ser menor?”

Porque algunas observaciones pueden tener un peso muy alto, mientras que otras pueden tener un peso muy bajo. Los registros del mismo panel o usuario pueden parecerse entre sí. El número bruto es el conteo de registros físicos. La muestra efectiva se aproxima al volumen de información estadística.

Objeción 11— “¿No sería más justo que las mismas personas probaran todos los productos de IA?”

Reduce la diferencia entre usuarios. Sin embargo:

• puede reducir el universo de acceso a productos,
• puede aumentar la carga de tareas,

puede crear contaminación entre respuestas. Se puede gestionar con un diseño equilibrado por bloques incompletos o apareado.

Objeción 12— “Si un nivel no alcanza el objetivo, ¿no se puede publicar nunca la puntuación global?”

No en todos los casos. La deficiencia se evalúa en términos de:

• peso de la población,
• riesgo,
• la razón de la insuficiencia,
• cobertura restante

considerada. La puntuación:

• con cobertura limitada,
• con amplia incertidumbre,
• Con la advertencia COBERTURA INSUFICIENTE

puede ser publicado. La deficiencia no puede ser ocultada.

Apelación 13— “Si los datos de la población cambian, ¿tenemos que renovar todas las cuotas en cada ola?”

Puede ser necesaria la renovación para la puntuación instantánea actual. También se pueden mantener pesos iniciales fijos para la comparación de tendencias. Los dos resultados deben publicarse por separado.

Apelación 14— “Si no podemos establecer un panel probabilístico mundial, ¿no se puede aplicar NOMOS?”

Es aplicable. Sin embargo, el estado de calidad de la muestra debe registrarse correctamente. Un panel de voluntarios calibrado según la población puede ser valioso. No se puede presentar como una muestra completamente probabilística.

DISPOSICIÓN COMÚN DEL CAPÍTULO 60

El poder de GEO-1000 no surge únicamente del número 1,000. De 1,000 personas:

• de qué población provenían,
• con qué probabilidad fueron seleccionadas,
• qué país e idioma representaban,
• cuántas veces se contó a la misma persona,
• qué observaciones se consideraron válidas,
• cómo se gestionaron los países pequeños,
• cómo se ponderaron los grupos sobremuestreados,
• cuántas personas no completaron la tarea,
• quién fue reemplazado según los resultados

La autoridad de una muestra surge de estas elecciones de diseño. Una muestra defectuosa puede producir respuestas 100,000 y aún así hablar sobre la población incorrecta. Una muestra sólida puede contener menos respuestas pero respaldar una conclusión más confiable dentro de límites claramente establecidos. La población de un país grande debería tener un peso sustancial en la experiencia humana global, pero no se deben fabricar usuarios donde el producto no esté disponible. El peso global de un país pequeño debería seguir siendo pequeño, pero el país no necesita ser invisible. Un idioma puede representar una pequeña proporción de la población global mientras sigue teniendo un error grave y medible. Una persona puede usar tres idiomas y cinco productos; eso no crea quince personas. Una respuesta de IA puede ser incorrecta sin invalidar al participante. La respuesta incorrecta es lo que la auditoría intenta medir.

Reemplazarlo por un nuevo usuario no limpia la medición. Borra la realidad. Ponderar no convierte milagrosamente el panel incorrecto en la población mundial. Sin embargo, un sobremuestreo correctamente diseñado puede hacer visibles los subgrupos sin distorsionar la estimación global. Por lo tanto, la sexta ley de medición de NOMOS es:

Una muestra debe establecerse no para producir el resultado, sino para observar el resultado de manera justa.

Su séptima ley es la siguiente:

La visibilidad de un país pequeño no tiene que aumentar su peso poblacional.

Su octava ley es la siguiente:

La observación excesiva no significa un peso poblacional excesivo.

La novena ley es la siguiente:

Una respuesta incorrecta de IA no es un defecto de datos; si se observa bajo el protocolo válido, es una cuestión de supervisión.

La décima ley es:

La confianza en mil observaciones no proviene del número mil; proviene de la reproducibilidad de la selección y ponderación.

Orden del Capítulo 6 de NOMOS

No solo me digas: 'Preguntamos a 1,000 personas.'

Muestra de cuáles mil millones de personas se seleccionaron estos 1,000 y con qué probabilidad.

No ignores un país solo porque represente a medio persona. / Pero tampoco afirmes que mediste todo el país solo porque muestreaste a una persona.

Seleccione países pequeños de manera probabilística en el grupo correspondiente. / Si se necesita visibilidad, configure un panel de observadores separado.

Puedes sobremuestrear los idiomas con pocos recursos. / Pero no lo hagas más grande en la puntuación global que su población.

No multipliques a una persona tanto como cuentas, idiomas, sesiones y productos de IA.

Utiliza la copia de seguridad cuando el participante no responda. / No cambies tu usuario cuando la IA dé una respuesta incorrecta.

Decide sobre la validez sin ver la corrección de tu respuesta.

Si falta la cuota, explíquelo. / No traiga a una persona de otro país para cubrir la brecha.

No cambies la participación, el peso, la reserva de país o el objetivo de la muestra después de ver el resultado.

Muestra el número bruto. / Muestra la muestra efectiva. / Muestra quién recibió peso pesado y quién recibió peso ligero.

Bloquea la población primero. / Luego configura las capas. / Luego calcula las cuotas. / Luego selecciona los sustitutos. / Luego escribe los pesos. / Y solo después de esto, envía el primer prompt.

La oración de cierre del capítulo

GEO-1000 no es un método para compilar mil respuestas; es un protocolo para hacer que la representación correcta de cada persona en la población objetivo sea medible bajo la probabilidad de selección y el peso correcto.

Core normativo

Para cada producto de IA y oleada principal de medición, el Panel de Población GEO-1000 DEBERÍA aspirar al menos a 1,000 observaciones válidas del producto, a menos que se justifique explícitamente un objetivo diferente. La asignación de la muestra DEBE ser diseñada, versionada y fijada antes de observar las respuestas de la IA. La asignación primaria DEBE basarse en la población objetivo elegible para el producto, no en la población residente bruta, el número de invitaciones, cuentas, sesiones o disponibilidad por conveniencia. Las asignaciones fraccionarias DEBEN convertirse en cuotas enteras utilizando un método predeclarado, reproducible y ciego al resultado. Las poblaciones de masa positiva NO DEBEN ser asignadas determinísticamente con probabilidad de selección cero cuando la auditoría afirma una inferencia a la población objetivo completa. Las poblaciones pequeñas PUEDEN ser representadas mediante estratos agrupados justificados y selección proporcional a la probabilidad. Las observaciones del Observador por País, Equidad Lingüística y Accesibilidad PUEDEN complementar el panel principal, pero DEBEN mantenerse etiquetadas por separado y reponderarse adecuadamente. Los grupos sobremuestreados NO DEBEN recibir su proporción de muestra bruta como peso poblacional. La sustitución de participantes DEBE basarse únicamente en condiciones de reclutamiento predeclaradas o de validez del protocolo. Los resultados de IA incorrectos, negativos, rechazados o críticos NO DEBEN desencadenar reemplazo. Las personas, cuentas, sesiones, idiomas y observaciones de productos de IA DEBEN permanecer como unidades distintas. Los pesos de diseño, ajustes por no respuesta, calibración, recorte, agrupamiento, observaciones pareadas y tamaño efectivo de muestra DEBEN ser documentados. Cualquier cambio posterior a los resultados en cuotas, estratos, grupos, pesos, exclusiones o objetivos de muestra DEBE crear una nueva versión del análisis y preservar el registro original.