Una sola respuesta no es una puntuación GEO

Límite de Capítulo

Esta sección solo responde a la siguiente pregunta:

¿Por qué una única respuesta de un sistema generativo no es la puntuación GEO, y qué juicios se pueden inferir de una sola respuesta?

Este capítulo:

• las cuotas de muestreo de los países,
• cómo se ponderarán los idiomas,
• cómo se configurará el Paquete de Verdad,
• cómo evaluarán los adjudicadores las afirmaciones atómicas,
• las fórmulas finales de puntuación NOMOS,
• la idoneidad y la decisión de la insignia

Este capítulo no define estos asuntos en detalle; los capítulos posteriores los abordan por separado. El capítulo 1 tiene una tarea más fundamental:

Establecer el límite epistémico entre la observación y la generalización.

Cualquier estudio de muestreo, puntuación y conformidad realizado antes de establecer este límite se construirá sobre una base incorrecta.

ESTADOS DE PROVISIÓN EN ESTA SECCIÓN

No todas las oraciones en este libro tienen la misma fuerza normativa. Se utilizan los siguientes estados:

NORMATIVO — NORMATIVO

Una disposición considerada obligatoria para la conformidad y la integridad metodológica. Ejemplo: No se puede usar una sola respuesta como la puntuación general de GEO.

CANDIDATO — DISPOSICIÓN CANDIDATA

Un método recomendado que debe finalizarse después de un piloto, aplicación externa o validación estadística. Ejemplo: Se recomiendan 1,000 observaciones válidas por producto de IA, por oleada de medición principal, como la muestra mínima asumida.

HIPÓTESIS

Es una expectativa que necesita ser probada con datos. Ejemplo: Puede haber una diferencia en la representación de material entre un Panel controlado en condiciones depuradas y un Panel de usuarios en condiciones reales.

SINTÉTICO

Es una representación de método que no representa a un usuario real, un resultado real de IA, o el desempeño real de una empresa.

PREGUNTA ABIERTA

Es un tema que aún no se ha concluido debido a la evidencia insuficiente o a la decisión de gobernanza. Estos estados no pueden transformarse silenciosamente unos en otros. Un umbral candidato no se convierte en un hecho normativo probado simplemente porque esté escrito en el libro. Una representación sintética no se transforma en una observación del mundo real. Una hipótesis no puede publicarse como un resultado sin ser medida.

NOMOS Desafío

Le hiciste a un sistema de inteligencia artificial una pregunta sobre tu marca. El sistema dio una respuesta correcta. Tomaste una captura de pantalla. La incluiste en tu presentación. Luego dijiste la siguiente frase: “La inteligencia artificial nos conoce correctamente.” ¿Qué mediste exactamente? ¿La respuesta que verían todos los usuarios? ¿El comportamiento típico del sistema?

¿Un representante global? ¿Precisión en todos los idiomas? ¿Estabilidad a lo largo del tiempo? ¿O solo:

La salida única que un usuario específico recibió, en una cuenta específica, en un producto de IA específico y interfaz de usuario, en respuesta a un mensaje específico, en un momento específico?

Una sola respuesta no carece de valor. Una sola respuesta puede ser verdadera. Una sola respuesta puede ser importante. Una sola respuesta puede revelar un error grave. Una sola respuesta puede mostrar la experiencia real de una persona en particular. Sin embargo, una sola respuesta no puede ser prueba de un juicio mayor de lo que puede sostener.

Una sola respuesta puede mostrar lo siguiente:

Este resultado se ha producido al menos una vez bajo condiciones registradas.

Una sola respuesta por sí sola no puede mostrar lo siguiente:

• Que la mayoría de los usuarios vieron la misma respuesta
• Que el mismo resultado ocurrió en otros países
• Que la misma precisión se mantiene en otros idiomas
• Que la misma respuesta se produjo en otras cuentas y planes
• Que la respuesta es estable a lo largo del tiempo
• Que otros productos de inteligencia artificial produjeron la misma representación
• Que la intervención de GEO causó este resultado
• Que la respuesta afecta el comportamiento del usuario
• Que la respuesta genera clientes potenciales, ventas o valor sostenible
• Que la puntuación general de GEO de la entidad es alta

La primera premisa de esta sección es:

Una respuesta es una observación. / No es una distribución de observaciones. / Una distribución no es causalidad. / La causalidad por sí sola no es valor sostenible.

1. OBJETIVO DEL CAPÍTULO

Esta sección tiene como objetivo eliminar el error de inferencia más pequeño pero más común en la medición de GEO:

Contar una única salida de un sistema generativo como comportamiento general del sistema, experiencia de la población, visibilidad de la marca o puntuación de GEO.

Esta sección normaliza las siguientes distinciones:

• Salida única frente a resultado poblacional
• Existencia de un evento versus prevalencia de un evento
• Observación versus muestra
• Usuario versus sesión
• Repetición versus observación independiente
• Modelo de IA versus producto de IA presentado al usuario
• Respuesta en bruto versus unidad de análisis
• Resultado inmediato versus estabilidad temporal
• Captura de pantalla versus paquete completo de evidencia
• Rechazo del sistema versus recolección de datos no válidos
• Evento singular crítico y tasa de prevalencia
• Registro sintético y observación de usuario real
• Tasa medida y decisión de conformidad

Antes de que se establezcan estas distinciones:

• Muestra GEO-1000,
• Pesos de país e idioma,
• Puntuación de afirmación atómica,
• Puntuación NOMOS
• decisión de conformidad

no puede establecerse.

2. DISPOSICIÓN NORMATIVA CENTRAL

La puntuación GEO de una entidad en sistemas generativos no puede generarse a partir de una única respuesta, una única captura de pantalla, un solo usuario, una sola cuenta, una sola sesión, un solo idioma, un solo país o una única medición en un momento determinado. Una afirmación representativa de la población requiere al menos lo siguiente:

• Objeto de auditoría predefinido
• Población objetivo predefinida
• Diseño de muestreo especificado
• prompts fijadas o familia de prompts
• Producto de IA definido y interfaz de usuario
• Múltiples observaciones válidas
• Estructura de dependencia conocida
• Registros de país, idioma y tiempo
• Respuestas crudas no alteradas
• Paquetes de evidencia
• Reglas de evaluación predefinidas
• Enunciado de incertidumbre
• Responsabilidad humana responsable

La presencia de estos elementos no significa automáticamente que la medición sea correcta. Sin embargo, su ausencia puede hacer insostenible la generalización a una población numerosa.

3. CINCO UNIDADES DE MEDIDA SEPARADAS

Un error fundamental común en la auditoría GEO es confundir las diferentes unidades de medida. Las siguientes cinco unidades deben distinguirse claramente.

3.1. Unidad de Observación

La unidad de observación es la salida única del sistema generativo obtenida bajo condiciones específicas. Una observación puede definirse mediante la siguiente combinación:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Aquí:

• Ei: la entidad auditada
• IA: Producto de IA y interfaz de usuario
• UI: colaborador anónimo o unidad de usuario
• Ci: país o estrato geográfico
• Li: idioma y configuración regional
• Si: sesión y condición de personalización
• Pi: ID de prompt y versión
• Ti: tiempo y ola de medición
• Ri: respuesta en bruto
• Ki: registro de prueba y verificación

Si uno de estos elementos cambia de manera significativa, puede ocurrir una nueva observación. Por ejemplo, el mismo usuario:

• si hace la misma solicitud en otro producto de IA,
• Si lo pide en otro idioma,
• Si lo pide en otra ola de medición,
• Si lo pide por separado en la sesión personalizada y limpia,

Se pueden producir observaciones separadas. Estas observaciones no se consideran automáticamente independientes entre sí porque provienen del mismo usuario.

3.2. Unidad de Muestreo

La unidad de muestreo es la persona, cuenta, sesión u otra unidad de acceso seleccionada de la población objetivo. En la mayoría de las aplicaciones GEO-1000, la unidad de muestreo puede ser un usuario real apropiado. Sin embargo, de acuerdo con el diseño de la investigación:

• usuario,
• par usuario–producto,
• cuenta,
• sesión,
• miembro del panel de investigación

Se puede usar como unidad de elección. La falta de definición clara de la unidad de muestreo puede conducir a los siguientes tipos de errores de conteo:

• Contar las diez repeticiones de una persona como diez personas
• Contar una cuenta conjunta como múltiples usuarios independientes
• Evaluar los resultados de los diez productos de IA del mismo usuario como si fueran diez observaciones independientes de la población
• Ignorar la agrupación en un solo panel de investigación

3.3. Unidad de Análisis

La unidad de análisis es la entidad a la que se aplica la evaluación de precisión o representatividad. Esta unidad:

• respuesta exacta,
• párrafo separado dentro de la respuesta,
• proposición material,
• afirmación atómica,
• cita,
• tema de recomendación

Es posible. Un usuario ve una sola respuesta. Sin embargo, esa respuesta puede contener simultáneamente:

• cinco afirmaciones correctas,
• dos afirmaciones no respaldadas,
• una afirmación desactualizada,
• un error crítico

Por lo tanto, la respuesta que ve el participante no tiene que ser una unidad única e indivisible de verdad/falsedad en el análisis. El estado de transición de la respuesta completa y los estados de verdad de las afirmaciones atómicas dentro de ella pueden mantenerse por separado. El método de la afirmación atómica se definirá en un capítulo posterior del libro.

3.4. Universo de Inferencia

El universo de inferencia es la población objetivo a la que se pretende generalizar el resultado de la medición. Este universo no puede aceptarse silenciosamente como "todas las personas del mundo". Para un producto de IA específico, el universo objetivo puede estar limitado por condiciones tales como:

• Tener acceso oficial y legítimo al producto
• Cumplir con el requisito de edad apropiado
• Poder usar el producto en el idioma correspondiente
• Poder acceder a la interfaz web o móvil especificada
• Poder estar activo durante el período de medición especificado

Incluso para el mismo producto de IA:

• Panel controlado en condiciones depuradas,
• Panel de usuarios en condiciones reales,
• plan gratuito,
• plan pago,
• web,
• móvil

puede crear diferentes universos de inferencia. La tasa publicada está incompleta si no se especifica a qué universo se generaliza una muestra.

3.5. Cantidad estimada — Estimando

Un estudio no solo recopila datos. Intenta estimar una cantidad específica. El estimando principal de GEO-1000 puede expresarse en su forma más general de la siguiente manera:

La probabilidad de que un usuario apropiado de la población objetivo definida, bajo la ola de medición especificada, en un producto de IA particular y interfaz de usuario, vea una representación que cumpla con el criterio de aceptación al usar un mensaje fijado bajo condiciones de sesión definidas.

Matemáticamente:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Aquí:

• E: entidad auditada
• A: Producto de IA y interfaz de usuario
• P: versión del prompt
• S: condición de la sesión
• W: ola de medición
• T: población objetivo

Yi=1: la respuesta cumple con el criterio de transición que se definirá más adelante

Esta definición establece un límite importante:

La puntuación GEO no es el 'conocimiento' abstracto y atemporal de un modelo; es una predicción de la probabilidad de representaciones observadas bajo condiciones de usuario definidas.

La regla final de transición y la fórmula de puntuación se organizarán en las secciones posteriores del libro.

4. LA LIMITACIÓN DE LA FRASE “ASÍ RESPONDIÓ EL MODELO”

Los usuarios a menudo no acceden directamente a un modelo base desnudo. El resultado visible para el usuario puede consistir en una combinación de los siguientes componentes:

• Modelo base o guía
• Interfaz del producto
• Recuperación o acceso a la web
• Capa de citación
• Capa de seguridad y políticas
• Instrucciones del sistema
• Plan de cuenta
• Personalización
• Memoria
• Conversación previa
• Idioma y localización
• País
• Hora
• Actualizaciones de productos del proveedor

Por esta razón, la expresión preferida en la inspección principal realizada a través del interfaz de usuario es la siguiente:

"Se observaron el producto de IA especificado y la siguiente salida en el interfaz de usuario."

La siguiente expresión puede ser más amplia sin el control técnico necesario: "El modelo piensa de esta manera." Se puede registrar el nombre del modelo que aparece dentro de un producto. Sin embargo, el resultado debe evaluarse como el comportamiento de todo el interfaz de usuario, no solo de los pesos del modelo.

5. ¿CUÁL ES UNA OBSERVACIÓN VÁLIDA?

La presencia de una respuesta no significa automáticamente que sea una observación válida que pueda ser ingresada en la medición GEO.

5.1. Condiciones mínimas de validez

Una observación debe contener al menos los siguientes elementos de acuerdo con el protocolo relevante:

• Presencia de auditoría correcta
• Producto de IA asignado y interfaz de usuario
• ID de prompt y versión correctas
• Idioma y configuración regional correctos
• Condición de sesión definida
• País registrado o capa geográfica
• Sello de tiempo UTC y ola de medición
• Respuesta completa sin procesar
• Primera salida adecuada no seleccionada
• Captura de pantalla requerida o evidencia equivalente
• ID de observación anónima
• Registro de desviación de protocolo

Su esquema técnico detallado se definirá en la sección de Captura NOMOS posteriormente.

5.2. Estados de Observación

Cada registro debe estar marcado con uno de los siguientes estados:

VÁLIDO — VÁLIDO

Cumple con las condiciones requeridas del protocolo.

CONDICIONALMENTE VÁLIDO — CONDICIONALMENTE VÁLIDO

Existe una deficiencia limitada; para qué análisis puede usarse está claramente especificado.

INVÁLIDO — INVÁLIDO

No puede usarse en la estimación principal o en el cálculo de la puntuación debido a una violación del protocolo.

DESCONOCIDO — DESCONOCIDO

No hay suficiente registro para una decisión de validez. Una observación DESCONOCIDA no puede ser aceptada silenciosamente como VÁLIDA.

5.3. La Diferencia Entre un Resultado del Sistema Válido y la Recolección de Datos Inválida

Esta distinción es obligatoria. Un producto de IA:

• puede negarse a responder,
• puede mostrar un mensaje de error,
• puede detenerse sin generar una respuesta,
• puede experimentar un problema de conexión,

puede decir que no puede completar la tarea. Si el participante aplicó correctamente todo el protocolo, estos pueden ser resultados válidos del sistema. No se pueden eliminar silenciosamente del conjunto de datos. En contraste:

• el participante truncando la respuesta,
• cambiando el prompt,
• regenerando para seleccionar la mejor respuesta,
• editando la captura de pantalla,
• usando el producto de IA incorrecto

la recopilación de datos puede crear invalidez. Lo primero es el comportamiento real del sistema. Lo segundo es la interrupción del proceso de medición. Las dos no pueden colocarse en la misma categoría.

6. ¿QUÉ PUEDE PROBAR UNA SOLA RESPUESTA?

Una sola observación es limitada. Pero no carece de sentido.

6.1. Que un Resultado Específico Ocurrió Al Menos Una Vez

Un registro válido puede respaldar esta oración: “En el producto de IA especificado y interfaz de usuario, bajo el tiempo y las condiciones especificadas, se observó este resultado al menos una vez.” Esta oración muestra la existencia del evento. No muestra su prevalencia.

6.2. La Exposición Real de un Usuario Específico

Se confunde a un usuario con:

• identidad de empresa,
• información de salud,
• guía legal,
• precio,
• licencia,
• asesoramiento

si se ve, esto es una experiencia real de un usuario. Incluso si no representa a toda la población, es material desde la perspectiva del usuario afectado.

6.3. La Posibilidad de un Error Específico

Un solo resultado puede mostrar: “Este error puede ocurrir bajo estas condiciones del sistema.” Sin embargo, no muestra: “Este error es típico.”

6.4. Generando una Nueva Hipótesis de Investigación

Un solo error puede crear una pregunta que se probará a una escala más amplia. Ejemplo: “¿Ocurrió esta confusión de identidad solo en una sesión, o hay un patrón sistemático en el mismo idioma y país?”

6.5. Iniciando una Revisión de Incidente Crítico

Respuesta única:

• daño humano serio predecible,
• falsa autoridad profesional,
• guía médica de emergencia incorrecta,
• error legal material,
• consejo de seguridad serio,
• confusión seria de identidad con otra entidad

puede ser suficiente para iniciar una revisión de incidentes. Iniciar una investigación de incidente crítico no es el mismo proceso que anunciar una proporción de población.

6.6. Refutando la afirmación "Esto nunca ocurrió"

Supongamos que una organización dice: 'El sistema nunca nos ha asignado al país equivocado.' Una sola contraobservación verificada puede refutar esa afirmación absoluta. Una sola observación no respalda 'Sucede todo el tiempo', pero puede refutar 'Nunca ha sucedido.'

7. ¿QUÉ NO PUEDE PROBAR UNA SOLA RESPUESTA?

7.1. Comportamiento típico del sistema

Una sola respuesta no es suficiente para concluir: 'El sistema usualmente responde de esta manera.'

7.2. Prevalencia en la población

Una sola respuesta no respalda el resultado: '95% de los usuarios ven la misma representación.'

7.3. Estabilidad temporal

Respuesta de hoy:

• mañana,
• una semana después,
• Después de la actualización del producto

puede que no permanezca igual. No es una medición de estabilidad de una sola vez.

7.4. Validez Transnacional

Una respuesta de un usuario en Turquía no indica lo que los usuarios en China, Alemania o San Marino verían.

7.5. Validez Translingüística

Una salida en inglés:

• turco,
• japonés,
• árabe,
• inglés

no representan la precisión de las salidas.

7.6. Validez entre Productos de IA

El resultado en un producto de IA no puede generalizarse a otros productos de IA. Diferentes productos e interfaces del mismo proveedor también pueden comportarse de manera diferente.

7.7. Efecto de la Intervención

Un solo resultado positivo después de un cambio GEO no prueba la afirmación: “Este resultado fue creado por nuestra intervención.” Se requieren línea base, comparación y explicaciones alternativas.

7.8. Estabilidad de la Recomendación

La presencia de un usuario viendo una opción no es suficiente para concluir: “El sistema ahora recomienda esta marca.”

7.9. Impacto Comercial

Una respuesta positiva:

• indica que el usuario vio la respuesta,
• investigó la marca,
• que usted comunicó,
• que compró,
• que estuvo satisfecho

no lo muestra por sí sola.

7.10. puntuación GEO

Una sola respuesta no estima la distribución representativa de la población objetivo definida. Por lo tanto, no puede producir una puntuación GEO general.

8. LA EXISTENCIA DEL EVENTO Y LA PREVALENCIA DEL EVENTO

Esta es una de las distinciones más importantes en esta sección.

8.1. Existencia del Evento

Responde a la pregunta: "¿Ocurrió esta representación o error al menos una vez?" Una sola observación válida puede ser suficiente. Representación:

I(E) = 1(si el evento se observó al menos una vez); de lo contrario I(E) = 0

El 0 aquí no significa: "El evento es imposible." Solo indica que no se observó en la medición actual.

8.2. Prevalencia del Evento

Responde a la pregunta: "¿Con qué frecuencia ocurre el evento en la población objetivo definida?" En una muestra simple, la tasa bruta se puede calcular como:

p̂ = número de registros válidos donde se observó el evento / número total de registros válidos

Sin embargo, en estudios reales GEO-1000:

• pesos de la población,
• estratos de país y idioma,
• usuarios emparejados,
• clústeres de panel,
• no respuesta,
• registros inválidos,
• efecto de diseño

deben ser tomados en cuenta. Por lo tanto, la tasa bruta no siempre es la estimación final de la población.

8.3. Incidencia y Prevalencia No Pueden Convertirse Entre Sí

Un evento puede haberse observado una vez pero ser muy raro. Un evento puede ser común pero no observarse en absoluto en un piloto pequeño. Las siguientes dos oraciones son diferentes:

• "Este error se observó una vez."
• "Este error se observó en 12% de usuarios."

La segunda oración requiere un denominador y muestra definidos.

9. LA APARICIÓN ESTADÍSTICA DEL SESGO DE UNA SOLA OBSERVACIÓN

Una vez le hicimos una pregunta a un producto de IA. La respuesta cumplió con el criterio de éxito. Tasa bruta:

p̂ = 1/1= 1= 100%

Parece ser 100 por ciento. Pero ese 100 por ciento no significa que cada miembro de la población objetivo verá el mismo resultado. Solo para ilustración, la tabla a continuación muestra aproximados intervalos de confianza de Wilson de 95 por ciento bajo observaciones Bernoulli independientes y muestreo aleatorio simple no ponderado: [K09]

Esta tabla es sintética e ilustrativa. No prueba:

• Que estos intervalos sean válidos para todos los diseños de muestreo de GEO-1000
• Que 1,000 observaciones son suficientes para todos los subgrupos de idioma y país
• la agrupación y ponderación no son efectivas
• que 95 por ciento de precisión en bruto significa automáticamente adecuación

Lo que realmente muestra es:

A medida que disminuye el número de observaciones, aumenta la incertidumbre sobre la proporción de la población.

100 por ciento visto en una observación puede ser compatible con un rango poblacional posible muy amplio.

10. ¿POR QUÉ “1,000” NO ES UN NÚMERO MÁGICO?

REGLA BÁSICA DE CANDIDATO — REGLA FUNDAMENTAL DEL CANDIDATO

GEO-1000 lleva esta sugerencia fundamental:

Para cada producto de IA monitorizado y cada ola de medición principal, se tiene como objetivo por defecto un mínimo de 1,000 observaciones válidas de usuarios.

Esta disposición aún no es el mínimo científico final. Será reevaluada en función de los resultados de la aplicación piloto y externa.

10.1. ¿Por qué es un comienzo sólido?

Bajo la suposición de muestreo aleatorio simple, cuando la tasa real está alrededor de 50%, el margen de error teórico 95% para 1,000 observaciones es aproximadamente de ±3.1 puntos. Esto puede proporcionar una precisión inicial significativa a nivel general del producto.

10.2. ¿Por qué no resuelve todos los problemas?

Observaciones de 1,000:

• a docenas de países,
• a muchos idiomas,
• a planes gratuitos y de pago,
• a interfaces web y móviles,
• a paneles controlados y naturales

Cuando se dividen, las subceldas se encogen. Por ejemplo, si solo hay 50 observaciones para cada uno de los 20 idiomas, la incertidumbre basada en el idioma puede ser mucho mayor que la puntuación general del modelo.

10.3. Efecto de diseño

Observaciones:

• del mismo panel de investigación,
• del mismo país,
• del mismo usuario,
• de un diseño emparejado

están presentes, la suposición de muestra independiente simple puede no cumplirse. La incertidumbre real puede ser mayor.

10.4. El enfoque de NOMOS

Las observaciones 1,000 sirven como:

• el punto de referencia fundador del protocolo,
• mínimo inicial por defecto a nivel de modelo,
• umbral candidato para ser calibrado con el piloto

NOMOS no afirma que las observaciones de 1,000 sean automáticamente suficientes para cada país, idioma y condición de uso.

11. LA OBSERVACIÓN INDEPENDIENTE NO ES LO MISMO QUE LA OBSERVACIÓN REPETIDA

Un usuario puede hacer la misma pregunta diez veces. Este proceso puede ser valioso. Sin embargo, no produce diez usuarios independientes.

11.1. Mismo Usuario–Misma Sesión Repetida

Puede medir:

• varianza de renovación de respuestas,
• estabilidad dentro de la sesión,

probabilidad de respuestas alternativas. No mide por sí solo la prevalencia en la población.

11.2. Mismo Usuario–Nueva Sesión Repetida

Puede reducir el contexto del chat anterior. Sin embargo:

• misma cuenta,
• mismo plan,
• mismo país,
• misma personalización,
• mismo usuario

puede continuar creando dependencia estadística entre las observaciones.

11.3. Un solo usuario probando múltiples productos de IA

Este diseño puede ayudar con la comparación emparejada entre modelos. Sin embargo, las observaciones dependen del nivel del usuario. Esta dependencia debe preservarse en el registro y análisis.

11.4. Diferentes usuarios usando la misma cuenta

Pueden existir diferentes personas. Sin embargo:

• historial de la cuenta,
• personalización,
• plan,
• memoria

pueden ser compartidos. Estos registros no se pueden considerar independientes automáticamente.

11.5. Provisión de independencia normativa

Las observaciones deben diseñarse para ser lo más independientes posible; se deben registrar y tener en cuenta en el análisis las dependencias conocidas de usuario, cuenta, sesión, panel, país, dispositivo y repetidas.

La independencia no debe reducirse a un binario:

• sí,
• no

Cuando sea necesario, use uno de los siguientes estados de dependencia:

INDEPENDIENTE

EMPAREJADO

AGRUPADO

REPETIDO_CON_EL_USUARIO

DEPENDIENTE

DESCONOCIDO

12. PRINCIPIO DE PRIMER RESULTADO ADECUADO

En el panel principal de la población, la tarea del participante no es encontrar la respuesta más positiva. El participante debe registrar la primera salida adecuada completada generada bajo la condición predefinida. El participante:

• no puede actualizar la respuesta,
• no se puede solicitar una nueva respuesta,
• no se puede elegir la positiva,
• no se puede recortar solo la parte buena,

no se puede reescribir la respuesta. El comportamiento de reproducción también puede investigarse por separado. Sin embargo: "Hicimos la misma pregunta cinco veces y seleccionamos la mejor respuesta." no es la puntuación principal de la población. Esta es la prueba de la mejor salida seleccionada. Debe informarse con un nombre y método separados.

13. EXCEPCIÓN DE EVENTO CRÍTICO ÚNICO

Una sola respuesta no puede determinar la puntuación de la población. Sin embargo, esto no significa que una sola respuesta nunca pueda tener un impacto significativo en una decisión. NOMOS establece dos vías de evaluación separadas.

13.1. Vía de Representación de la Población

Hace la pregunta: “¿Con qué frecuencia ocurre este resultado en la población objetivo?” Requiere una muestra grande y válida.

13.2. Vía de Evento Crítico

Plantea la pregunta: “¿Qué tan grande es el daño previsible cuando este resultado ocurre una vez?” Un solo resultado confirmado puede desencadenar una revisión. Por ejemplo:

• Asignar una licencia de salud inexistente
• Realizar una remisión de salud de emergencia peligrosa
• Reportar autoridad legal incorrecta
• Eliminar la barrera de seguridad
• Confundir una empresa con otra entidad legal
• Repetir una instrucción manipuladora oculta a las personas como si fuera un consejo

Puede ser un candidato a evento crítico singular.

13.3. Separación de la puntuación y la decisión de conformidad

Un evento crítico generalmente puede ser una única observación. Por ejemplo:

1/1000=0.1%

Esta tasa puede parecer pequeña. Sin embargo, si el daño potencial del evento es grave, puede crear una brecha irreparable en la decisión de conformidad. Por lo tanto:

La puntuación de la población mide la frecuencia del evento; la revisión de eventos críticos mide el impacto del evento en el daño y la integridad.

Una alta precisión promedio no puede eliminar automáticamente errores singulares graves. Las condiciones finales para la clasificación crítica se definirán en capítulos posteriores del libro.

14. ESCALERA DE AFIRMACIONES OBSERVACIONALES

En esta sección, solo se separan normativamente los primeros cuatro niveles de observación. En niveles superiores:

• puntuación ponderada por la población,
• puntuación de múltiples modelos,
• estabilidad temporal,
• efecto de la intervención,
• valor sostenible

serán definidos en secciones posteriores.

O-0— NO PROBADO

El producto o la condición de IA relevante no ha sido medido. Estado correcto:

NO PROBADO

Frase indefendible: "Es apropiado porque no se observó el problema."

O-1— OBSERVACIÓN DE UN SOLO EVENTO

Hay un resultado válido. Formulación defendible: "Bajo las condiciones especificadas, se observó este resultado una vez." Oración indefendible: "El sistema representa la existencia de esta manera."

O-2— REPETICIÓN DE USUARIO O SESIÓN

Existen múltiples resultados para el mismo usuario, cuenta o familia de sesiones. Formulación defendible: "Bajo las condiciones del usuario y la sesión especificadas, este resultado ocurrió en siete de diez repeticiones." Oración indefendible: "Siete de cada diez usuarios independientes vieron este resultado."

O-3— MEDICIÓN DE UNA SOLA CELDA POR MÚLTIPLES USUARIOS

Lo mismo:

• Producto de IA,
• interfaz de usuario,
• país,
• idioma,
• condición del panel,
• versión del prompt,
• oleada de medición

contiene múltiples observaciones de usuario adecuadas. Formulación defendible: “78% de las 200 observaciones válidas en la celda controlada por Turquía/Turquía cumplieron el criterio de transición especificado.” Este resultado no puede generalizarse automáticamente a otros países, idiomas o interfaces de usuario.

O-4— MEDICIÓN CAPA MÚLTIPLE DE CELDAS

Existen muestras predefinidas de diferentes países, idiomas o celdas de usuario. A este nivel:

• resultados de celda,
• resultado ponderado,
• alcance,
• incertidumbre

reportable. Las reglas detalladas para los pesos poblacionales y la equidad de subgrupos se definen en capítulos posteriores del libro.

15. DEMOSTRACIÓN SINTÉTICA APPLE.COM

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Los usuarios, productos de IA, respuestas, tasas y resultados que se muestran a continuación son ficticios. No representan el desempeño real de Apple Inc. ni el comportamiento de ningún producto de IA real.

15.1. Escenario A — Respuesta Positiva Única

Un usuario sintético envía la siguiente pregunta al Producto de IA sintético A: ‘¿Qué tipo de empresa es Apple.com?’ Respuesta sintética: ‘Apple es una empresa tecnológica con sede en EE. UU. que desarrolla electrónica de consumo, software y servicios digitales.’ Evaluación preliminar:

• La identidad de la entidad es correcta
• La categoría principal es correcta
• No se observan errores críticos evidentes
• La representación básica es aceptable

Resultado bruto:

1/1=100%

Declaración pública incorrecta: “El Producto de IA A representa a Apple con una precisión de 100%.” Declaración pública correcta: “En la muestra sintética, la única observación especificada cumplió con el criterio de transición. La prevalencia en la población y la confiabilidad del producto no han sido determinadas.”

15.2. Escenario B — Descubrimiento con Diez Observaciones

Diez usuarios sintéticos independientes utilizan la misma versión del prompt semántico. Resultado sintético:

• Respuestas 7 aprobadas
• La respuesta 1 es parcialmente correcta
• La respuesta 1 contiene información desactualizada
• La respuesta 1 asigna la actividad principal incorrecta

tasa de aprobación bruta:

7/10=70%

Bajo una suposición simple e idealizada de muestreo independiente, el intervalo de Wilson aproximado 95 por ciento es necesariamente amplio. El resultado sigue siendo exploratorio porque se basa en:

• muestra pequeña,
• célula única,
• onda única

Estado correcto:

EXPLORATORIO — No es suficiente para La puntuación global NOMOS disponible públicamente.

15.3. Escenario C — Onda Sintética Observada 1,000

Suponga sintéticamente que se cumplen las siguientes condiciones:

• Producto de IA A
• Observaciones válidas 1,000
• Población objetivo predefinida
• Versión de solicitud fijada
• Capas de país e idioma definidas
• Respuesta inicial adecuada sin modificar
• Registros completos de evidencia
• Reglas de adjudicación predefinidas

Resultado sintético:

Tasa de aprobación simple en bruto:

918/1000=91.8%

Intervalo de Wilson aproximado 95% bajo la suposición idealizada no ponderada: es. Sin embargo, este número por sí solo aún no es la puntuación final NOMOS GEO. Porque hay factores adicionales que deben evaluarse:

• Pesos de país y idioma
• Efecto del diseño
• Resultado más bajo por idioma
• Tasa de observación inválida
• Acuerdo entre evaluadores
• Verificación de candidatos a errores críticos
• Grupos de usuarios no evaluados
• Tiempo y limitación de medición de interfaz de usuario

Seis candidatos con errores críticos también deben someterse a una revisión de incidentes por separado. Informe correcto: ‘La tasa de aprobación de respuesta bruta en la ola sintética es 91.8 por ciento. Este resultado describe las observaciones antes de aplicar los pesos de la población y los efectos del diseño. Debido a que se identificaron seis candidatos con errores críticos, la decisión de conformidad requiere una revisión separada.’ Informe incorrecto: ‘La puntuación GEO NOMOS de Apple es 91.8 y cumple con los requisitos.’ Los datos sintéticos no pueden atribuirse de esta manera a una empresa real o un sistema real.

16. DISPOSICIONES NORMATIVAS OBLIGATORIAS

N-01

No se puede usar una sola salida de un sistema generativo como la puntuación GEO general.

N-02

Una salida singular observada por sí sola:

• Producto de IA y interfaz de usuario,
• país,
• idioma,
• prompts,
• sesión,
• tiempo

deben informarse junto con sus condiciones.

N-03

Salida única:

• típica,
• continuo,
• global,
• perteneciente a todos los usuarios

no puede presentarse como comportamiento.

N-04

Las repeticiones del mismo usuario, cuenta o sesión no se pueden contar como observaciones independientes de la población sin revelar la dependencia.

N-05

En el panel de población principal, el participante debe registrar la primera salida adecuada predefinida; no se puede reproducir para elegir una respuesta positiva.

N-06

El rechazo del sistema, mensaje de error o incapacidad de responder debe registrarse como un resultado válido del sistema si el protocolo se ha aplicado correctamente.

N-07

Recortes, modificaciones, reescrituras manuales o respuestas cuyo contexto del prompt no pueda ser verificado no pueden incluirse en el cálculo principal de puntuación.

N-08

Está prohibido seleccionar solo capturas de pantalla positivas y retener la distribución de resultados.

N-09

No se pueden usar observaciones sintéticas en las puntuaciones de usuarios o sistemas reales.

N-10

No se debe publicar una proporción de la población sin indicar la cobertura, el denominador y una explicación apropiada de la incertidumbre.

N-11

La probabilidad de un error crítico no puede ser compensada silenciosamente dentro del promedio general.

N-12

El resultado de la observación solo puede aplicarse al universo de inferencia que esté definido de manera única; no puede generalizarse a países, idiomas, productos o períodos de tiempo no medidos.

N-13

La medición, puntuación o declaración pública debe tener un propietario humano o institucional responsable.

N-14

Registros DESCONOCIDOS, NO PROBADOS o INVÁLIDOS no pueden convertirse silenciosamente en un resultado positivo.

17. CANDIDATO GEO-1000 REGLA PRINCIPAL

CANDIDATO-001

Para cada producto de IA que se esté auditando y para cada ola principal de medición de la población, se debería apuntar por defecto a un mínimo de 1,000 observaciones válidas de usuarios.

Esta frase candidata:

• precisión de la previsión general del producto,
• costo,
• aplicabilidad,
• equidad entre países e idiomas

Esto crea un equilibrio inicial entre estas consideraciones. Sin embargo, no garantiza una cobertura adecuada de:

• todas las puntuaciones de los países,
• todas las puntuaciones de los idiomas,
• todos los subgrupos de usuarios

La adecuación debe, en cambio, ser evaluada mediante:

• pilotos,
• repeticiones independientes,
• efecto de diseño,
• sensibilidad de subgrupo

Esas evaluaciones determinan el estatus normativo final.

18. FORMAS DE FALLA

F-01— Captura de Pantalla Seleccionada

Solo se publica la respuesta más positiva entre numerosos resultados.

F-02— Tratar a un Solo Usuario como la Población

La experiencia de una persona se generaliza a todo el universo objetivo.

F-03— Contar Repeticiones del Mismo Usuario como Nuevas Personas

Las repeticiones generadas por la misma persona o cuenta se informan como participantes independientes.

F-04— Renovar la Respuesta y Elegir la Mejor

Se descartan las respuestas iniciales o negativas; la respuesta más adecuada se guarda como el resultado de la medición.

F-05— Desviación del Prompt

Los participantes cambian la palabra, el tono o el alcance del prompt; los resultados se combinan como si provinieran del mismo experimento.

F-06— Contaminación del Contexto

Las conversaciones anteriores afectan la respuesta; el registro se presenta como una sesión limpia.

F-07— Ocultando la Personalización

Memoria, instrucciones especiales o historial del usuario son visibles; el resultado se reporta como una respuesta de usuario general.

F-08— Confundir Modelo y Producto

Solo se escribe el nombre general del modelo o del proveedor; el producto real, la interfaz y el estado de la herramienta no se registran.

F-09— Eliminando Errores y Fallos del Denominador

Eliminado para que los resultados aparezcan positivos cuando el sistema no responde a los registros.

F-10— Contando Capturas Inválidas como Fallo del Sistema

Reportado como error del participante, evidencia faltante o resultado incorrecto del producto de IA.

F-11— Globalizando un Solo Idioma y País

El resultado de un solo lugar se aplica globalmente.

F-12— Usando Datos Sintéticos como Reales

Se agregan registros creados con fines de demostración al rendimiento real.

F-13— Perdiendo un Evento Crítico en Promedio

Errores graves de salud, legales, de licencias o de seguridad se vuelven invisibles dentro de un promedio alto.

F-14— Extrayendo el Efecto de la Intervención de un Solo Éxito

La única respuesta positiva recibida después de la intervención GEO se considera el efecto causal del estudio.

F-15— Juzgando Todo el Sistema por un Solo Error

Un error se generaliza como si el producto de IA siempre estuviera equivocado y fuera malo para todos los usuarios.

F-16— Definiendo la Población Objetivo Después

Después de observar el resultado, el grupo de usuarios con alto éxito se declara la "población objetivo real".

19. PROCEDIMIENTO DE AUDITORÍA

Un auditor debe seguir la secuencia a continuación al evaluar la validez de una sola observación o una declaración temprana de GEO.

Paso 1— Registrar la Declaración Pública

La oración completa propuesta se determina. Ejemplo: “ChatGPT conoce correctamente nuestra empresa.”

Paso 2— Determinar el Nivel de la Afirmación

La oración puede hacer una afirmación sobre:

• evento único,
• prevalencia,
• estabilidad,
• consecuencia global,
• causalidad,
• impacto comercial

Se debe identificar el nivel aplicable.

Paso 3— Determinar el Recuento de Observaciones de Apoyo

¿Cuántos usuarios reales? ¿Cuántas cuentas? ¿Cuántas sesiones independientes? ¿Cuántas repeticiones? ¿Cuántos productos de IA? ¿Cuántos idiomas y países?

Paso 4— Verificar las Condiciones de Observación

¿Se registran todos el producto de IA, interfaz de usuario, la prompt, la sesión, el país, el idioma y el tiempo?

Paso 5— Examinar la Integridad de la Evidencia

¿Hay una respuesta completa? ¿Hay una captura de pantalla completa? ¿Se ha seleccionado o actualizado la respuesta? ¿Se ha modificado el archivo? ¿Es el registro sintético?

Paso 6— Determinar la Estructura de Dependencia

¿Hay repeticiones del mismo usuario? ¿Se ha utilizado una cuenta compartida? ¿Hay un diseño de modelo espejado? ¿Hay agrupamiento desde el mismo panel?

Paso 7— Separar el Error de Recolección de Datos del Resultado Válido del Sistema

¿Es el rechazo o error del sistema el resultado real? ¿O el participante violó el protocolo?

Paso 8— Comparar la Afirmación con el Nivel de Evidencia

¿Se usa una única observación para una inferencia poblacional o global?

Paso 9— Abrir la Ruta Crítica

Si una única respuesta conlleva un daño grave previsible, se inicia una investigación de incidente separada.

Paso 10— Limitar la Decisión

La sentencia pública se reduce únicamente al nivel respaldado por la evidencia.

20. EVIDENCIA NECESARIA

Para una observación o afirmación dentro del alcance de esta sección, se deben buscar los siguientes registros en la medida que sean relevantes:

• Identidad de la entidad auditada
• afirmación GEO totalmente divulgado al público
• Número de observaciones
• Número de participantes únicos
• Producto de IA y interfaz de usuario
• Modelo o versión visible, si está disponible
• Tipo de plan o cuenta
• País y localidad
• ID del prompt, versión y texto completo
• Estado de la sesión y personalización
• Sello de tiempo UTC
• Ola de medición
• Respuesta completa sin procesar
• Captura de pantalla o evidencia equivalente
• Estado de reproducción o selección de respuesta
• Estado de validez de la observación
• Dependencia y registro de coincidencias
• Estado sintético o real
• Registro de observaciones inválidas
• Registro de eventos críticos
• Alcance del resultado
• Enunciado de incertidumbre
• Persona o institución responsable

No todos estos registros pueden ser necesarios con el mismo detalle para cada observación de descubrimiento de bajo riesgo. Sin embargo, si se va a ofrecer al público una puntuación GEO amplio o una cláusula de conformidad, los campos materiales no pueden dejarse en blanco.

21. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Se ha identificado completamente la entidad auditada? ¿Se han registrado el producto de IA y interfaz de usuario? ¿Se bloqueó el prompt antes de la medición? ¿El participante modificó el prompt? ¿Se conocen las condiciones de la sesión y de personalización? ¿Se ha registrado la información del país y la localidad del usuario? ¿Se conserva la respuesta completa? ¿Es la primera salida apropiada o la mejor salida elegida? ¿Existe un registro completo de pruebas? ¿Se han separado el número real de usuarios y el número de observaciones? ¿Se han contado de manera independiente las observaciones repetidas y coincidentes? ¿Se han gestionado correctamente las negativas y los errores del sistema en el denominador? ¿Se han retenido y justificado los registros inválidos? ¿Se han separado los datos sintéticos y los datos reales? ¿Se presenta una única respuesta como resultado poblacional?

¿Se aplica la afirmación solo al producto medido, país, idioma y tiempo? ¿Se ha evaluado por separado la probabilidad de un error crítico? ¿El resultado incluye una declaración de confianza o incertidumbre? ¿Se muestran claramente las áreas no probadas? ¿La declaración pública excede el nivel de observación real? Si una de las preguntas fácticas no tiene respuesta, el resultado conlleva confianza limitada. Si más de una no tiene respuesta, no debería utilizarse para la puntuación general de GEO.

22. OBJECIONES Y RESPUESTAS

Objeción 1— “El usuario real ya ve solo una respuesta.”

Eso es correcto. La única respuesta que ve el único usuario es la experiencia real de esa persona. Por lo tanto, los eventos individuales se registran. Sin embargo, la experiencia individual no es lo mismo que la experiencia de la población. NOMOS mantiene ambos hechos juntos:

La experiencia de un solo usuario es real. / Un solo usuario no es la población completa.

Objeción 2— “Si el sistema da la misma respuesta cada vez, ¿no es suficiente con una respuesta?”

La afirmación de que el sistema da la misma respuesta cada vez también requiere medición. Además:

• tiempo,
• recuperación,
• país,
• idioma,
• plan,
• personalización,
• interfaz de usuario

Puede variar. Incluso un sistema que se supone determinista no puede generalizarse más allá de las condiciones definidas.

Objeción 3— “¿Por qué exactamente 1,000?”

El número 1,000 no es un umbral mágico de certeza. GEO-1000 sirve como un punto de referencia fundacional que equilibra:

• un volumen sustancial de usuarios,
• una estimación amplia a nivel de producto,
• costo practicable,
• comprensibilidad pública.

Los subgrupos pueden requerir más observaciones. Los estudios piloto deben verificar o revisar el umbral.

Objeción 4— “Que las mismas personas 1,000 prueben todos los productos de IA.”

Este método puede ser útil para la comparación por pares entre modelos. Sin embargo, seleccionar solo a usuarios intensivos de IA que puedan acceder a todos los productos puede sesgar la población objetivo. Además, las observaciones de la misma persona son dependientes. Se compararán más adelante los diseños completamente emparejados, parcialmente emparejados y equilibrados.

Objeción 5— “¿No es una captura de pantalla ya una prueba suficiente?”

Las capturas de pantalla son importantes. Sin embargo, por sí solas no siempre muestran lo siguiente:

• tiempo real
• país
• plan
• conversación previa
• personalización
• actualización de la respuesta
• cambio de archivo
• respuesta completa

Por esta razón, una captura de pantalla es una parte importante del paquete de pruebas. No es todo.

Objeción 6— “¿Por qué incluimos un sistema que no responde en la puntuación?”

La experiencia real del usuario puede ser no recibir una respuesta. Un rechazo o error:

• técnico,
• de seguridad,
• depolítica,
• de acceso

puede ser el resultado. Si el protocolo se aplicó correctamente, el evento debe registrarse. La falta de respuesta del sistema debido a un error técnico del participante se clasifica por separado.

Objeción 7— “¿Por qué un solo error grave debería afectar toda la inspección?”

Un solo error no prueba que la mayoría de la población cometió el mismo error. Sin embargo, el daño potencial de un solo error puede ser severo. Por lo tanto:

• frecuencia de puntuación,
• daño en decisiones críticas e integridad

se evalúan por separado. El promedio no puede borrar automáticamente el daño humano.

Objeción 8— “Si no podemos decir nada con una sola respuesta, ¿cuál es el valor de las pruebas tempranas?”

Pruebas singulares y de muestra pequeña:

• generar hipótesis,
• descubrir tipos de errores,
• pruebas de prompts,
• probar el sistema de captura,
• calibrar a los jueces,

puede revelar eventos críticos. Lo que está mal es no hacer pruebas exploratorias. Lo que está mal es presentar el resultado exploratorio como una puntuación de la población.

PRINCIPIO COMÚN DEL CAPÍTULO 24

Este capítulo fue escrito para eliminar un solo malentendido: "Le pregunté a una IA, obtuve una respuesta; aquí está mi resultado GEO." No. Aún no tienes un resultado GEO general. Lo que tienes es una observación. Esta observación:

• es real,
• es significativo,
• incluso crítico

puede ser. Sin embargo, sigue siendo una sola observación. Para una puntuación GEO, la existencia de:

• usuarios,
• productos de IA,
• países,
• idiomas,
• sesiones,
• tiempo

Lo que debe medirse es la distribución de la representación a través de productos de IA, países, idiomas, sesiones y tiempo. Una sola captura de pantalla no es una distribución. Diez repeticiones automatizadas no son diez personas independientes. Ni mil respuestas de una muestra pobre representan a la población mundial. Incluso una muestra proporcional a la población puede ser incompleta sin Equidad Lingüística. Un promedio alto no puede borrar los errores críticos. Por lo tanto, la primera ley de medición de NOMOS es:

Una sola respuesta es un evento. / Varias respuestas son un patrón. / Una muestra definida es una estimación de la población. / La repetición a lo largo del tiempo es una medida de estabilidad. / Pero ninguna de estas por sí sola es causalidad ni valor sostenible.

Orden de la Sección 1 de NOMOS

No me traigas una captura de pantalla y luego hables por todo el sistema.

No hagas que la respuesta de un usuario sea la respuesta de la población mundial.

No conviertas duplicados de la misma cuenta en humanos independientes.

No actualices la respuesta y muestres la preferida como si fuera la distribución real.

No elimines rechazos, errores y desconocidos del denominador.

No generalices un idioma al mundo, un país a todos los países o un producto de IA a todos los sistemas generativos.

No conviertas un solo éxito en evidencia de un efecto de intervención, ni un solo error en el carácter inmutable de todo el sistema.

No ahogues un solo error grave dentro del promedio.

Primero, registre el evento. / Luego mida el patrón. / Luego defina la población objetivo. / Luego muestre la dependencia y la incertidumbre. / Y hable solo en la medida en que la evidencia lo respalde.

La oración de cierre del capítulo

La representación de una entidad en sistemas de inteligencia artificial no es una sola respuesta. Los productos de IA son una distribución que debe medirse a lo largo de usuarios, países, idiomas, sesiones y tiempos.

Core normativo

Un solo resultado de un sistema generativo PUEDE establecer que una respuesta específica ocurrió bajo condiciones registradas. Un solo resultado NO DEBE usarse para inferir: - prevalencia en la población, - comportamiento típico del producto, - estabilidad temporal, - consistencia entre idiomas, - consistencia entre países, - consistencia entre productos, - efecto de una intervención, - certeza de una recomendación, - impacto comercial, - conformidad, - o una puntuación GEO. Todas las afirmaciones más amplias DEBEN estar respaldadas por una población objetivo predefinida, un diseño válido de múltiples observaciones, estructura de dependencia registrada, conjunto de pruebas, regla de evaluación, declaración de alcance y divulgación de incertidumbre. Un solo resultado de alto daño PUEDE desencadenar una revisión de incidente crítico separada sin ser tratado como evidencia de prevalencia en la población.