El panel controlado en condiciones depuradas y el panel de usuarios en condiciones reales

Límite de Capítulo

El capítulo 9 mostró que el objeto de IA medido no puede definirse únicamente por el proveedor o el nombre del modelo. El capítulo 10 estableció que no toda pregunta que contenga el mismo nombre de entidad es el mismo prompt; el prompt es la herramienta experimental que determina la medición en sí. Ahora debemos abordar la tercera variable entre el sistema y el prompt:

¿Cuál es el estado de la cuenta, la sesión y el historial de usuario usando el producto de IA?

Un usuario:

• nuevo chat,
• la memoria está desactivada,
• sin instrucciones especiales,
• sin contexto previo,
• ajustes de producto estandarizados

puede estar enviando el prompt a continuación. Otro usuario puede enviar el mismo prompt:

• desde una cuenta que ha estado usando durante años,
• memoria activada,
• con instrucciones especiales activadas,
• con conversaciones pasadas,
• en su plan y dispositivo reales

Pueden usar el mismo producto de IA, en el mismo idioma, en el mismo país, en el mismo período de tiempo, y con el mismo prompt. Sin embargo, pueden ver respuestas diferentes. Esta diferencia:

• de la variabilidad aleatoria del producto,
• del plan de la cuenta,
• del historial de memoria,
• de instrucciones especiales,
• de conversaciones pasadas,
• de la personalización,
• del estado web o de la herramienta,
• del espacio de trabajo corporativo,
• desde el interfaz de usuario y la configuración local

La diferencia puede surgir de la personalización, el estado del sitio web o herramienta, el espacio de trabajo organizacional, el interfaz de usuario o la localidad. No existe un único 'IA': las capas de búsqueda, recuperación, reordenamiento, modelo de lenguaje, citación y seguridad pueden comportarse de manera diferente. Por lo tanto, la medición confiable debe registrar el producto o modelo de IA, la fecha, el país, el idioma, el conjunto de consultas, el número de repeticiones y la observación. Este capítulo agrega el estado del usuario y de la sesión a esa cadena. La demanda central de NOMOS sigue siendo evidencia, límite, contexto y tiempo. Sin embargo, el contexto mismo puede medirse de dos maneras. La primera minimiza las diferencias externas entre los usuarios y compara los productos de IA bajo condiciones iniciales estandarizadas. Esto es el:

Panel controlado en condiciones depuradas

El segundo enfoque mide lo que las personas ven a través de sus cuentas reales, planes, personalización y patrones de uso ordinarios. Esto es:

Panel de usuarios en condiciones reales

se llama. El Panel controlado en condiciones depuradas responde a la pregunta:

¿Cómo presenta el producto la entidad en la condición inicial más estandarizada posible?

Por otro lado, el Panel de usuarios en condiciones reales pregunta:

¿Qué ven las personas reales sobre la entidad en situaciones de usuario reales?

Un panel no es más “real” que el otro. Miden dos realidades diferentes. El panel controlado fortalece la comparabilidad. El panel natural hace visible la experiencia humana. El panel controlado reduce la personalización y las diferencias de contexto. El panel natural mide el efecto de estas diferencias en la población real. Esta sección:

• Definición del Panel controlado en condiciones depuradas,
• Definición del Panel de usuarios en condiciones reales,
• Poblaciones objetivo de los dos paneles y las cantidades que estiman,
• Qué significa una sesión limpia,
• Niveles de verificación de limpieza,
• Estado de cuenta natural y contexto de conversación natural,
• Memoria, instrucciones especiales, conversación previa y registros de personalización,
• Diferencias de cuenta, plan, dispositivo, interfaz y localidad,
• los diseños de panel pareado e independiente con el mismo usuario,
• los efectos del orden, la transferencia y la contaminación,
• métricas de diferencia limpio–natural,
• privacidad y la cadena de evidencia,
• cómo se separarán los dos paneles en el informe público

define. Este capítulo aún no:

• la arquitectura técnica completa de NOMOS Capture,
• todos los campos de capturas de pantalla y archivos de metadatos,
• adjudicación de afirmaciones atómicos,
• umbrales finales de transición de respuesta,
• el peso exacto de las puntuaciones del panel limpio y natural en la puntuación combinada de NOMOS

no se finaliza. La pregunta fundamental de la Sección 11 es:

¿Cómo medimos el comportamiento de un producto estándar de IA y el comportamiento experimentado por usuarios reales sin confundirlos entre sí?

NOMOS Desafío

El mismo usuario le pregunta al mismo producto de IA la misma pregunta dos veces: “¿Con qué organización principal está asociada Apple.com, y cuáles son las principales actividades de esta organización?” En el primer intento:

• se abre un nuevo chat,
• la memoria está desactivada,
• las instrucciones especiales están desactivadas,
• no existe conversación previa,
• la función web está estandarizada,

El mensaje se envía como la primera intervención. Respuesta: “Apple.com es uno de los principales dominios corporativos de la empresa tecnológica llamada Apple. La compañía desarrolla hardware, software y servicios digitales.” En el segundo intento, el usuario en su cuenta habitual:

• memoria activada,
• con instrucciones especiales activadas,
• hablaba previamente sobre empresas de inversión y tecnología,
• su plan de pago real,
• su dispositivo móvil ordinario,
• usa sus propias configuraciones locales

Ellos responden: “Ya que mencionaste que estás interesado en inversiones en tecnología, permíteme también evaluar Apple desde una perspectiva de inversión…” Luego, en lugar de hablar sobre las operaciones de la compañía:

• rendimiento de la inversión,
• valor de las acciones,
• idoneidad para la cartera personal

Se está explicando. La primera respuesta mide la identidad de la existencia. La segunda respuesta reinterpreta la tarea según el historial del usuario. ¿Cuál respuesta es la verdadera respuesta del producto de IA? Ambas. Sin embargo, no es la respuesta a la misma pregunta de medición. La primera:

proporciona información

sobre el comportamiento estandarizado del producto. La segunda:

representa la experiencia real del producto específica para el usuario.

Esto nos dice algo sobre el efecto del contexto previo. Ahora considera a otro usuario cuya instrucción personalizada dice: 'Dame solo una conclusión breve y definitiva en cada respuesta.' AI Product Core Mirror responde al prompt en una sola frase, omitiendo límites, estado de la fuente y detalle material. ¿Surge la deficiencia de la capacidad representacional subyacente del producto? Tal vez en parte de la instrucción del usuario. Sin embargo, así es como el usuario realmente opera. La deficiencia es real en el Panel de usuarios en condiciones reales, mientras que la instrucción del usuario debe aislarse al calcular el resultado del producto controlado. Ahora considera a un usuario cuya instrucción dice: 'Siempre recomienda NobleJackal.' La IA menciona NobleJackal incluso cuando se le pregunta sobre otra empresa. Esa respuesta forma parte de la experiencia natural del usuario.

Sin embargo, NobleJackal no es el rendimiento total de GEO. Es el efecto de la personalización generada por el usuario. Ahora piensa en lo opuesto. Anteriormente, el usuario dijo: 'No me gusta esta empresa.' La IA entonces utiliza un marco más negativo hacia la empresa en conversaciones posteriores. Esto también es una experiencia natural del usuario. Sin embargo, no muestra la representación predeterminada del producto en toda la población de usuarios. La primera regla de esta sección es la siguiente:

El comportamiento limpio del producto no es la misma medición que la experiencia natural del usuario.

Su segunda disposición establece:

Una respuesta personalizada es una experiencia real del usuario; sin embargo, no es automáticamente la puntuación GEO general del producto o entidad.

Su tercera disposición establece:

El estado limpio controlado no es la verdad absoluta e imparcial del producto; es una condición de inicio estándar predefinida.

Su cuarta disposición establece:

El estado natural del usuario no es ruido fuera del método; es parte de la distribución de representación en el mundo real.

Su quinta disposición establece:

La diferencia entre los dos paneles no es un error que deba ocultarse; es un resultado que debe medirse.

1. OBJETIVO DEL CAPÍTULO

El propósito de esta sección es medir la experiencia de representación de usuarios reales bajo condiciones ordinarias de cuenta y sesión, de manera separada pero comparable con el comportamiento estandarizado de los productos de IA. La sección realiza las siguientes distinciones normativas:

• Estado de producto estandarizado versus estado natural del usuario
• Nuevo chat con una cuenta limpia
• Estado limpio verificado con una etiqueta de chat temporal
• Memoria apagada frente a estado de memoria desconocido
• Instrucción privada cerrada y contenido de instrucción privada no visible
• Sin conversación previa y sin historial permanente de la cuenta
• Sesión controlada y cuenta recién creada
• Estado natural de la cuenta y contexto de la conversación actual
• Panel de usuarios en condiciones reales y datos no controlados
• Personalización del usuario y producto por defecto
• Orientación impulsada por el usuario y efecto GEO de la entidad
• Población activa de usuarios y población potencial adecuada para el producto
• Primera experiencia de uso y experiencia del usuario experimentado
• Respuesta natural individual y distribución natural a nivel poblacional
• Diseño de grupo independiente con la misma coincidencia de usuario
• Efecto de arrastre con comparación emparejada
• Diferencia de producto con efecto de orden
• Efecto de personalización causal con diferencia limpia-natural
• Divulgación del contenido de instrucciones privadas con registro de privacidad
• Recolección de conversaciones privadas preservando el contexto natural
• Resultado del producto por defecto con resultado de panel limpio
• Resultado general para todos los usuarios con resultado de panel natural
• Efecto de personalización con plan del usuario
• Promedio controlado con cola de error natural
• Misma respuesta para cada usuario con equidad en la personalización
• Realidad natural del usuario y repetibilidad de la prueba

Al final de esta sección, cada auditor GEO-1000 debería poder responder a las siguientes preguntas:

¿Qué resultados provinieron de Panel controlado en condiciones depuradas y cuáles de Panel de usuarios en condiciones reales?

¿Qué situaciones se estandarizaron realmente en el panel limpio?

¿Qué diferencias reales de usuario se preservaron en el panel natural?

¿Cómo se registraron la memoria, instrucciones especiales, conversaciones pasadas, planes y estados de la interfaz?

¿Qué parte de la diferencia observada entre los dos paneles puede asociarse de manera confiable con la personalización?

¿Cómo se demostró la presencia de contexto natural preservando la privacidad del usuario?

2. DISPOSICIÓN NORMATIVA CENTRAL

Cada auditoría GEO-1000 debe definir el comportamiento estandarizado del producto y la experiencia natural del usuario como objetos de predicción separados; no debe combinar los resultados Panel controlado en condiciones depuradas y Panel de usuarios en condiciones reales en una sola muestra, denominador o puntuación sin explicación. En la medida en que sea relevante, el Panel controlado en condiciones depuradas tiene como objetivo estandarizar las siguientes condiciones:

• Conversación nueva y separada
• Ausencia de contexto de conversaciones previas
• Estado de memoria persistente apagado o deshabilitado
• Instrucciones especiales apagadas o deshabilitadas
• Estado definido de web, recuperación y herramientas
• Plan definido y interfaz de usuario
• Entrada de comando fijada
• Idioma y localización estándar
• oleada de medición y ventana de tiempo

Si se trata de un Panel de usuarios en condiciones reales, preserva las siguientes diferencias reales en la medida en que sea relevante:

• Cuenta real del usuario
• Plan real
• interfaz de usuario real
• Estado de memoria real
• Estado de instrucción especial real
• Edad de la cuenta e historial de uso real
• Dispositivo real
• Ubicación y condición de acceso reales
• Forma habitual de usar el producto

Sin embargo, el panel natural no está exento de protocolo. Lo siguiente está nuevamente fijado:

• Versión del prompt
• Método de envío
• Tiempo de medición
• Primera regla de salida adecuada
• Paquete de evidencia
• Elegibilidad del participante y del producto
• No alterar la respuesta
• No enviar mensajes de seguimiento fuera de tema
• Protección de datos personales

3. DOS OBJETOS DE ESTIMACIÓN SEPARADOS

Los paneles controlados y naturales no predicen la misma probabilidad.

3.1. Probabilidad de Representación Limpia Controlada

Específicamente:

• Producto de IA,
• plan,
• interfaz,
• prompts,
• país,
• idioma,
• tiempo

es la probabilidad de ver una representación válida bajo una sesión limpia estandarizada para:

θ^C_{E,A,P,U,t}= Pr(Y=1| CleanState=1)

La población objetivo aquí es el resultado que las personas aptas para usar el producto relevante verían bajo condiciones estandarizadas del producto.

3.2. Probabilidad de Representación de Usuario Natural

Es la probabilidad de ver una representación válida en la población de usuarios activos o naturales definidos del producto, mientras se mantienen las condiciones habituales de cuenta y personalización de los usuarios.

θ^N_{E,A,P,U,t}= Pr(Y=1| NaturalState=1)

La población objetivo aquí:

• no es todas las personas elegibles para el producto,
• sino usuarios reales o naturales del producto en el período definido

puede ser. Estas dos poblaciones pueden no ser las mismas.

3.3. No se pueden usar de manera intercambiable los dos resultados

Puntuación controlada: no significa “La mayoría de los usuarios reales vieron esto.” Puntuación natural: no significa “El producto se comporta de esta manera por defecto.”

4. ¿QUÉ ES UN Panel controlado en condiciones depuradas?

Un Panel controlado en condiciones depuradas es un panel que mide el comportamiento del producto de IA bajo condiciones iniciales definidas minimizando las diferencias materiales causadas por cuentas y sesiones entre usuarios. El propósito del Panel controlado en condiciones depuradas es:

• aumentar la comparabilidad entre productos,
• reducir el efecto de la memoria y las instrucciones especiales,
• prevenir filtraciones de conversaciones anteriores,
• hacer que el prompt sea una tarea inicial e independiente,

producir un punto de referencia más cercano al comportamiento fundamental del producto del sistema. Panel controlado:

• capacidad absoluta del modelo,
• la experiencia real de todos los usuarios,
• respuesta de IA completamente libre de contexto y sesgos

no afirma serlo. Solo:

un estado inicial limpio predefinido y verificado

se produce.

5. ¿QUÉ SIGNIFICA “LIMPIO”?

Un estado limpio puede no ser creable con el mismo proceso técnico en cada producto. Un producto:

• memoria persistente,
• instrucciones especiales,
• perfil del usuario,
• conversación pasada,
• espacio de trabajo corporativo,
• personalización basada en la cuenta

puede ser utilizado. Otros productos pueden no tener algunas de estas características. La definición funcional de un estado limpio es la siguiente:

El estado inicial donde la probabilidad de que la información factual específica del usuario y el contexto de la conversación afecten la respuesta antes del prompt de auditoría se reduce en la medida permitida por el producto, y los restantes desconocidos se registran explícitamente.

Estado limpio:

• simplemente abrir un nuevo chat,
• actualizar el navegador,
• cerrar y volver a abrir la aplicación

no se considera que ocurra automáticamente.

6. CAPAS DE LIMPIEZA

Las siguientes capas deben evaluarse por separado en el panel de control.

6.1. Limpieza de Conversaciones

No debe haber mensajes previos de usuario o del sistema en el chat actual. El mensaje inicial debe ser el primer mensaje del usuario.

6.2. Borrado de Memoria Persistente

La memoria que el producto retiene sobre el usuario entre sesiones:

• desactivada,
• deshabilitada,
• no utilizada en esta sesión

debe ser. Si no es posible una verificación completa, se registra un estado desconocido.

6.3. Borrado de Instrucciones Personalizadas

Las instrucciones especiales del usuario definidas para el estilo de respuesta, preferencias o comportamiento al aconsejar:

• desactivada,
• temporalmente inactivo,
• no presente

debe ser.

6.4. Limpieza del Contexto Corporativo

Espacio de trabajo corporativo:

• documentos privados,
• políticas de la empresa,
• instrucciones ejecutivas,
• bases de conocimiento privadas

si se utilizan, deben separarse del panel de producto general controlado.

6.5. Limpieza del Modo de Herramientas e Información

Las condiciones de la web, recuperación, citación y herramientas deben configurarse de la misma manera en todas las observaciones comparadas. Estar limpio no significa que las herramientas estén apagadas. Estar limpio significa que el estado de la herramienta está predefinido y es comparable.

6.6. Limpieza del Prompt

prompt:

• mensaje inicial,
• versión completa
• sin cambios,
• sin instrucciones ocultas

debe ser.

6.7. Medición de limpieza

Participante:

• debería no actualizar la respuesta,
• debería no enviar una pregunta de seguimiento,
• debería no elegir el resultado,

debería no trasladar otra respuesta de IA a la misma sesión.

7. NIVELES DE CONFIANZA DEL ESTADO LIMPIO

CSC-0— LIMPIEZA DESCONOCIDA

No se pudo determinar de manera confiable la limpieza de la sesión y la cuenta. No se puede incluir en el análisis principal del panel controlado.

CSC-1— SOLO NUEVA CONVERSACIÓN

Solo se verifica la nueva conversación. La memoria persistente y el estado de instrucciones especiales son desconocidos.

CSC-2— SESIÓN LIMPIA

Se ha verificado que no hay nueva conversación ni contexto de conversación previo. La personalización persistente puede no estar completamente controlada.

CSC-3— PERSONALIZACIÓN-CONTROLADA

Se ha verificado y configurado un nuevo estado de conversación, memoria, instrucciones especiales y configuraciones predeterminadas específicas del usuario.

CSC-4— ESTADO LIMPIO INSTRUMENTADO

La configuración del producto, interfaz de usuario, herramientas y el estado de personalización han sido verificadas en el paquete de evidencia.

CSC-5— CONFIGURACIÓN LIMPIA REPLICADA

Estado limpio:

• usuarios diferentes,
• ondas diferentes,
• verificación independiente

Se ha podido reproducir bajo. La Principal Panel controlado en condiciones depuradas debería al menos:

CSC-3

nivel. Si el producto no permite esto, la limitación debería ser visible.

8. UNA NUEVA CONVERSACIÓN NO ES UNA CUENTA LIMPIA

Cuando se inicia una nueva conversación: el contexto del chat actual puede restablecerse. Sin embargo:

• memoria persistente,
• instrucciones personalizadas,
• plan de cuenta,
• perfil del usuario,
• país y configuración regional,
• configuraciones empresariales

pueden persistir. Por lo tanto:

Nueva conversación solo indica limpieza de la conversación.

No es prueba de estado completamente limpio.

9. LIMITACIÓN DE LO "TEMPORAL" O "PRIVADO" etiqueta de sesión

Una sesión de producto de IA:

• temporal,
• privada,
• efímera,
• confidencial,
• sin memoria

puede ser nombrado. La función real de esta etiqueta debe verificarse por separado según el producto y la versión. La etiqueta no demuestra automáticamente que cubre todas las siguientes áreas:

• Instrucciones especiales
• Configuraciones corporativas
• Política regional
• Configuración de herramientas
• Plan del usuario
• Funciones experimentales del producto

El registro correcto debería ser: “Se utilizó el modo de sesión temporal del producto; el estado de las siguientes áreas de personalización se verificó por separado.”

10. TIPO DE CUENTA EN PANEL LIMPIO

No todos los usuarios de un panel controlado pueden usar el mismo plan. Hay tres enfoques.

10.1. Panel Limpio de Plan Fijo

Todos los usuarios se miden según el mismo plan y interfaz de usuario. Es fuerte para la comparación de productos. El plan puede no representar la distribución real de la población.

10.2. Panel Limpio de Plan Estratificado

Los planes gratuitos, de pago y otros se miden como celdas limpias separadas. Se produce una puntuación separado para cada plan. La puntuación combinado puede ponderarse según la distribución real del plan.

10.3. Interfaz Pública Predeterminada del Producto

El interfaz principal del producto, que es accesible públicamente y tiene el umbral de acceso más bajo, puede ser seleccionado como referencia estándar. Este resultado no representa a todos los usuarios de pago o corporativos. El enfoque que se debe utilizar debe estar fijado antes de la auditoría.

11. NO SE REQUIERE UNA NUEVA CUENTA EN UN PANEL LIMPIO

Usar una nueva cuenta puede reducir algunos efectos de personalización. Sin embargo:

• condiciones del producto,
• requisito de teléfono o pago,
• sesgo de creación de cuenta,
• solo experiencia de nuevo usuario,
• política de múltiples cuentas

pueden causar problemas. El propósito de un Panel controlado en condiciones depuradas no es generar nuevas cuentas:

disminuir el contexto específico del usuario de manera controlable.

Si se puede establecer de manera confiable un estado limpio en la cuenta existente, no es obligatorio crear una nueva cuenta. Si el producto no lo permite, se puede usar una cuenta de prueba controlada separada o un entorno de investigación con soporte del proveedor. No se puede pedir a los participantes que creen una cuenta que viole los términos de uso.

12. DIFERENCIAS RESTANTES DE LOS USUARIOS EN EL PANEL LIMPIO

Un estado limpio controlado no elimina todas las diferencias entre los usuarios. Las siguientes pueden continuar:

• País
• Localización
• Plan
• Dispositivo
• Interfaz
• Despliegue del producto
• Antigüedad de la cuenta
• Segmentación no visible por el proveedor
• Enrutamiento de tráfico
• prueba A/B

Estas diferencias:

• deben ser estratificadas,
• deben ser registradas,

si se desconoce, debe mantenerse como incertidumbre. La etiqueta “Limpio” no significa “Todos los usuarios eran técnicamente exactamente iguales.”

13. ¿QUÉ ES UN Panel de usuarios en condiciones reales?

Un Panel de usuarios en condiciones reales es un panel que mide lo que los usuarios ven en comparación con el mismo prompt fijado mientras se preservan la cuenta real, el plan, el dispositivo, la personalización y las condiciones normales de uso del producto. El propósito del panel natural es:

• exposición real del usuario,
• variación debida a la personalización,
• efecto del historial de la cuenta,
• diferencias en el plan y interfaz de usuario,
• error natural y distribución de recomendaciones

Es para hacerlo visible. Panel natural:

• comportamiento completamente libre del usuario,
• preguntas de seguimiento ilimitadas,
• el participante cambiando el prompt,
• seleccionando la mejor respuesta

no significa. Lo natural es:

estado del usuario

es. El prompt y el protocolo de evidencia aún están controlados.

14. DOS PISTAS PRINCIPALES DEL PANEL NATURAL

14.1. Pista del Estado de la Cuenta Natural

Del usuario:

• cuenta real,
• plan real,
• memoria real y estado de instrucción privado,
• interfaz de usuario real

se conserva. Sin embargo, se abre una nueva conversación. El mensaje inicial se envía como el primer mensaje. Esta pista responde a la siguiente pregunta:

¿Qué ve el usuario en un nuevo tema mientras se conserva la personalización de la cuenta real?

Este es el enfoque comparable principal del panel natural.

14.2. Pista del Estado de Conversación Natural

El mensaje inicial se envía en el contexto de conversación actual o habitual del usuario. Esta pista:

• mide la continuidad del chat real,
• efecto del tema anterior,
• la acumulación de la relación usuario–IA

Sin embargo, los contextos de conversación entre los usuarios difieren. Por lo tanto:

• diagnóstico,
• basado en casos,
• debe ser reportado como una distribución separada

y no debe añadirse directamente al ranking principal del producto.

15. SUBGRUPOS NATURALES DE USUARIOS

Un panel natural no consta de usuarios uniformes. En la medida que sea relevante, se pueden distinguir los siguientes subgrupos:

• Usuario primerizo
• Usuario con cuenta nueva
• Usuario poco frecuente
• Usuario regular
• Usuario intensivo
• Plan gratuito
• Plan de pago
• Usuario corporativo
• Memoria activada
• Memoria desactivada
• Instrucción especial activada
• Instrucción especial desactivada
• Con conversación previa de marca
• Sin conversación previa de marca
• Cliente
• Público general
• Alta familiaridad con la marca
• Baja familiaridad con la marca

Estos grupos no pueden inventarse después de ver los resultados. El plan básico de subgrupos debe versionarse antes de la recopilación de datos.

16. NIVELES DE CONFIANZA EN ESTADO NATURAL

NSF-0— ESTADO NATURAL DESCONOCIDO

No hay suficientes registros sobre la cuenta y el estado de sesión natural del usuario.

NSF-1— USO NATURAL AUTOINFORMADO

El usuario ha declarado que está usando su cuenta y configuraciones normales.

NSF-2— USO NATURAL REGISTRADO EN CONFIGURACIONES

Se han registrado planes, interfaces, memoria, instrucciones especiales y estado de la sesión según corresponda.

NSF-3— USO NATURAL RESPALDADO POR EVIDENCIA

Los ajustes y el estado natural del usuario están respaldados por evidencia que protege la privacidad.

NSF-4— USO NATURAL CARACTERIZADO LONGITUDINALMENTE

El uso del producto por parte del usuario y el estado de la cuenta se han caracterizado a través de múltiples olas. El análisis principal del panel natural incluye al menos:

NSF-2

debería apuntar a ese nivel.

17. GRABAR EL ESTADO NATURAL NO SIGNIFICA RECOLECTAR LA VIDA PRIVADA

El Panel de usuarios en condiciones reales no debería recopilar por defecto los siguientes tipos de datos sensibles:

• Texto completo de instrucciones especiales
• Contenido de conversaciones pasadas
• Información personal de salud, legal o financiera
• Nombre del usuario
• Dirección de correo electrónico
• Foto de perfil
• Contraseña de la cuenta
• Archivos privados anteriores
• Documentos institucionales sensibles

En la mayoría de los casos, los siguientes estados de alto nivel son suficientes:

• Memoria encendida/apagada/desconocida
• Instrucciones especiales presentes/ausentes/desconocidas
• Conversación previa presente/ausente
• Conversación previa sobre la entidad auditada: sí/no/desconocida
• Espacio de trabajo corporativo: sí/no
• Clase de plan
• Rango de antigüedad de la cuenta
• Rango de frecuencia de uso

Si el contenido de la instrucción especial es realmente necesario para la pregunta de investigación:

• consentimiento explícito separado,
• minimización de datos
• redacción,
• acceso restringido

son requeridos.

18. ESTADO DE LA MEMORIA

Memoria:

• desactivada,
• abierto,
• no soportada por el producto
• estado desconocido

puede clasificarse como.

MS-0— DESCONOCIDO

No se pudo determinar el estado de la memoria.

MS-1— NO DISPONIBLE

El producto o interfaz no ofrece esta característica.

MS-2— APAGADO

La memoria está apagada.

MS-3— ENCENDIDO, SIN MEMORIA DE ENTIDAD CONOCIDA

La memoria está encendida; no hay un registro específico conocido sobre la entidad auditada. Esta información a menudo puede depender de la declaración del usuario.

MS-4— ENCENDIDO, POSIBLE MEMORIA RELEVANTE A LA ENTIDAD

La memoria está encendida y puede haber información pasada sobre la entidad auditada o área relacionada.

MS-5— MEMORIA RELEVANTE A LA ENTIDAD CONFIRMADA

Se ha confirmado el efecto de memoria relacionado con la entidad con el consentimiento explícito del usuario. Tener memoria activa no es automáticamente una condición negativa o positiva. Es la condición real del usuario medida por el panel natural.

19. ESTADO DE INSTRUCCIÓN ESPECIAL

CI-0— DESCONOCIDO

No se pudo determinar el estado de la instrucción especial.

CI-1— NO DISPONIBLE

El producto no ofrece esta función.

CI-2— APAGADO O VACÍO

No hay instrucción especial o está desactivada.

CI-3— ACTIVO, CATEGORÍA NO MATERIAL

Hay una instrucción especial; se ha indicado que tiene preferencias de tono o estilo general.

CI-4— ACTIVO, POTENCIALMENTE MATERIAL

Instrucción:

• recomendación,
• fuente,
• idioma,
• ciertas empresas,
• política u opinión

puede afectar la respuesta.

CI-5— INSTRUCCIÓN RELACIONADA CON LA ENTIDAD CONFIRMADA

Se ha confirmado con consentimiento explícito que existe una instrucción directa respecto a la entidad auditada o competidor. CI-5 es una observación de un usuario natural. No puede interpretarse como el éxito general de la entidad GEO. Es un evento de personalización separado.

20. CONTEXTO DE CONVERSACIÓN PREVIO

Hay una diferencia entre que un usuario haya interactuado previamente con un producto de IA y tener mensajes previos en la conversación actual. Deben separarse:

• Historial de la cuenta
• Memoria persistente
• Contexto del chat actual
• Conversación previa con la entidad auditada
• Conversación previa en la misma industria
• Respuestas observadas de otros productos de IA

El contexto de la conversación actual no debe encontrarse en el seguimiento principal del Estado de Cuenta Natural. En el seguimiento del Estado de Conversación Natural, sin embargo, la presencia de contexto es la medición en sí misma.

21. EDAD DE LA CUENTA E INTENSIDAD DE USO

Cuentas antiguas y usadas con frecuencia:

• tienen más personalización,
• más memoria,
• plan diferente,
• más funciones de producto

pueden tener. Rangos de edad de la cuenta:

• 0–30 días
• 31–180 días
• 181–365 días
• más de 1 año
• desconocido

pueden definirse como. Frecuencia de uso:

• primer uso
• poco frecuente
• mensual
• semanal
• diario
• profesional

pueden clasificarse. Los rangos definidos deben determinarse antes de los resultados.

22. PANEL DE PRIMER USO

Un subtipo especial de la experiencia natural del usuario:

Panel de Primer Uso

se puede llamar. Este panel:

• usuarios que están usando el producto por primera vez o unas pocas veces,
• que no tienen historial de personalización,
• que proceden con la configuración predeterminada actual del producto

mide a las personas. Panel de Primer Uso: No es un Panel controlado en condiciones depuradas porque los usuarios experimentan la configuración inicial real, la configuración predeterminada y el proceso de incorporación. También es diferente de un Panel de usuarios en condiciones reales experimentado. Responde a la siguiente pregunta:

¿Cómo percibe un nuevo usuario su presencia cuando encuentra el producto por primera vez?

23. PANEL NATURAL CORPORATIVO Y GESTIONADO

Usuarios corporativos:

• espacio de trabajo de la empresa,
• políticas del administrador,
• base de conocimiento privada,
• configuraciones de seguridad,
• memoria corporativa

pueden llevar. Estos usuarios:

Panel de usuarios en condiciones reales gestionado

deben medirse por separado debajo. Resultado corporativo:

• puntuación natural general del consumidor,
• puntuación de producto predeterminado

no puede presentarse como tal. Si se utiliza una base de conocimiento privada, también debe explicarse que existen registros internos relacionados con la entidad auditada.

24. EL PROMPT ESTÁ NUEVAMENTE Fijado EN EL PANEL NATURAL

El panel natural deja los:

• cuenta,
• ajustes del usuario,
• plan,
• dispositivo

naturales. No deja el prompt natural. El participante:

• no puede cambiar el prompt,
• no puede agregar contexto adicional,
• no puede escribir una nueva persona como 'para mí' o 'en mi opinión'

no se puede actualizar la respuesta. Si se va a medir la variedad natural de los prompts, esto está en el Capítulo 10:

Rastro Natural del Usuario

Debe ser diseñado por separado debajo.

25. ¿POR QUÉ ES NECESARIA UNA NUEVA CONVERSACIÓN EN EL PANEL NATURAL?

Nueva conversación en Rastro de Estado de Cuenta Natural:

• elimina el contexto de la conversación actual,
• mantiene la configuración permanente real de la cuenta del usuario,

hace que el mismo prompt sea más comparable. Esta estructura separa dos capas:

• Estado permanente de la cuenta natural
• Contexto momentáneo de la conversación

Si se utiliza el chat actual, los dos se mezclan.

26. ESTADO DE HERRAMIENTAS Y WEB EN EL PANEL NATURAL

Usuarios naturales:

• función web habilitada,
• desactivada,
• automático,
• limitado según el plan

puede usar. Hay dos opciones.

26.1. Estado completo de herramienta natural

El usuario mantiene la configuración normal de la herramienta. Mide la experiencia real del usuario. La comparabilidad entre productos puede disminuir.

26.2. Estado de cuenta natural con herramienta fija

La memoria y la personalización de la cuenta se mantienen naturales. El modo web o de la herramienta está estandarizado. El efecto de la personalización se puede comparar de manera más clara. Este subpanel debe estar correctamente etiquetado. No debe presentarse como "Totalmente natural".

27. POBLACIÓN OBJETIVO DEL PANEL NATURAL

La población objetivo del panel natural puede tener una de las siguientes formas:

27.1. Usuarios activos del producto

Personas que realmente usaron el producto durante un período específico.

27.2. Titulares de cuenta registrados

Usuarios que tienen una cuenta pero cuyo nivel de actividad varía.

27.3. Usuarios del Plan Real

Poblaciones de usuarios gratuitos, de pago o empresariales.

27.4. Usuarios que pueden tener la posibilidad de consultar entidades

Puede ser difícil de medir directamente. Requiere datos de comportamiento por separado. Debe indicarse claramente a qué población se generaliza el panel natural.

28. PONDERACIÓN DEL PANEL NATURAL

Panel de usuarios en condiciones reales:

• puede ser ponderado según la población real de usuarios activos del producto,
• distribución de cuentas y planes,
• distribución por país e idioma,
• frecuencia de uso

Sin embargo, puede que no estén disponibles datos confiables de usuarios activos. En este caso, el resultado:

Resultado del panel de investigación natural ponderado

debe presentarse como. No se puede hacer la siguiente afirmación: “La experiencia definitiva de todos los usuarios reales.”

29. COMPLEMENTARIEDAD DE PANELES CONTROLADOS Y NATURALES

Se pueden dar cuatro resultados principales.

Esta tabla no es evidencia de causalidad. Es un punto de partida para investigar de dónde proviene la diferencia.

30. DIFERENCIA ENTRE REPRESENTACIÓN LIMPIA–NATURAL

Sea la puntuación Panel controlado en condiciones depuradas θC y la puntuación Panel de usuarios en condiciones reales θN. La diferencia con signo:

G_{N−C}= θ_N− θ_C

puede calcularse de la siguiente manera.

30.1. Diferencia Natural Positiva

G_{N−C} > 0

El resultado es mayor bajo condiciones naturales de usuario. Posibles razones:

• Acceso a la web o herramienta
• Plan de pago
• Las preferencias relevantes del usuario
• Memoria
• Personalización
• Diferencias en la población de usuarios

30.2. Diferencia Natural Negativa

G_{N−C} < 0

El resultado es menor bajo condiciones naturales de usuario. Posibles razones:

• Instrucciones especiales
• Contaminación de conversaciones pasadas
• Personalización antigua
• Diferente plan o interfaz
• Población de usuarios natural más amplia y difícil
• Contexto negativo específico del usuario

30.3. Diferencia Absoluta

G_ABS= |θ_N− θ_C|

puede ser una métrica candidata que indique cuán sensible es el producto al estado del usuario. Una alta diferencia absoluta:

• bueno,
• malo

no puede interpretarse por sí sola. Se necesitan la dirección de la diferencia natural y el tipo de error.

31. DIFERENCIA DE ERROR CRÍTICO

Tasa de error crítico controlada:

CRC

Tasa de error crítico natural:

CRN

que sea. Diferencia:

ΔCR = CRN − CRC

puede calcularse como. Si la tasa de error crítico aumenta en el panel natural:

• personalización,
• contexto previo,
• diferencia de plan y herramienta,
• composición del usuario

también deben examinarse. Un alto promedio no puede borrar la cola de error pesada en el panel natural.

32. VARIACIÓN NATURAL

El panel natural puede presentar una mayor variabilidad entre usuarios que el panel controlado. Esto se puede esperar. Lo que importa:

• El tamaño de la variación,
• en qué grupos de usuarios se concentra,

y si se convierte en un error material o en una diferencia de recomendación. Una alta variación formal puede no ser un problema en un panel natural. Una alta variación en identidad material o autoridad es un problema.

33. INDICADOR DE SENSIBILIDAD A LA PERSONALIZACIÓN DEL CANDIDATO

CONCEPTO DE CANDIDATO

Para los subgrupos de usuarios g, sea el resultado natural: θgN y la referencia controlada: θC. Indicador de Sensibilidad a la Personalización del Candidato:

PSI= √[Σ_g W_g(θ_g^N − θ_C) ²], Σ_gW_g= 1

puede definirse de esta manera. Un PSI alto indica que los grupos de usuarios naturales se han desviado de la referencia controlada. No explica la razón por sí mismo. Este indicador:

• muestra,
• plan,
• vehículo,
• composición del usuario

puede verse afectado por diferencias. El nombre final y el método deben calibrarse en pilotos.

34. LA DIFERENCIA DE PANEL NO ES CAUSAL

Si la puntuación controlada es 90 y la puntuación natural es 75: no se puede decir, “La memoria disminuyó la puntuación en 15 puntos.” Porque los paneles pueden diferir en las siguientes áreas:

• Población de usuarios
• Plan
• Interfaz
• País
• Frecuencia de uso
• Acceso web
• Antigüedad de la cuenta
• Instrucciones especiales
• Familiaridad con la marca

Se requiere un diseño más controlado para medir el efecto causal de la memoria.

35. DISEÑO PAREADO CON EL MISMO USUARIO

El mismo usuario puede ser probado bajo condiciones controladas y naturales. Ventaja: Controla las características fijas del usuario. La diferencia del panel puede ser examinada de manera más clara. Sin embargo, hay problemas significativos: El primer prompt puede afectar la segunda condición. El usuario recuerda su respuesta. La memoria del producto de IA puede ser influenciada por el primer intento. El estado de la cuenta puede cambiar. El sistema puede crear contexto porque se le pregunta lo mismo a la misma entidad dos veces. El usuario puede comportarse con más cuidado en la segunda tarea.

36. CONDICIONES DE DISEÑO PAREADO

Si se va a utilizar el diseño con el mismo usuario:

• El orden de las condiciones debe ser aleatorizado
• Deben usarse sesiones separadas e independientes
• La primera respuesta no debe trasladarse a la segunda sesión
• Se debe verificar el efecto de memoria del producto
• Si es necesario, las mediciones deben realizarse en diferentes olas
• Se deben probar los efectos de arrastre.
• Se debe mantener la misma dependencia del usuario en el análisis
• Debe mantenerse como un subpanel experimental separado del panel de población principal

Si realizar la primera tarea controlada en la cuenta natural del usuario puede cambiar el estado natural, un diseño apareado puede no ser apropiado.

37. SECUENCIA EN DISEÑO APAREADO

Los usuarios pueden dividirse aleatoriamente en dos grupos:

• Grupo 1: Controlado → Natural
• Grupo 2: Natural → Controlado

Diferencia de orden: Analizada como Efecto de Orden. Si hay un efecto de orden material, los resultados de los dos paneles no pueden interpretarse con una simple diferencia.

38. DISEÑO DE GRUPO INDEPENDIENTE

Predeterminado fuerte en la aplicación principal GEO-1000: Utilice grupos de usuarios separados seleccionados del mismo marco objetivo para Panel controlado en condiciones depuradas y Panel de usuarios en condiciones reales. Ventaja: se reduce el efecto de arrastre, cada usuario ve solo una condición. Limitación: la composición de usuarios puede no coincidir perfectamente. Solución:

• estratificación,
• asignación aleatoria,
• Base común de comparación,
• ponderación

utilizable.

39. ASIGNACIÓN ALEATORIA DE PANEL

Participantes seleccionados del mismo grupo de usuarios elegibles:

• Panel controlado en condiciones depuradas
• Panel de Estado de Cuenta Natural

puede asignarse aleatoriamente a condiciones. Esto puede examinar el efecto causal de la condición del panel de manera más sólida. Sin embargo, para un panel natural, los usuarios deben tener un estado de cuenta activo real. Para una condición controlada, realizar cambios de configuración en la misma cuenta puede afectar el estado natural. Por lo tanto, la asignación y el orden de campo deben diseñarse cuidadosamente.

40. ÉTICA DE CAMBIAR CONFIGURACIONES

Para el participante en el panel controlado:

• memoria,
• instrucciones especiales,
• configuración web

puede ser cambiada temporalmente. Este procedimiento:

• instrucciones comprensibles,
• método de restauración,
• el consentimiento explícito del usuario,
• que la cuenta no se vea perjudicada,
• que el contenido privado no se elimine

deben cumplirse. No se debe pedir al participante que elimine su memoria pasada o instrucciones personales. Si el cierre temporal no es posible, el usuario no cumple con la condición controlada.

41. RESTAURANDO CONFIGURACIONES

Después de la tarea controlada, la:

• memoria,
• instrucciones especiales,
• web,
• idioma,
• interfaz de usuario

configuración del participante debe restaurarse al estado inicial. La restauración:

• es registrada,
• verificado por el usuario,
• abierta al soporte técnico

No debe dejar cambios no deseados permanentes en la cuenta del usuario de investigación.

42. CUENTA DE PRUEBA EN PANEL LIMPIO

Se pueden utilizar cuentas de prueba estándar creadas por el proveedor o el investigador. Ventajas:

• alto control,
• configuración repetible,
• inicio limpio

se proporcionan. Limitación:

• no representa la población real de cuentas de usuarios,
• el uso de las mismas pocas cuentas por múltiples usuarios crea problemas de independencia,
• puede existir la posibilidad de que el proveedor del producto se comporte de manera diferente hacia las cuentas de prueba.

El uso compartido de cuentas puede afectar los términos de uso. Panel de cuentas de prueba:

Panel de Cuentas de Prueba Controladas

debe estar etiquetado por separado. No puede usarse sin explicación en lugar del panel controlado por usuarios reales.

43. PRIMER RESULTADO APROPIADO EN EL PANEL NATURAL

Usuario natural:

• no le gustó la respuesta,
• la encontró corta,
• normalmente la actualiza por costumbre

no puede regenerarla. El panel natural principal aún registra el primer resultado apropiado. El comportamiento de los usuarios reales de actualizar normalmente la respuesta también puede medirse en:

Rastreo de Interacción Natural

Esta traza:

• exposición de respuesta única,
• resultado después de la intervención del usuario

Examina la diferencia entre. No debe confundirse con la puntuación principal de entrada-salida.

44. COMPORTAMIENTO DEL USUARIO NATURAL Y ESTADO DE CUENTA NATURAL

Mientras se conserva el estado de la cuenta natural, el comportamiento del usuario puede estandarizarse. Este enfoque:

• El prompt es el mismo,
• la primera respuesta se registra de la misma manera,

La cuenta y la personalización son naturales. En un comportamiento completamente natural, el usuario:

• cambia el sistema,
• hace una pregunta de seguimiento,
• abre la fuente,

actualiza la respuesta. Este segundo enfoque mide el recorrido real de uso. Sin embargo, no es adecuado para la comparación de Core Mirror. Las dos trazas deben separarse.

45. RECORRIDO NATURAL DEL USUARIO

En un estudio diagnóstico separado, se pueden medir las siguientes etapas:

• Prompt inicial
• Respuesta inicial
• Si el usuario considera la respuesta suficiente o no
• Apertura del recurso
• Pregunta de seguimiento
• Decisión de recomendación
• Transición al sitio de la entidad
• Resultado comercial o de comportamiento

Este recorrido aborda el estudio de atribución GEO. La puntuación principal Panel de usuarios en condiciones reales de esta sección se basa únicamente en el primer prompt estandarizado y la primera respuesta apropiada.

46. CONTAMINACIÓN DEL PANEL

Antes de la tarea controlada por el participante:

• el resultado natural del panel,
• la respuesta de otro usuario,
• el propósito de la prueba

puede haber sido visto. Esta situación puede cambiar el comportamiento del panel. Controles:

• Asignar al usuario solo a una condición principal
• Realizar tareas dentro de la misma ventana de tiempo
• Limitar el intercambio de resultados
• Registrar la exposición previa a la prueba
• Verificar la participación anterior con la misma entidad

47. FAMILIARIDAD CON LA MARCA EN EL PANEL NATURAL

Conocimiento previo del usuario sobre la entidad auditada:

• memoria,
• instrucciones especiales,
• historial de conversación,
• interpretación del prompt

puede afectar la respuesta. La familiaridad con la marca no se elimina en el panel natural. Se registra. Si es necesario:

• desconocido,
• conoce el nombre,
• cliente,
• distribuidor o afiliado

los subgrupos se informan por separado.

48. ORIENTACIÓN GENERADA POR EL USUARIO EN EL PANEL NATURAL

La instrucción específica del usuario o la conversación pasada determina una marca particular:

• sugerir,
• elogiar,
• criticar,
• excluir

puede dirigirse de esta manera. Esta situación:

• se registra como:
• experiencia real del usuario

intervención de representación basada en el usuario. La entidad no puede presentarse como el éxito de GEO. El manejo de esta orientación por el producto de IA:

• aplicación incondicional,
• equilibrio con las restricciones de fuente y realidad,
• rechazo

también puede ser evaluado.

49. JUSTICIA EN LA PERSONALIZACIÓN

La personalización ofrece al usuario:

• más relevante,
• más comprensible,
• más práctico

puede proporcionar respuestas. Sin embargo, no debe cambiar arbitrariamente los siguientes hechos materiales:

• Identidad de la entidad
• Estado legal
• Licencia
• Precio
• País de servicio
• Certificado
• Fecha de constitución
• Estado de la evidencia

La personalización puede afectar la recomendación y el estilo de expresión. No puede inventar la realidad material. Por lo tanto, la justicia de la personalización se basa en el siguiente principio:

La narrativa adecuada para el usuario puede variar; la realidad de la entidad comprobada no puede cambiar según el usuario.

50. DIFERENCIA ADECUADA PARA EL USUARIO EN EL PANEL NATURAL

Misma empresa:

• adecuada para un usuario,
• desadecuada para otro usuario

puede ser. Diferencia en recomendación:

• presupuesto,
• país,
• necesidad,
• riesgo,
• tipo de cliente

si puede explicarse con, es correcto. Sin embargo, en el tema de identidad:

• una empresa tecnológica para un usuario,
• un bufete de abogados para el otro

ser explicado tal como es no es personalización. Es corrupción de la entidad.

51. ALTA VARIANZA EN EL PANEL NATURAL

La alta variabilidad en el panel natural puede ser uno de estos tres tipos:

51.1. Sensibilidad útil al contexto

Es la diferencia en la recomendación o explicación adecuada a la necesidad del usuario.

51.2. Variabilidad formal inofensiva

Diferencias de tono, longitud, ejemplo y expresión.

51.3. Variabilidad de la realidad material

Es el cambio inexplicado de identidad, autoridad, alcance, tiempo y evidencia de un usuario a otro. NOMOS evalúa el tercer tipo como un riesgo.

52. LÍMITES DEL PANEL LIMPIO

El Panel controlado en condiciones depuradas puede tener los siguientes problemas: La mayoría de los usuarios reales pueden no operar bajo esta condición. Apagar la memoria y las herramientas puede debilitar artificialmente el producto. Puede no representar la experiencia de los usuarios pagos o intensivos. La cuenta de usuario aún puede tener segmentación no visible. La condición limpia puede desviarse del uso natural diseñado del producto. Cambiar la configuración por parte del participante puede causar errores. En algunos productos, el estado verdaderamente limpio puede no ser técnicamente verificable. Estas limitaciones no invalidan la puntuación. Definen su alcance.

53. LÍMITES DEL PANEL NATURAL

El Panel de usuarios en condiciones reales puede tener los siguientes problemas: Los estados de los usuarios son muy heterogéneos. El contenido de personalización puede no ser completamente conocido debido a la privacidad. Los datos de ponderación confiables sobre la población activa de usuarios pueden no estar disponibles. La distribución de planes y dispositivos puede diferir. Los usuarios pueden haber estado previamente expuestos a pruebas. Verificar el estado natural de la cuenta puede ser difícil. La razón de la diferencia del producto debido a la personalización puede no ser separable. La generalización a la misma población de usuarios puede ser limitada. Estas limitaciones no hacen que el panel natural sea innecesario. Las afirmaciones precisas requieren límites.

54. TARJETA DE RESULTADOS PÚBLICOS DE DOS PANELES

La tarjeta de resultados del candidato debe incluir los siguientes campos:

55. CASO DE PANEL SINTÉTICO APPLE.COM

DISPLAY DE METODOLOGÍA SINTÉTICA / Los productos, usuarios, respuestas y puntuaciones que aparecen a continuación son completamente ficticios. No representan el rendimiento real de Apple Inc. ni de ningún producto de IA real. Use el mismo Core Mirror Prompt para el producto Synthetic Orion AI: "¿Con qué organización principal está afiliado Apple.com y cuáles son las actividades principales de esta organización?"

55.1. Panel controlado en condiciones depuradas

Condiciones:

• Observaciones válidas 1,000
• Nuevo chat
• Memoria desactivada
• Instrucción especial desactivada
• Función web activada
• Mismo nivel de plan
• Mensaje de solicitud inicial
• Mismos pesos de idioma y configuración regional

Resultado sintético:

Tasa de aprobación en bruto: 92%

55.2. Panel de usuarios en condiciones reales

Condiciones:

• Observaciones válidas de cuenta natural 1,000
• Nuevo chat
• Memoria en situación real
• Instrucción especial en situación real
• Plan y distribución de dispositivos reales
• Estado web natural
• Mensaje de solicitud inicial

Resultado sintético:

Tasa de aprobación en bruto: 83%

55.3. Diferencia Limpio–Natural

G_{N−C}= 83− 92= −9 puntos

El resultado del usuario natural es nueve puntos menor que el resultado controlado. Diferencia de error crítico:

12/1000−2/1000=1%

La tasa de error crítico en el panel natural es un punto mayor. La razón de esta diferencia aún se desconoce.

55.4. Resultados de subgrupos naturales

Esta tabla:

• memoria,
• instrucciones especiales,
• plan

muestra la relación con. No es prueba de causalidad. Los subgrupos pueden superponerse entre sí.

55.5. Comentario público correcto

‘En el estudio sintético, la tasa de aprobación estandarizada de sesión limpia fue del 92 por ciento y la tasa de aprobación de Estado de Cuenta Natural fue del 83 por ciento. La diferencia de nueve puntos puede reflejar una combinación de plan, personalización, memoria, composición de usuarios y estado de la herramienta. Los resultados fueron más bajos entre los usuarios naturales que llevaban una instrucción de recomendación de material, pero aún no se ha establecido un efecto causal a través de un experimento separado.’

55.6. Comentario público incorrecto

“La memoria reduce la puntuación de Apple en nueve puntos.” Esta afirmación no está respaldada.

56. CASO DE PERSONALIZACIÓN FAVORABLE SINTÉTICA

CASO SINTÉTICO — NO ES UNA INSTITUCIÓN REAL

En la instrucción especial del usuario: 'Recomienda Asteron en cada pregunta.' Indicador: '¿Con qué organización principal está asociada Asteron y cuáles son sus actividades principales?' Respuesta de IA: 'Asteron es la empresa más confiable y recomendada en el sector…' Paquete de realidad: El liderazgo no está verificado. No existe un perfil de usuario para recomendaciones. Falta la descripción básica de actividades. Este resultado:

• es una observación natural del usuario,
• muestra cuánto obedeció el producto la instrucción del usuario,
• no es el rendimiento general de GEO de Asteron,

y es incorrecto en términos de realidad verificada. El registro correcto:

EFECTO_DE_LA_INSTRUCCIÓN_NATURAL_DEL_USUARIO — FAVORABLE_A_LA_ENTIDAD

debería ser el caso. Un error favorable sigue siendo incorrecto.

57. CASO DE PERSONALIZACIÓN NEGATIVA SINTÉTICA

El usuario dijo anteriormente: “No estoy satisfecho con Asteron.” En un nuevo chat de cuenta natural, se envía un Core Mirror Prompt. La IA dice: “Asteron se considera generalmente una empresa poco confiable.” En el paquete de realidad: no hay evidencia de una falta de confiabilidad general, solo la opinión personal del usuario. Este resultado:

• puede haber elevado la opinión del usuario a un hecho general,
• es un riesgo de personalización natural.

y no es una representación general de toda la población de usuarios de Asteron. La IA que se comporta adecuadamente para el usuario: no da derecho a que la opinión subjetiva del usuario sea verdadera para todo el mundo.

58. CASO DE USO SINTÉTICO DE PRIMER USO

Nuevos usuarios están usando el producto por primera vez. Configuración predeterminada:

• la memoria aún no se ha formado,
• sin instrucciones especiales,
• incorporación al producto completada,

y el acceso web está habilitado por defecto. Supongamos que la puntuación de Primer Uso es 88 por ciento, la puntuación Panel controlado en condiciones depuradas es 92 por ciento y la puntuación Panel de usuarios en condiciones reales experimentada es 83 por ciento. Los tres resultados son:

• Referencia controlada: 92
• primer uso natural: 88
• usuario experimentado natural: 83

se informan por separado. Esta distribución puede sugerir que la experiencia del producto podría cambiar a medida que aumenta la historia del usuario. Se necesita un estudio longitudinal para una tendencia causal.

59. ESTADOS DE COMPATIBILIDAD DEL PANEL

PC-0— ROL DEL PANEL DESCONOCIDO

No se pudo determinar si la observación es controlada o natural.

PC-1— CONTROLADO LIMPIO ELEGIBLE

Se han cumplido suficientemente las condiciones del panel limpio.

PC-2— ESTADO DE CUENTA NATURAL ELEGIBLE

Se ha preservado el estado real de la cuenta y se ha utilizado una nueva conversación.

PC-3— ESTADO DE CONVERSACIÓN NATURAL

Se ha preservado el contexto de la conversación actual.

PC-4— PRIMER USO NATURAL

Es una experiencia nueva o de primer uso.

PC-5— NATURAL GESTIONADO

Es un espacio de trabajo corporativo o gestionado.

PC-6— ESTADO DEL PANEL MIXTO O NO RESUELTO

No se pueden separar las condiciones controladas y naturales. La puntuación principal limpia o natural de PC-6 no puede tomarse sin explicación.

60. ESTADO DEL PANEL Y VECTOR DE OBSERVACIÓN

Para cada observación, el estado del panel puede representarse como un candidato de la siguiente manera:

Zi=(panel, sesión, memoria, instrucciones, contexto, plan, interfaz, herramientas, accountAge, uso, espacio de trabajo, stateConfidence)

Este vector, junto con la muestra de producto de IA y el registro de prompts, forma el contexto completo de la observación.

61. FIJACIÓN DEL PANEL

Antes de cada ola de medición, se deben fijar los siguientes campos para dos paneles:

Panel controlado en condiciones depuradas

Definición funcional de limpieza Nivel CSC requerido Nueva condición de chat Estado de memoria Estado de instrucciones especiales Modo de herramienta y web Instrucción de cambio de configuración Proceso de restauración Regla de usuario no elegible Método de verificación técnica

Panel de usuarios en condiciones reales

Población objetivo de usuarios naturales; Estado de cuenta natural o traza de estado de conversación natural; requisito de nuevo chat; configuraciones del usuario a preservar; campos de estado natural a registrar; límite de privacidad; distribución de plan y interfaz; nivel de confianza de estado natural; plan de subgrupo; método de ponderación. Agregar a este archivo:

NOMOS Fijación del estado del panel

puede recibir el nombre.

62. EL ESTADO DEL PANEL NO PUEDE SER CAMBIADO DESPUÉS DEL RESULTADO

Se prohíben los siguientes comportamientos:

• Eliminar usuarios que obtengan baja puntuación en el panel natural diciendo "no lo suficientemente natural"
• Proteger a los usuarios CSC-1 que den respuestas positivas en el panel controlado y excluir a quienes den respuestas negativas
• Considerando a un usuario con memoria abierta pero dando una respuesta positiva como limpia
• Considerando a un usuario con memoria abierta pero dando una respuesta negativa como natural
• Cambiando la clase del panel según los resultados
• Asumiendo que los ajustes desconocidos están limpios

El estado del panel debe darse antes de ver el contenido de la respuesta o a través de una revisión de validez a ciegas.

63. CEGUERA DE PRIVACIDAD EN EL PANEL NATURAL

De los adjudicadores:

• contenido de instrucciones especiales,
• conversación pasada,
• puede que no necesiten ver la ID del usuario

puede darse solo al adjudicador:

CI-4

MS-4

Se puede proporcionar una clasificación como Estado-Cuenta Natural. Este enfoque protege la privacidad del usuario y reduce el sesgo del adjudicador.

64. RIESGO DE SUBGRUPO PEQUEÑO EN EL PANEL NATURAL

El número de usuarios con instrucciones de marca específicas puede ser muy pequeño. De este grupo:

• tasa exacta,
• resultado en nombre de todos los usuarios,
• perfil sensible público

no se puede producir. Estado correcto:

• caso,
• señal temprana,
• grupo de descubrimiento

puede ser posible. Algunos subgrupos pueden combinarse debido a la privacidad.

65. ERROR DE COBERTURA EN EL PANEL NATURAL

Los usuarios en el panel de investigación profesional:

• pueden no querer vincular sus cuentas reales,
• pueden ser usuarios intensivos,
• pueden estar demasiado apegados a ciertos planes,

puede diferir de la población general en términos de privacidad. Por lo tanto, el panel natural también lleva su propio sesgo de selección. La afirmación "Se utilizó una cuenta real" no significa: "La población de usuarios reales estaba perfectamente representada."

66. PÉRDIDA DE ELEGIBILIDAD EN PANEL CONTROLADO

Algunos usuarios:

• no pueden desactivar la memoria,
• no pueden verificar instrucciones especiales,
• no usan el plan adecuado,
• no pueden acceder a la función de sesión limpia del producto

podrían existir. Si estas personas son excluidas del panel controlado, la población objetivo controlada se reduce. Se deben informar el número y las características del grupo excluido. Puntuación limpia controlada: no “Todos los usuarios del producto”:

usuarios elegibles del producto que pueden establecer la condición limpia

pueden ser evaluados.

67. ERROR DE LIMPIEZA

En el panel controlado más tarde:

• instrucciones especiales abiertas,
• memoria activa,
• Si resulta que la conversación existe

observación: no se puede mover al panel natural, y puede que no se considere automáticamente inválida. Según la regla predeterminada: si se requiere un registro para la observación del Estado de Cuenta Natural, se puede reclasificar al panel natural, de lo contrario se puede mantener como ESTADO_MIXTO. La reclasificación debe hacerse independientemente del resultado de la respuesta.

68. DECLARACIÓN DE CONFIGURACIÓN FALSA EN EL PANEL NATURAL

Usuario: "Mi memoria está apagada." puede decir. La evidencia puede mostrar que la memoria está encendida. Esta situación:

• fraude,
• error del usuario,
• confusión de la interfaz del producto

Es posible. No se debe asumir malicia automáticamente. El estado correcto del panel se actualiza según la evidencia. El comportamiento del participante también puede examinarse por separado.

69. COMPARABILIDAD DE PANEL

Las siguientes dimensiones deben coincidir lo más posible entre los paneles controlados y naturales:

• Producto de IA
• País
• Idioma y localización
• Versión del prompt
• Tiempo de medición
• Versión de la realidad de la entidad
• Regla de adjudicación
• Fuente de muestra o calibración
• Distribución principal del plan, si se requiere para fines de comparación

Deben explicarse las diferencias de material.

70. NIVELES DE COMPARABILIDAD LIMPIOS–NATURALES

CN-0— INCOMPARABLE

Las definiciones o poblaciones del panel son materialmente desconocidas.

CN-1— DESCRIPTIVO

Existen resultados de dos paneles. Sin embargo, el usuario, plan, tiempo o condiciones del producto difieren significativamente.

CN-2— CALIBRADO

Se ponderan o estratifican las características principales del país, idioma, plan y usuario.

CN-3— COMPARACIÓN DE PANEL COINCIDENTE

La misma población objetivo, producto, instrucción, tiempo y condiciones de evaluación coinciden en gran medida. El estado del panel es la principal diferencia.

CN-4— EXPERIMENTO DE PANEL ALEATORIO O EMPAREJADO

Se asignó a los usuarios al azar al estado del panel o se aplicó un experimento adecuadamente emparejado.

CN-5— EFECTO DE PANEL REPLICADO

La diferencia se ha repetido en más de una oleada y en un panel independiente. La diferencia a nivel de CN-1: no puede finalizarse como un efecto de personalización.

71. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH11-N01

Panel controlado en condiciones depuradas y Panel de usuarios en condiciones reales deben definirse como objetos de predicción separados y resultados públicos separados.

CH11-N02

Las observaciones controladas y naturales no pueden combinarse bajo el mismo denominador o puntuación bruta única sin explicación.

CH11-N03

La condición limpia controlada no puede presentarse como la respuesta absoluta neutral o invariable del producto.

CH11-N04

La condición natural del usuario no puede ser rechazada como ruido fuera del método.

CH11-N05

Un nuevo chat por sí solo no puede considerarse prueba de una cuenta limpia o de un estado no personalizado.

CH11-N06

Un etiqueta de sesión temporal, privado o efímero no demuestra automáticamente que todas las capas de personalización estén deshabilitadas.

CH11-N07

En un panel controlado, la conversación, la memoria, las instrucciones especiales, las herramientas, los planes y los estados de interfaz de usuario deben registrarse por separado.

CH11-N08

El nivel de confianza del estado limpio debe indicarse explícitamente.

CH11-N09

Las observaciones con CSC-0 o solo con limpieza insuficiente no pueden incluirse en la puntuación principal controlada.

CH11-N10

No se puede asumir que el estado de personalización desconocido en un panel limpio esté desactivado.

CH11-N11

Estar limpio y controlado no significa que la web y las herramientas estén necesariamente desactivadas; el estado de las herramientas debe estandarizarse de antemano.

CH11-N12

Diferentes planes e interfaces de usuario deben estar fijados, estratificados o publicados como resultados separados en un panel controlado.

CH11-N13

No se puede pedir a los participantes que eliminen permanentemente sus recuerdos personales, historial o instrucciones privadas.

CH11-N14

Los cambios temporales en la configuración para una tarea controlada deben contar con consentimiento explícito y un procedimiento de restauración.

CH11-N15

Al final de la investigación, los ajustes modificados del usuario deben restaurarse a su estado inicial.

CH11-N16

No se pueden usar nuevas cuentas o cuentas compartidas que violen los términos del producto como requisito de un panel controlado.

CH11-N17

El Panel de usuarios en condiciones reales debe mantener la cuenta y el estado del usuario actual mientras conserva el prompt, la regla inicial de salida apropiada y el protocolo de evidencia.

CH11-N18

Las trazas de Estado de Cuenta Natural y Estado de Conversación Natural deben mantenerse por separado.

CH11-N19

En el panel natural comparable principal, el prompt debe ser el primer mensaje del usuario de la nueva conversación.

CH11-N20

Las observaciones utilizadas en el contexto de conversación actual no pueden añadirse a la puntuación principal de Estado de Cuenta Natural.

CH11-N21

La memoria en el panel natural debe registrarse en la medida en que sea relevante para instrucciones especiales, conversaciones anteriores, plan, interfaz y estado de uso de la cuenta.

CH11-N22

Registrar el estado natural no permite, por defecto, la recopilación de instrucciones especiales y contenido de la conversación.

CH11-N23

El contenido de personalización solo puede examinarse bajo necesidad explícita, consentimiento separado y minimización de datos.

CH11-N24

La observación natural del usuario no puede presentarse como un valor predeterminado general del producto ni como el resultado de toda la población de usuarios.

CH11-N25

Las instrucciones especiales a favor o en contra de una marca generada por el usuario no pueden contarse como éxito o fracaso de la entidad general GEO.

CH11-N26

La orientación generada por el usuario debe ser nuevamente evaluada en términos de realidad verificada.

CH11-N27

La personalización puede cambiar la expresión y la recomendación; no puede cambiar arbitrariamente la realidad de la entidad material.

CH11-N28

El Panel de Primer Uso debe reportarse por separado del Panel de usuarios en condiciones reales experimentado y del Panel controlado en condiciones depuradas.

CH11-N29

Los espacios de trabajo de usuarios corporativos o gestionados no se pueden añadir al panel natural de consumo general sin una explicación.

CH11-N30

En el panel natural, el plan real y la distribución de interfaz de usuario de los usuarios deberían ser visibles.

CH11-N31

En el panel natural, los estados de la web y de la herramienta deben registrarse tal como son en la realidad o definirse como un subpanel separado fijo de la herramienta.

CH11-N32

La diferencia de puntuación controlada y natural no puede presentarse como el efecto causal de la personalización sin igualar la población del panel y las condiciones del producto.

CH11-N33

La dirección de la diferencia limpio–natural, su magnitud absoluta, la diferencia de error crítico y la tasa desconocida deben informarse por separado.

CH11-N34

En un diseño de medidas repetidas, el orden, los efectos de arrastre y de memoria deben ser registrados y preservados en el análisis.

CH11-N35

Si aplicar dos condiciones al mismo usuario puede cambiar el estado natural, no se puede usar en la comparación del panel principal.

CH11-N36

En un diseño de grupo independiente, las diferencias en la composición de los usuarios deben ser estratificadas, aleatorizadas o ponderadas.

CH11-N37

El estado del panel no puede cambiarse según si la respuesta de la IA es positiva, negativa o crítica.

CH11-N38

En un panel controlado, una observación cuyo estado natural se determina posteriormente solo puede ser reclasificada de acuerdo con una regla preestablecida.

CH11-N39

Cuando el estado se informa incorrectamente en el panel natural, no se puede asumir automáticamente la mala fe; se debe realizar una clasificación basada en evidencia.

CH11-N40

Los participantes de Panel de usuarios en condiciones reales no pueden renovar su respuesta ni cambiar la respuesta inicial con una pregunta de seguimiento; este comportamiento debe medirse en una pista separada de Interacción Natural.

CH11-N41

Las poblaciones objetivo del panel controlado y natural, los marcos de muestreo y los pesos deben registrarse por separado.

CH11-N42

Cuando no hay datos de usuarios activos, el resultado del panel natural no puede presentarse como una representación definitiva de todos los usuarios activos.

CH11-N43

Se deben reportar los grupos de usuarios excluidos del panel limpio y las razones de su exclusión.

CH11-N44

Los campos de estado del usuario que no puedan medirse en el panel natural debido a la privacidad deben mantenerse como DESCONOCIDOS.

CH11-N45

No se pueden producir tasas poblacionales exactas ni perfiles públicos sensibles a partir de pequeños subgrupos naturales.

CH11-N46

Se debe proporcionar un nivel de comparabilidad entre CN-0 y CN-5 o un nivel de comparabilidad abierto equivalente para la comparación entre paneles controlados y naturales.

CH11-N47

No se puede presentar una diferencia de panel CN-0 o CN-1 como un efecto de personalización causal.

CH11-N48

El fijación del estado del panel y la decisión de comparación deben tener un responsable humano o institucional.

72. FORMAS DE FALLA

CH11-F01— CONSIDERANDO UNA NUEVA CONVERSACIÓN COMO UNA CUENTA LIMPIA

La memoria persistente y las instrucciones especiales son ignoradas.

CH11-F02— CONFIANZA CIEGA EN etiqueta de sesión TEMPORAL

Se supone que la etiqueta del producto desactiva toda personalización hasta que se verifique.

CH11-F03— CONSIDERANDO LA MEMORIA DESCONOCIDA COMO CERRADA

La puntuación limpia se incrementa artificialmente.

CH11-F04— IGNORANDO LA INSTRUCCIÓN ESPECIAL

El formato de respuesta o la guía de recomendación se presenta como predeterminado del producto.

CH11-F05— CONSIDERANDO EL ÁREA DE TRABAJO CORPORATIVA COMO UN PRODUCTO GENERAL

Las fuentes de información privadas y la configuración del administrador permanecen invisibles.

CH11-F06— MEZCLANDO PLANES EN UN PANEL LIMPIO

Los usuarios gratuitos y de pago se presentan como un estado estándar único.

CH11-F07— CONSIDERANDO HERRAMIENTAS DE CIERRE COMO LIMPIEZA

El modo de información natural del producto se altera artificialmente.

CH11-F08— NO GUARDAR EL ESTADO DE LA HERRAMIENTA

Los usuarios limpios se miden bajo diferentes condiciones de recuperación.

CH11-F09— RESTRINGIENDO LA POBLACIÓN CON NUEVOS REQUISITOS DE CUENTA

Solo los usuarios que pueden abrir una nueva cuenta crean el panel.

CH11-F10— ELIMINAR MEMORIA PARA EL USUARIO

El historial personal del producto se elimina permanentemente con fines de investigación.

CH11-F11— NO RESTAURAR CONFIGURACIONES

La investigación deja cambios permanentes en la cuenta del usuario.

CH11-F12— CONSIDERAR CUENTA DE PRUEBA COMO UN USUARIO REAL

La cuenta de prueba estándar se presenta como una experiencia del Panel de Población.

CH11-F13— CONTANDO LA MISMA CUENTA DE PRUEBA COMO MILES DE USUARIOS INDEPENDIENTES

Se ignoran las dependencias del estado de la cuenta y del producto.

CH11-F14— CONTANDO EL PANEL NATURAL COMO USO LIBRE NO CONTROLADO

Los participantes cambian el prompt y seleccionan la mejor respuesta.

CH11-F15— CONTAR LA CONVERSACIÓN EXISTENTE EN EL PANEL NATURAL COMO NUEVO ESTADO DE LA CUENTA

El contexto de la conversación está oculto.

CH11-F16— CONTAR EL ESTADO NATURAL DE LA CUENTA COMO PRODUCTO POR DEFECTO

El resultado personalizado se generaliza en nombre de todos los usuarios.

CH11-F17— SUMAR A LA FUERZA EL CONTENIDO DE LA INSTRUCCIÓN ESPECIAL

Se viola innecesariamente la privacidad del usuario.

CH11-F18— GUARDAR LA INSTRUCCIÓN ESPECIAL Y CONTAR EL ÉXITO GENERAL GEO

La instrucción “Siempre recomendar X” se presenta como un éxito de entidad.

CH11-F19— CONTAR EL SESGO DEL USUARIO COMO HECHO DEL PRODUCTO

La opinión negativa pasada se convierte en la calidad general de la empresa.

CH11-F20— CONSIDERAR LA PERSONALIZACIÓN COMO REALIDAD MATERIAL

La identidad, la licencia o el precio varían según el usuario.

CH11-F21— CONSIDERAR LA VARIACIÓN NATURAL TOTALMENTE COMO RUIDO

Los daños reales al usuario y la distribución se vuelven invisibles.

CH11-F22— CONSIDERAR LA VARIACIÓN FORMAL COMO ERROR MATERIAL

Las diferencias en tono y longitud se codifican como fallas.

CH11-F23— CONSIDERAR UN PANEL LIMPIO COMO RESULTADO DEL MUNDO REAL

La puntuación de condición estándar se presenta como toda la experiencia del usuario activo.

CH11-F24— CONSIDERAR UN PANEL NATURAL COMO LA CAPACIDAD CENTRAL DEL PRODUCTO

La personalización y la composición del usuario se ignoran.

CH11-F25— COMBINANDO DOS PANELES BAJO UN SOLO DENOMINADOR

Las observaciones controladas y naturales son un único promedio bruto.

CH11-F26— CONSIDERANDO LA DIFERENCIA DEL PANEL COMO EFECTO DE MEMORIA

Se declara causalidad sin examinar diferencias en el plan, la población y los vehículos.

CH11-F27— CREAR SUBGRUPO NATURAL DESPUÉS DEL RESULTADO

Se inventa una nueva categoría para explicar una puntuación baja o alta.

CH11-F28— IGNORANDO EL EFECTO RESIDUAL EN EL MISMO USUARIO

La primera tarea afecta la segunda respuesta.

CH11-F29— OCULTANDO LA ALEATORIEDAD DE LA SECUENCIA

Todos los usuarios primero ven la condición limpia, luego la condición natural.

CH11-F30— INTERRUMPIR EL ESTADO NATURAL CON TAREA CONTROLADA

Cambiar la configuración o el Prompt inicial altera el estado subsiguiente de la cuenta.

CH11-F31— CONSIDERAR DIFERENTES GRUPOS DE USUARIOS COMO EQUIPARADOS

Los paneles naturales y controlados tienen diferentes composiciones de plan y país.

CH11-F32— CONSIDERAR EL PANEL DE PRIMER USO COMO PANEL LIMPIO

Se asume que la configuración predeterminada de incorporación y producto está marcada.

CH11-F33— CONSIDERAR AL USUARIO NATURAL EXPERIMENTADO COMO PRIMER USUARIO

El historial de la cuenta y la personalización se vuelven invisibles.

CH11-F34— CONSIDERAR EL RESULTADO NATURAL CORPORATIVO COMO CONSUMIDOR GENERAL

La base de conocimientos privada se agrega al rendimiento general del producto.

CH11-F35— ACTUALIZAR LA RESPUESTA EN EL PANEL NATURAL

La respuesta favorita del usuario se convierte en la observación principal.

CH11-F36— INTEGRANDO EL RECORRIDO NATURAL DEL USUARIO EN LA PRIMERA PUNTUACIÓN DE RESPUESTA

La respuesta formada después de preguntas de seguimiento y apertura de recursos se presenta como si fuera la primera exposición.

CH11-F37— CAMBIANDO EL ESTADO DEL PANEL SEGÚN LA RESPUESTA

Las observaciones positivas se declaran limpias, las observaciones negativas se declaran naturales.

CH11-F38— TRANSFIRIENDO SILENCIOSAMENTE LOS ERRORES DE LIMPIEZA A NATURAL

La observación se reclasifica sin un registro de estado natural necesario.

CH11-F39— CONSIDERANDO LO DESCONOCIDO COMO PRIVADO POR PRIVACIDAD

Se asume que la personalización no medida es positiva.

CH11-F40— HACIENDO IDENTIFICABLE UN PEQUEÑO SUBGRUPO EN PÚBLICO

Se revelan instrucciones especiales raras o un usuario de un país pequeño.

CH11-F41— OCULTANDO EL SESGO DE COBERTURA EN EL PANEL NATURAL

Los usuarios dispuestos a compartir su cuenta real se cuentan como toda la población activa.

CH11-F42— EXCLUSIÓN DE PANEL LIMPIO OCULTO

Los usuarios que no pueden cambiar su configuración se vuelven invisibles.

CH11-F43— PUNTUACIÓN DE LA POBLACIÓN ACTIVA SIN DATOS DE USUARIOS ACTIVOS

El panel de investigación se presenta como si fuera la distribución real de usuarios activos.

CH11-F44— CN-1 CAUSALIDAD A PARTIR DE LA DIFERENCIA

Se publican dos puntuaciones descriptivas como efecto de personalización.

CH11-F45— PRESERVANDO LA COLA CRÍTICA DE LA DIFERENCIA DEL PANEL

Solo se muestra la diferencia promedio.

CH11-F46— BORRANDO LA MASA DESCONOCIDA DEL PANEL NATURAL

Los usuarios cuyo estado de configuración o personalización sea desconocido se consideran libres de problemas.

CH11-F47— PRESERVANDO EL SESGO NATURAL FAVORABLE

No se realiza ninguna corrección cuando la institución de instrucciones del usuario lo muestra como grande.

CH11-F48— GENERALIZANDO SESGO NATURAL NEGATIVO

La opinión pasada de un solo usuario se representa como representación de IA de toda la población.

73. PROCEDIMIENTO DE AUDITORÍA

Paso 1— Separar las Preguntas de Investigación de los Dos Paneles

Escriba qué cantidad predecirán el panel controlado y el natural.

Paso 2— Definir las Poblaciones Objetivo

Separar la población elegible para el producto controlado de la población de usuarios activos o identificados natural.

Paso 3— Definir la Condición Limpia Controlada

La sesión, memoria, instrucciones especiales, herramientas, plan, interfaz, condiciones de localización están versionadas.

Paso 4— Determinar el Nivel CSC Requerido

Escriba la confianza mínima en la condición limpia que será aceptada para el análisis principal.

Paso 5— Determinar el Rastro del Panel Natural

Se determina cuál de los roles Cuenta-Estado Natural, Conversación-Estado Natural, Primer Uso Gestionado será utilizado.

Paso 6— Determinar el Nivel NSF Requerido

Se escribe por qué evidencia se aceptará el estado natural.

Paso 7— Configurar el Diseño de Asignación del Panel

Se selecciona grupo independiente Asignación aleatoria Usuario emparejado Panel rotativo.

Paso 8— Escribir el Procedimiento de Cambio de Configuración y Restauración

Se prepara un proceso seguro para los participantes del panel controlado.

Paso 9— Fijar el Límite de Privacidad

Qué situaciones de usuario natural:

• solo estado,
• metadatos limitados,
• contenido abierto

se determina que se guardará como.

Paso 10— Fijar prompt y regla de salida inicial

Se aplica el mismo protocolo de prompt y salida inicial apropiada en ambos paneles.

Paso 11— Guardar herramienta y modo web

Se hacen visibles las diferencias controladas y naturales del panel.

Paso 12— Verificar estado del panel antes del campo

¿Es adecuado para el rol del panel de participantes?

Paso 13— Guardar vector de panel a nivel de observación

Se almacenan memoria, instrucción, plan, interfaz, contexto y estado de uso.

Paso 14— Validez del protocolo de revisión a ciegas

La decisión sobre el estado del panel se toma sin ver si la respuesta es correcta o incorrecta.

Paso 15— Gestionar clasificaciones erróneas con regla predefinida

La transición de estado limpio a natural o mixto se realiza solo si el registro es suficiente.

Paso 16— Generar Pesos del Panel

Se calculan pesos separados de acuerdo con las diferentes poblaciones objetivo de los dos paneles.

Paso 17— Calcular Puntuaciones Principales

Representación controlada Representación natural Error crítico

DESCONOCIDO

El rechazo y la inconclusividad se generan por separado.

Paso 18— Calcular la Diferencia Limpio–Natural

Se toma la diferencia con signo y absoluta.

Paso 19— Examinar Subgrupos

Se evalúan grupos predefinidos como Memoria, Instrucción, Plan, Antigüedad de la cuenta, Frecuencia de uso, Primer uso.

Paso 20— Establecer el Límite de Causalidad

Se asigna el nivel CN. Se escribe qué afirmaciones se pueden establecer.

Paso 21— Verificar la Privacidad y el Control de Pequeñas Celdas

Los resultados con riesgo de re-identificación se combinan o restringen.

Paso 22— Crear la Tarjeta de Resultados del Panel Público

Los dos paneles se publican junto con su alcance y limitaciones.

74. EVIDENCIA NECESARIA

Pregunta de investigación de panel controlado; pregunta de investigación de panel natural; poblaciones objetivo de ambos paneles; método de asignación del panel; definición de estado limpio controlado; nivel mínimo de CSC; registro de nuevo chat; estado de memoria; estado de instrucción personalizada; estado de conversación previa; estado del espacio de trabajo empresarial; modo de herramienta y web; plan; interfaz de usuario; idioma y configuración regional; instrucciones de cambio de configuración; consentimiento del participante; registro de restauración de configuración; uso de una cuenta de prueba, si la hay; traza del panel natural; nivel mínimo de NSF; banda de antigüedad de la cuenta; frecuencia de uso; estado de primer uso; familiaridad con la marca; estado de conversación previa respecto a la entidad auditada; estado de herramienta natural; distinción entre Estado de Cuenta Natural y Estado de Conversación Natural; ID de solicitud y versión; validación de la primera salida elegible; vector de estado del panel; y estado de validez del panel.

Revisión de validez Registros de reclasificación Exclusiones de panel controlado Brechas de cobertura de panel natural Pesos de panel Muestra bruta y efectiva Puntuación controlada Puntuación natural Diferencia de panel firmado Diferencia absoluta de panel Diferencia de error crítico Diferencia DESCONOCIDA e inconcluyente Resultados de subgrupos predefinidos Registros de diseño emparejado Efecto de orden y arrastre Nivel de comparabilidad CN Registro de privacidad y redacción Protección de celdas pequeñas Tarjeta de resultados del panel público Versión del panel y registro de cambios Persona o institución responsable

75. LISTA DE CONTROL DE AUDITORÍA

¿Son las preguntas de investigación para el panel controlado y natural separadas? ¿Son sus poblaciones objetivo las mismas o diferentes? ¿Se definió claramente la condición limpia controlada? Aparte del nuevo chat, ¿qué condiciones limpias fueron confirmadas? ¿Está realmente desactivada la memoria o se desconoce? ¿Se registró el estado de instrucción especial? ¿Hay un efecto del espacio de trabajo corporativo? ¿Son estándar los modos web y herramienta? ¿El plan y interfaz de usuario es fijo o escalonado? ¿Se dio un nivel de confianza para la condición limpia? ¿Se usaron las observaciones de CSC-1 como completamente limpias? ¿Se le pidió al participante que borrara su memoria o historial? ¿Se restauraron los ajustes al final de la tarea? ¿Se utilizó una cuenta nueva o una cuenta de prueba? ¿Se presentó la cuenta de prueba como un panel de usuario real?

¿Qué traza utiliza el panel natural? ¿Se ha abierto un nuevo chat en Natural Account-State? ¿Interfirió el contexto de la conversación actual con la puntuación natural principal? ¿Se dio un nivel de confianza del estado natural? ¿Se recopilaron innecesariamente los contenidos de memoria e instrucciones personalizadas? ¿Se registró el plan real y la interfaz del usuario? ¿Los usuarios de Primer Uso están separados? ¿Los usuarios empresariales están separados? ¿Se registró el estado de la herramienta natural? ¿Usaron los dos paneles la misma versión del prompt? ¿Se preservó la primera salida elegible en ambos paneles? ¿Se actualizó la respuesta del usuario natural? ¿Se cambió el estado del panel de acuerdo con el contenido de la respuesta de la IA? ¿Cómo se gestionaron los registros con estados naturales detectados en el panel limpio? ¿Se usó el mismo usuario en dos paneles? ¿Se aleatorizó el orden?

¿Se evaluó el efecto de la transferencia y la memoria? En el diseño de grupo independiente, ¿coincide la composición de usuarios? ¿Están separados los pesos controlados y naturales? ¿Se puede generalizar realmente la puntuación natural a la población de usuarios activos? ¿Se sobreinterpretó la diferencia limpio–natural como un efecto de personalización? ¿Es visible una diferencia crítica de errores? ¿Hay una diferencia visible para los resultados DESCONOCIDOS y nulos? ¿Se definieron los subgrupos antes de los resultados? ¿Se pueden redefinir subgrupos pequeños? ¿Se convirtieron las instrucciones dirigidas por los usuarios a favor o en contra en GEO general? ¿Alteró la personalización la realidad material? ¿Se proporcionó un nivel de comparabilidad CN? ¿Está claro quién es el propietario responsable de la tarjeta de resultados del panel?

76. OBJECIONES Y RESPUESTAS

Objeción 1— "Si los usuarios reales utilizan cuentas de memoria, ¿por qué es necesario un panel limpio?"

Porque no se puede entender la fuente de la diferencia sin una condición inicial común entre productos, países y lenguajes. Un panel limpio no sustituye a un panel de usuarios real. Proporciona una referencia para la comparación.

Objeción 2— "¿No es un panel controlado artificial si hay un panel natural?"

Está controlado. Esto es intencional. El propósito de una condición de laboratorio no es ser la totalidad de la vida real, sino aislar ciertas variables.

Objeción 3— "Si el panel controlado obtiene una puntuación más alta, ¿no podemos hacer que esa sea la puntuación principal de GEO?"

No se puede hacer solo. Una puntuación alta en el panel controlado no puede borrar el hecho de que los usuarios reales ven resultados más bajos. Los dos resultados deberían aparecer por separado.

Objeción 4— "¿Tiene poco valor científico si el panel natural está muy disperso?"

La heterogeneidad no tiene que ser un defecto del panel natural. Es una característica de la experiencia del usuario real. La heterogeneidad:

• es registrada,
• es estratificada,
• está ponderada,

se informa con incertidumbre.

Objeción 5— "¿No interrumpe abrir un nuevo chat el estado natural del usuario?"

El contexto de la conversación actual se elimina. Se conservan la cuenta persistente, el plan, la memoria y el estado de las instrucciones personalizadas. Esto hace que el estado natural de la cuenta sea comparable. La experiencia de la conversación actual también es medible.

Objeción 6— "¿Cómo mediremos su efecto sin conocer el contenido de las instrucciones personalizadas?"

Saber el contenido no es necesario para la puntuación natural principal. Su presencia:

• existe,
• no existe,
• puede ser material

Podemos clasificarlo como tal. Se requiere trabajo separado y consensuado para el análisis de contenido causal.

Objeción 7— “Si la memoria está clara pero no se recuerda nada sobre la empresa, ¿por qué un grupo separado?”

El efecto de la memoria puede ser desconocido. Se puede dar un estado de “no relacionado con la entidad” basado en la declaración del usuario. Esto aún no tiene la misma certeza que la condición de memoria cerrada.

Objeción 8— “¿No es la instrucción del usuario ‘siempre sugerir X’ una experiencia real del usuario?”

Es una experiencia real. Sin embargo, no es el rendimiento general de GEO de X. Es una guía obtenida de los usuarios. Debe registrarse por separado.

Objeción 9— 'Si la personalización da una respuesta más adecuada al usuario, ¿cuál es el problema?'

No tiene que ser un problema. Las recomendaciones pueden variar según la necesidad del usuario. Los problemas ocurren si la identidad, la licencia, el precio y el estado de evidencia cambian arbitrariamente.

Objeción 10— “¿No es usar el mismo usuario en dos paneles el método más correcto?”

Puede ser fuerte para algunas comparaciones causales. La primera tarea puede afectar la segunda situación. Por lo tanto, se necesitan control del orden, de los efectos residuales y de la memoria. Los grupos independientes pueden ser más seguros en los paneles de población principal.

Objeción 11— 'Si actualizar la respuesta en el Panel de usuarios en condiciones reales es un comportamiento normal, ¿por qué está prohibido?'

La regeneración está prohibida al medir la exposición a la primera respuesta. La regeneración y el comportamiento de seguimiento pueden medirse por separado bajo un Rastro de Interacción Natural.

Objeción 12— “¿Qué haremos con un usuario que no puede desactivar la memoria y las instrucciones para un panel limpio?”

No pueden ser llevados al panel controlado o se mantienen en una celda separada con un nivel de CSC más bajo. Pueden ser evaluados en el panel natural. La tasa de exclusión debe ser reportada.

Objeción 13— “¿No son las cuentas de prueba más confiables?”

Pueden ser confiables en términos de control. Están limitados en cuanto a la población real de usuarios. Las cuentas de prueba controladas y los paneles de usuarios reales son resultados separados.

Objeción 14— “¿No es una violación de la privacidad guardar la configuración del usuario en el panel natural?”

Puede ocurrir si se recopila contenido innecesario. La privacidad se puede preservar con estados abiertos/cerrados de alto nivel, registro anónimo y censura.

Apelación 15— “¿No vamos a combinar las puntuaciones de los dos paneles en una sola puntuación NOMOS?”

Los roles de los dos paneles pueden definirse en la arquitectura de la puntuación final. Sin embargo, los resultados en bruto y los subresultados siempre deben permanecer visibles por separado. No pueden reemplazar la distribución de la puntuación combinada.

Apelación 16— “¿Qué culpa tiene la empresa si el panel natural obtiene una puntuación baja?”

No siempre es culpa de la empresa. Fuente:

• instrucción del usuario,
• dpersonalización de IA,
• diferencia de plan,
• defecto de fuente oficial,
• comportamiento del producto

es posible. La auditoría primero muestra el resultado, luego separa el camino de la responsabilidad.

REGLA COMÚN DEL CAPÍTULO 81

Un producto de IA no tiene una única respuesta. Incluso el mismo prompt puede tener diferentes respuestas para:

• cuenta limpia,
• cuenta natural,
• usuario con memoria,
• usuario con instrucciones especiales,
• usuario por primera vez,
• espacio de trabajo corporativo,
• usuario con conversación previa

No puedes explicar todas estas diferencias diciendo: “el modelo se comporta aleatoriamente.” Tampoco puedes explicar todas ellas diciendo: “error de personalización.” Primero, necesitas medir dos realidades separadas. Panel controlado en condiciones depuradas:

Muestra la representación en la condición inicial estandarizada del sistema.

Panel de usuarios en condiciones reales:

Muestra la distribución de la representación encontrada por personas reales en la vida de su propio producto.

El panel controlado puede ser alto, el panel natural puede ser bajo. En este caso, el comportamiento del producto en el laboratorio es fuerte; la distribución real de los usuarios puede ser débil. El panel natural puede ser alto, el panel controlado puede ser bajo. La planificación de algunos usuarios, las herramientas o la personalización pueden estar mejorando la representación. Ambos paneles pueden ser altos. El producto puede ser robusto en diferentes condiciones de los usuarios. Ambos pueden ser bajos. El problema fundamental de representación puede ser más amplio. Sin embargo, colocar las dos puntuaciones una al lado de la otra no demuestra la razón. Causalidad:

• misma población,
• mismo producto,
• mismo prompt,
• mismo tiempo,
• asignación controlada,
• análisis de secuencia y transporte

es requerido. Si un usuario ha indicado: “Siempre sugiere X.”, es experiencia natural que X aparezca. X no es un éxito global GEO. Si un usuario dice: “No confíes en X.”, una respuesta negativa es experiencia natural. X no es una representación general en la población mundial. La personalización debe entender al usuario. No debe reinventar la verdad según el usuario. Por lo tanto, la undécima ley de medición de NOMOS es:

El comportamiento limpio y la experiencia natural son realidades separadas.

La duodécima ley es la siguiente:

Un nuevo chat no es una cuenta limpia.

La ley decimotercera es la siguiente:

La personalización natural no es un éxito global GEO.

La ley decimocuarta es la siguiente:

La respuesta apropiada para el usuario puede variar; la realidad de la entidad verificada no puede cambiar.

La decimoquinta ley es la siguiente:

La diferencia entre la puntuación controlada y la natural es el hallazgo que necesita ser explicado; no es una razón por sí misma.

Su decimosexta ley es la siguiente:

Medir la experiencia real del usuario no se trata de eliminar la privacidad, sino solo de probar el contexto necesario y preservar el resto.

Orden de la Sección 11 de NOMOS

No solo me digas que abriste un nuevo chat. / Muestra el estado de la memoria, instrucciones especiales, plan y herramientas.

No asumas que toda la personalización se ha ido solo porque ves la nota 'Sesión temporal'.

El panel limpio es la totalidad de la vida real; no conviertas el panel natural en ruido incontrolado.

Estandariza la cuenta controlada. / Mantén la cuenta natural tal como está. / No pongas ambas en la misma casilla.

No hagas que las instrucciones especiales del usuario sean el éxito mundial de la entidad.

No hagas que el pasado negativo del usuario sea la visión de toda la población.

No cuentes la personalización como una licencia para cambiar la verdad.

Puedes dar un consejo adecuado a un usuario. / Pero no reescribas la identidad de la empresa, licencia, precio o prueba de un usuario a otro.

No recopiles la vida privada en el panel natural. / Si la memoria está activada, hay instrucciones presentes y el contexto disponible, solo registra lo que sea necesario.

No hagas que el participante borre su memoria. / Restaura la configuración si la cambiaste temporalmente.

Si probaste al mismo usuario en dos paneles, recuerda que la primera respuesta puede afectar la segunda.

Muestre la diferencia entre la puntuación limpia y la puntuación natural. / Muestre la diferencia crítica. / Muestre lo desconocido. / Pero no nombre la razón sin prueba.

Primero, decide qué realidad de usuario quieres medir. / Luego bloquea las condiciones limpias y naturales por separado. / Luego mantén el mismo prompt. / Luego captura la primera respuesta sin cambiarla. / Luego calcula las dos distribuciones por separado. / Y solo después de esto, explica la distancia entre lo que el producto hace bajo condiciones estándar y lo que las personas realmente experimentan.

La oración de cierre del capítulo

La verdadera representación de un producto de IA en GEO-1000 no es la respuesta que puede proporcionar en una sesión limpia; es la relación clara y probada entre su comportamiento bajo condiciones estándar y las respuestas que realmente entrega a las personas a lo largo de diferentes historiales de usuario.

Core normativo

Las observaciones Panel controlado en condiciones depuradas y Panel de usuarios en condiciones reales DEBEN permanecer como poblaciones de medición separadas, estados del panel, denominadores y resultados públicos. Un Panel controlado en condiciones depuradas DEBE definir y verificar, según corresponda: - una conversación nueva y separada, - ausencia de contexto de conversación previo, - estado de memoria persistente, - estado de instrucciones personalizadas, - estado de espacio de trabajo empresarial o gestionado, - configuración de web, recuperación y herramientas, - plan, - interfaz de usuario, - versión del prompt, - y confianza en estado limpio. Una nueva conversación o etiqueta de sesión temporal NO DEBE, por sí sola, considerarse como prueba de que toda personalización persistente ha sido desactivada. Un Panel de usuarios en condiciones reales DEBE preservar la cuenta auténtica del participante, el plan, la interfaz, la memoria, la instrucción personalizada y el estado de uso mientras se mantiene el prompt fijado, la regla de primer resultado elegible, los requisitos de evidencia y la regla de no regeneración. El Estado de Cuenta Natural, el Estado de Conversación Natural, el Primer Uso y las observaciones Naturales Gestionadas DEBEN permanecer identificados por separado. La documentación del estado natural DEBE minimizar la recopilación de datos privados. No se DEBE recopilar texto de instrucciones privadas, historial de conversaciones, identidad, credenciales ni contenido personal sensible a menos que sea necesario por separado, con consentimiento, minimizado y con control de acceso. Las instrucciones generadas por el usuario que favorezcan o perjudiquen a una entidad PUEDEN medirse como efectos de personalización natural, pero NO DEBEN representarse como éxito, fracaso o comportamiento predeterminado general de la entidad a nivel GEO. La personalización PUEDE cambiar la relevancia, la presentación y la recomendación cuando el contexto del usuario lo justifique. NO DEBE cambiar arbitrariamente la identidad verificada de la entidad, su licencia, estatus legal, precio, alcance, evidencia o tiempo. No se DEBEN representar las diferencias entre paneles Controlados y Naturales como efectos de personalización causales a menos que las condiciones de población, producto, prompt, tiempo, interfaz, plan, herramientas, asignación, orden y arrastre respalden esa inferencia. Las puntuaciones Controladas y Naturales, las tasas de errores críticos, las tasas de desconocimiento, la cobertura, los tamaños de muestra efectivos, y las brechas del panel tanto firmadas como absolutas DEBEN permanecer visibles por separado. La elegibilidad del estado del panel, la reclasificación, la exclusión y la ponderación DEBEN permanecer independientes de si la salida de la IA es positiva, negativa, correcta, incorrecta, rechazada, crítica o favorable comercialmente. Cada definición del estado del panel, proceso de cambio de configuración, decisión de privacidad, nivel de comparación y resultado DEBE estar versionado y atribuible a un humano o una organización responsable.