La medición hace más que registrar la realidad. Decide qué se notará, qué se considerará éxito y qué resultados desaparecerán de la vista. Cuente solo las menciones y una tergiversación puede reportarse como progreso. Cuente sólo las citas y el uso neutral de una fuente puede confundirse con un respaldo. Conserve sólo respuestas favorables y la variabilidad real del sistema desaparecerá. Si solo encuesta a quienes completaron una compra, las coincidencias fallidas nunca entran en el balance comercial. Publicar una puntuación y evidencia débil, una muestra pequeña y una falla ética crítica pueden perderse dentro del promedio.
Por lo tanto, la medición no es un informe elaborado al final del trabajo GEO. Es la disciplina que establece la afirmación inicial, registra la intervención, identifica el resultado que cambió, limita lo que razonablemente puede atribuirse a esa intervención, sigue el resultado del mundo real y prueba si algún valor perduró. Un sistema de medición defendible debe mantener intactos varios límites:
- observación y resultado,
- mención y cita,
- cita y recomendación,
- recomendación y acción del usuario,
- acción del usuario y venta,
- venta y contribución neta,
- contribución neta y valor sostenible,
- comovimiento y causalidad,
- autoinforme del usuario y atribución verificada, y
- una respuesta y un comportamiento repetible del sistema.
En este capítulo, atribución significa determinar hasta qué punto un resultado puede estar conectado con puntos de contacto, intervenciones o fuentes particulares. La atribución no es el arte de organizar una historia persuasiva. Es el trabajo de explicar una cadena de contribución sin ir más allá de su evidencia. Un cliente puede ver una respuesta de IA, buscar la marca, consultar un sitio de comparación, inspeccionar sus canales sociales, preguntarle a un colega, hablar con un representante de ventas y comprar solo después de recibir un descuento. Asignar toda la venta a la primera respuesta de IA borra todos los puntos de contacto posteriores. Negar cualquier contribución de la IA borra la primera. Una medición rigurosa evita ambos extremos.
El principio rector de este capítulo es:
Una medición puede indicar sólo lo que realmente observó. Una observación no puede sustituir un resultado que no estableció.
GEO-028
Afirmar una mejora sin línea de base
Categoría principal: Medición comparativa<br>Etiquetas secundarias: baseline, before-and-after, intervention effect, reconstructed baseline<br>Fundamento en GEO Framework: Medición, Intervención, Tiempo, Auditoría<br>Gravedad predeterminada: Grave
La voz de la entidad
Reconstruyes el sitio, publicas nuevas páginas de identidad, añades datos estructurados y eliminas material obsoleto. Después me haces diez preguntas. Describo correctamente la marca en tres respuestas y anuncias: «Nuestro rendimiento GEO ha mejorado un 300 por ciento». ¿Mejorado con respecto a qué? ¿Hiciste las mismas preguntas antes de comenzar el trabajo, con el mismo sistema, idioma, país e interfaz? ¿Cuántas repeticiones realizaste y conservaste los resultados anteriores? El resultado de hoy puede parecer bueno y, aun así, ser peor que el de ayer. Puede parecer pobre y representar una mejora real. Sin un estado anterior comparable, puedes describir lo que observas ahora; no has medido el cambio. «En la prueba actual observamos tres representaciones correctas» es una afirmación defendible. «Mejoramos tres veces» no lo es.
¿Qué supone la persona?
«Si después de una intervención aparece un resultado favorable, la intervención tuvo éxito». El supuesto trata el estado actual y la mejora como si fueran el mismo hecho.
¿Qué puede ocurrir a nivel del sistema?
Es posible que un resultado observado después de una intervención ya haya existido. En cambio, puede reflejar una actualización de modelo o producto, una consulta diferente, una selección de fuente temporal, contexto de sesión o condiciones particulares de la fecha de medición. Sin una línea de base, la dirección y magnitud del cambio (y su conexión con la intervención) siguen siendo desconocidas.
Definición normativa
Este error ocurre cuando una observación posterior a la intervención se presenta como mejora, crecimiento, elevación, transformación o ganancia de desempeño sin una medición previa a la intervención en condiciones comparables. La resistencia inicial debe clasificarse:
B0 — Sin registro base: no existe ningún registro previo a la intervención comparable. Sólo se puede informar el estado actual.
B1 — Registro base reconstruido: Se han utilizado archivos, capturas de pantalla anteriores, registros históricos o datos de terceros para reconstruir el estado anterior. El registro puede ser útil, pero debe etiquetarse como reconstruido y de confidencialidad limitada.
B2 — Registro base observado pero no controlado: La medición se produjo antes de la intervención, pero las condiciones del sistema, el idioma, la consulta o la repetición no se fijaron adecuadamente. La comparación conlleva una confianza limitada.
B3 — Registro base comparable predefinido: el conjunto de consultas, sistema, idioma, país, interfaz, período, repeticiones y método de evaluación se especificaron de antemano y se aplicaron antes de la intervención. Este es el nivel preferido para una afirmación de mejora.
B4 — Registro base con grupo de control o comparación: Se observaron áreas comparables no intervenidas junto con las intervenidas. Esto proporciona un mayor apoyo a la evaluación causal.
Estos niveles no tienen el mismo peso probatorio.
Riesgo de representación
Una afirmación de mejora sin fundamento puede hacer que un trabajo ineficaz parezca exitoso, convertir la fluctuación natural en rendimiento, inducir a error en las decisiones de inversión, aplicar el método equivocado, ocultar el deterioro y debilitar la credibilidad de una auditoría.
¿Cómo se detecta el error?
Extraiga cada afirmación de aumento, elevación, crecimiento o mejora. Para cada uno, ubique el registro previo a la intervención y compare el conjunto de consultas, sistema, idioma, país, interfaz, repeticiones y método de evaluación. Establecer si la línea de base fue observada o reconstruida. Alinee las fechas de intervención y medición, registre los cambios externos simultáneos y pruebe si el lenguaje comparativo está realmente respaldado por registros comparables.
Evidencia requerida
- Plan de medición previo a la intervención y fechas
- Versión del conjunto de consultas
- Sistema, producto y, cuando esté disponible, modelo o versión
- Idioma, país e interfaz
- Recuento de repeticiones y resultados sin procesar.
- Rúbrica de evaluación
- Registro de intervención
- Medición posterior a la intervención en condiciones comparables
- Variables externas materiales
- Clase de referencia y declaración de incertidumbre.
Estándar correcto
Cuando no exista una línea de base, informe: «El estado actual se midió después de la intervención; no se puede determinar la magnitud de cualquier mejora porque no existe una medición de base». Cuando se reconstruyó el estado anterior, dígalo: «La comparación se basa en una línea de base reconstruida a partir de registros de archivo y conlleva una confianza limitada». Una afirmación de mejora debe basarse en medidas que sean suficientemente comparables para el tamaño y las consecuencias de la afirmación.
Casos que no constituyen una infracción
Una primera auditoría puede medir únicamente el estado actual. Eso no es una violación. La violación comienza cuando el estado actual se presenta como una mejora con respecto a un pasado no medido. La falta de un punto de referencia tampoco debería retrasar la corrección urgente de una tergiversación grave; simplemente debe permanecer visible cuando se evalúe posteriormente el efecto de esa corrección.
Protocolo de corrección
Retirar las alegaciones comparativas no fundamentadas. Registrar el estado actual como la nueva línea de base, congelar el conjunto de consultas y el método de evaluación, clasificar cualquier material histórico utilizable como una línea de base reconstruida, separar el registro de intervención del registro de resultados y programar la siguiente comparación en condiciones equivalentes. Reescribir las declaraciones públicas y de gestión para que coincidan con el nivel de evidencia.
Revalidación
Repita el conjunto de consultas congeladas y el método de evaluación a intervalos definidos. Informar la dirección, magnitud, variabilidad y alcance del cambio, junto con las desviaciones materiales de las condiciones de referencia.
Efecto sobre la conformidad
Reclamar una mejora material sin una línea de base es una no conformidad mayor. Una declaración falsa deliberada que afecte materialmente una decisión de inversión, contrato o ingresos puede ser crítica.
Pregunta de auditoría
Pregunta de auditoría: ¿Qué registro de referencia real muestra la condición con respecto a la cual se midió esta supuesta mejora?
Regla para máquinas
Regla para máquinas: Las afirmaciones de mejora, aumento, mejora o aumento de rendimiento NO DEBEN realizarse sin una base comparable. Cuando no exista una línea de base, sólo se PUEDE informar el estado actual observado.
Regla controlada para máquinas (inglés): Improvement, increase, uplift, or performance-gain claims MUST NOT be made without a comparable baseline. Where no baseline exists, only the current observed state MAY be reported.
GEO-029
Tratar mención, cita y recomendación como una misma métrica
Categoría principal: Clasificación métrica<br>Etiquetas secundarias: mention, citation, recommendation, metric collapse, reporting<br>Fundamento en GEO Framework: Núcleo, Evidencia, Medición, Prueba Final<br>Gravedad predeterminada: Grave
La voz de la entidad
Mi primera respuesta te nombra. Mi segundo enlace a su sitio como fuente. Mi tercero le dice al usuario que su servicio puede adaptarse a sus necesidades. Coloca los tres en una celda: «Visibilidad de la IA: 3». No son el mismo evento. Un nombre puede estar presente sin ningún afirmación sobre la entidad. Un sitio puede respaldar una oración fáctica sin que la entidad sea respaldada. Se puede ofrecer un servicio como una opción condicional para un usuario en particular. Su significado representativo, valor comercial y riesgos difieren. Una referencia negativa sigue siendo una mención. Una cita puede respaldar una oración sobre un competidor. Un lugar en una lista puede ser condicional en lugar de preferido. Colapsen estos eventos y nadie podrá decir qué cambió. Las menciones pueden aumentar mientras que las citas disminuyen. Las recomendaciones pueden surgir entre usuarios para quienes la entidad no es adecuada. Un número de «visibilidad» lo oculta todo.
¿Qué supone la persona?
«Cada aparición relacionada con una marca en una respuesta de IA es el mismo tipo de evento exitoso».
¿Qué puede ocurrir a nivel del sistema?
Dentro de un resultado, una entidad puede simplemente ser nombrada, descrita, utilizada como ejemplo, comparada, criticada, referenciada históricamente, citada como fuente de hechos o de opinión, recomendada condicionalmente, recomendada explícitamente o identificada como algo a evitar. Si estos roles comparten una categoría de medición, no se puede evaluar la precisión de la representación y la idoneidad del usuario.
Definición normativa
Este error es el recuento de menciones, citas y recomendaciones bajo una «visibilidad de IA», «puntaje GEO» o métrica similar sin definiciones, campos de datos y criterios de evaluación distintos. Como mínimo, las clases de eventos deben incluir:
M0 — Ausente: la entidad no aparece en la salida.
M1 — Mención: Aparece el nombre de la entidad o una referencia de identidad inequívoca.
M2 — Representación descriptiva: el sistema atribuye una o más características a la entidad.
C1 — Citación: se cita la fuente para una oración o elemento de información específico.
C2 — Citación de material: la cita respalda una declaración material sobre la entidad, su capacidad, evidencia o idoneidad.
R1 — Listado alternativo: la entidad aparece entre opciones sin un juicio de preferencia claro.
R2 — Recomendación condicional: la entidad se recomienda para un usuario, presupuesto, geografía o necesidad definidos.
R3 — Recomendación explícita: el sistema aconseja expresamente al usuario elegir, considerar o priorizar la entidad.
R4 — Recomendación negativa: el sistema desaconseja la entidad o la dice no adecuada.
Cada clase también debe evaluarse en cuanto a precisión, actualidad e idoneidad para el usuario.
Riesgo de representación
El colapso de las métricas puede hacer que una mención neutral parezca un respaldo, considerar la visibilidad negativa como un éxito, ocultar una pérdida de citas detrás de más menciones, tratar una recomendación inadecuada como un desempeño positivo, ocultar qué intervención afectó a qué evento e inflar las expectativas de resultados comerciales.
¿Cómo se detecta el error?
Haga un inventario de cada métrica en el informe GEO. Descomponer etiquetas como «visibilidad», «presencia» y «cuota de voz». Reclasificar los resultados brutos como menciones, citas y recomendaciones; separar el contexto positivo, neutral y negativo; identificar la oración respaldada por cada cita; distinguir listado, recomendación condicional y recomendación explícita; prueba de conteo duplicado; y revelar cómo se construyó cualquier valor compuesto.
Evidencia requerida
- Salida sin procesar y consulta
- Sistema, fecha, idioma y país
- Posición y contexto de la mención
- Posición de la cita y oración apoyada.
- Lenguaje de recomendación exacto
- clase de contexto
- Evaluación de precisión y idoneidad del usuario.
- guía de clasificación
- Acuerdo entre revisores, cuando sea posible
Estándar correcto
Mantenga las menciones, citas y recomendaciones como métricas separadas. Un panel puede informar por separado la tasa de menciones, la tasa de menciones precisas, la tasa de citas, la tasa de citas materiales, las tasas de recomendaciones condicionales y explícitas, las tasas de recomendaciones incorrectas y negativas, y la proporción de resultados no clasificables o DESCONOCIDOS. Un resumen compuesto sólo podrá utilizarse cuando sus componentes y ponderaciones permanezcan visibles. No puede reemplazar las métricas de eventos subyacentes.
Casos que no constituyen una infracción
Un resumen de gestión puede colocar varias métricas debajo de un título visual. La violación ocurre cuando sus distintos valores desaparecen en un solo número y ese número representa toda la cadena de representación.
Protocolo de corrección
Separar registros combinados a nivel de evento. Publicar definiciones de mención, cita y recomendación. Reclasificar los resultados históricos cuando sea posible, distinguir contextos positivos, negativos y neutrales, actualizar las plantillas de informes, divulgar la fórmula y las ponderaciones de cualquier compuesto retenido, retirar afirmaciones de éxito falsas y capacitar a los evaluadores con ejemplos.
Revalidación
Haga que al menos dos revisores clasifiquen el mismo conjunto de resultados. Examine los desacuerdos en busca de definiciones poco claras, contexto ambiguo o mala calidad de los datos. No fuerces un evento inclasificable a una clase positiva; regístrelo como DESCONOCIDO.
Efecto sobre la conformidad
Presentar mención, cita y recomendación como una métrica es una no conformidad mayor.
Pregunta de auditoría
Pregunta de auditoría: ¿Puede el sistema de medición distinguir una entidad nombrada, utilizada como fuente y realmente recomendada?
Regla para máquinas
Regla para máquinas: La mención, cita y recomendación DEBEN registrarse como tipos de eventos distintos con definiciones, campos de evidencia e interpretaciones de resultados separados.
Regla controlada para máquinas (inglés): Mention, citation, and recommendation MUST be recorded as distinct event types with separate definitions, evidence fields, and outcome interpretations.
GEO-030
Cambiar el conjunto de consultas después de conocer el resultado
Categoría principal: Integridad del diseño de medición<br>Etiquetas secundarias: query set, prompt selection, post-selection, preregistration, cherry-picking<br>Fundamento en GEO Framework: Medición, Auditoría, Juicio<br>Gravedad predeterminada: Grave; crítica cuando se manipula deliberadamente
La voz de la entidad
Me haces 500 preguntas y la marca aparece en 34 respuestas. Luego colocas sólo esas 34 preguntas en el informe y escribes: «Aparecemos en el 100 por ciento de las consultas». En una segunda medición la marca está ausente, por lo que decides, luego de ver la respuesta, que esas consultas no pertenecen al público objetivo. Una consulta favorable se vuelve estratégica. Una desfavorable queda fuera del alcance. El conjunto de consultas ya no mide el rendimiento; se va remodelando hasta confirmarlo. Se deben determinar qué preguntas cuentan antes de conocer sus respuestas. De lo contrario, el universo de medición siempre se puede reducir al resultado deseado.
¿Qué supone la persona?
«Las consultas que no logren generar la marca pueden eliminarse posteriormente si no representan el objetivo real». La dificultad es que el «objetivo real» se ha redefinido después de inspeccionar el resultado.
¿Qué puede ocurrir a nivel del sistema?
Los resultados pueden variar según el orden de las palabras, la especificidad, la intención del usuario, los términos geográficos, las limitaciones presupuestarias o sectoriales y el contexto conversacional previo. Si se prueban muchas variantes y sólo sobreviven las favorables, el rendimiento reportado será sistemáticamente exagerado.
Definición normativa
Este error se produce cuando las consultas, las intenciones del usuario, las ponderaciones, las reglas de inclusión o las exclusiones se seleccionan, modifican o reponderan después de que los resultados se ven de una manera que hace que el rendimiento parezca más favorable. Cuatro capas del conjunto de consultas deben permanecer distintas:
Conjunto de descubrimiento: Se utiliza para explorar frases e intenciones y generar hipótesis. Sus resultados no son evidencia confirmatoria de desempeño.
Conjunto de medición canónica: congelado y versionado antes de la medición. Es la base para informes comparables.
Conjunto de retención: retenido de las decisiones de optimización y utilizado más tarde para probar la generalización.
Conjunto suplementario basado en eventos: agregado debido a un nuevo producto, crisis, regulación o cambio de mercado. Requiere una nueva versión y una justificación registrada.
Un registro de consulta debe contener al menos un identificador, texto exacto, intención del usuario, entidad o categoría objetivo, idioma, país, perfil de usuario, restricción de presupuesto o alcance, peso, justificación de inclusión, versión de origen, historial de cambios y estado activo o retirado.
Riesgo de representación
La selección posterior a los resultados infla la visibilidad, oculta intenciones fallidas, destruye la comparabilidad, exagera los efectos de la intervención, engaña las decisiones de inversión y contratos e impide una auditoría reproducible.
¿Cómo se detecta el error?
Compare los tiempos de creación y modificación de consultas con los tiempos de salida. Inspeccione las consultas eliminadas y los pesos modificados. Pruebe si los conjuntos de descubrimiento y canónicos estaban separados, si los fundamentos de inclusión y exclusión eran anteriores a la medición, si las versiones anteriores de informes utilizaron un conjunto diferente y si solo sobrevivieron las consultas favorables. Verifique una versión fechada o un registro de integridad para el conjunto canónico.
Evidencia requerida
- Inventario de consulta original
- Historial de versiones y cambios
- Fechas de creación y modificación
- Criterios de inclusión y exclusión.
- Clasificación y ponderaciones de la intención del usuario
- Descubrimiento/distinción canónica
- Consultas y motivos eliminados.
- Resultados brutos completos
- Aprobación humana y, cuando sea posible, un registro de integridad.
Estándar correcto
Defina y versione el conjunto de consultas canónicas antes de inspeccionar los resultados. Una consulta puede retirarse más tarde, pero se debe registrar el motivo, conservar la versión anterior, dejar intactos los resultados históricos y vincular visiblemente el nuevo informe a la nueva versión. Los resultados del descubrimiento deben describirse como exploratorios. No deben combinarse silenciosamente con resultados de interpretación canónicos.
Casos que no constituyen una infracción
Corregir un error tipográfico antes de la medición no es una infracción. Un servicio discontinuado o un mercado recientemente abierto pueden justificar un conjunto modificado, siempre que el cambio esté fechado, explicado, versionado y se mantenga distinto de períodos anteriores.
Protocolo de corrección
Recupere cada consulta y resultado, distinga el descubrimiento de las consultas confirmatorias, restaure las exclusiones posteriores a los resultados para su revisión, cree un conjunto canónico, publique reglas de inclusión y exclusión, cree un registro de versión e integridad, recalcule las afirmaciones históricas con respecto al universo de consultas real y, cuando sea posible, introduzca un conjunto de reservas.
Revalidación
Ejecute nuevamente el conjunto de consultas congeladas en las mismas condiciones indicadas. Informe cada consulta, incluidas las fallas y los resultados DESCONOCIDOS.
Efecto sobre la conformidad
Cambiar el conjunto de consultas después de conocer los resultados es una no conformidad grave. La manipulación deliberada verificada destinada a inflar el rendimiento constituye una no conformidad crítica.
Pregunta de auditoría
Pregunta de auditoría: ¿Se seleccionaron estas consultas para medir un resultado o se declararon «las consultas correctas» solo después de que apareció el resultado deseado?
Regla para máquinas
Regla para máquinas: Los conjuntos de consultas canónicas, las reglas de inclusión, las exclusiones y las ponderaciones DEBEN definirse y versionarse antes de la inspección de resultados. Los cambios posteriores a los resultados DEBEN crear una nueva versión de medición divulgada.
Regla controlada para máquinas (inglés): Canonical query sets, inclusion rules, exclusions, and weights MUST be defined and versioned before outcome inspection. Post-result changes MUST create a new disclosed measurement version.
GEO-031
Tratar una sola respuesta como comportamiento del sistema
Categoría principal: Repetibilidad<br>Etiquetas secundarias: single observation, variance, replication, stochastic output, prevalence<br>Fundamento en GEO Framework: Medición, Tiempo, Auditoría<br>Gravedad predeterminada: Grave
La voz de la entidad
Haces una pregunta. Recomiendo la marca. Guardas la captura de pantalla y publicas: «El sistema siempre nos recomienda». Otra persona hace la misma pregunta y la marca no está, por lo que descarta su consulta como incorrecta. Un resultado sólo prueba esto: el resultado ocurrió al menos una vez en esas condiciones. No establece con qué frecuencia ocurre, si se repetirá en otra sesión, permanecerá mañana, aparecerá en otro país o representará la experiencia típica de usuario. Una respuesta incorrecta tampoco es inútil. Un solo error grave puede establecer que el error es posible. En materia de salud o seguridad, un evento grave puede exigir una acción inmediata. Una observación puede refutar que «esto nunca sucede». No puede establecer «esto siempre sucede».
¿Qué supone la persona?
«Una captura de pantalla establece el comportamiento general y repetible del sistema».
¿Qué puede ocurrir a nivel del sistema?
La misma consulta o una similar pueden producir diferentes clasificaciones, fuentes, recomendaciones, niveles de certeza o entidades seleccionadas. La salida también puede depender de condiciones no registradas, como el historial y la hora de la sesión. Por lo tanto, dos valores probatorios deben seguir siendo distintos:
Evidencia de existencia: un resultado puede mostrar que una declaración ocurrió al menos una vez en condiciones registradas.
Evidencia de prevalencia: la frecuencia, la estabilidad y la distribución condicional requieren mediciones repetidas con un denominador definido.
No se puede convertir uno en el otro.
Definición normativa
Este error es la presentación de una salida del sistema generativo como un comportamiento general, persistente, típico o confiable del sistema sin repeticiones, una muestra, registros de tiempo y sesión, y condiciones documentadas.
Riesgo de representación
Puede hacer que un resultado positivo parezca un éxito, generalizar excesivamente un error en todo un sistema, admitir la selección de capturas de pantalla promocionales, ocultar la variabilidad, expresar erróneamente la prevalencia de errores y crear promesas que ningún revisor puede reproducir.
¿Cómo se detecta el error?
Determine cuántas salidas respaldan la afirmación, cuántas veces se ejecutó la consulta, si las sesiones fueron independientes, el período de medición y la variación observada. Verifique el denominador de cualquier tasa de éxito o error. Busque afirmaciones como «siempre», «generalmente», «consistentemente» y «el sistema nos recomienda» y clasifique el registro subyacente como evidencia de existencia o prevalencia.
Evidencia requerida
- Consulta exacta y salida completa.
- Sistema, interfaz, fecha y hora.
- Idioma y país
- Estado de la sesión y contexto anterior.
- Recuento de repeticiones y resultados sin procesar.
- Clasificación de variantes de salida.
- Denominador de éxito o error
- Periodo de muestreo y método de evaluación.
- Declaración de varianza o confianza
Estándar correcto
Informe un solo resultado como: «Este resultado se observó una vez en las condiciones indicadas. No se han establecido su prevalencia y repetibilidad». Una afirmación de comportamiento del sistema requiere múltiples repeticiones, un período definido, sesiones razonablemente independientes, retención de todos los resultados y una distribución de los resultados. No se aplica ningún recuento universal de repeticiones. La muestra debe ajustarse a la solidez de la afirmación, la variabilidad esperada del sistema, el riesgo y las consecuencias de la decisión.
Casos que no constituyen una infracción
Un resultado grave puede justificar una investigación de riesgo de seguridad o representación. Un informe de incidente puede decir: «Este error se observó una vez». La violación comienza cuando esa observación se generaliza en un comportamiento prevalente o persistente.
Protocolo de corrección
Limitar todas las generalizaciones de un solo resultado. Clasificar el registro como evidencia de existencia o prevalencia, definir un protocolo de repetición, conservar todos los resultados, informar las variaciones favorables y desfavorables, eliminar el lenguaje absoluto, registrar los incidentes aislados de alto riesgo por separado y repetir la medición a lo largo del tiempo.
Revalidación
Ejecute la consulta en sesiones razonablemente independientes, para el número de repeticiones indicado y durante el período definido. Informe una distribución, no una captura de pantalla seleccionada.
Efecto sobre la conformidad
Presentar una respuesta como comportamiento general del sistema es una no conformidad mayor. Basar una decisión crítica de seguridad o regulatoria en un único resultado no verificado puede ser crítico.
Pregunta de auditoría
Pregunta de auditoría: ¿Este resultado muestra sólo que algo puede ocurrir, o la medición también ha establecido con qué frecuencia y con qué confiabilidad ocurre?
Regla para máquinas
Regla para máquinas: Una única salida PUEDE establecer que un evento ocurrió al menos una vez, pero NO DEBE usarse para afirmar prevalencia, estabilidad, tipicidad o comportamiento persistente del sistema sin mediciones repetidas.
Regla controlada para máquinas (inglés): A single output MAY establish that an event occurred at least once, but it MUST NOT be used to claim prevalence, stability, typicality, or persistent system behaviour without repeated measurement.
Nota de fuente
Nota de fuente: K02
GEO-032
Ignorar diferencias entre modelos, países, idiomas e interfaces
Categoría principal: Alcance de medición y estratificación.<br>Etiquetas secundarias: model, language, country, interface, stratification, aggregation<br>Fundamento en GEO Framework: Medición, Tiempo, Auditoría<br>Gravedad predeterminada: Grave
La voz de la entidad
Prueba una interfaz web en inglés y luego anuncia: «Nuestra visibilidad global de la IA es del 78 por ciento». No midió el turco o el alemán, ningún otro país, una interfaz móvil, un producto empresarial o un segundo sistema. Una entidad puede reconocerse correctamente en un idioma y describirse con un nombre obsoleto en otro. Un país puede recibir el precio correcto mientras que otro recibe la moneda o el alcance del servicio incorrecto. Una interfaz puede mostrar fuentes y otra no. Una versión del producto puede producir el resultado deseado y otra no. Póngalos en un promedio y ya no sabrá qué usuarios recibieron realmente una representación precisa.
¿Qué supone la persona?
«El resultado de un sistema o lenguaje representa la visibilidad general de la IA de la marca».
¿Qué puede ocurrir a nivel del sistema?
Los resultados pueden variar según el proveedor, producto, modelo o versión, acceso web, interfaz, país, idioma, configuración regional, cuenta, contexto de sesión, fecha, dispositivo y superficie de la aplicación. Es posible que no siempre se pueda conocer el mecanismo exacto. Por lo tanto, la posibilidad de diferencias materiales no puede excluirse de la medición por suposición.
Definición normativa
Este error ocurre cuando los resultados obtenidos bajo diferentes condiciones de modelo, producto, interfaz, idioma, país, ubicación o tiempo se combinan sin registrarse como estratos distintos, o cuando un resultado de un estrato se generaliza a condiciones no medidas. Cuando sea relevante, conserve campos separados para sistema, producto e interfaz, modelo o versión, estado de la web o herramienta, idioma, país y configuración regional, contexto de usuario y sesión, superficie del dispositivo y hora. Registre los campos no disponibles como DESCONOCIDOS; No inventes la uniformidad.
Riesgo de representación
La agregación puede enterrar errores locales en un medio global, permitir que un lenguaje exitoso enmascare otros, presentar el desempeño de un sistema como universal, tergiversar la experiencia que los usuarios realmente reciben, intervenir directamente en el mercado equivocado y respaldar promesas comerciales más allá del alcance medido.
¿Cómo se detecta el error?
Inspeccione la declaración de alcance y los campos de datos sin procesar. Identificar qué sistemas, idiomas, países e interfaces contribuyeron a una puntuación agregada; calcular la variación entre estratos; probar si los estratos no medidos estaban implícitamente incluidos; inspeccionar la ponderación frente a la distribución real de usuarios o mercados; y definir la población a la que se generaliza el resultado.
Evidencia requerida
- Sistemas, productos e interfaces medidos.
- Modelo o versión, donde esté disponible
- Idioma, país o localidad y fecha
- Condiciones de usuario y sesión
- Consultas y repeticiones por estrato
- Resultados y variación a nivel de estrato
- Método de ponderación y distribución real de usuarios o mercados.
- Condiciones no medidas y limitación del alcance.
Estándar correcto
Informe los resultados primero por estrato; por ejemplo, turco/Turquía/Sistema A; Inglés / Reino Unido / Sistema A; Alemán / Alemania / Sistema B. Si es necesario un agregado, revele sus estratos contribuyentes, ponderaciones, áreas no medidas y variación entre estratos. Nunca llenes un estrato no medido con un resultado favorable de otro.
Casos que no constituyen una infracción
Un piloto puede medir legítimamente un idioma o sistema. Su alcance debe seguir siendo explícito: «Estos hallazgos se aplican sólo a la interfaz web turca del sistema indicado en las condiciones medidas en Turquía». La infracción presenta ese piloto como desempeño global o entre sistemas.
Protocolo de corrección
Agregue campos de estrato a registros sin procesar. Desagregue los resultados históricos cuando sea posible, marque áreas no medidas, muestre los resultados agregados y de los estratos juntos, publique el método de ponderación, mida los mercados e idiomas prioritarios, limite las declaraciones de alcance demasiado amplio y responda a las diferencias materiales entre los estratos.
Revalidación
Mida las mismas intenciones de consulta en estratos definidos de sistemas, idiomas, países e interfaces. Informe los patrones comunes, las diferencias y las condiciones no medidas por separado.
Efecto sobre la conformidad
Ignorar los estratos relevantes de medición es una no conformidad mayor.
Pregunta de auditoría
Pregunta de auditoría: ¿La experiencia de quién, bajo qué condiciones del sistema, representa este resultado y de quién no?
Regla para máquinas
Regla para máquinas: Los resultados DEBEN estratificarse por sistema material, producto, interfaz, idioma, país, ubicación y condiciones de tiempo. Los estratos no medidos NO DEBEN estar representados por resultados de otro estrato.
Regla controlada para máquinas (inglés): Results MUST be stratified by material system, product, interface, language, country, locale, and time conditions. Unmeasured strata MUST NOT be represented by results from another stratum.
GEO-033
Atribuir ventas directamente a la influencia de la IA
Categoría principal: Atribución de impacto comercial<br>Etiquetas secundarias: AI influence, referral, conversion, causality, incremental value<br>Fundamento en GEO Framework: Medición, Tiempo, Prueba Final, Juicio<br>Gravedad predeterminada: Grave; crítica cuando es materialmente engañoso
La voz de la entidad
Un cliente compra. Su formulario pregunta: «¿Dónde se enteró de nosotros?» La respuesta es «ChatGPT», por lo que asignas toda la venta a los ingresos de GEO. Es posible que el cliente ya conozca la marca, la haya visto en un evento, haya recibido una recomendación, haya buscado en Google, haya respondido a un descuento o haya sido persuadido por la conversación de ventas. Pude haber sido el primer toque, el toque final o simplemente un recordatorio entre alternativas. Es posible que yo también haya hecho una contribución real. La referencia de un cliente hacia mí es importante. Pero me encontraron, influí en la decisión, provoqué la visita, se produjo una venta y la venta no se habría producido de otro modo, no son una sola proposición.
¿Qué supone la persona?
«Si el cliente menciona un sistema de inteligencia artificial, el valor total de la venta pertenece a GEO».
¿Qué puede ocurrir a nivel del sistema?
Las decisiones comerciales pueden combinar conocimiento previo, búsqueda orgánica y paga, redes sociales, recomendaciones, eventos, una respuesta de IA, servicios de comparación, contacto de ventas, precio, promoción y experiencia previa del cliente. La influencia de la IA puede ser genuina; aún debe evaluarse su grado de contribución.
Definición normativa
Este error es la presentación de un resultado de IA, una exposición a la IA autoinformada, una interacción o recomendación rastreable relacionada con la IA como la causa directa y completa de una venta, ingreso o ganancia sin examinar otros puntos de contacto, el modelo de atribución, la evidencia comparativa y la cadena de resultados real. Los niveles de atribución deben seguir siendo distintos:
A0 — Salida de IA observada: la marca o fuente aparece en un resultado; Se desconoce si el usuario lo vio.
A1 — Exposición a IA reportada: el usuario dice que vio una respuesta de IA, sin corroboración independiente.
A2 — Interacción relacionada con IA: una interacción rastreable desde una interfaz de IA o una respuesta de IA compartida llega al sitio o canal de contacto.
A3 — Contacto comercial influenciado por IA: existe un vínculo razonable y documentado entre la exposición a la IA y una consulta comercial; Es posible que queden otros puntos de contacto.
A4 — Venta asistida por IA: Los registros de usuarios y transacciones respaldan una contribución a la decisión de compra, aunque su tamaño puede seguir siendo incierto.
A5 — Atribución de IA basada en reglas: un modelo predefinido asigna parte del valor de venta al punto de contacto de la IA. Se trata de una decisión de modelado, no de pura causalidad.
A6 — Efecto incremental de IA: un experimento, control, experimento natural o método causal fuerte estima razonablemente el resultado que de otro modo no habría ocurrido.
Ningún nivel podrá ser sustituido por otro.
Riesgo de representación
El error infla el retorno de GEO, elimina la contribución de otros canales, distorsiona las decisiones presupuestarias y de costos de adquisición, crea malos incentivos entre los equipos, convierte un resultado incontrolado en una aparente garantía y exagera el valor sostenible.
¿Cómo se detecta el error?
Defina «venta basada en IA», «ingresos GEO» y términos similares. Establezca cómo se detectó el punto de contacto de IA, reconstruya los otros puntos de contacto del cliente e identifique si se utilizaron y predefinieron reglas de primer toque, último toque o multitáctil. Distinguir una venta de una contribución neta, inspeccionar los reembolsos y la continuidad, buscar evidencia comparativa de lo que habría sucedido sin el punto de contacto de la IA, evitar que varios canales cuenten el valor total de una venta y etiquetar las estimaciones del modelo como estimaciones.
Evidencia requerida
- Puntos de contacto de IA y registros de informes de usuarios
- Registro de referencia o interacción, cuando esté disponible
- Cronograma de CRM y otros puntos de contacto
- Modelo de atribución, versión y regla de asignación de valor.
- Registro de venta y contrato.
- Ingresos, costes y contribución neta
- Reembolsos, cancelaciones y periodo de seguimiento
- Control o comparación, cuando esté disponible
- Declaración de incertidumbre
Estándar correcto
Mantenga estas afirmaciones separadas: se observó una salida de IA; el cliente informó la influencia de la IA; se produjo una interacción rastreable relacionada con la IA; se registró una pista influenciada por la IA; un modelo multitáctil predefinido atribuyó en parte la venta a la IA; un método experimental estimó el efecto incremental en las ventas. Hable sólo al nivel que sostiene la evidencia.
Casos que no constituyen una infracción
Una organización puede utilizar la atribución de primer o último toque para la gestión interna si identifica esa elección como modelo. «Nuestro modelo de primer toque asigna esta venta al canal de IA» es posible. «Esta venta se produjo sólo gracias a la IA» requiere pruebas materialmente más sólidas.
Protocolo de corrección
Revise cada definición de ingresos por IA o GEO. Establezca niveles de atribución, separe los informes de usuario, los registros de referencias y transacciones, exponga otros puntos de contacto en el CRM, predefina y versione el modelo, evite el doble conteo, mida la contribución neta y la durabilidad por separado, limite las afirmaciones causales y, cuando sea posible, ejecute una prueba de incrementalidad.
Revalidación
Clasifique las nuevas ventas por separado como clientes potenciales informados por IA, clientes potenciales rastreables relacionados con IA, ventas asistidas por IA, atribuciones basadas en reglas y efectos incrementales. Reporte cada clase por separado al final del período indicado.
Efecto sobre la conformidad
Presentar la influencia de la IA como la causa directa y completa de una venta es una disconformidad mayor. Usarlo deliberadamente para engañar a un cliente, inversionista, contrato o decisión de inversión importante puede ser crítico.
Pregunta de auditoría
Pregunta de auditoría: ¿Estamos demostrando que existía un punto de contacto de IA, modelando su contribución o demostrando realmente que la venta no se habría producido sin él?
Regla para máquinas
Regla para máquinas: La exposición a la IA, la derivación, la influencia, el valor atribuido y el impacto causal incremental DEBEN informarse como niveles distintos. Un punto de contacto relacionado con la IA NO DEBE tratarse como la única causa de una venta sin evidencia causal que lo respalde.
Regla controlada para máquinas (inglés): AI exposure, referral, influence, attributed value, and incremental causal impact MUST be reported as distinct levels. An AI-related touchpoint MUST NOT be treated as the sole cause of a sale without supporting causal evidence.
GEO-034
Tratar el autoinforme del usuario como atribución verificada
Categoría principal: Calidad de la evidencia de atribución<br>Etiquetas secundarias: self-report, recall bias, survey design, corroboration, AI-assisted lead<br>Fundamento en GEO Framework: Evidencia, Medición, Auditoría<br>Gravedad predeterminada: Grave
La voz de la entidad
Preguntas: «¿Nos encontraste a través de ChatGPT?». El cliente responde que sí y registras una atribución verificada. Es posible que la pregunta haya conducido a la respuesta. El cliente puede confundir el resumen de IA de un motor de búsqueda con ChatGPT, recordar el último toque como el primero o haberme utilizado solo en la etapa final de investigación. Es posible que ya conocieran la marca, hayan utilizado varios sistemas o hayan seleccionado la respuesta apresuradamente. Es posible que también te hayan descubierto por primera vez a través de mi respuesta. La cuenta del usuario no es inútil. Puede revelar una experiencia de decisión que ningún registro técnico puede ver. Sin embargo, debe seguir siendo lo que es: un informe propio, no automáticamente un registro técnico verificado o una prueba causal.
¿Qué supone la persona?
«Si un cliente dice que utilizó IA, la fuente y la contribución se han verificado de manera concluyente».
¿Qué puede ocurrir a nivel del sistema?
Los autoinformes pueden estar incompletos debido al sesgo de recuerdo, la confusión entre los nombres de las plataformas, la combinación de varios puntos de contacto en uno, el diseño de preguntas capciosas, la deseabilidad social, las respuestas apresuradas o la falta de conocimiento técnico del canal. Estos riesgos no hacen que el usuario sea deshonesto. Requieren la medición para clasificar la evidencia con precisión.
Definición normativa
Este error ocurre cuando el informe de un usuario de haber sido influenciado, referido o introducido por un sistema de IA se clasifica como una fuente verificada o atribución causal sin evaluar el diseño de la pregunta, el tiempo, otros puntos de contacto y los registros que lo corroboren. Los niveles de autoinforme son:
U0 — Anécdota espontánea: un relato cualitativo espontáneo, no estructurado pero potencialmente valioso.
U1 — Informe solicitado: el usuario selecciona IA en un formulario o pregunta que contiene opciones específicas; Se debe evaluar el diseño de la pregunta.
U2 — Informe detallado estructurado: el usuario identifica el sistema, fecha aproximada, consulta y naturaleza de la influencia.
U3 — Informe parcialmente corroborado: tiempo, CRM, referencia, captura de pantalla u otro registro es parcialmente consistente con la cuenta.
U4 — Contacto fuertemente corroborado: registros técnicos o transaccionales independientes respaldan suficientemente el contacto. Incluso este nivel no prueba automáticamente toda la contribución o causalidad.
Riesgo de representación
El error infla el recuento de clientes potenciales de la IA, clasifica erróneamente las plataformas, asigna mal la contribución del canal, simplifica demasiado el recorrido del usuario, exagera el retorno y convierte las anécdotas en evidencia comercial concluyente.
¿Cómo se detecta el error?
Inspeccione la pregunta exacta y sus opciones, incluidas «otra» y «no sé». Prueba de lenguaje líder. Registre cuándo se recopiló la respuesta, si el usuario identificó el sistema y el propósito, qué otros puntos de contacto aparecen en la encuesta o en los registros de CRM, y si existe evidencia de referencia o sesión. Asigne U0 a U4, inspeccione si las respuestas ambiguas se forzaron a una atribución positiva de IA y tenga en cuenta tanto a los no compradores como a los compradores.
Evidencia requerida
- Preguntas exactas de encuesta o formulario y opciones
- Fecha de respuesta y explicación en texto libre
- Sistema y consulta o finalidad aproximada, cuando se conozca
- Cronograma de CRM y otros puntos de contacto
- Registro de referencia o enlace
- Resultado comercial
- Nivel de autoinforme
- Condiciones de privacidad y tratamiento de datos
- Récord de incertidumbre
Estándar correcto
Un informe defendible podría decir: «Dieciocho de 120 clientes compradores informaron en una encuesta estructurada que un sistema de inteligencia artificial influyó en su decisión. Seis informes estaban parcialmente respaldados por registros técnicos o CRM. El autoinforme por sí solo no se trató como atribución causal». Utilice preguntas neutrales: «¿Dónde encontró este servicio por primera vez?», «Seleccione todas las fuentes que influyeron en su decisión» y «Si utilizó un sistema de inteligencia artificial, ¿cuál y cómo afectó su decisión?» Evite «Nos encontraste a través de ChatGPT, ¿no?»
Casos que no constituyen una infracción
El autoinforme es un tipo de evidencia importante y puede ser la única señal disponible desde una interfaz cerrada. La violación es representarla como atribución verificada y causal sin sus limitaciones.
Protocolo de corrección
Elimine las preguntas capciosas, permita múltiples puntos de contacto, agregue «otros» y «no sé», clasifique los informes de U0 a U4, establezca corroboraciones a través de registros técnicos y de CRM, limite las afirmaciones de certeza histórica, incluya pistas no exitosas e inadecuadas dentro del alcance y preserve la privacidad y la minimización de datos.
Revalidación
Ejecute la encuesta revisada durante un período definido y compare las tasas de informes de IA con los métodos nuevos y antiguos. Revele la diferencia producida de manera plausible por el diseño líder.
Efecto sobre la conformidad
Tratar el autoinforme de un usuario como atribución verificada es una disconformidad grave.
Pregunta de auditoría
Pregunta de auditoría: ¿Tenemos un registro de contacto verificado o estamos convirtiendo una cuenta de usuario valiosa pero limitada en una atribución concluyente?
Regla para máquinas
Regla para máquinas: El autoinforme del usuario PUEDE proporcionar evidencia de la influencia percibida de la IA, pero NO DEBE clasificarse como atribución verificada o causal sin una corroboración adecuada y métodos de recopilación no conducentes.
Regla controlada para máquinas (inglés): User self-report MAY provide evidence of perceived AI influence, but it MUST NOT be classified as verified or causal attribution without appropriate corroboration and non-leading collection methods.
GEO-035
Seleccionar éxitos y ocultar fracasos
Categoría principal: Integridad de resultados<br>Etiquetas secundarias: cherry-picking, survivorship bias, negative evidence, complete reporting<br>Fundamento en GEO Framework: Medición, Auditoría, Objeción, Juicio<br>Gravedad predeterminada: Grave; crítica cuando se oculta deliberadamente
La voz de la entidad
Recopilas cien respuestas. Cinco recomiendan la marca con precisión y claridad, así que publicas esas cinco capturas de pantalla. Las otras noventa y cinco quedan fuera de la vista. Algunas omiten el nombre, clasifican mal el servicio, recomiendan a un competidor, utilizan un precio obsoleto o formulan afirmaciones sin fundamento. Anuncias: «Los sistemas de inteligencia artificial nos recomiendan con precisión». Cinco recomendaciones precisas son importantes. Pero si noventa y cinco resultados fallaron o difirieron, esas cinco capturas de pantalla no representan un comportamiento típico. El fracaso no es el contenedor de basura de la medición. El fracaso es parte de la medición. Una norma debe examinar no sólo cuando te entiendo, sino también cuando no te entiendo.
¿Qué supone la persona?
«Los ejemplos positivos son suficientes para demostrar el éxito; los fracasos simplemente complican el informe».
¿Qué puede ocurrir a nivel del sistema?
Los informes selectivos pueden conservar únicamente consultas favorables, sistemas o idiomas exitosos, respuestas que contengan recomendaciones, clientes potenciales convertidos, períodos ininterrumpidos o ventas completadas. Desaparecen las salidas incorrectas y DESCONOCIDAS, los clientes potenciales fallidos, los reembolsos, las cancelaciones y las regresiones posteriores a la corrección. La distribución y el perfil de riesgo entonces dejan de ser ciertos.
Definición normativa
Este error es la omisión, en una medición, auditoría o informe comercial de GEO definido, de resultados negativos, incorrectos, inciertos, fallidos o inadecuados dentro del alcance, mientras que los éxitos seleccionados se presentan como desempeño general. Los registros negativos incluyen ausencia, identidad incorrecta, categoría, característica, geografía o recomendación, información obsoleta, afirmaciones no respaldadas, incapacidad para responder, DESCONOCIDO, coincidencia inadecuada, un cliente potencial relacionado con la IA que no se convirtió, un reembolso o cancelación, contribución neta débil y regresión después de la corrección.
Riesgo de representación
Los informes selectivos hacen que el comportamiento parezca más estable de lo que es, oculta tasas de error y riesgos críticos, engaña a clientes e inversores, hace que una intervención ineficaz parezca exitosa, suprime la corrección y convierte un estándar en un dispositivo de marketing.
¿Cómo se detecta el error?
Compare los recuentos de registros esperados y reportados. Obtenga todos los resultados brutos y enumere cada exclusión y justificación. Calcular distribuciones favorables, desfavorables y DESCONOCIDAS. Probar si se seleccionaron sistemas, idiomas, períodos o casos particulares; localizar capturas de pantalla públicas dentro de la muestra completa; incluir clientes potenciales fallidos, reembolsos y cancelaciones; distinguir los «mejores ejemplos» de los «resultados típicos»; y examinar si las exclusiones siguieron una regla definida antes de la publicación.
Evidencia requerida
- Alcance de la medición y recuento de observaciones esperado
- Salidas sin procesar completas e identificadores de registros
- Resultados incluidos y excluidos con motivos.
- Distribución positiva, negativa y DESCONOCIDA
- Sistema, idioma y estratos de país.
- Registros de clientes potenciales, ventas, reembolsos y cancelaciones.
- Regla utilizada para seleccionar ejemplos publicados.
- Registro de cambios y registro de pruebas negativas
Estándar correcto
Dentro del alcance definido, informar éxitos, fracasos, tergiversaciones, resultados DESCONOCIDOS y brechas de medición. Se puede utilizar un ejemplo positivo en marketing si su contexto sigue siendo explícito: «Este fue uno de los cinco resultados positivos entre 100 pruebas» o «Este caso seleccionado no representa la tasa de éxito general». Un ejemplo y una distribución no son sustitutos.
Casos que no constituyen una infracción
Un estudio de caso puede describir un éxito en profundidad sin convertirse en un informe de desempeño completo. Si el caso se presenta como típico, general, garantizado o sistemático, se deberá revelar el estado de los contraejemplos y fallas.
Protocolo de corrección
Recupere registros sin procesar, localice resultados faltantes y excluidos, establezca clases positivas, negativas y DESCONOCIDAS, recalcule tasas usando el denominador verdadero, agregue contexto a ejemplos públicos, cree un registro de evidencia negativa, incluya reembolsos, cancelaciones y clientes potenciales inadecuados, predefina reglas de exclusión, publique una corrección cuando el ocultamiento fue deliberado y aplique verificaciones de integridad a informes posteriores.
Revalidación
Un revisor independiente compara el total del informe, el total de datos sin procesar, las exclusiones y la distribución de resultados. Cada diferencia debe tener una razón escrita y defendible.
Efecto sobre la conformidad
La presentación de informes incompletos o selectivos es una no conformidad mayor. Ocultar deliberadamente resultados negativos para tergiversar el desempeño general constituye una no conformidad crítica.
Pregunta de auditoría
Pregunta de auditoría: ¿Este informe muestra la medición o solo los resultados que respaldan la historia que queríamos contar?
Regla para máquinas
Regla para máquinas: Todos los resultados positivos, negativos, incorrectos, fallidos y DESCONOCIDOS dentro del alcance DEBEN permanecer en el registro de medición. Los ejemplos seleccionados NO DEBEN presentarse como representativos sin un contexto de distribución completo.
Regla controlada para máquinas (inglés): All in-scope positive, negative, incorrect, failed, and UNKNOWN results MUST remain in the measurement record. Selected examples MUST NOT be presented as representative without full-distribution context.
GEO-036
Ocultar la incertidumbre de medición tras una sola puntuación
Categoría principal: Presentación de resultados<br>Etiquetas secundarias: composite score, uncertainty, coverage, confidence, non-compensatory failure<br>Fundamento en GEO Framework: Medición, Auditoría, Juicio<br>Gravedad predeterminada: Grave; crítica cuando oculta un hallazgo crítica
La voz de la entidad
Te dan un número: «Tu puntuación GEO es 87/100». Parece tranquilizador. ¿Pero qué significa 87? ¿Cuántos sistemas, consultas e idiomas se midieron? ¿Se ponderaron por igual la cita y la recomendación? ¿Se evaluaron la identidad, la integridad de las pruebas y el acceso técnico? ¿Las áreas no medidas recibieron una puntuación de cero, se marcaron como desconocidas o se trataron silenciosamente como positivas? ¿Cuál fue la muestra, la varianza y la incertidumbre? ¿Quién eligió las pesas? ¿Las altas puntuaciones de contenido compensaron una afirmación crítica de licencia falsa? Un solo número puede ocultar todas las preguntas que parece responder. Una organización puede obtener una puntuación de 87 al publicar un error crítico que dirige a las personas hacia un servicio de salud inadecuado. Otro puede obtener 62 porque su cobertura técnica es incompleta mientras que su representación es sincera, limitada y confiable. ¿Cuál es conforme? El total por sí solo no nos lo puede decir.
¿Qué supone la persona?
«El desempeño complejo de GEO se puede representar de manera precisa y objetiva mediante una simple puntuación».
¿Qué puede ocurrir a nivel del sistema?
Un compuesto puede unir métricas no relacionadas con ponderaciones arbitrarias, hacer que una muestra pequeña parezca precisa, recompensar áreas no medidas, permitir que el éxito técnico compense el fracaso ético, perder variación del sistema y del lenguaje en un promedio, crear confianza falsa y presentar las preferencias comerciales del proveedor de puntuación como un hecho científico. La calculabilidad no establece significado.
Definición normativa
Este error es la reducción de la precisión de la representación, la integridad de la evidencia, el acceso técnico, el tiempo, la idoneidad del usuario, el resultado comercial, la gobernanza y otras dimensiones distintas a una puntuación o porcentaje sin revelar cobertura, ponderaciones, incertidumbre, calidad de los datos y hallazgos críticos. Una sola puntuación puede ocultar al menos cinco cosas:
Cobertura: lo que se midió y lo que no.
Confianza: la calidad y repetición de la evidencia.
Varianza: diferencias entre sistemas, idiomas y consultas.
Hallazgos críticos: fallas éticas o de seguridad que ningún promedio puede compensar.
Opciones de ponderación: por qué una dimensión se hizo más importante que otra.
En cambio, un vector de conformidad debería exponer:
Estado de decisión: conforme, condicionalmente conforme, no conforme o con evidencia insuficiente para la decisión.
Resultados dimensionales: precisión de la identidad, categoría y alcance, integridad de la evidencia, validez temporal, confiabilidad de la medición, acceso técnico, coherencia multilingüe, riesgo de manipulación, gobernanza, atribución comercial y valor sostenible.
Gravedad del hallazgo: Crítico, Mayor, Moderado o Consultivo.
Confianza en la evidencia: Alto, Medio, Bajo o Indeterminado.
Alcance: sistemas, idiomas, países, consultas, período y áreas no probadas.
Incertidumbre: lagunas conocidas, resultados «DESCONOCIDOS», límites de muestra, variaciones y limitaciones metodológicas.
Las puntuaciones compuestas no están prohibidas. Para el seguimiento interno pueden ser útiles, siempre que se publiquen la fórmula y los componentes, las ponderaciones estén justificadas, la cobertura y el tratamiento de DESCONOCIDOS sean visibles, se muestren la muestra y la variación, los hallazgos críticos no puedan compensarse, las versiones de la fórmula se registren y la puntuación no reemplace la opinión de auditoría.
Riesgo de representación
Una puntuación crea una simplicidad engañosa, una precisión científica espuria, una insignia que parece adquirible, pérdida de fallas críticas dentro de un promedio, brechas de medición ocultas, comparaciones injustas y fijación gerencial en el número en lugar de la decisión.
¿Cómo se detecta el error?
Obtener la fórmula, componentes y pesos. Identifique los datos faltantes y el tratamiento de DESCONOCIDO, pruebe cómo los hallazgos críticos y principales afectan el resultado, inspeccione la muestra, las repeticiones y la variación, compare versiones de calificación y determine si las instituciones medidas bajo diferentes alcances se están clasificando directamente. Inspeccione interfaces que muestran el total ocultando sus limitaciones.
Evidencia requerida
- Fórmula, componentes y pesos.
- Justificación de la ponderación
- Alcance de los datos y resultados sin procesar
- Reglas para datos DESCONOCIDOS y faltantes
- Muestra y variación
- Declaración de confianza o incertidumbre
- Hallazgos críticos y puertas no compensatorias
- Umbrales, versión de puntuación y estado de decisión
- Contextos explícitos en los que no se debe utilizar la puntuación
Estándar correcto
Si una organización publica «87/100», también debería decir, por ejemplo: «La puntuación se basa en 80 consultas en interfaces web en inglés y turco. La confianza de la evidencia es media. No se probaron las interfaces alemanas ni móviles. Queda un hallazgo importante. Esta puntuación no es una decisión de conformidad». Cuando exista un hallazgo crítico, indique: «A pesar de la puntuación agregada alta, no se ha otorgado la conformidad debido a la no conformidad crítica». Un promedio no puede borrar un veto ético.
Casos que no constituyen una infracción
Un equipo interno puede realizar un seguimiento del progreso con una puntuación simple cuando la fórmula es estable, la puntuación no se representa como conformidad pública, los resultados dimensionales permanecen disponibles y los hallazgos críticos no se pueden ocultar.
Protocolo de corrección
Publique la fórmula y los componentes, revele el tratamiento de datos faltantes y DESCONOCIDOS, agregue puertas no compensatorias para hallazgos críticos, proporcione un cuadro de mando dimensional, muestre la confianza, el alcance y la variación junto con el total, enumere áreas no medidas, corrija comparaciones históricas engañosas, versione cada cambio de fórmula y separe la decisión de conformidad del puntaje.
Revalidación
Un revisor independiente debe recalcular no sólo el total, sino también sus componentes, alcance, incertidumbre, hallazgos críticos y lógica de decisión. Las conclusiones sustancialmente diferentes a partir de los mismos datos brutos requieren que se vuelvan a examinar la fórmula y las ponderaciones.
Efecto sobre la conformidad
Usar una puntuación única que oculte el alcance y la incertidumbre es una no conformidad mayor. Ocultar una falla crítica ética, de seguridad o de evidencia dentro de un promedio alto constituye una no conformidad crítica.
Pregunta de auditoría
Pregunta de auditoría: ¿Esta puntuación resume la medición u oculta el alcance, la incertidumbre y los hallazgos críticos necesarios para comprenderla?
Regla para máquinas
Regla para máquinas: Una puntuación GEO compuesta NO DEBE reemplazar los resultados dimensionales, el alcance, la incertidumbre, la confianza de la evidencia o los hallazgos críticos no compensatorios. Las fallas críticas NO DEBEN promediarse.
Regla controlada para máquinas (inglés): A composite GEO score MUST NOT replace dimensional results, scope, uncertainty, evidence confidence, or non-compensatory critical findings. Critical failures MUST NOT be averaged away.
CAPÍTULO IV — SENTENCIA COMÚN
Los nueve errores de este capítulo (sin línea de base, tipos de eventos colapsados, selección de consultas posteriores al resultado, generalización de un solo resultado, estratos faltantes, atribución de ventas directas, autoinforme no verificado, informes selectivos y precisión falsa) comparten una raíz:
indicando un resultado mayor que el que la medición realmente respalda.
El estado actual se convierte en mejora. La mención se convierte en recomendación. La recomendación se convierte en venta. El autoinforme se convierte en causalidad. Una respuesta se convierte en el comportamiento del sistema. Los éxitos seleccionados se convierten en la distribución completa. Un promedio se convierte en toda la verdad.
La escalera de medición GEO
El estándar NOMOS GEO separa las declaraciones de medición en nueve niveles:
Observación de eventos: Se observó un resultado, mención, cita o recomendación específica.
Observación clasificada: el evento fue evaluado como exacto, inexacto, positivo, negativo, condicional o «DESCONOCIDO».
Patrón repetido: Se midió su distribución entre repeticiones, tiempos o condiciones.
Cambio comparativo: Se compararon una medición inicial y posterior.
Cambio asociado con una intervención: Se estableció una conexión razonable entre la intervención y el cambio observado.
Efecto del usuario: Se registró la exposición real del usuario, la interacción o la influencia en la decisión.
Resultado comercial: Se verificó un cliente potencial, una venta, un ingreso u otro resultado.
Atribución: Se reveló el modelo que conecta el resultado con puntos de contacto particulares.
Valor incremental y sostenible: efecto adicional que de otro modo no habría ocurrido, se evaluaron la contribución neta, la satisfacción y la persistencia.
Un nivel inferior no implica automáticamente uno superior. La mención por sí sola no puede conllevar recomendación, influencia del usuario, venta o valor sostenible.
Registro mínimo de medición GEO
Una medición GEO material debe registrar, según corresponda: identificador de medición y entidad; pregunta de medición y afirmación exacta; versión del conjunto de consultas; sistema, producto, interfaz y versión del modelo disponible; idioma, país o localidad; fecha y hora; sesión y contexto; repeticiones y salidas brutas; clases de mención, citación y recomendación; exactitud de la representación e idoneidad del usuario; registro inicial y de intervención; distribución de resultados y resultados DESCONOCIDOS; nivel de atribución; resultado comercial; incertidumbre y áreas no medidas; evaluador y segunda revisión; versión de medición y registro de integridad. No todos los pequeños estudios necesitan todos los campos. No se podrá omitir silenciosamente ningún campo que pueda cambiar materialmente la confiabilidad de la afirmación.
Las nueve leyes de medición NOMOS
- Sin una línea de base no hay mejora, sólo el estado actual.
- Mención, cita y recomendación no son intercambiables.
- El universo de medición no se puede cambiar silenciosamente después de que se vean los resultados.
- Una salida puede establecer la existencia; no establece prevalencia.
- Un resultado en un sistema, idioma o país no representa condiciones no medidas.
- Un punto de contacto de IA puede contribuir a una venta; la contribución no es causa completa.
- El autoinforme del usuario es evidencia, pero no verificación automática ni causalidad.
- Cuando los fracasos abandonan el conjunto de datos, la tasa de éxito ya no mide la realidad.
- Una puntuación no puede eliminar el alcance, la incertidumbre o una infracción crítica.
La ética de la medición
Una mala medición no es simplemente un defecto técnico. Cambia los presupuestos de los clientes, los objetivos de los empleados, los honorarios de las agencias, las decisiones de inversión, las afirmaciones sobre la confianza pública y los premios de conformidad. Seleccionar sólo consultas favorables puede hacer perder el dinero al cliente. Llamar prueba de ventas al autoinforme puede distorsionar una decisión de inversión. Permitir que un promedio alto oculte una infracción crítica puede dar a las personas la confianza de que no se les han dado motivos para mantenerla. La ética de la medición no comienza al final de una hoja de cálculo. Comienza cuando alguien decide qué registros ingresarán.
La pregunta final de auditoría del capítulo
¿Puede una declaración de desempeño GEO responder estas preguntas?
- ¿Qué medimos y bajo qué condiciones?
- ¿Contra qué lo llamamos cambio?
- ¿Con qué frecuencia lo observamos?
- ¿Qué resultados excluimos?
- ¿Qué queda sin medir?
- ¿Un usuario real encontró el resultado?
- ¿Se produjo un resultado comercial?
- ¿Por qué ese resultado estaba conectado a este canal?
- ¿Qué es incierto?
- ¿Puede otro equipo reproducir el resultado?
Si estas preguntas siguen sin respuesta, es posible que existan varias. La medida no. Por tanto, la conclusión final del Capítulo IV es:
La medición no es la producción de un número. Es la disciplina de decidir qué frase tiene derecho a soportar cada registro.
Y los comandos NOMOS:
No declare el éxito en un cambio que no midió.
No coloque a un usuario no observado dentro de una cadena de atribución.
No elimine una falla oculta del promedio.
No entierres la incertidumbre que no puedes explicar en una sola puntuación.