Respuesta directa
El éxito de GEO no debería reducirse a una mención o una puntuación. Deben medirse por separado el acceso, la recuperación, las menciones, las citas, las recomendaciones, la exactitud de la representación, el respaldo probatorio, la estabilidad a lo largo del tiempo y el impacto humano. Los resultados deben identificar el sistema, la versión, el idioma, el país, la fecha y el conjunto fijo de preguntas.
En lenguaje claro
No puede considerar que un estudiante ha tenido éxito solo porque acudió a clase. Examina por separado la asistencia, las respuestas correctas, los errores y la mejora. La visibilidad es solo un indicador en GEO; el resultado importante es una representación exacta y respaldada por pruebas.
Por qué importa
Una sola puntuación oculta la capa que falló. Las menciones pueden aumentar mientras disminuyen el respaldo de las citas o la exactitud de la representación. Informar únicamente de cifras favorables convierte una auditoría en un informe de marketing.
No confundir
- Frecuencia y exactitud son distintas.
- Tasa de citas y respaldo de las citas son distintos.
- Tasa de recomendaciones y recomendación adecuada son distintas.
- Un resultado puntual y la estabilidad a lo largo del tiempo son distintos.
Qué hacer
- Fije la definición de éxito y el conjunto de preguntas antes de medir.
- Realice una medición inicial.
- Registre el modelo, la versión, el idioma, el país, la fecha y la instrucción utilizada.
- Conserve las respuestas sin modificar y las fuentes.
- Puntúe por separado la exactitud, la integridad, la vigencia y el respaldo probatorio.
- Después de un cambio, vuelva a probar en las mismas condiciones.
Cómo auditarlo
- ¿Se escribieron de antemano las fórmulas de las métricas?
- ¿Son visibles el denominador y la muestra?
- ¿Incluye el informe los resultados fallidos y desfavorables?
- ¿Se generalizó a partir de un solo modelo o una sola consulta?
- ¿Puede recalcularse el resultado informado a partir de los datos sin procesar?
Límite
Las medidas NOMOS son métricas de auditoría propuestas; no deben presentarse como un estándar sectorial oficial adoptado de forma independiente. La medición no revela todo el funcionamiento interno de un sistema de terceros.
Recuérdalo en una frase
El éxito de GEO depende menos de cuántas veces aparece que de la exactitud y las pruebas con que se le representa.
Fuentes de este registro
- S01Aggarwal et al., *GEO: Generative Engine Optimization*Investigación