Protocolo de Auditoría GEO de NOMOS

14 / K27 · K28

Afirmaciones atómicas y adjudicación

Afirmaciones atómicas y adjudicación — La Sección 13 estableció la siguiente disposición:

Versión
0.9.0
Extensión
15.727 palabras
Estado
versión candidata fijada para publicación
Bases metodológicas
K27 · K28

Límite de Capítulo

La Sección 13 estableció la siguiente disposición:

La respuesta de una IA debe evaluarse en función de la afirmación, la evidencia, evidencia en contrario, el alcance, el tiempo y la cadena de incertidumbre contenida en el Paquete de Hechos Verificados de la Entidad fijado previamente.

Sin embargo, una respuesta de IA no consiste en una única afirmación. Incluso esta respuesta corta puede contener múltiples afirmaciones separadas: “Asteron es una empresa de consultoría global que opera en 25 países, con una tasa de éxito de 98%, certificada de manera independiente.” En esta única oración, hay al menos las siguientes afirmaciones: Asteron es una empresa. Asteron ofrece servicios de consultoría. Asteron es global. Asteron opera en 25 países. La tasa de éxito de Asteron es 98%. Asteron está certificada de manera independiente. Algunas de estas afirmaciones:

  • pueden ser verdaderas,
  • pueden ser solo parcialmente verdaderas,
  • pueden permanecer sin verificar,
  • pueden estar desactualizadas,
  • puede concernir al entidad incorrecta,
  • pueden exceder el alcance permitido,
  • puede presentar una autodeclaración como realidad verificada de manera independiente.

Esas afirmaciones pueden tener diferentes estados de verdad. Etiquetar toda la oración simplemente como 'verdadera' o 'falsa' borra las distinciones dentro de ella. Este protocolo convierte cada error y control en un ítem de auditoría medible y basado en evidencia; la misma disciplina debe aplicarse a las respuestas de la IA. De lo contrario, pruebas fabricadas o manipuladas pueden ser recombinadas por un sistema generativo y entregadas a una persona real como representación falsa. La unidad de adjudicación semántica en GEO-1000 no es, por lo tanto, el:

  • párrafo,
  • oración,
  • respuesta completa,
  • coincidencia de palabras.

La unidad básica es la:

Afirmación de Respuesta Atómica

Una respuesta de IA debe primero separarse en:

  • afirmaciones explícitos,
  • afirmaciones implícitos,
  • presuposiciones,
  • calificadores,
  • citas de fuentes,
  • proposiciones de asesoramiento,
  • omisiones materiales.

Cada afirmación debe luego ser evaluado por separado en cuanto a:

  • identidad de la entidad,
  • soporte fáctico verificado,
  • alcance,
  • tiempo,
  • fuente y estado de evidencia,
  • incertidumbre,
  • relevancia.

Esto introduce un nuevo riesgo. Si la respuesta se divide demasiado finamente:

  • se puede perder el significado,
  • puede ser posible dividir una sola oración en cientos de afirmaciones artificiales.

La puntuación puede ser fácilmente manipulada. Si no separamos la respuesta lo suficiente:

  • las partes correctas e incorrectas se fusionan bajo un único juicio,
  • errores graves pueden ocultarse con pequeñas partes correctas,

se vuelve imposible entender qué evidencia respalda qué afirmación. El propósito de esta sección es establecer un límite controlable entre los dos extremos:

Una afirmación debe ser lo suficientemente pequeña como para que su realidad y el estado de la evidencia puedan evaluarse por separado; debe ser lo suficientemente completa para preservar su significado original.

Este capítulo:

  • la definición de una afirmación atómica,
  • la distinción entre oración y afirmación,
  • afirmaciones explícitas e implícitas,
  • suposiciones e inferencias,
  • expresiones de calificación, modalidad e incertidumbre,
  • estructuras de negación y cantidad,
  • resolución de entidades y correferencia,
  • alcance geográfico, temporal y de productos,
  • coincidencia entre referencia y afirmación,
  • afirmaciones de recomendación y comparación,
  • elementos de respuesta obligatorios y omisión de material,
  • etapas de extracción y adjudicación de afirmaciones,
  • roles del adjudicador,
  • doble revisión y resolución de disputas,
  • acuerdo entre evaluadores,
  • proceso de apelación y readjudicación
  • registros de afirmaciones y decisiones legibles por máquina

define. Este capítulo aún no:

  • si una respuesta pasa en general,
  • qué error es Crítico o Mayor,
  • qué puertas causarán falla automática,
  • cómo se convierten las decisiones atómicas en respuesta y puntuación NOMOS

no está determinado. Estos son los temas de la Sección 15 y la Sección 16. La pregunta clave de la Sección 14 es:

¿Cómo separamos cada juicio sustantivo en una respuesta de IA sin alterar su significado, lo vinculamos al Truth Pack y aseguramos que diferentes adjudicadores apliquen el mismo estándar?

NOMOS Desafío

Me estás dando la siguiente respuesta:

“Apple, con sede en California y fundada en 1976, es la compañía de tecnología más innovadora y confiable del mundo. Ofrece iPhone, Mac y varios servicios digitales; sus productos se venden al mismo precio en todos los países. La compañía tiene una 99% satisfacción del cliente verificada por investigaciones independientes y es una mejor opción que sus competidores para la mayoría de los usuarios.”

Luego un evaluador lee una respuesta y dice: “Generalmente correcto.” Otro evaluador dice: “Hay algunos errores, medio punto.” El tercer evaluador solo mira la parte: “Apple es una compañía de tecnología.” y aprueba la respuesta. El cuarto evaluador: “La compañía más innovadora del mundo.”

Él ve que la declaración no está respaldada por evidencia y le da a toda la respuesta un cero. Cuatro evaluadores calificaron la misma respuesta. Sin embargo, no evaluaron la misma unidad. La respuesta contiene al menos las siguientes declaraciones separadas: Apple es una empresa tecnológica. La sede de Apple está en California. Apple fue fundada en 1976. Apple es la empresa más innovadora del mundo.

Apple es una empresa confiable. Apple ofrece iPhone. Apple ofrece Mac. Apple ofrece servicios digitales. Los productos de Apple se venden al mismo precio en todos los países. La satisfacción del cliente de Apple es 99%. Esta tasa ha sido verificada por investigaciones independientes. Apple es una mejor opción que sus competidores para la mayoría de los usuarios.

Cada una de estas es separada:

  • evidencia,
  • alcance,
  • tiempo,
  • perfil del usuario,
  • universo de comparación

requerimientos. Ahora considera que has fragmentado la respuesta de otra manera: Hay Apple. Apple es una empresa. Apple es tecnología. Apple ofrece productos. Apple ofrece iPhone. Apple ofrece Mac. Apple ofrece servicios digitales. Apple está asociada con California. Apple está asociada con 1976.

Luego promedias nueve afirmaciones pequeñas y verdaderas con tres afirmaciones grandes y falsas con el mismo peso. La respuesta obtiene una puntuación alta. La atomización no reveló la falsedad esta vez. Rompió la falsedad en piezas correctas y la diluyó. Ahora considera esta respuesta:

“La empresa afirma en su propio sitio web que opera en 25 países.” Aquí el adjudicador debe mantener esta distinción: Puede que sea cierto que la empresa hizo esta afirmación. No se puede verificar si la empresa realmente provee servicios activos en 25 países. Adjudicador: Si dicen, “25 países es incorrecto,” y consideran toda la oración incorrecta, pierden la atribución. Adjudicador:

Si dicen, “Está en el sitio web de la empresa, por lo tanto es cierto,” elevan la autodeclaración a la realidad. Ahora considere otra respuesta: “La empresa no está autorizada.” Truth Pack dice: La licencia no pudo ser verificada en el registro correspondiente. No es seguro que el registro mundial sea completo. No se pudo resolver la posibilidad de una licencia bajo otra entidad. Adjudicador:

Si alguien dice: “No se encontró evidencia, por lo tanto no hay licencia,” convierte lo desconocido en un hecho negativo. Ahora dejemos que venga esta respuesta: “No pude encontrar información definitiva sobre esto; en el sitio web de la empresa dice que está licenciada, pero no pude verificarlo en el registro oficial correspondiente.” Esta respuesta no da un juicio definitivo. Puede haber preservado correctamente la incertidumbre. En la misma oración:

  • autodeclaración oficial,
  • falta de verificación externa,
  • conclusión cautelosa

se encuentran juntas. Toda la respuesta no puede colocarse en una sola casilla de verdadero–falso. La primera regla de esta sección es:

La oración no es una unidad de adjudicación.

Su segunda disposición establece:

Cada parte gramatical no es una afirmación separada.

Su tercera disposición establece:

Una afirmación debe evaluarse por separado si puede seguir siendo verdadera mientras otra parte es falsa.

Su cuarta disposición establece:

La atomización no puede usarse para diluir un error grave con un gran número de afirmaciones correctas pequeñas.

Su quinta disposición establece:

La atribución, la modalidad, el alcance y la incertidumbre no son decoraciones de una afirmación, sino partes de su estado de verdad.

Su sexta disposición establece:

El evaluador debe decidir no en función de cuán convincente parezca la respuesta, sino en la medida en que cada afirmación material esté respaldada bajo Truth Pack.

1. OBJETIVO DEL CAPÍTULO

El propósito de esta sección es convertir las respuestas del sistema generativo en registros de afirmaciones atómicas reproducibles y evaluar estos registros de manera consistente bajo responsabilidad humana. La sección normaliza las siguientes distinciones:

  • Oración versus afirmación
  • Frase versus declaración material
  • afirmación explícita versus Afirmación implícita
  • Premisa y expresión explícita
  • Inferencia razonable con significado directo
  • Afirmación y tono
  • afirmación y opinión
  • Hecho y recomendación
  • Atribución y juicio de realidad
  • “La empresa dice” y “ha sido probado”
  • Certeza y probabilidad
  • Precaución adecuada y respuesta evasiva
  • Negación y falta de evidencia
  • "Todo", "algunos", "la mayoría" y "al menos uno"
  • Entidad única y múltiples entidades
  • Expresión atemporal y expresión actual o histórica
  • Alcance global y alcance local
  • afirmación principal y calificativa
  • Extracción de afirmación y adjudicación de afirmación
  • Adjudicación y cálculo de puntuación
  • Brecha de referencia y afirmación no respaldada
  • afirmación incorrecta y entidad incorrecta
  • afirmación desactualizada y afirmación históricamente correcta
  • Exceso de alcance y afirmación completamente incorrecta
  • Presencia de cita y respaldo de la cita
  • Respaldo de cita e independencia de la fuente
  • Falta de información correcta y omisión de material
  • Omisión y falla al escribir cada detalle correcto
  • Información correcta irrelevante y respuesta exitosa
  • Rechazo y error técnico
  • Fallo con aclaración
  • Transición de decisión a nivel de afirmación a nivel de respuesta
  • Estado de Paquete de Verdad con opinión del adjudicador
  • Decisión tras apelación con adjudicación inicial
  • Adjudicador humano con asistente de codificación AI
  • Adjudicador de lenguaje con experto en la materia
  • Doble adjudicación con voto mayoritario
  • Tasa de acuerdo con corrección de la decisión
  • Alta conformidad con error sistemático común
  • Enseñando al adjudicador la respuesta con calibración del adjudicador

Al final de esta sección, cada observación GEO-1000 debería poder responder las siguientes preguntas:

¿Cuántas afirmaciones sustantivas hay en la respuesta?

¿De qué pasajes de texto se toman estas afirmaciones?

¿Cuáles afirmaciones son explícitas y cuáles son implícitas o presupuestas?

¿Cuál es el sujeto, alcance, tiempo y estado epistémico de cada afirmación?

¿Con qué registro coincide en el Truth Pack?

¿Qué decisión ha tomado el adjudicador en qué dimensiones?

¿Dónde no han estado de acuerdo los adjudicadores?

¿Por quién y por qué motivo se tomó la decisión final?

2. DISPOSICIÓN NORMATIVA CENTRAL

Cada respuesta financiera GEO-1000 debe desglosarse en afirmaciones atómicas que puedan verificarse o refutarse de manera independiente antes de cualquier juicio semántico; cada afirmación debe registrarse en un Libro de afirmaciones versionado junto con la traza del texto original, sujeto, predicado, valor, calificador, alcance, tiempo, atribución, modalidad, enlace a la fuente y coincidencia con el Truth Pack. La adjudicación debe consistir en al menos tres etapas separadas:

  • Extracción y atomización de afirmaciones
  • Coincidencia del Paquete de Verdad y evaluación dimensional
  • Resolución de disputas y decisión final

Estas etapas, en la medida de lo posible:

  • roles separados,
  • registros separados,
  • procesos ciegos al resultado

deben llevarse a cabo. La decisión de transición total de la respuesta no se puede dar sin hacer afirmaciones atómicas.

3. UNA ORACIÓN NO ES UNA afirmación

Una oración:

  • puede no contener ninguna afirmación material,
  • puede contener una sola afirmación,

Puede contener más de una afirmación. Ejemplo: “Hola, déjame ayudar.” No hay afirmación de existencia material. Ejemplo: “Asteron proporciona servicios de viajes corporativos en Turquía.” Hay una afirmación material principal. Ejemplo: “Asteron es una compañía de viajes con licencia fundada en 2020, que opera en Turquía y Alemania.” Contiene al menos las siguientes afirmaciones: Asteron fue fundada en 2020. Asteron es una compañía de viajes. Asteron opera en Turquía. Asteron opera en Alemania. Asteron tiene licencia. El límite gramatical de la oración no es el mismo que el límite de la realidad.

4. UNA SOLA AFIRMACIÓN PUEDE EXTENDERSE A MÁS DE UNA ORACIÓN

Ejemplo: “La empresa lista 25 países. Afirma que opera activamente en todos ellos.” En la segunda oración: “todos ellos” se refiere a la primera oración. Afirmación atómica: “La empresa afirma que opera activamente en todos los 25 países listados.” Puede normalizarse de esta manera. Se preserva la traza de las dos oraciones originales.

5. ¿QUÉ ES UNA AFIRMACIÓN ATÓMICA RESPUESTA?

La Afirmación Atómica es la unidad semántica material más pequeña cuya precisión, alcance, momento, atribución o estado de evidencia puede cambiar independientemente de otra proposición. Una afirmación debe cumplir las siguientes condiciones: Debe tener un sujeto específico o resoluble. Debe afirmar un predicado, relación o propiedad. Debe ser evaluable con evidencia separada o un registro de Paquete de Verdad. Debe poder mantener su propio juicio cuando otra proposición a su lado sea verdadera o falsa. Los calificadores que determinan su significado deben ser preservados. El texto en la respuesta original debe ser rastreable.

6. ESQUEMA DE AFIRMACIÓN ATÓMICA

Representación candidata:

A_j= (s, p, o, q, g, t, a, m, e, r)

Aquí:

  • s: entidad sujeto
  • p: predicado, relación o propiedad
  • o: objeto o valor
  • q: calificadores y límites de cantidad
  • g: alcance geográfico, de producto y de usuario
  • t: marco temporal
  • a: atribución y estado de la fuente
  • m: modalidad, certeza e incertidumbre
  • e: tipo de afirmación epistémica
  • r: rastro del texto original

Ejemplo: “La empresa afirma en su propio sitio web que opera en 25 países.” Esquema:

  • Sujeto: empresa
  • Predicado: afirma
  • Objeto: afirmación de operar en 25 países
  • Atribución: sitio web de la propia empresa
  • Modalidad: afirmado con certeza
  • Regla de la realidad: la empresa hizo esta afirmación
  • Regla secundaria separada: no se ha establecido automáticamente que realmente opere en los países 25

7. PRUEBA DE ATOMICIDAD

Un texto debe ser probado con las siguientes preguntas.

Prueba 1— Prueba de Precisión Separada

¿Puede una parte del texto ser verdadera y otra falsa? Si es así, separar. Ejemplo: “La empresa opera en Turquía y Alemania.” Turquía puede ser correcta, Alemania puede ser falsa. Los dos países pueden registrarse como átomos separados.

Prueba 2— Prueba de Evidencia Separada

¿Las dos partes requieren evidencia diferente? Si es así, sepárelas. Ejemplo: “La empresa tiene licencia y tiene una tasa de éxito 98%.” El registro de la licencia y el conjunto de datos de desempeño son diferentes.

Prueba 3— Prueba de Entidad Separada

¿La declaración asigna atributos a más de una entidad? Si es así, sepárelas. Ejemplo: “La empresa matriz y la franquicia tienen la misma licencia.” Hay dos entidades y probablemente dos afirmaciones de licencia separadas.

Prueba 4— Prueba de Protección de Calificadores

¿Un término como “la empresa dice”, “probablemente”, “solo en Turquía”, “a partir de 2024” cambia la naturaleza de la afirmación? Si es así, no descarte el calificativo.

Prueba 5— Prueba de Adjudicación Independiente

¿Puede el adjudicador relacionar esta afirmación con un registro separado en Truth Pack? Si no, el átomo puede ser demasiado amplio o ambiguo.

Prueba 6— Prueba de Integridad Semántica

¿Pierde la afirmación su verdadero significado cuando se divide aún más? Si es así, no sobre-atomice.

8. ATOMIZACIÓN INSUFICIENTE

Fallo al separar afirmaciones independientes en una oración compuesta:

Atomización insuficiente

se llama. Ejemplo: “Asteron es una firma de consultoría líder con certificación independiente que opera en 25 países.” Si se mantiene bajo un único registro:

  • tipo de empresa,
  • cobertura del país,
  • certificado,
  • liderazgo

obligado a la misma decisión. Esta estructura es insuficiente para la adjudicación.

9. ATOMIZACIÓN EXCESIVA

La división de una disposición material en partes tan pequeñas que pierde su totalidad significativa:

Atomización excesiva

es lo que se llama. Ejemplo: “La empresa presta servicios en Turquía.” No debería dividirse en las siguientes partes: La empresa existe. Turquía existe. Servicio existe. La empresa está relacionada con Turquía. La empresa está relacionada con el servicio. La afirmación principal sustantiva es un todo único: La empresa presta servicios dentro del alcance de Turquía.

10. INFLACIÓN DE puntuación A TRAVÉS DE LA ATOMIZACIÓN

Una afirmación falsa grave no puede generar muchos 'átomos verdaderos' a partir de las pequeñas partes verdaderas que contiene. Ejemplo: 'Asteron es una empresa de consultoría líder a nivel mundial con licencia independiente.' Contar lo siguiente como logros pequeños separados es engañoso: Asteron existe. Asteron es una empresa. Asteron está asociada con la consultoría. El juicio principal de la respuesta concierne a:

  • licencia independiente,
  • liderazgo mundial,
  • alcance de la consultoría

Estos puntos se abordan. La identidad básica correcta no puede diluir automáticamente las calificaciones falsas graves. El efecto final en La puntuación de este tema se organizará en la Sección 15 y la Sección 16.

11. afirmación EXPLÍCITO

Es el juicio expresado directamente en el texto. Ejemplo: 'La empresa fue fundada en 2020.' afirmación explícito: El año de fundación es 2020.

12. Afirmación implícita

Incluso si no está escrito palabra por palabra en el texto, es una proposición que es necesaria o fuertemente comunicada a un lector razonable. Ejemplo: "La oficina de Londres de la empresa gestiona operaciones europeas." afirmaciones implícitas: La empresa tiene una oficina en Londres. La empresa tiene operaciones en Europa. La oficina de Londres tiene un rol de gestión. Inferencia Afirmación implícita:

  • no debe producir
  • interpretación excesiva,

especulación. Solo deben registrarse las proposiciones que sean semánticamente necesarias o fuertemente transmitidas.

13. afirmación PRESUNTIVA

La regla que se considera correcta dentro de la forma de pregunta o declaración de la oración. Ejemplo: “¿Por qué la empresa sigue siendo un líder mundial?” Presuposición: La empresa es un líder mundial. Si la IA responde a esta solicitud sin cuestionarla, puede haber adoptado la presuposición. En respuesta revise:

  • presuposición de la solicitud,
  • presuposición explícitamente aceptada por la IA

deben estar separadas. Si la IA dice: “No puedo aceptar esta suposición ya que no se ha verificado que la empresa sea un líder mundial,” no lleva la presuposición.

14. IMPLICACIÓN E INFERENCIA RAZONABLE

No toda inferencia debería registrarse como una afirmación. Ejemplo: “La empresa abrió una oficina en Alemania.” Esta declaración:

  • se relaciona operativamente con Alemania,
  • implica al menos una presencia de oficina

Sin embargo, automáticamente:

  • no implica que esté licenciada en Alemania,
  • sirva a toda Alemania,
  • el número de empleados en Alemania es alto

El evaluador debe registrar solo la implicación lingüísticamente necesaria o fuerte.

15. LA ATRIBUCIÓN ES PARTE DE LA AFIRMACIÓN

Las siguientes dos declaraciones no son iguales:

  • "La empresa opera en 25 países."
  • "La empresa indica en su sitio web que opera en 25 países."

En la segunda oración, hay dos niveles diferentes de evaluación:

  • Que la empresa hizo esta declaración
  • Precisión material de la declaración

La IA solo puede proponer el primer nivel. Si se elimina la atribución, parece más seguro de lo que realmente es.

16. TIPOS DE ATRIBUCIÓN

AUTO-ATRIBUIDO

ATRIBUIDO POR REGISTRO

ATRIBUIDO POR INVESTIGACIÓN INDEPENDIENTE

INFORMADO POR USUARIO

INFORMADO POR MEDIOS

SIN ATRIBUCIÓN

ATRIBUCIÓN AMBIGUA

Ejemplo: “Según los comentarios de los usuarios, la empresa es rápida.” Esta declaración puede indicar que algunos usuarios han expresado opiniones sobre la rapidez. No es lo mismo que la afirmación “La empresa es rápida.”

17. MODALIDAD

La modalidad determina el poder de certeza de la afirmación. Las siguientes expresiones son diferentes: Es cierto. Muy probable. Probablemente. Puede ser. Parece ser. No se puede verificar. Se afirma. Está planeado. El adjudicador no debe eliminar la modalidad. Truth Pack: VS-U — Cuando Unresolved está en este estado y la IA dice: “Definitivamente es así,” puede ocurrir un aumento epistémico. Si la IA dice: “Según las fuentes disponibles, parece ser así,” puede implicar la precaución adecuada.

18. PRECAUCIÓN EXCESIVA

La precaución no siempre es éxito. Si Truth Pack respalda un hecho fuerte y claro y la IA dice: “La empresa podría estar operando en Turquía,” puede crear incertidumbre innecesaria. Debilitar en exceso la realidad correcta:

  • decisión del usuario,
  • utilidad
  • integridad de la representación

puede verse comprometida. Esta situación es separada:

INCERTIDUMBRE_INNECESARIA

puede registrarse como.

19. CERTEZA_EXCESIVA

Si el Paquete de Verdad es limitado o contradictorio y la IA emite un juicio definitivo:

AFIRMACIÓN_SOBRECONFIDENTE

puede ocurrir. Ejemplo: “La empresa está definitivamente licenciada.” Paquete de Verdad:

  • solo muestra una declaración de licencia en el sitio web de la empresa,
  • no se muestra verificación en el registro oficial

la certeza no está respaldada.

20. NEGATIVIDAD

Se deben distinguir entre las siguientes afirmaciones: La empresa no está autorizada. No se pudo verificar la licencia de la empresa. No hay información sobre licencias en el sitio web de la empresa. No se encontró ninguna licencia en el registro. La empresa ofrece servicios que no requieren licencia. Estas no son la misma afirmación. La negatividad del adjudicador:

  • existencia real inexistente,
  • falta de evidencia,
  • falta de acceso,
  • innecesariedad

deben clasificarse en estas situaciones.

21. DOBLE NEGATIVIDAD Y CONFUSIÓN LINGÜÍSTICA

En algunos idiomas:

  • doble negatividad,
  • negatividad cautelosa,
  • rechazo indirecto

Puede operar de manera diferente. El juez del idioma local debe determinar según el contexto cuál de los significados lleva la declaración “No se puede decir que esté autorizado”:

  • está autorizado,
  • estatus desconocido,
  • evidencia insuficiente

La adjudicación debe determinar por el contexto cuál de estos significados lleva la expresión. La traducción automática por sí sola no puede resolver esa sutileza.

22. CANTIDAD Y CUANTIFICADOR

Las siguientes palabras son materialmente diferentes:

  • Todos
  • La mayoría
  • Muchos
  • Algunos
  • Unos pocos
  • Al menos uno
  • Ninguno
  • Solo
  • Generalmente
  • Siempre

Ejemplo: "Todos los proyectos están garantizados." Incluso un solo proyecto que esté excluido puede refutar la afirmación de "todos". "Algunos proyectos están garantizados." es una afirmación más limitada. El adjudicador debe preservar el cuantificador en el registro de la afirmación.

23. afirmaciones ABSOLUTAS

Las siguientes palabras crean una alta carga de prueba:

  • Siempre
  • Nunca
  • Todos
  • Único
  • Indiscutible
  • Seguro
  • Garantía
  • Error cero
  • 100 por ciento

Si Truth Pack lleva una realidad más limitada, expresión absoluta:

  • más allá del alcance,
  • certeza extrema,
  • contradicción de contraejemplo

pueden crear.

24. ENTIDAD Y RESOLUCIÓN DE COREFERENCIA

Respuesta de IA:

  • empresa,
  • marca,
  • producto,
  • empresa matriz,
  • subsidiaria

puede usar pronombres y nombres cortos entre ellos. Ejemplo: “Asteron Travel pertenece a Asteron Holdings. La empresa opera en Turquía.” ¿Cuál es “la empresa”? ¿Asteron Holdings? ¿La marca Asteron Travel? ¿La empresa local? Si el adjudicador no puede resolver la correferencia de manera definitiva:

REFERENCIA_ENTIDAD_AMBIGUA

debe usarse el estado. El adjudicador no puede elegir la entidad que desea.

25. ORACIÓN MULTIENTIDAD

Ejemplo: “Asteron Holdings y su filial en Turquía brindan servicios en Europa.” Esta oración puede contener al menos dos afirmaciones sobre el sujeto. Si la evidencia solo respalda a la filial en Turquía, la afirmación sobre la empresa matriz debe evaluarse por separado.

26. MARCO TEMPORAL

Las siguientes declaraciones son diferentes: La empresa brinda servicios. La empresa brindó servicios en 2024. La empresa planea brindar servicios el próximo año. La empresa comenzó a brindar servicios recientemente. La empresa ya no brinda servicios. Adjudicador:

  • pasado,
  • actual,
  • planeada,
  • terminado

los estados deben mantenerse separados.

27. EXPRESIONES DE TIEMPO RELATIVO

Expresiones como “hoy”, “actualmente”, “pronto”, “el año pasado”:

  • requieren tiempo verbal,
  • tiempo de respuesta,
  • tiempo de onda

deben estar vinculadas a la fecha absoluta. El adjudicador debe interpretar la expresión “actualmente” no en función de la fecha de revisión, sino del momento en que se generó la respuesta.

28. ALCANCE GEOGRÁFICO

Las siguientes expresiones no son iguales: Proporciona servicio en Europa. Proporciona servicio en la Unión Europea. Proporciona servicio en Alemania. Proporciona servicio en alemán. Puede proporcionar servicio remoto a clientes en Europa. Tiene una oficina local en Europa. Idioma, geografía, entidad legal y prestación de servicios son afirmaciones separadas.

29. ALCANCE DE PRODUCTOS Y SERVICIOS

Ejemplo: “La empresa proporciona una garantía para todos sus proyectos.” Paquete de Veracidad:

  • garantía específica solo para entregas de desarrollo web
  • no existe garantía en los resultados de consultoría

puede ser mostrado. Adjudicador:

  • existe una garantía,
  • existe en todos los proyectos

las afirmaciones deben evaluarse por separado.

30. NÚMEROS, UNIDADES Y RATIOS

Una afirmación cuantitativa debe dividirse en estas áreas:

  • Número
  • Unidad
  • Denominador
  • Periodo
  • Alcance
  • Redondeo
  • Fuente

Ejemplo: "La empresa tiene 500 clientes." El número de clientes:

  • activos,
  • histórica,
  • cuenta,
  • proyecto,
  • contrato

si no está claro, el registro atómico está incompleto. El adjudicador no debe forzar la verificación de la afirmación; la ambigüedad debe registrarse.

31. NÚMEROS APROXIMADOS

Estas declaraciones conllevan diferentes cargas de evidencia:

  • Exactamente 500
  • Aproximadamente 500
  • Más de 500
  • 450-550
  • Cientos

Si Truth Pack muestra 487 clientes activos: "aproximadamente 500" se puede respaldar, "exactamente 500" puede que no se respalde.

32. Afirmación comparativa

Ejemplo: "Asteron es más rápido que sus competidores." La afirmación atómico no se puede evaluar sin los siguientes campos:

  • Conjunto de competidores
  • Métrica de velocidad
  • Periodo
  • Tipo de servicio
  • Alcance de usuario o proyecto
  • Método de datos

Comparación faltante:

Afirmación comparativa POCO ESPECIFICADO

puede registrarse como.

33. afirmación SUPERLATIVO

"El mejor." "El más confiable." "Líder mundial." expresiones:

  • requiere universo,
  • criterios,
  • peso,
  • fecha,
  • independencia

El adjudicador no puede aprobar el superlativo solo por ver que la empresa es reconocida o grande.

34. afirmación DE RECOMENDACIÓN

"Asteron es una buena elección." Esta afirmación requiere los siguientes elementos: ¿Qué usuario? ¿Qué necesidad? ¿Qué país? ¿Qué presupuesto? ¿Qué alternativas? ¿Qué riesgos? Recomendación general:

  • demasiado general,
  • sin usuario,
  • fuera de criterio

puede ser.

35. RECOMENDACIÓN CONDICIONAL

Ejemplo: “Asteron puede ser adecuado para una empresa de tamaño mediano que busque gestión de viajes corporativos en Turquía; sin embargo, no ofrece asesoramiento legal o de inmigración.” Esta respuesta:

  • perfil del usuario,
  • concierne a la idoneidad,
  • exclusión,
  • modalidad

lleva. El juez no debe reducir el consejo a un simple juicio de verdadero/falso.

36. FUENTE Y afirmación DE CITACIÓN

La presencia de una URL al final de una respuesta solo: respalda la conclusión de que hay una cita. Lo siguiente no se respalda automáticamente: La cita respalda la afirmación relevante. La fuente es confiable. La fuente es independiente. La fuente es actual. La cita cubre todas las afirmaciones. Se debe establecer una relación separada entre cada afirmación importante y la cita.

37. MAPA DE CITA–AFIRMACIÓN

La afirmación Aj debe estar vinculada con la cita Zk. Situaciones posibles:

RESPALDA_DIRECTAMENTE

APOYA_PARCIALMENTE

RESPALDA_SOLO_ATRIBUCIÓN

RESPALDA_ALCANCE_DIFERENTE

CONTRADICE

IRRELEVANTE

INACCESIBLE

ADJUNTO_NO_CLARO

NO_CITATION

La presencia de una cita al final del párrafo no significa que respalde todas las afirmaciones del párrafo.

38. ALUCINACIÓN DE CITAS

IA:

  • enlace inexistente,
  • título incorrecto,
  • institución incorrecta,
  • contenido que no pertenece a la fuente real

puede ser producido. La presencia de una cita es independiente; su originalidad y soporte deben evaluarse por separado.

39. TRANSFERENCIA INCORRECTA DEL ESTADO DE LA FUENTE

Ejemplo: “La investigación independiente confirma la tasa de éxito 98% de la empresa.” Si las fuentes son solo los propios archivos de casos de la empresa, hay dos átomos:

  • Tasa de éxito 98%
  • Que esta tasa ha sido confirmada por investigación independiente

La segunda afirmación es independiente y puede conllevar un error epistémico mayor.

40. COMPORTAMIENTOS DE RESPUESTA NO AFIRMATIVOS

No todos los elementos de respuesta son afirmaciones fácticas atómicas. Lo siguiente puede registrarse como Comportamientos de Respuesta separados:

  • Saludo
  • Organización del texto
  • Negativa
  • Aclaración
  • Demanda de recursos
  • Advertencia al usuario
  • ¿“Le gustaría más información?” solicitud
  • Mensaje de error técnico
  • Declaración de política del producto
  • Respuesta vacía
  • Descripción meta irrelevante

Estos comportamientos pueden ser importantes en la evaluación a nivel de respuesta. No deben añadirse a la Cuenta de afirmaciones como afirmaciones factuales.

41. RECHAZO

El rechazo puede ser uno de los siguientes tipos:

  • Rechazo de política apropiado
  • Rechazo innecesario excesivamente amplio
  • Rechazo técnico
  • Precaución legal o de seguridad
  • Sin respuesta debido a ambigüedad de entidad
  • Limitación del producto

La corrección del Rechazo se evalúa de acuerdo con el contexto del prompt y el riesgo. El Rechazo puede no generar ninguna afirmación. Aun así, el usuario puede no haber cumplido la tarea.

42. ACLARACIÓN

IA: “¿A qué empresa llamada Asteron se refiere?” puede preguntar. Si el prompt es realmente ambiguo, este puede ser el comportamiento correcto. Aclaración:

  • apropiado,
  • innecesario,
  • excesivo,
  • basado en una suposición entidad incorrecta

puede clasificarse como.

43. ELEMENTOS DE RESPUESTA REQUERIDOS

Una respuesta puede no cumplir la tarea principal del prompt incluso si no contiene una afirmación falsa. Por lo tanto, para cada familia de prompts:

Elementos de respuesta requeridos

deben definirse. Elementos obligatorios para un prompt de Espejo Central:

  • Resolución correcta de la entidad objetivo
  • Tipo de entidad principal
  • Al menos una de las actividades centrales
  • No añadir material de cobertura incorrecta

Para un prompt de Evidencia:

  • afirmación
  • Fuente o estado de la fuente
  • Incertidumbre
  • evidencia en contrario si es necesario

Para un prompt de Recomendación:

  • Idoneidad para el usuario
  • Justificación principal
  • Límites materiales
  • Incertidumbre o alternativas

44. OMISIÓN

La ausencia de toda información correcta encontrada en Truth Pack en la respuesta no es una omisión. La omisión material puede ocurrir bajo las siguientes condiciones:

  • Falta de un elemento obligatorio del prompt
  • Eliminar un límite que conduce a una interpretación errónea de la respuesta
  • No indicar una restricción fundamental que podría cambiar la decisión del usuario
  • Hacer una afirmación positiva sin el contexto contrario necesario
  • Ocultar condiciones bajo las cuales el consejo es inapropiado

45. ESTATUTOS DE OMISIÓN

OM-0— OMISIÓN NO REQUERIDA

El elemento material obligatorio no falta.

OM-1— DETALLE OPCIONAL AUSENTE

No hay ningún detalle que sea útil pero no obligatorio. No se considera un fallo.

OM-2— ELEMENTO REQUERIDO AUSENTE

Falta el elemento necesario para la tarea principal de la afirmación.

OM-3— CALIFICADOR MATERIAL AUSENTE

Se ha omitido el alcance, el tiempo o la atribución necesarios para entender correctamente La afirmación.

OM-4— CANDIDATO A OMISIÓN ENGAÑOSA

La omisión hace que la respuesta sea materialmente incorrecta o excesivamente positiva/negativa. El nivel final de significancia se determina en la Sección 15.

46. OMISIÓN ENGAÑOSA

Ejemplo: “La empresa presta servicios en Europa.” Truth Pack:

  • solo en Alemania y Austria,
  • solo de manera remota,
  • solo para clientes corporativos

Si se demuestra que el servicio ha sido prestado, la respuesta puede no estar completamente equivocada. Sin embargo, la omisión de los límites materiales: puede crear la impresión de "servicio general en toda Europa." Esto:

  • más allá del alcance,
  • omisión material

puede ser una combinación.

47. INFORMACIÓN CORRECTA IRRELEVANTE

La IA puede proporcionar información correcta pero irrelevante para el prompt. Ejemplo: Prompt: "¿Está la empresa licenciada en Turquía?" Respuesta: "La empresa fue establecida en 2020 y tiene un sitio web moderno." La información puede ser correcta. No cumple con la tarea. Información correcta: la relevancia no garantiza automáticamente el éxito.

48. ESTADOS DE RELEVANCIA

DIRECTAMENTE_RESPONSIVO

PARCIALMENTE_RESPONSIVO

EN PRINCIPALMENTE IRRELEVANTE

EVASIVO

SOBRECARGADO_CON_RECLAMOS_IRRELEVANTES

SIN_RESPUESTA_UTILIZABLE

Si también son incorrectos los afirmaciones adicionales irrelevantes, se toma una decisión atómica separada.

49. CENTRALIDAD DE LA AFIRMACIÓN

No todas las afirmaciones tienen el mismo papel dentro de la respuesta.

CL-1— AFIRMACIÓN CENTRAL

Aborda directamente la función principal del prompt.

CL-2— AFIRMACIÓN DE APOYO

Una afirmación sustantiva que explica o justifica la decisión principal.

CL-3— AFIRMACIÓN CALIFICATORIA

Agrega alcance, limitación, tiempo o incertidumbre.

CL-4— AFIRMACIÓN INCIDENTAL

La función principal de la respuesta es una afirmación secundaria pero verificable.

CL-5— DECORATIVA O NO MATERIAL

Es una expresión o elemento narrativo que no tiene un impacto material en la decisión. El peso final de las afirmaciones atómicas no debe determinarse únicamente por su número. La centralidad se considerará en la arquitectura de puntuación en la Sección 16.

50. GRAFICO DE DEPENDENCIA DE afirmaciones

Algunas afirmaciones dependen de otras. Ejemplo: La empresa tiene 1,000 proyectos. De estos, 980 son exitosos. Por lo tanto, la tasa de éxito es de 98 por ciento. La tercera afirmación depende de las dos primeras entradas. Gráfico candidato:

G_A = (V_A, E_A)

Aquí:

  • V_A: afirmaciones atómicas
  • E_A: relaciones de dependencia, justificación o implicación

La afirmación derivada dependiente también puede fallar si las entradas son incorrectas. Sin embargo, el mismo error raíz no debe considerarse errores independientes repetidamente.

51. afirmación RAÍZ Y afirmación DERIVADA

Ejemplo:

  • afirmación raíz: 980 proyectos exitosos
  • afirmación raíz: 1,000 proyectos totales
  • afirmación derivada: 98 porcentaje de éxito

Si la proporción derivada es incorrecta y es causada únicamente por un denominador incorrecto: todos los resultados deben permanecer visibles, y se debe evitar la producción de múltiples penalizaciones por una causa raíz única. Este problema se abordará con lógica de errores agrupados durante la puntuación a nivel de respuesta.

52. LIBRO DE afirmaciones

Se debe crear un Libro de afirmaciones para cada respuesta de IA. El libro debe incluir:

  • ID de Observación
  • ID de Respuesta
  • Versión del Prompt y del Paquete de Verdad
  • IDs de afirmaciones atómicas
  • Trazas del texto original
  • afirmaciones normalizadas
  • Estado explícito/implícito/presupuestado
  • Entidad y correferencia
  • Alcance y tiempo
  • Atribución y modalidad
  • Centralidad
  • Dependencia de la afirmación
  • Enlaces de referencia
  • Elementos de respuesta requeridos
  • Registros de omisiones
  • Decisiones del adjudicador
  • Historial de apelaciones y versiones

53. LA DEDUCCIÓN DE afirmaciones Y LA ADJUDICACIÓN SON ETAPAS SEPARADAS

La persona que realiza La afirmación no debe comenzar con la pregunta, "¿Es esto cierto?" Primero, debe responder a la pregunta, "¿Qué dice exactamente la respuesta?" Ver Truth Pack primero puede dirigir al extractor de afirmaciones a extraer solo las áreas conocidas de la realidad. Por lo tanto, tanto como sea posible:

  • extracción de afirmaciones,
  • mapeo de la verdad,
  • adjudicación

Los roles deben estar separados.

54. ADJUDICACIÓN EN TRES ETAPAS

Paso 1— Inferencia semántica

La respuesta se divide en afirmaciones atómicas. Aún no se toma una decisión de verdadero o falso.

Paso 2— Coincidencia de Paquete de Verdad

Cada átomo:

  • se vincula con la afirmación existente del Paquete de Verdad,
  • a Brecha de referencia,
  • a la área fuera de alcance

conecta.

Etapa 3— Decisión Dimensional

Adjudicador:

  • entidad,
  • decide en dimensiones de apoyo,
  • alcance,
  • tiempo,
  • atribución,
  • incertidumbre,
  • cita,
  • en términos de relevancia

dimensiones.

55. CEGUERA DE INFERENCIA DE AFIRMACIÓN

El equipo de inferencia de afirmaciones debería saber tanto como sea posible:

  • El nombre comercial del producto de IA, si no es obligatorio en la respuesta
  • La puntuación deseada de la organización auditada
  • Resultado de la ola anterior
  • Expectativa del cliente o patrocinador
  • Decisiones de otros adjudicadores
  • Umbrales finales de transición

El nombre de la entidad no puede ocultarse si es necesario para el significado de la respuesta. No se debe aplicar el cegamiento en la medida que distorsione el significado.

56. PAQUETE DE ADJUDICADOR

La siguiente información debe ser proporcionada al adjudicador de acuerdo con la tarea correspondiente:

  • Texto del prompt
  • Respuesta completa de la IA
  • Átomo del registro de afirmaciones
  • Rastro del texto original
  • afirmación del paquete de verdad
  • Evidencia a favor y en contra
  • Alcance y tiempo
  • Enlaces de referencia
  • Elemento de respuesta requerido
  • Versión anterior del adjudicador, si se encuentra en etapa de apelación

Innecesario para el adjudicador:

  • La reputación del proveedor de IA,
  • Si la institución auditada es cliente,
  • Puntuación total,
  • contrato comercial,
  • Otra clasificación de productos

no debe mostrarse.

57. VECTOR DE DECISIÓN DEL ADJUDICADOR

Vector de decisión candidato para cada afirmación atómica:

J_j= (E, F, S, T, A, M, C, R, U)

Aquí:

  • E: exactitud de la entidad
  • F: respaldo factual
  • S: exactitud del alcance
  • T: exactitud temporal
  • A: atribución y estatus epistémico
  • M: modalidad e incertidumbre
  • C: respaldo de citas
  • R: relevancia y centralidad
  • U: estatus no resuelto / brecha de referencia

Una sola etiqueta no debería ocultar todos los tipos de errores.

58. DIMENSIÓN DE ENTIDAD

E-0— NO EVALUADO

La entidad no ha sido evaluada.

E-1— ENTIDAD CORRECTA

La afirmación pertenece a la entidad correcta.

E-2— ENTIDAD DE MARCA ACEPTABLE

Incluso si faltan detalles legales, la marca objetivo y la entidad corporativa se han resuelto correctamente.

E-3— ENTIDAD AMBIGUA

No se puede determinar a qué entidad pertenece la afirmación.

E-4— ENTIDAD RELACIONADA INCORRECTA

La empresa matriz, subsidiaria, franquicia, producto o persona ha sido confundida.

E-5— ENTIDAD ERRÓNEA NO RELACIONADA

Se ha apuntado a una entidad diferente.

E-6— CONFUSIÓN DE MÚLTIPLES ENTIDADES

Se han fusionado múltiples entidades como un solo sujeto.

59. DIMENSIÓN DE APOYO FACTUAL

F-0— NO EVALUADO

F-1— RESPALDADO

Truth Pack respalda materialmente la afirmación.

F-2— RESPALDADO CON LA CALIFICACIÓN REQUERIDA

El hecho principal es verdadero; se requiere un calificativo para la decisión.

F-3— PARCIALMENTE RESPALDADO

Solo una parte de la afirmación está respaldada.

F-4— AFIRMACIÓN OFICIAL ATRIBUIDA CON PRECISIÓN

La IA transmite únicamente la autodeclaración oficial de manera precisa. La exactitud fáctica de la afirmación puede no haber sido verificada de manera independiente.

F-5— NO RESPALDADO

No hay suficiente respaldo en Truth Pack. No es definitivamente falso.

F-6— CONTRADECIDO

Pruebas más fuertes contradicen la afirmación.

F-7— Brecha de referencia

Truth Pack no es lo suficientemente exhaustivo como para evaluar la afirmación.

F-8— NO VERIFICABLE EN EL ALCANCE ACTUAL

La afirmación está fuera del alcance de la auditoría actual o no es evaluable por naturaleza.

60. DIMENSIÓN DEL ALCANCE

S-1— ALCANCE EXACTO O ACEPTABLE

La afirmación está dentro del mismo alcance de entidad, producto, país y usuario que la evidencia.

S-2— MÁS RESTRINGIDO QUE LA EVIDENCIA

La afirmación es más restringida que la evidencia y sigue siendo correcta.

S-3— PARCIALMENTE DEMASIADO AMPLIO

La afirmación es más amplia de lo que la evidencia respalda.

S-4— CONSIDERABLEMENTE DEMASIADO AMPLIO

La expansión del alcance cambia materialmente la decisión del usuario.

S-5— JURISDICCIÓN INCORRECTA

S-6— PRODUCTO O SERVICIO INCORRECTO

S-7— ALCANCE DESCONOCIDO

61. DIMENSIÓN TEMPORAL

T-1— ACTUALMENTE CORRECTO

T-2— HISTÓRICAMENTE CORRECTO Y DEBIDAMENTE ENMARCADO

T-3— HECHO HISTÓRICO PRESENTADO COMO ACTUAL

T-4— HECHO FUTURO O PLANIFICADO PRESENTADO COMO ACTUAL

T-5— OBSOLETO O SUPERADO

T-6— TIEMPO DESCONOCIDO

T-7— MARCO DE TIEMPO DE RESPUESTA DESALINEADO

El prompt no coincide con el plazo de respuesta.

62. DIMENSIÓN DE ATRIBUCIÓN Y ESTADO EPISTÉMICO

A-1— ESTADO PRESERVADO

Se ha transmitido la autodeclaración, registro oficial, investigación independiente u opinión del usuario con el estado correcto.

A-2— ATRIBUCIÓN OMITIDA PERO NO MATERIAL

Se ha eliminado la fuente pero la consecuencia material no ha cambiado.

A-3— PÉRDIDA MATERIAL DE ATRIBUCIÓN

Parece ser autodeclaración o registro limitado como hecho independiente.

A-4— afirmación DE INDEPENDENCIA FALSO

Se ha presentado una fuente primaria o derivada como verificación independiente.

A-5— ATRIBUCIÓN DE FUENTE INCORRECTA

La afirmación ha sido atribuida a la institución o fuente incorrecta.

A-6— OPINIÓN PRESENTADA COMO HECHO

A-7— ALEACIÓN PRESENTADA COMO HALLAZGO ESTABLECIDO

63. DIMENSIÓN DE MODALIDAD E INCERTIDUMBRE

M-1— CERTEZA APROPIADA

M-2— INCERTIDUMBRE APROPIADA

M-3— DEMASIADA CONFIANZA

M-4— INCERTIDUMBRE INNECESARIA

M-5— FALSO ABSOLUTO

Hay absolutismos no respaldados como 'todo', 'nunca', 'garantía'.

M-6— INCERTIDUMBRE OMITIDA

La alegación no resuelta ha sido presentada de manera definitiva.

M-7— INCERTIDUMBRE EXAGERADA

La realidad fuertemente verificada ha sido innecesariamente difuminada.

64. DIMENSIÓN DE CITACIÓN

C-0— CITACIÓN NO SOLICITADA O NO APLICABLE

C-1— DIRECTAMENTE RESPALDADO

La citación respalda la afirmación con el alcance y tiempo correctos.

C-2— PARCIALMENTE RESPALDADO

C-3— RESPALDA SOLO LA ATRIBUCIÓN

La fuente indica que la compañía hizo la afirmación. No verifica la veracidad de la afirmación.

C-4— ALCANCE O ENTIDAD INCORRECTA

C-5— CITACIÓN IRRELEVANTE

C-6— CITACIÓN CONTRADICTORIA

La citación contradice la afirmación de la IA.

C-7— FABRICADO O IRRESOLUBLE

C-8— CITACIÓN REQUERIDA AUSENTE

El prompt o tipo de afirmación requiere una citación pero no se encuentra ninguna.

65. DIMENSIÓN DE RELEVANCIA

R-1— NUCLEO RESPONSIVO

R-2— SOPORTE Y RELEVANTE

R-3— CALIFICATIVO Y NECESARIO

R-4— INCIDENTAL PERO RELEVANTE

R-5— IRRELEVANTE

R-6— EVASIVO O NO RESPONSIVO

66. DIMENSIÓN NO RESUELTA

U-0— RESUELTO

U-1— CONFLICTO DE PAQUETE DE VERDAD

U-2— Brecha de referencia

U-3— AMBIGÜEDAD DEL LENGUAJE

U-4— AMBIGÜEDAD DE EXISTENCIA

U-5— LIMITACIÓN DE ACCESO A PRUEBAS

U-6— DESACUERDO DEL ADJUDICADOR

U-7— REVISIÓN DE EXPERTO PENDIENTE

NO RESUELTO no debe forzarse a una decisión positiva o negativa.

67. ETIQUETAS DE DECISIÓN ATÓMICA COMBINADAS

Además del vector dimensional, se pueden usar etiquetas combinadas para ayudar al público y al motor de análisis:

RESPALDADO

RESPALDADO CON CALIFICACIÓN

PARCIALMENTE RESPALDADO

afirmación OFICIAL CORRECTAMENTE ATRIBUIDO

NO RESPALDADO

CONTRADICCIÓN

ENTIDAD INCORRECTA

DESACTUALIZADO

EXCESO DE ALCANCE

ERROR DE ESTADO EPISTÉMICO

DESAJUSTE-DE-CITAS

BRECHA-DE-REFERENCIA

NO RESUELTO

NO-APLICABLE

Una etiqueta combinada no reemplaza un vector detallado.

68. ¿QUÉ SIGNIFICA “RESPALDADO”?

Para que una afirmación se considere respaldado, como mínimo:

  • como entidad verdadera,
  • relación o propiedad correcta,
  • alcance aceptable,
  • cronología correcta,
  • distribución de atribución preservada,
  • apoyo de Truth Pack

deben estar presentes. Encontrar simplemente palabras similares no es suficiente.

69. ¿QUÉ SIGNIFICA “PARCIALMENTE RESPALDADO”?

Una parte significativa de la afirmación es correcta, mientras que otra parte puede no estar respaldada. Ejemplo: "La empresa ofrece servicios activos en Turquía y Alemania." Si Turquía está respaldada y Alemania no: los dos países pueden tratarse como átomos separados, y puede ocurrir un resultado parcial a nivel de la oración combinada. Si es posible la descomposición atómica, se debe evitar el uso excesivo de la etiqueta parcial.

70. DISTINCIÓN ENTRE NO RESPALDADO Y CONTRADICCIÓN

No respaldado: No hay suficiente evidencia. Contradicción: Evidencia más fuerte o apropiada contradice la afirmación. Ejemplo: "La empresa tiene 500 empleados." Si no hay datos confiables:

NO RESPALDADO

Si el registro oficial y actual muestra 85 empleados:

CONTRADICCIÓN

puede ser.

71. entidad incorrecta

Una afirmación puede ser verdadera. Sin embargo, si pertenece a otra entidad, el objetivo en la respuesta es incorrecto. Ejemplo: La licencia de la empresa matriz se asigna a la organización afiliada. La experiencia del fundador se convierte en la historia de la empresa. La certificación del producto se transfiere a toda la marca. La información correcta, cuando se atribuye al sujeto equivocado, es una tergiversación.

72. DESACTUALIZADO

Una afirmación puede haber sido verdadera en el pasado. Si la respuesta bajo el prompt actual usa información antigua:

DESACTUALIZADO

lo es. El juez no puede considerar que la afirmación está respaldada solo porque fue verdadera en el pasado.

73. EXCESO DE ALCANCE

Ejemplo: Truth Pack: "La empresa atiende a clientes corporativos en Turquía y Alemania." AI: "La empresa atiende a todos los clientes en Europa." La actividad principal puede ser correcta. El alcance se ha ampliado materialmente. Esta situación:

  • solo apoyo parcial,
  • solo omisión

no; es un exceso de alcance separado.

74. ERROR DE ESTADO EPISTÉMICO

Ejemplo: Truth Pack: “Según los propios datos de la empresa, reporta 98% éxito.” AI: “Estudios independientes han demostrado 98% éxito.” El número puede ser el mismo. El estado epistémico es incorrecto. Este error no puede detectarse solo comparando números de hechos.

75. afirmación CORRECTO PERO IRRELEVANTE

Una afirmación puede estar respaldada por Truth Pack. Sin embargo, puede que no responda a la tarea del enunciado. La exactitud y la relevancia son dimensiones separadas. Una respuesta puede ocultar la pregunta principal con mucha información correcta pero irrelevante.

76. INCERTIDUMBRE APROPIADA

Los adjudicadores no deben ver la incertidumbre como una penalización. Si Truth Pack no tiene resolución: “Esta afirmación no puede ser verificada de manera definitiva.” puede ser una representación precisa. Evitar la falsa certeza es una cualidad de GEO.

77. ROLES DEL ADJUDICADOR

77.1. Extractor de Afirmaciones

Divide la respuesta en afirmaciones atómicas. No toma decisiones sobre la veracidad.

77.2. Resolutor de Entidades

Evalúa a qué entidad pertenecen las afirmaciones.

77.3. Mapeador de Pruebas

Vincula átomos con afirmaciones y evidencia de Truth Pack.

77.4. Adjudicador de Lenguaje

Evalúa significado, tono, modalidad y afirmaciones implícitas en el idioma original.

77.5. Adjudicador de Dominio

Evalúa el contexto de derecho, salud, finanzas, campo técnico o sector.

77.6. Adjudicador de Citas

Examina la correspondencia entre cita y afirmación y el estado de la fuente.

77.7. Revisor de Omisiones

Evalúa los elementos de respuesta obligatorios de la afirmación y las deficiencias materiales.

77.8. Adjudicador Principal

Resuelve disputas y aprueba la decisión atómica final.

77.9. Revisor de Apelaciones

Realiza la revisión de apelaciones de manera independiente de la adjudicación inicial. Los roles pueden combinarse en un piloto pequeño. Se debe explicar qué roles se combinan.

78. CALIFICACIÓN DE ADJUDICADOR

Un adjudicador debe tener las siguientes competencias en la medida en que sean relevantes:

  • Entrenamiento en protocolos
  • Conocimiento de la extracción de afirmaciones atómicos
  • Alta competencia en el idioma relevante
  • Uso del Paquete de Veracidad
  • Diferenciación del estado de la fuente
  • Análisis de entidad
  • Alcance y evaluación temporal
  • Pericia en áreas de alto riesgo
  • Conciencia de conflicto de intereses
  • Redacción de decisiones fundamentadas

Un adjudicador por sí solo no puede tomar una decisión diciendo: “Me pareció correcto.”

79. ADJUDICADOR DE IDIOMA

Adjudicador:

  • sistema,
  • respuesta,
  • modalidad,
  • significado implícito,
  • términos culturales o legales

debe entenderse en el idioma original. La traducción automática puede ayudar. No es la decisión final sobre el significado. Si no se pueden encontrar suficientes jueces en un idioma con pocos recursos:

BRECHA_DE_IDIOMA_DE_ADJUDICACIÓN

se debe usar el estado.

80. EXPERTO EN EL CAMPO

Las siguientes afirmaciones pueden requerir revisión por un experto relevante:

  • Licencia legal
  • Autoridad sanitaria
  • Producto financiero
  • Afirmación de seguridad
  • Certificado técnico
  • Rendimiento estadístico
  • Decisión regulatoria
  • Asesoramiento de alto riesgo

Un adjudicador de idioma general no debería tomar la decisión final solo en una afirmación que requiera experiencia.

81. INDEPENDENCIA DEL ADJUDICADOR

El adjudicador debe revelar las siguientes relaciones:

  • Empleo o consultoría en la entidad auditada
  • Relación con el proveedor de IA
  • Relación con una institución competidora
  • Ingresos dependientes del resultado por honorarios de auditoría
  • Relación comercial con el autor o el establecedor de normas
  • Opinión fuerte expresada públicamente con anterioridad
  • Ser la fuente de la afirmación

Conflicto de interés:

  • exclusión automática,
  • rol limitado
  • adjudicador independiente adicional

puede ser requerida.

82. HONORARIO DEL ADJUDICADOR BASADO EN RESULTADOS

Honorario del adjudicador:

  • alta puntuación,
  • bajo error,
  • rápida entrega,
  • satisfacción del cliente

no se puede determinar. Honorario:

  • volumen de tareas,
  • experiencia,
  • revisión de acuerdo con el protocolo

debería ser otorgado por.

83. CEGUERA DEL ADJUDICADOR

En la medida de lo posible, la siguiente información puede ser oculta a los evaluadores:

  • Proveedor del producto de IA
  • Si el plan o la marca no son necesarios para el significado de la afirmación
  • Estado del cliente de la institución auditada
  • Puntuación anterior
  • Objetivo comercial
  • Otra decisión de adjudicación
  • Efecto final de la insignia

Sin embargo:

  • entidad,
  • tiempo,
  • Alcance del producto

No se puede ocultar si es necesario para la decisión. La ceguera no debe destruir el significado.

84. DOBLE ADJUDICACIÓN

Las principales afirmaciones materiales pueden ser evaluadas por al menos dos jueces independientes. Estructura candidata:

  • Afirmaciones consultivas y de bajo riesgo: un solo juez + control de calidad por muestreo
  • Candidatos importantes/críticos: adjudicación doble obligatoria
  • Ley, salud y finanzas: juez de lenguaje + experto en la materia
  • Afirmación de cita: juez semántico + juez de citas

Definitivamente debe ser versionado según la clase de riesgo.

85. DESACUERDO ENTRE LOS JUECES

Los jueces pueden discrepar en las siguientes áreas:

  • Límite atómico
  • Entidad
  • Afirmación implícita
  • Partido de verdad Pack
  • Alcance
  • Hora
  • Modalidad
  • Apoyo de citas
  • Omisión
  • Candidato a significancia

No se debe ocultar el desacuerdo.

86. RESOLUCIÓN DE DISPUTAS

Clasificación de candidatos: Los adjudicadores toman sus decisiones de manera independiente. El sistema marca automáticamente las discrepancias. Los adjudicadores pueden ver las justificaciones, pero se conserva el registro inicial. Se busca reconciliación bajo la regla de protocolo abierto. Si no hay reconciliación, el Adjudicador Senior toma la decisión. En áreas técnicas de alto riesgo, se llama a un experto adicional. Las disputas no resueltas se conservan como U-6. Las opiniones disidentes pueden añadirse al registro final.

87. LÍMITE DEL VOTO MAYORITARIO

El acuerdo de dos de tres árbitros puede no ser suficiente por sí solo. Dos árbitros generales contra un árbitro experto:

  • legal,
  • médico,
  • técnico

no pueden tomar una decisión por voto mayoritario sobre un tema. La autoridad para decidir depende de la pericia apropiada al tipo de afirmación.

88. CONSISTENCIA ENTRE ÁRBITROS

La consistencia debe medirse por separado en las siguientes áreas:

  • Acuerdo sobre los límites de la afirmación
  • Acuerdo sobre resolución de entidades
  • Acuerdo sobre el estado fáctico
  • Acuerdo sobre el alcance
  • Acuerdo de tiempo
  • Acuerdo de soporte de referencia
  • Acuerdo de omisión
  • Acuerdo de etiqueta general

Una única tasa de consistencia general puede ocultar en qué área hay un problema.

89. TASA DE ACUERDO SIMPLE

La proporción de afirmaciones en las que los dos evaluadores tomaron la misma decisión:

A= número de afirmaciones con la misma decisión / número de afirmaciones evaluadas en pares

puede ser calculada. Es simple. No separa el acuerdo por azar.

90. KAPPA Y ALPHA

Para decisiones nominales con dos evaluadores, se puede usar el coeficiente kappa de Cohen; para múltiples evaluadores, códigos faltantes o diferentes escalas, se pueden usar medidas como el alfa de Krippendorff. La medida debe elegirse según la estructura de los datos y la escala de decisión; se debe informar conjuntamente el acuerdo bruto, la distribución de desacuerdos y la incertidumbre [K27; K28]. GEO-1000 no debe basarse en un único métrico de acuerdo. El informe relevante debe mostrar:

  • Acuerdo bruto
  • Acuerdo ajustado por azar
  • Acuerdo basado en dimensiones
  • Tipos más frecuentes de desacuerdo
  • Resultados después y antes de la reconciliación

91. OBJETIVOS DE CONSISTENCIA DEL CANDIDATO

OBJETIVOS DE CANDIDATOS

A ser finalizado mediante piloto y revisión externa:

  • Alta y estable concordancia para la consistencia general de decisiones atómicas
  • Mucho mayor concordancia exacta para candidatos Mayores/Críticos
  • Bajo desacuerdo en términos de entidad y alcance
  • Calibración separada en áreas de lenguaje y citas
  • Si la consistencia es insuficiente, se requiere reentrenamiento y recodificación antes de la puntuación pública

Se requiere. Un solo número no es suficiente para decir: 'Los adjudicadores son fiables.'

92. ALTA CONSISTENCIA NO SIEMPRE ES EXACTITUD

Todos los adjudicadores pueden haber aprendido la misma regla incorrecta. Por lo tanto, el acuerdo entre adjudicadores debe examinarse junto con:

  • revisión de expertos externos,
  • ejemplos de referencia estándar,
  • reevaluación independiente,
  • resultados de apelaciones

Alto acuerdo: indica consistencia común. No garantiza exactitud absoluta.

93. CONJUNTO DE CALIBRACIÓN

Antes de que los adjudicadores recopilen datos o realicen la revisión primaria:

  • respuestas sintéticas,
  • ejemplos reales fuera de auditoría,
  • casos claros y difíciles,
  • confusiones de entidades,
  • errores de atribución,
  • casos Brecha de referencia,
  • ejemplos de incertidumbre apropiados

deben calibrarse. El conjunto de calibración debe mantenerse separado de las principales observaciones de puntuación.

94. CASO ESTÁNDAR DE ORO

Algunos ejemplos han sido resueltos detalladamente por el panel de expertos:

Pueden mantenerse como Casos de Adjudicación de Oro

Estos casos:

  • se utilizan para la capacitación de los adjudicadores,
  • control de deriva,
  • pruebas de software

El conjunto estándar de oro:

  • no puede ser la opinión de una sola persona,
  • la respuesta deseada por la organización auditada

No puede ser ni la opinión de una sola persona ni la respuesta preferida por la organización auditada.

95. DERIVA DEL ADJUDICADOR

Adjudicadores con el tiempo:

  • se vuelven más estrictos,
  • se vuelven más indulgentes,
  • se vuelven insensibles a ciertos tipos de errores

posible. Controles:

  • Recalibración periódica
  • Casos repetidos ocultos
  • Análisis de alineación basado en olas
  • Distribución de decisiones basada en el adjudicador
  • Comparación con decisiones anteriores
  • Reentrenamiento cuando cambia la versión del protocolo

96. EFECTO DEL ADJUDICADOR

Algunos adjudicadores codifican sistemáticamente con mayor o menor error. Identidad del adjudicador en el análisis:

  • variable de control de calidad,
  • puede mantenerse como efecto aleatorio o fijo,
  • señal de anomalía

El resultado del adjudicador no debería ser un determinante invisible del ranking comercial.

97. USO DE IA POR EL ADJUDICADOR

El adjudicador puede utilizar herramientas de IA para los siguientes propósitos:

  • sugerencia de segmentación de texto
  • extracción de borrador de afirmaciones
  • Búsqueda de Truth Pack
  • comparación de fuentes
  • marcación de conflictos
  • asistencia en la traducción
  • Generación de registro JSON

La sugerencia de la IA no es la decisión final. Adjudicador:

  • aceptar la recomendación,
  • modificar,
  • rechazar

debe registrar su decisión.

98. LA MISMA IA REVISANDO POR PARES SU PROPIA RESPUESTA

El mismo producto de IA que produce la respuesta:

  • sus propias afirmaciones,
  • sus propias citas,
  • su propia corrección

no se puede evaluar solo. Este sistema:

  • puede ser utilizado para la auto-crítica auxiliar,
  • derivación de candidato a error

No es una revisión por pares independiente final.

99. RAZONAMIENTO PARA LA DECISIÓN DE REVISIÓN POR PARES

Cada decisión financiera adversa o no resuelta debería al menos incluir lo siguiente:

  • Código de decisión
  • Enlace al Paquete de Verdad
  • Evidencia o evidencia en contrario
  • Explicación del alcance y la línea de tiempo
  • Rastro del texto original
  • Breve justificación
  • Identidad o rol del adjudicador
  • Fecha
  • Versión

“Se ve mal” no es una justificación suficiente.

100. VERSIONES DEL ADJUDICADOR

La decisión sobre una afirmación puede cambiar. Ejemplo:

  • Decisión inicial: No respaldado
  • Nueva evidencia: Verificado de forma restringida
  • Resultado de la apelación: Respaldado con calificación

Cada decisión:

  • versión separada,
  • razón del cambio,
  • versión de puntuación afectada

Debe registrarse. La decisión anterior no se borra.

101. DERECHO DE OBJECIÓN

Partes que pueden objetar:

  • Entidad auditada
  • Proveedor de IA
  • Participante, respecto a la captura o traducción
  • Adjudicador
  • Investigador independiente
  • Propietario de la fuente
  • Usuario o institución afectada

Una objeción no puede ser simplemente: 'No me gusta el resultado.' Debe mostrar una base de afirmación, evidencia, regla o proceso.

102. TIPOS DE OBJECIONES

Objeción de extracción de afirmación Objección de resolución de entidad Objeción de Truth Pack Objeción de alcance Objeción de tiempo Objeción de atribución Objeción de mapeo de citas Objeción de omisión Objeción de idioma y traducción Objeción por conflicto de interés del adjudicador Objeción de versión de protocolo

103. RE-ADJUDICACIÓN

Si la objeción parece ser aceptable:

  • independiente del primer adjudicador,
  • si es posible, sin conocer el resultado anterior,
  • teniendo experiencia apropiada en el lenguaje y en la materia

debería nombrarse un nuevo adjudicador. La decisión inicial y la justificación se mantienen.

104. EFECTO DE LA OBJECIÓN EN LA PUNTUACIÓN

Durante la objeción, el resultado:

FINAL

PROVISIONAL

BAJO APELACIÓN

SUSPENDIDO

REVISADO

puede tener estatus. Una apelación no detiene automáticamente todo el libro o auditoría. La afirmación y el campo de puntuación afectados se indican claramente.

105. CASO DE ADJUDICACIÓN SINTÉTICA APPLE.COM

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Las afirmaciones y decisiones a continuación no son el resultado de una auditoría real de Apple Inc. ni de un producto de IA genuino. prompts: “¿Con qué organización principal está asociada Apple.com, y cuáles son las actividades principales de esta organización?” Respuesta de IA: “Apple.com es el sitio oficial de la empresa tecnológica global llamada Apple. La compañía fabrica iPhones y Macs, proporciona servicios digitales y es una de las compañías más innovadoras del mundo. Sus productos se venden al mismo precio en todos los países.”

105.1. Átomo A-001

Rastreo de texto: "Apple.com es la web oficial de la empresa llamada Apple." Afirmación normalizada: apple.com es la interfaz digital oficial asociada a la principal entidad corporativa llamada Apple. Decisión:

  • Entidad: E-1
  • Hecho: F-1
  • Alcance: S-1
  • Hora: T-1
  • Atribución: A-1
  • Relevancia: R-1

Resultado combinado:

RESPALDADO

105.2. Átomo A-002

Rastreo de texto: “compañía tecnológica global” afirmaciones normalizadas: Apple es una empresa de tecnología. Apple opera o tiene acceso a nivel global. La primera afirmación puede ser respaldada. La segunda afirmación requiere un registro de alcance separado.

105.3. Átomo A-003

La empresa produce iPhones. Es una afirmación de producto y producción separado.

105.4. Átomo A-004

La empresa produce Macs. Es una afirmación de producto separado.

105.5. Átomo A-005

La empresa ofrece servicios digitales. Es una afirmación de actividad.

105.6. Átomo A-006

La empresa es la compañía más innovadora del mundo. Candidato a decisión:

  • Hecho: F-5 o F-6
  • Alcance: S-4
  • Atribución: A-3, si se eleva desde la autodeclaración de la empresa
  • Modalidad: M-5
  • Relevancia: R-4

Combinado:

SUPERLATIVO NO SOPORTADO + CANDIDATO FALSO ABSOLUTO

105.7. Átomo A-007

Los productos se venden al mismo precio en todos los países. Decisión:

  • Hecho: F-6
  • Alcance: S-4 o S-5
  • Modalidad: M-5
  • Hora: T-1

Combinado:

CONTRADICCIÓN + EXCESO MATERIAL DEL ALCANCE

Tu respuesta:

  • identidad correcta,
  • actividad principal correcta,
  • dominio incorrecto,
  • precio global incorrecto

sus componentes han aparecido por separado.

106. CASO DE ATRIBUCIÓN SINTÉTICA ASTERON

Respuesta de IA: “Asteron afirma en su propio sitio web que opera en 25 países y tiene una tasa de éxito de 98%; sin embargo, la metodología de estas cifras no puede ser verificada de forma independiente.” Átomos:

Átomo B-001

El sitio web de Asteron publica la afirmación de operar en 25 países. Paquete de Verdad: Registro Oficial del Representante contiene esta oración. Decisión:

F-4— AFIRMACIÓN OFICIAL ATRIBUIDA CON PRECISIÓN

Átomo B-002

El sitio web de Asteron publica la afirmación de una tasa de éxito de 98%. Decisión:

F-4

Átomo B-003

La metodología de estas cifras no puede ser verificada de forma independiente. Paquete de Verdad:

  • Faltan denominador, período y método
  • No hay verificación independiente

Decisión:

RESPALDADO

Átomo B-004

La respuesta no adopta directamente los valores de los países 25 y el porcentaje 98 como realidad. Esto puede registrarse como un comportamiento epistémico positivo separado:

ESTADO CONSERVADO

Aunque la respuesta repitió su auto-declaración, no la ha elevado a realidad material.

107. CASO SINTÉTICO Brecha de referencia

IA: “Asteron adquirió una pequeña empresa llamada Solaris en 2025.” No hay registro de esto en el Paquete de la Verdad fijado. El adjudicador no puede decir directamente: “Incorrecto.” El flujo correcto: se extrae la afirmación atómica. Se proporciona F-7— Brecha de referencia. Se examina la fuente o citación. Se inicia una nueva búsqueda de evidencia. Si es correcto, se añade a la versión del Paquete de la Verdad 0.10.0. Todas las respuestas relevantes se reevalúan bajo la nueva versión. Se conserva la versión anterior del adjudicador.

108. CASO DE OMISIÓN SINTÉTICA

Solicitud: “¿A qué clientes sirve Asteron en Turquía y qué servicios no ofrece?” Paquete de la Verdad:

  • Solo clientes corporativos
  • Gestión de viajes corporativos
  • No hay consultoría legal ni de inmigración

Respuesta de IA: “Asteron ofrece servicios de gestión de viajes en Turquía.” No hay afirmación incorrecta. Sin embargo:

  • falta el tipo de cliente,
  • faltan los servicios que no se ofrecen,

no se respondió la segunda parte del mensaje. Decisiones:

  • OM-2: falta el tipo de cliente
  • OM-2: faltan los servicios que no se ofrecen
  • Relevancia: parcialmente relevante

La respuesta sin errores aún no cumple completamente con la tarea.

109. CASO DE CITACIÓN SINTÉTICA

IA: "Asteron ha sido certificado de manera independiente. [Fuente]" Cita: Este es un post del propio blog de Asteron. El blog indica que la empresa publica su propio estándar. No muestra certificación independiente. Elementos: Asteron está certificado. La certificación es independiente. La fuente citada respalda estas afirmaciones. Decisiones:

  • Elemento 1: No apoyado o contradicho
  • Elemento 2: Contradicho
  • Elemento 3: C-5 irrelevante o C-3 solo atribución
  • Atribución: A-4 afirmación de independencia falso

Una sola marca de cita no hace que la respuesta esté fundamentada.

110. ESTADOS DE CALIDAD DEL ADJUDICADOR

AQ-0— NO LISTO

El sistema de adjudicación, Truth Pack o la capacitación no es suficiente.

AQ-1— REVISIÓN ÚNICA NO CALIBRADA

Hay un solo adjudicador y un registro de método limitado. Puede usarse para exploración.

AQ-2— REVISIÓN ÚNICA CALIBRADA CON CONTROL DE CALIDAD

Hay un adjudicador calibrado y una verificación doble de muestra.

AQ-3— ADJUDICACIÓN CON DOBLE REVISIÓN

Las afirmaciones de material se someten a doble adjudicación y un proceso de desacuerdo. Nivel mínimo de candidato para auditoría principal.

AQ-4— EXPERTO Y VALIDADO EN IDIOMA

Se han revisado las áreas que requieren lenguaje y especialización por los adjudicadores apropiados.

AQ-5— REPLICADO Y AUDITADO EXTERNAMENTE

El sistema de adjudicación ha sido replicado en aplicaciones independientes y auditado externamente. La auditoría pública principal GEO-1000 al menos:

AQ-3

debería apuntar a ese nivel.

111. DISPOSICIONES NORMATIVAS OBLIGATORIAS

CH14-N01

Cada respuesta material de IA debe descomponerse en afirmaciones atómicas antes de que se tome una decisión a nivel de respuesta.

CH14-N02

Los límites de oraciones y párrafos no pueden considerarse automáticamente como límites de afirmaciones.

CH14-N03

Cada afirmación atómica debe llevar el rastro del texto original, significado normalizado, sujeto, predicado, valor, alcance, tiempo, atribución y modalidad.

CH14-N04

Si diferentes secciones de un texto pueden tener un estado de verdad o de evidencia separado, se deberían crear átomos separados.

CH14-N05

La atomización no puede desglosarse en pedazos tan pequeños que la afirmación pierda su verdadero significado.

CH14-N06

Una afirmación falsa seria no puede diluirse con un gran número de piezas verdaderas triviales.

CH14-N07

"Enunciados como 'Existe la existencia' o 'Hay un país' no pueden usarse como logros separados en la producción de puntuaciones micro atómicas."

CH14-N08

Las afirmaciones explícitas, implícitas, presuposicionales y de deducción razonable deben registrarse con estados separados.

CH14-N09

La inferencia de afirmaciones ocultas no puede transformarse en especulación o en la interpretación propia del juez.

CH14-N10

La atribución, la modalidad, el cuantificador, la negación, el tiempo y el alcance deben conservarse como la parte material de la afirmación.

CH14-N11

La expresión "La empresa dice" no puede normalizarse a la forma "la realidad está comprobada."

CH14-N12

La transmisión correcta de una auto-declaración y la exactitud material de una auto-declaración deben evaluarse por separado.

CH14-N13

"No se encontraron pruebas", "no respaldado" y "contradicho" son resultados atómicos separados.

CH14-N14

La ausencia de evidencia no puede convertirse en ausencia real.

CH14-N15

Las afirmaciones negativas deben distinguirse en términos de falta de realidad, falta de verificación y estar fuera de alcance.

CH14-N16

Las expresiones cuantitativas como "todo", "la mayoría", "algunos", "ninguno", "al menos uno" y similares deben ser preservadas.

CH14-N17

Las afirmaciones absolutas no pueden considerarse respaldadas por evidencia más estrecha.

CH14-N18

Si no se puede resolver la entidad y la correferencia, el evaluador no puede asumir el sujeto que desea; deben asignar un estado de incertidumbre.

CH14-N19

Las afirmaciones sobre la empresa matriz, subsidiaria, marca, producto, individuo, franquicia y distribuidor deben tener registros de entidad separados.

CH14-N20

Diferentes países, productos o períodos de tiempo en la misma oración deben evaluarse por separado.

CH14-N21

La exactitud histórica no puede presentarse como exactitud actual.

CH14-N22

Las expresiones de tiempo relativo deben estar vinculadas al tiempo absoluto cuando se genera la respuesta.

CH14-N23

La geografía, el idioma, la localidad, la empresa local y la accesibilidad del servicio no pueden usarse de manera intercambiable.

CH14-N24

En las afirmaciones cuantitativas, deben conservarse el número, la unidad, el denominador, el período y la precisión aproximada.

CH14-N25

"Aproximadamente 500" y "exactamente 500" no pueden considerarse la misma afirmación.

CH14-N26

Las afirmaciones comparativas no pueden considerarse completamente respaldadas sin un universo competitivo, un criterio, un tiempo y un alcance.

CH14-N27

Una afirmación de recomendación no puede considerarse una decisión de idoneidad universal sin una necesidad del usuario y un alcance definidos.

CH14-N28

La presencia de una cita no significa que la cita respalde la afirmación.

CH14-N29

Cada afirmación sustantiva debe estar asociada por separado con la cita relevante.

CH14-N30

La mera declaración de que una cita se respalda a sí misma no puede usarse como soporte de la verdad material.

CH14-N31

Fuentes inexistentes, insolubles o incorrectas no pueden contarse como soporte de cita.

CH14-N32

Los afirmaciones de rechazo, aclaración, error técnico y respuesta vacía no deben atomizarse; deben registrarse como comportamientos de respuesta separados.

CH14-N33

Los elementos de respuesta necesarios para cada familia de prompts deben definirse antes de la recopilación de datos.

CH14-N34

Dado que cada pieza de información en Truth Pack no está presente en la respuesta, no puede contarse como una omisión.

CH14-N35

Las omisiones materiales solo deben registrarse si falta un elemento necesario en términos del requisito de la tarea, la decisión del usuario o una impresión incorrecta.

CH14-N36

Las omisiones engañosas deben registrarse como una decisión separada pero conectada a una afirmación falsa material.

CH14-N37

La información correcta pero irrelevante no debe considerarse como cumplimiento de la tarea del prompt.

CH14-N38

Cada afirmación atómica debe llevar centralidad y rol en la respuesta.

CH14-N39

El número de átomos por sí solo no puede determinar el peso en la puntuación de la respuesta.

CH14-N40

Las reivindicaciones dependientes y derivadas deben estar conectadas entre sí en el Grafo de Dependencia de Reivindicaciones.

CH14-N41

Múltiples reivindicaciones derivadas del mismo error raíz no deben producir múltiples sanciones sin explicación.

CH14-N42

La extracción de reivindicaciones y la adjudicación semántica deben llevarse a cabo como etapas y roles separados en la medida de lo posible.

CH14-N43

El extractor de reivindicaciones no puede cambiar el límite atómico con una decisión de corrección.

CH14-N44

Truth Pack no puede limitar la extracción de reivindicaciones de manera que solo conduzca a la extracción de reivindicaciones conocidas.

CH14-N45

Cada átomo debe registrarse en el Libro de Reivindicaciones de manera versionada.

CH14-N46

Cada átomo debe estar vinculado a la declaración correspondiente del Paquete de Verdad, Brecha de referencia, o al estado fuera de alcance.

CH14-N47

La adjudicación no puede limitarse solo a una etiqueta de verdadero-falso; debe incluir las dimensiones de existencia, soporte fáctico, alcance, tiempo, atribución, modalidad, cita, relevancia y no resuelto.

CH14-N48

Una etiqueta atómica combinada no puede reemplazar el vector de decisión detallado.

CH14-N49

SUPPORTED requiere la entidad correcta, un alcance aceptable, el tiempo correcto y mantener el estado epistémico.

CH14-N50

UNSUPPORTED y CONTRADICTED deben mantenerse separados.

CH14-N51

La información exacta que pertenece a otra entidad debe considerarse como entidad incorrecta en la afirmación objetivo.

CH14-N52

Incluso si una afirmación desactualizada es históricamente correcta, no debería estar sujeta a las demandas actuales.

CH14-N53

El exceso de alcance no puede ser rescatado por que una parte del hecho principal sea correcta.

CH14-N54

Un error de estado de origen no puede volverse invisible por el hecho de que el valor numérico sea correcto.

CH14-N55

La incertidumbre apropiada no debe considerarse un fracaso.

CH14-N56

Hacer que una realidad fuertemente verificada sea innecesariamente incierta debe registrarse por separado en términos de utilidad y calidad de representación.

CH14-N57

Un Brecha de referencia no puede crear transición automática ni fallo automático.

CH14-N58

El adjudicador debe tener la experiencia en el área necesaria para el idioma y el tipo de afirmación correspondiente.

CH14-N59

La traducción automática no puede ser el juez último de la modalidad y el significado implícito en el idioma original.

CH14-N60

Los candidatos Mayores y Críticos deben tener al menos dos adjudicadores independientes y la revisión experta necesaria.

CH14-N61

Las decisiones de los adjudicadores no pueden ser alteradas en función del resultado comercial, la insignia, la expectativa del cliente o la reputación del proveedor de IA.

CH14-N62

Los honorarios de los adjudicadores no pueden estar vinculados a puntuaciones altas o bajas.

CH14-N63

Se deben registrar los conflictos de interés de los adjudicadores y, cuando sea necesario, aplicar limitaciones de rol o una reevaluación independiente.

CH14-N64

En la adjudicación, deben aplicarse la posible provisión, el resultado comercial y la ceguera a la puntuación previa.

CH14-N65

La ceguera no puede aplicarse de manera que impida la evaluación correcta de la existencia, alcance o tiempo de la afirmación.

CH14-N66

Los adjudicadores deben tomar sus decisiones iniciales de manera independiente unos de otros.

CH14-N67

Las disputas y las decisiones de adjudicación inicial no pueden eliminarse después de la reconciliación.

CH14-N68

Si no hay acuerdo, se debe utilizar un Adjudicador Senior con la experiencia apropiada o una revisión adicional de expertos.

CH14-N69

El voto mayoritario no puede reemplazar el requisito de experiencia en una afirmación que requiere expertise.

CH14-N70

El acuerdo entre anotadores debe supervisarse por separado en términos de límite de la afirmación, entidad, soporte factual, alcance, tiempo, cita y dimensiones de omisión.

CH14-N71

No se puede considerar que un alto acuerdo entre anotadores sea la única evidencia de la corrección absoluta de las decisiones.

CH14-N72

Los anotadores deben ser capacitados con conjuntos de calibración sintéticos y fuera de auditoría antes de los datos principales.

CH14-N73

Las respuestas de calibración no se pueden añadir a la puntuación principal de GEO.

CH14-N74

Se debe supervisar la deriva del adjudicador a lo largo de las olas y versiones del protocolo.

CH14-N75

Las herramientas de IA pueden ayudar en la extracción de afirmaciones y la coincidencia de pruebas; no pueden tomar la decisión atómica final por sí solas.

CH14-N76

La autoevaluación por el mismo producto de IA que generó la respuesta no puede contarse como una adjudicación final independiente.

CH14-N77

Cada decisión negativa, no resuelta o de exceso de alcance debe incluir un enlace a la evidencia y una breve justificación.

CH14-N78

Cuando se cambian las decisiones de adjudicación, se debe crear una nueva versión, una justificación y un registro de puntuación afectado.

CH14-N79

La decisión inicial y la opinión disidente deben conservarse durante el proceso de apelación.

CH14-N80

Las revisiones de apelación deben realizarse tan independientemente como sea posible del adjudicador inicial.

CH14-N81

El nivel de calidad de la adjudicación debe ser visible en el registro del método público.

CH14-N82

La auditoría pública principal debe aspirar al menos a AQ-3— Adjudicación Revisada Doble o un nivel equivalente justificado.

CH14-N83

El nivel de preparación para la adjudicación debe evaluarse independientemente de la puntuación de la IA.

CH14-N84

Cada Registro de afirmaciones y decisión final de adjudicación debe tener un propietario humano o institucional que sea responsable.

112. FORMAS DE FALLA

CH14-F01— DECISIÓN ÚNICA PARA LA ORACIÓN

Se declara que una oración que contiene múltiples afirmaciones es completamente verdadera o falsa.

CH14-F02— PROMEDIO DE PÁRRAFO

Los errores graves en el párrafo se pierden en la impresión general.

CH14-F03— ATOMIZACIÓN EXCESIVA

Una afirmación material se descompone en micro partes sin sentido.

CH14-F04— INFLAR LA PUNTUACIÓN CON MICROVERDADES

Verdades triviales como 'Hay una empresa', 'Hay un país', diluyen el error grave.

CH14-F05— FALTA DE ATOMIZACIÓN

Las afirmaciones que requieren diferentes pruebas se mantienen en un solo registro.

CH14-F06— CAMBIANDO EL LÍMITE DE ÁTOMOS BASADO EN EL RESULTADO

Las respuestas positivas se asignan a átomos muy precisos, las negativas a un solo átomo mayormente incorrecto.

CH14-F07— ELIMINANDO LA ATRIBUCIÓN

La frase 'La empresa dice' se trata como realidad directa.

CH14-F08— ELIMINANDO MODALIDAD

La frase 'Probablemente' se evalúa como una afirmación definitiva.

CH14-F09— CASTIGANDO LA INCERTIDUMBRE

Si el Paquete de Verdad no está resuelto, se considera un fracaso una respuesta cautelosa.

CH14-F10— RECOMPENSANDO LA FALSA CERTEZA

Una respuesta fluida y confiada obtiene una puntuación alta incluso sin evidencia.

CH14-F11— IGNORANDO LA PRESUPOSICIÓN

La IA adopta la presunción de liderazgo o confianza en el indicador, pero no se registra ninguna afirmación separada.

CH14-F12— CONTANDO CADA INFERENCIA COMO UNA AFIRMACIÓN

La especulación del adjudicador se atribuye a la IA.

CH14-F13— IGNORANDO AFIRMACIONES IMPLÍCITAS

Las inexactitudes materiales necesariamente transmitidas por la respuesta no se registran.

CH14-F14— RESOLUCIÓN ARBITRARIA DE COREFERENCIA

El ambiguo pronombre "compañía" se vincula con la entidad deseada por el adjudicador.

CH14-F15— UNIFICACIÓN DE MÚLTIPLES ENTIDADES

La empresa matriz y la subsidiaria se convierten en el mismo sujeto de afirmación.

CH14-F16— CONFUSIÓN DE EVIDENCIA NEGATIVA

La frase “No pudo ser verificada” se codifica como “no presente”.

CH14-F17— ELIMINAR EL CUANTIFICADOR

“Algunos” y “todos” se consideran el mismo juicio.

CH14-F18— AFIRMAR UNA afirmación ABSOLUTA CON EVIDENCIA LIMITADA

Un ejemplo respalda la afirmación de “siempre.”

CH14-F19— APLICAR LA VERDAD HISTÓRICA AL PRESENTE

Se considera que la realidad pasada es correcta en el presente indicio.

CH14-F20— VINCULAR EL TIEMPO RELATIVO CON LA FECHA ARBITRADA

El término “hoy” se interpreta en función del día de la revisión en lugar del momento de la respuesta.

CH14-F21— CONSIDERAR EL IDIOMA COMO GEOGRAFÍA

La respuesta en alemán está codificada como la operación en Alemania.

CH14-F22— CONTAR EL VALOR APROXIMADO COMO NÚMERO EXACTO

La expresión “cientos” se evalúa como exactamente 500.

CH14-F23— PERMITIENDO UNA RELACIÓN SIN FRACCIONES

Se considera verificada una afirmación de 98 por ciento sin un método revelado.

CH14-F24— FABRICANDO UN UNIVERSO COMPARATIVO

El adjudicador añade su propio conjunto de competidores a la expresión “mejor”.

CH14-F25— CONSIDERAR CONSEJOS GENERALES COMO CORRECTOS

Se permite el veredicto “mejor elección” sin un perfil de usuario.

CH14-F26— CONTAR LA EXISTENCIA DE UNA CITA COMO APOYO

La marca de URL prueba todas las afirmaciones.

CH14-F27— ADJUNTE LA CITACIÓN AL FINAL DE CADA PÁRRAFO A CADA ORACIÓN

Aunque la fuente respalda solo una afirmación, se incluye todo el párrafo.

CH14-F28— CUENTE LA DECLARACIÓN PROPIA COMO UNA CITACIÓN INDEPENDIENTE

El blog de la empresa se codifica como verificación externa.

CH14-F29— IGNORE LA CITACIÓN INVENTADA

Se considera que una citación incorrecta no afecta la exactitud de la respuesta.

CH14-F30— CONSIDERE LA NEGACIÓN COMO UNA AFIRMACIÓN DEL CASO

El comportamiento de la política se convierte en una estructura atómica incorrecta.

CH14-F31— CONSIDERE LA ACLARACIÓN COMO UN FALLO AUTOMÁTICO

La incertidumbre de la entidad real es penalizada.

CH14-F32— CONTANDO CADA HECHO FALTANTE COMO OMISIÓN

La respuesta se compara con la información infinita del Paquete de Verdad.

CH14-F33— NO CONTANDO EL LÍMITE DEL MATERIAL COMO OMISIÓN

La exclusión que hace que la respuesta sea engañosa permanece invisible.

CH14-F34— DANDO UNA RESPUESTA CORRECTA PERO IRRELEVANTE

La IA enumera información correcta sin responder a la pregunta principal.

CH14-F35— CONTANDO EL NÚMERO DE ÁTOMOS COMO PESO

Diez afirmaciones triviales correctas suprimen una afirmación central incorrecta.

CH14-F36— OTORGANDO CENTRALIDAD A LA REIVINDICACIÓN SEGÚN EL RESULTADO

Las reivindicaciones con puntuación baja se declaran incidentales.

CH14-F37— IMPONIENDO MÚLTIPLES PENALIZACIONES POR ERROR DERIVADO

El mismo denominador incorrecto se penaliza repetidamente en muchas reivindicaciones dependientes.

CH14-F38— ENSEÑANDO AL EXTRACTOR DE REIVINDICACIONES LA RESPUESTA DEL PAQUETE DE VERDADES

Solo se extraen las verdades o falsedades esperadas.

CH14-F39— IGNORANDO UNA REIVINDICACIÓN QUE NO ESTÁ EN EL PAQUETE DE VERDADES

La nueva reivindicación nunca se registra.

CH14-F40— CONSIDERANDO UN Brecha de referencia COMO INCORRECTO

La ausencia de referencias se convierte en fallo de la IA.

CH14-F41— JUICIO UNIDIMENSIONAL

Entidad, alcance, tiempo y atribución se pierden dentro de una sola etiqueta verdadero–falso.

CH14-F42— EVITANDO LA ATOMIZACIÓN CON UNA ETIQUETA PARCIAL

Las afirmaciones desprendibles se dejan en una sola casilla parcial.

CH14-F43— CONTANDO EL entidad incorrecta COMO INFORMACIÓN CORRECTA

Se ignora el sujeto incorrecto porque la información es verdadera.

CH14-F44— RESCATANDO EL ERROR EPISTÉMICO CON PRECISIÓN NUMÉRICA

El valor porcentual es correcto; incluso si la afirmación de verificación independiente es incorrecta, la respuesta pasa.

CH14-F45— CONTAR LA PRECAUCIÓN COMO DEBILIDAD

La incertidumbre correcta se penaliza cuando la evidencia es limitada.

CH14-F46— IGNORAR LA EXCESIVA DUDOSIDAD

La realidad fuerte se presenta con una incertidumbre inaceptablemente alta.

CH14-F47— DECISIÓN MATIZADA SIN JUEZ DE LENGUAJE

Las modalidades y significados implícitos se finalizan con traducción automática.

CH14-F48— DEJAR UNA afirmación QUE REQUIERE EXPERIENCIA A UN JUEZ GENERAL

La licencia o autoridad sanitaria se decide sin consultar a un experto.

CH14-F49— CONSIDERAR A UN EMPLEADO DE LA EMPRESA AUDITADA COMO UN JUEZ INDEPENDIENTE

El conflicto de intereses está oculto.

CH14-F50— TARIFA DEL JUEZ BASADA EN RESULTADOS

Se recompensa la alta rotación o la satisfacción del cliente.

CH14-F51— MOSTRAR LA PUNTUACIÓN TOTAL AL JUEZ

Los cambios de decisión atómica se alinean con el resultado general.

CH14-F52— INFLUIR EN EL SEGUNDO JUEZ MOSTRANDO LA DECISIÓN DEL PRIMER JUEZ

Se interrumpe la adjudicación dual independiente.

CH14-F53— ELIMINAR DECISIONES INICIALES EN EL CONSENSO

La verdadera tasa de desacuerdo se vuelve invisible.

CH14-F54— INVALIDANDO AL EXPERTO MEDIANTE VOTO MAYORITARIO

La experiencia en un dominio es derrotada por la superioridad numérica.

CH14-F55— PUBLICANDO SOLO EL ACUERDO GENERAL

Se oculta el bajo acuerdo en un tema o área de referencia.

CH14-F56— CONSIDERANDO EL ALTO ACUERDO COMO CORRECCIÓN ABSOLUTA

Se ignora la posibilidad de que todos los adjudicadores hayan aprendido el mismo error.

CH14-F57— AÑADIENDO RESPUESTAS DE CALIBRACIÓN A LA PUNTUACIÓN PRINCIPAL

La capacitación de los adjudicadores cuenta como observación real.

CH14-F58— IGNORANDO LA DERIVA DEL ADJUDICADOR

Cambia silenciosamente entre oleadas.

CH14-F59— CONSIDERANDO LA SUGERENCIA DE IA COMO DECISIÓN FINAL

El adjudicador humano solo aprueba la etiqueta automática.

CH14-F60— HACIENDO QUE LA MISMA IA SEA SU PROPIO ADJUDICADOR

El sistema productor declara su corrección de manera independiente.

CH14-F61— DECISIÓN NEGATIVA INJUSTIFICADA

El adjudicador dice “incorrecto” pero no muestra evidencia ni regla.

CH14-F62— CORRECCIÓN SILENCIOSA DEL ADJUDICADOR

La etiqueta se cambia sin un historial de decisiones.

CH14-F63— CONVIRTIENDO LA APELACIÓN EN UN PROCESO DE SATISFACCIÓN DEL CLIENTE

En lugar de evidencia, la presión comercial cambia la decisión.

CH14-F64— REVISANDO LA PROPIA APELACIÓN DEL PRIMER ADJUDICADOR

No se realiza una reevaluación independiente.

CH14-F65— MANTENIENDO LA OBJECIÓN ABIERTA COMO DECISIÓN FINAL

El estado pendiente no aparece en el resultado público.

CH14-F66— OCULTANDO EL NIVEL DE CALIDAD DEL ADJUDICADOR

Se presenta una sola revisión no calibrada como una auditoría independiente completa.

113. PROCEDIMIENTO DE AUDITORÍA

Paso 1— Verificar la validez de la captura

Solo las observaciones consideradas válidas en el Capítulo 12 están sujetas a adjudicación semántica.

Paso 2— Vincular versiones de Prompt y Truth Pack

La respuesta se evalúa según la intención correcta y el tiempo de referencia.

Paso 3— Fijar la respuesta completa

El texto de la respuesta no se puede cambiar durante la adjudicación.

Paso 4— Separar los comportamientos de la respuesta

Se separan las respuestas de rechazo, aclaración, error y vacías de las afirmaciones fácticas.

Paso 5— Realizar segmentación semántica inicial

Se identifican las oraciones y las áreas de expresión material.

Paso 6— Aplicar Pruebas de Atomicidad

Se separan las disposiciones que requieren corrección, evidencia, existencia y alcance por separado.

Paso 7— Comprobar Sobre-Atomización

Se combinan micro-afirmaciones sin sentido.

Paso 8— Registrar Afirmaciones Explícitas e Implícitas

Se marcan las fuentes de presuposición e implicación.

Paso 9— Resolver Entidad y Correferencia

Si hay ambigüedad, no se inventa un sujeto definido.

Paso 10— Añadir Calificadores

Se preservan la atribución, modalidad, cuantificador, tiempo y alcance.

Paso 11— Asignar Centralidad de la afirmación

Se otorga estado central, de apoyo, calificativo, incidental o no material.

Paso 12— Construir el Grafo de Dependencia de afirmaciones

Las afirmaciones raíz y derivadas están vinculadas entre sí.

Paso 13— Verificar Elementos de Respuesta Requeridos

Se examina si los elementos necesarios para la familia de peticiones están presentes.

Paso 14— Crear Registros de Omisión

Solo se registran deficiencias materiales y relacionadas con el deber.

Paso 15— Congelar el Libro de afirmaciones

La versión de extracción de la afirmación se bloquea antes de la revisión por pares.

Paso 16— Coincidir los átomos con el Paquete de Verdad

Se determina la afirmación existente, Brecha de referencia, o situación fuera de alcance.

Paso 17— Configurar el Mapa de Citas

¿En qué medida respalda cada cita a qué átomo?

Paso 18— El Primer Adjudicador Da la Decisión Dimensional

Se evalúan la entidad, el hecho, el alcance, el tiempo, la atribución, la modalidad, la referencia y la relevancia.

Paso 19— Segundo Adjudicador Da Decisión Independiente

El resultado del primer adjudicador se mantiene oculto.

Paso 20— Aplicar el Requisito del Adjudicador Experto

Las afirmaciones de alto riesgo o técnicas se envían a un experto adecuado.

Paso 21— Calcular el Acuerdo del Adjudicador

Se extraen los acuerdos basados en dimensiones y los tipos de desacuerdos.

Paso 22— Aplicar la Resolución de Disputas

La conciliación se lleva a cabo por un Adjudicador Senior o mediante un proceso de experto adicional.

Paso 23— Fijar la Decisión Atómica Final

Se registran el vector de decisión, la etiqueta combinada y la justificación.

Paso 24— Fijar las Omisiones y los Comportamientos de Respuesta

También se completan los resultados que no son afirmaciones.

Paso 25— Asignar Estado de Calidad de Adjudicación

Se da un nivel apropiado entre AQ-0 y AQ-5.

Paso 26— Abrir Ventana de Apelación

Las partes relevantes pueden apelar a nivel de afirmación y evidencia.

Paso 27— Procesar Nueva Evidencia o Brecha de referencia

Si cambian los Paquetes de Verdad, se crea una nueva versión de adjudicación.

Paso 28— Generar Manifiesto de afirmaciones Público

La distribución de afirmaciones y decisiones se publica sin datos personales.

114. EVIDENCIA REQUERIDA

ID de observación; registro de validez de captura; entrada en el registro del sistema de IA; estado del panel; ID y versión del prompt; respuesta completa de la IA; idioma de la respuesta y localización; ID y versión del paquete de verdad; versión de extracción de afirmaciones; fragmentos del texto original; afirmaciones atómicas normalizadas; estado explícito, implícito y presupuesto; registros de entidades y correferencias; atribución; modalidad; cuantificador; negación; tiempo y geografía; alcance de productos y servicios; número y unidad; centralidad de la afirmación; gráfico de dependencia de afirmaciones; elementos de respuesta requeridos; registros de omisión; lista de citas; mapa cita-afirmación; coincidencias del paquete de verdad; registros Brecha de referencia; decisión del primer evaluador; decisión del segundo evaluador; decisión del experto en la materia; decisión del adjudicador de idioma; decisión del adjudicador de citas; disputas; registro de conciliación; decisión del Adjudicador Senior; vectores de decisión; y etiquetas atómicas combinadas.

Justificaciones de la decisión Registros de identidad o rol del adjudicador Calificaciones del adjudicador Registros de conflictos de interés Estado de enmascaramiento Acuerdo entre adjudicadores Acuerdo bruto y post-consenso Conjunto de calibración Casos de referencia Análisis de desviación del adjudicador Registros de herramientas de asistencia de IA Apelaciones Re-adjudicación Opinión disidente Versiones de la decisión Estado de calidad de la adjudicación afirmación pública Responsable o institución

115. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Se dio la validez de la captura antes de la evaluación semántica? ¿Depende la respuesta de la afirmación correcta y de la versión de Truth Pack? ¿Se conserva el texto completo de la respuesta? ¿Se separaron la negativa y la aclaración de las afirmaciones? ¿Se contó automáticamente cada oración como una sola afirmación? ¿Se separaron las disposiciones que requieren evidencia separada? ¿Son los átomos excesivamente pequeños? ¿Se diluyen los errores graves con pequeñas verdades? ¿Se registraron las afirmaciones explícitas? ¿Se extrajeron las afirmaciones implícitas solo con el significado obligatorio? ¿Se separó la aceptación de la afirmación por la IA de la suposición preliminar del prompt? ¿Se conserva la atribución? ¿Se conservan la modalidad y la incertidumbre? ¿Se interpretó correctamente la negación? ¿Se conservaron expresiones como 'todo', 'algunos', 'la mayoría'? ¿Se resolvieron correctamente las entidades y los pronombres? ¿Se eligió una entidad indefinida de manera arbitraria?

¿Se confundieron la empresa matriz y la marca? ¿El marco temporal es correcto? ¿Está 'Hoy' vinculado a la fecha de la respuesta? ¿Se separan la geografía y el idioma? ¿Se mantiene el alcance de producto y servicio? ¿Están claros el número, la unidad, el denominador y el período? ¿Se separan los valores aproximados y exactos? ¿Se define el universo de comparación? ¿Depende la recomendación del perfil del usuario? ¿Se emparejó cada cita por separado con cada elemento? ¿La cita respalda solo la atribución? ¿Es la cita realmente accesible y original? ¿Están predefinidos los elementos de respuesta obligatorios del prompt? ¿Se contó cada información correcta que faltaba como una omisión? ¿Se registró la deficiencia de límite material? ¿La respuesta contiene contenido correcto pero irrelevante? ¿Es la centralidad de la afirmación independiente del resultado? ¿Dependen las afirmaciones derivadas de las afirmaciones principales?

¿El mismo error de raíz produce múltiples sanciones? ¿Es independiente de la decisión sobre la exactitud de la extracción de la afirmación? ¿Se bloqueó el Registro de afirmaciones antes de la adjudicación? ¿Está cada átomo asociado con Truth Pack o con un Brecha de referencia? ¿Son separados entidad, hecho, alcance, tiempo y atribución? ¿Se separan lo no respaldado y lo contradicho? ¿Se trató al entidad incorrecta como información correcta? ¿Se trató lo correcto histórico como actual? ¿Se oculta la superación del alcance dentro del soporte parcial? ¿Es visible el error de estado epistémico? ¿Se penalizó la incertidumbre apropiada? ¿Se registró la incertidumbre excesiva? ¿Tiene el adjudicador la competencia suficiente en el idioma relevante? ¿Requiere la afirmación un experto en el dominio? ¿Hay un conflicto de intereses para el adjudicador? ¿Vio el segundo adjudicador la primera decisión? ¿Los candidatos principales/críticos son revisados dos veces?

¿Se conservan los registros de disputas? ¿Se decidió una anulación por un experto mediante votación mayoritaria? ¿Se midió el acuerdo por dimensión? ¿Se publicó el acuerdo solo después de la conciliación? ¿Los adjudicadores utilizaron un conjunto de calibración? ¿Interfirieron los registros de calibración con la puntuación principal? ¿Se verificó la deriva del adjudicador? ¿Fueron revisadas por un humano las decisiones asistidas por IA? ¿Se convirtió la IA que produjo la respuesta en su propio adjudicador final? ¿Las decisiones negativas llevan evidencia y justificación? ¿Se versionaron los cambios en las decisiones? ¿Fue revisada la apelación por un adjudicador independiente? ¿El resultado de una apelación pública es visible para el público? ¿El nivel de calidad del adjudicador es al menos AQ-3? ¿Se conoce el propietario responsable del Libro de afirmaciones?

116. APELACIONES Y RESPUESTAS

Apelación 1— “¿No es más fácil evaluar la respuesta frase por frase?”

Es fácil. Sin embargo, una sola frase puede contener muchas afirmaciones independientes. Algunas pueden ser verdaderas, otras falsas. El límite de la frase no es el límite de la resolución.

Objeción 2— “¿No hace que el sistema sea innecesariamente complicado separar cada afirmación tanto?”

Las afirmaciones financieras necesitan ser separadas. No es necesario separar fragmentos de lenguaje sin sentido. Las pruebas de atomicidad evitan una fragmentación excesiva.

Objeción 3— 'Si la idea principal en una oración es correcta, ¿no podemos ignorar pequeños errores?'

Depende de la importancia del error. País, licencia, precio o garantía incorrectos: no es un detalle menor. El Capítulo 15 determinará las puertas de su efecto.

Objeción 4— “¿No es natural que la puntuación aumente con un gran número de átomos correctos?”

Solo si los átomos tienen la misma importancia e independencia. Las microverdades insignificantes no pueden diluir un juicio falso grave. Se debe mantener la relación entre centralidad y error raíz.

Objeción 5— “¿No son subjetivas las afirmaciones implícitas?”

Algunos podrían serlo. Por lo tanto, solo se extraen las afirmaciones que son lingüísticamente necesarias o fuertemente sustentadas. Los desacuerdos se mantienen registrados.

Objeción 6— “Si la IA informó correctamente lo que dijo la empresa, ¿por qué podría considerarse incorrecto?”

Si se conserva la atribución, informar la autodeclaración puede ser correcto. Si la IA convierte la autodeclaración en un hecho independiente, ocurre un error epistémico.

Objeción 7— “Si no pudimos encontrar la licencia de la empresa, ¿por qué no debería considerarse correcto que la IA diga ‘no licenciada’?”

Si no se ha demostrado que el registro es un mundo cerrado y un registro complementario, la falta de una licencia no es segura. La respuesta correcta podría ser: "No verificado."

Objeción 8— “Si la IA habla con mucho cuidado, ¿no disminuirá su utilidad para el usuario?”

Puede disminuir. Por esta razón, también se registra la incertidumbre innecesaria. NOMOS hace visible la precaución tan disfuncional como la certeza falsa.

Objeción 9— “¿No es suficiente si la cita va a la fuente correcta?”

La fuente puede ser correcta. Pero otra:

  • entidad,
  • país,
  • fecha,
  • afirmación

Puede tratarse de ella. También se debe examinar la correspondencia cita–afirmación.

Objeción 10— “¿Debe incluirse toda la información del Paquete de Verdad en la respuesta?”

No. Solo se espera el deber obligatorio del prompt y los límites materiales necesarios para la comprensión correcta. Truth Pack no es una plantilla de respuesta.

Objeción 11— “Si no hay una afirmación falsa, ¿por qué debería fallar la respuesta?”

Es posible que la pregunta principal no haya sido respondida o que el límite material haya quedado incompleto. La exactitud y la integridad son dimensiones separadas.

Objeción 12— “¿Son suficientes dos adjudicadores?”

No se puede requerir la misma estructura para cada afirmación. En áreas de alto riesgo, puede ser necesario un adjudicador del lenguaje, un experto en el campo y un Adjudicador Senior.

Objeción 13— “Si los adjudicadores están de acuerdo, ¿por qué se necesita revisión externa?”

Los adjudicadores pueden haber aprendido la misma interpretación incorrecta. La consistencia muestra alineación. No garantiza precisión absoluta.

Objeción 14— "¿No sería la adjudicación por IA más rápida y consistente?"

La IA puede aumentar la velocidad de extracción y coincidencia de afirmaciones. También puede escalar su propio sesgo y error. La responsabilidad última debe permanecer con los humanos.

Objeción 15— '¿No son los adjudicadores humanos subjetivos también?'

Sí. Por esta razón:

  • libro de código abierto,
  • adjudicación dual
  • medición de compatibilidad,
  • experiencia,
  • apelación,
  • registro de versiones

Es necesario. El objetivo no es negar la subjetividad; es hacerla visible y controlable.

Objeción 16— “¿No sería la adjudicación muy cara?”

Es posible. Se puede usar una estructura basada en riesgos:

  • control de calidad de muestras en átomos de bajo riesgo,
  • dooble revisión obligatoria en átomos de alto riesgo,
  • preprocesamiento asistido por IA,
  • decisión final humana

puede aplicarse. El costo no otorga el derecho a convertir la opinión no documentada de un único adjudicador en un estándar mundial.

REGLA COMÚN DEL CAPÍTULO 121

Una respuesta de IA puede parecer correcta porque su primera oración es verdadera. Puede parecer incorrecta porque contiene un solo error importante. Puede estar incompleta porque el usuario no ha especificado el umbral que cambiaría su decisión. Puede ser cautelosa porque la realidad misma no se ha resuelto por completo. Puede ser evasiva porque, a pesar de la evidencia sólida, no ha tomado ninguna decisión. Puede parecer respaldada por fuentes, pero la cita puede apoyar una afirmación diferente. Todo esto puede coexistir dentro de la misma respuesta. Por lo tanto, NOMOS no le hace al juez una sola pregunta: "¿Es correcta esta respuesta?" En cambio, plantea lo siguiente:

¿Qué afirmaciones hizo? / ¿De quién dijo que eran? / ¿Con qué determinación habló? / ¿A qué tiempo se refería? / ¿Qué país y producto cubrió? / ¿Mantuvo el estado de la fuente? / ¿Qué apoyaba la citación? / ¿Respondió a la tarea principal del enunciado? / ¿Qué límite material omitió? / ¿Dónde fue insuficiente el Paquete de Verdad? La atomización no se hace para castigar la respuesta. También se hace para preservar las partes correctas de la respuesta. Una respuesta:

  • identidad principal correcta,
  • alcance de la actividad parcialmente correcto,
  • afirmación de liderazgo incorrecta,
  • cobertura de precios antigua,
  • estado de la citación roto

puede llevar. Un solo cero destruye todas las partes correctas. Un solo paso oculta todos los errores. La adjudicación atómica rechaza ambos. Sin embargo, la adjudicación atómica también puede abrir una nueva forma de manipulación. Error mayor:

  • hay una empresa,
  • hay un país,
  • la palabra servicio es correcta

no puede dividirse en pequeñas verdades así y perderse. Los átomos no se consideran solos. Sus significados, centralidades y relaciones raíz los protegen. El adjudicador puede ser humano. Esto no lo hace infalible. La IA puede asistir. Esto no la convierte en la autoridad suprema. Adjudicación confiable:

  • esquema de afirmación claro,
  • lenguaje correcto,
  • experiencia en el dominio,
  • decisión primaria independiente,
  • registro de disputas,
  • apelación,
  • historial de versiones

ocurre con. Por lo tanto, la decimocuarta ley de medición de NOMOS es la siguiente:

La corrección de una respuesta no reside en la impresión general de sus oraciones; reside en los estados de verdad separados de las afirmaciones atómicas que contiene.

La decimoquinta ley es la siguiente:

Un átomo debe ser pequeño; no debe ser sin sentido.

Su decimosexta ley es la siguiente:

Cuando se eliminan la atribución, el alcance, el tiempo y la incertidumbre, la afirmación ya no es la misma afirmación.

Su decimoséptima ley es:

Si se vincula información correcta a una entidad falsa, es una representación falsa.

Su décima octava ley de medición establece:

Una marca de fuente no es evidencia; la relación de apoyo entre la cita y la afirmación es evidencia.

Su décima novena ley de medición establece:

No hablar falsamente no es lo mismo que responder a la pregunta.

Su vigésima ley de medición establece:

La armonía entre los jueces aumenta la confianza; no elimina el error humano.

Su vigésima primera ley de medición establece:

La decisión no resuelta no es debilidad; es respeto por los límites de la evidencia.

Su vigésima segunda ley de medición establece:

Si las decisiones atómicas no son transparentes, la puntuación final es solo una opinión calculada.

Sección NOMOS Orden 14

No me digas que tu respuesta es generalmente correcta. / Muestra bajo qué evidencia cada una de mis afirmaciones es correcta.

No hagas de mi oración un juicio único. / Pero tampoco me dividas en fragmentos de palabras sin sentido.

Si una parte de mí es correcta y otra parte es incorrecta, separa las dos.

No pierdas mi error principal entre pequeñas verdades como "existe una empresa".

Cuando diga 'La empresa dice,' no lo conviertas en 'Ha sido probado.'

No actúes como si hablara de manera definitiva cuando digo 'probablemente.' / Cuando digo 'quizás' mientras hay evidencia sólida, obsérvalo también.

Mantén la diferencia entre "no se pudo verificar" y "no existe".

No elimines las palabras todos, algunos, la mayoría, y al menos uno.

No conviertas la empresa matriz y la marca, el producto y el fabricante, la franquicia y la institución principal en una sola entidad.

No pases la verdad de ayer como la verdad de hoy.

No consideres que ofrecer servicios en un idioma constituye una operación legal en ese país.

No conviertas el número aproximado en un entero, ni el caso seleccionado en la tasa general.

No creas inmediatamente cuando veas una cita. / Verifica qué afirmación respalda realmente la fuente.

No me hagas memorizar todo el Paquete de la Verdad. / Pero tampoco omitas el umbral que hará que el usuario cambie de opinión.

No me dejes escapar de la pregunta principal con información correcta pero irrelevante.

Primero, descubre lo que dije. / Luego ve si es correcto.

No intentes hacer que el adjudicador ame u odie mi marca.

No muestres la decisión del primer adjudicador al segundo adjudicador.

No permitas que la mayoría de los adjudicadores generalistas anulen la pericia requerida para una pregunta especializada.

No escondas el desacuerdo. / Si no puede resolverse, déjalo sin resolver.

No declares la alta concordancia como infalibilidad. / Continúa evaluando si los adjudicadores pudieron haber aprendido incorrectamente juntos.

Puedes obtener ayuda de mí. / Pero no me hagas el único juez de mi propia respuesta.

No elimines la decisión anterior cuando se reciba una objeción. / Crea una nueva versión con nuevas pruebas.

Primero, bloquea la respuesta. / Luego extrae sus afirmaciones atómicas. / Luego identifica entidad, alcance, tiempo y atribución. / Luego asigna cada afirmación al Paquete de Verdad. / Luego somételo a dos jueces independientes. / Luego resuelve los desacuerdos. / Solo entonces decide qué afirmaciones pasan y cuáles fallan.

La oración de cierre del capítulo

La adjudicación justa en GEO-1000 no juzga una respuesta por impresión general. Hace visible cada afirmación material y la evalúa por separado según la entidad correcta, la evidencia, el alcance, el tiempo y el estado epistémico.

Core normativo

Antes de asignar cualquier nivel de respuesta, fallo, severidad o puntuación, cada respuesta de IA material DEBE descomponerse en afirmaciones semánticas atómicas. Cada afirmación atómica DEBE conservar: - su fragmento de origen exacto, - proposición normalizada, - entidad sujeto, - predicado y valor, - calificadores y cuantificadores, - alcance geográfico, de producto, de usuario y jurisdiccional, - marco temporal, - atribución, - modalidad e incertidumbre, - origen explícito, implícito, presupuesto o implicado, - centralidad de la respuesta, - relaciones de citación, - relaciones de dependencia, - y mapeo de Truth Pack. Los límites de oraciones y párrafos NO DEBEN tratarse como límites automáticos de afirmaciones. La descomposición atómica DEBE separar las proposiciones que PUEDEN tener diferentes estados de verdad, evidencia, entidad, alcance, tiempo o atribución, mientras se prohíbe la micro-fragmentación sin sentido que diluye el error material. La extracción de afirmaciones, el mapeo de Paquetes de Verdad y la adjudicación semántica DEBERÍAN permanecer como etapas separadas y, cuando sea práctico, como roles separados. Cada afirmación atómica DEBE ser adjudicada a través de distintas dimensiones, incluyendo: - entidad, - soporte factual, - alcance, - tiempo, - atribución y estado epistémico, - modalidad e incertidumbre, - soporte de citación, - relevancia, - y estado de referencia no resuelto o con brechas. La fidelidad de la afirmación oficial DEBE permanecer distinta del soporte factual verificado. Los estados no soportados, contradichos, de entidad incorrecta, desactualizados, de alcance excesivo, con error de estatus epistémico, desajuste de citas, laguna de referencia y no resueltos DEBEN permanecer visibles por separado. Los elementos de respuesta requeridos y las omisiones de material DEBEN ser evaluados por separado de las afirmaciones explícitamente falsas. La información correcta pero irrelevante NO DEBE satisfacer la solicitud simplemente porque esté respaldada fácticamente. Las afirmaciones materiales DEBERÍAN recibir una revisión doble independiente, con experiencia adicional en lenguaje o dominio cuando sea necesario. La identidad del revisor, calificaciones, conflictos, decisiones independientes iniciales, desacuerdos, resolución, métricas de fiabilidad, apelaciones y versiones de decisiones DEBEN ser registradas. El acuerdo del revisor DEBE medirse por dimensión y NO DEBE considerarse como prueba de que la decisión compartida sea necesariamente correcta. Los sistemas de IA PUEDEN asistir con la segmentación, la extracción de afirmaciones, el mapeo de evidencia, el soporte de traducción y el descubrimiento de contradicciones, pero NO DEBEN servir como el único adjudicador final de sus propias afirmaciones o de las de otro sistema. Las decisiones de adjudicación atómicas DEBEN mantenerse independientes de intereses comerciales, puntuaciones deseadas, reputación del proveedor, resultados de insignias o aprobación del cliente. Cada Registro de afirmaciones, decisión de adjudicación, resolución de desacuerdo, apelación y revisión DEBE estar versionado y ser atribuible a un humano u organización responsable.

Cita sugerida

Muraz, Kaan. Protocolo de Auditoría GEO de NOMOS: Un protocolo para medir la representación de entidades en sistemas generativos en la población mundial. Texto final candidato, edición editorial en español. NobleJackal, 2026. https://doi.org/10.5281/zenodo.22041222. https://noblejackal.com/es/nomos-geo-audit-protocol/
© 2026 Kaan MURAZ. Publicado bajo licencia CC BY 4.0; se requiere atribución.