Capítulo VIII — Auditoría

Cuando la afirmación se convierte en decisión

Una auditoría no fabrica validación. Decide dentro de qué límites puede sostenerse una afirmación. No es otro anillo, sino el mecanismo de decisión mediante el cual los anillos anteriores actúan en conjunto. El Centro delimitó el objeto; la Evidencia, la frase; la Medición, la observación; la Intervención, la acción; la Gobernanza, la autoridad; el Tiempo, la vigencia; y la Prueba Final, el valor para la empresa. La auditoría los reúne en un expediente trazable.

Una empresa puede contratar una auditoría; no puede comprar un resultado favorable. Un profesional puede cobrar honorarios; no puede vender aprobación. «Somos fuertes en sistemas de IA: demuéstrelo» es una solicitud de publicación cuyo resultado ya está escrito. «Evalúe cómo nos representan los sistemas generativos, cómo se relaciona esa representación con los resultados para el cliente y qué afirmaciones podemos formular» sí es una solicitud auditable.

Una auditoría no comienza reuniendo datos. Comienza abriendo la frase sobre la que deberá pronunciarse. ¿Qué se dirá exactamente? ¿Quién la utilizará? ¿Qué decisión dependerá de ella? ¿Cuál es su alcance y su riesgo? ¿Hasta cuándo seguirá siendo válida? La auditoría añade una pregunta: ¿qué resultados adversos se niega a aceptar de antemano el cliente? Si la empresa solo admite un dictamen favorable, la auditoría no comienza. Un proceso cuyo desenlace no está verdaderamente abierto no es una auditoría. Es una puesta en escena.

1. Las siete preguntas de la auditoría

Toda auditoría responde a siete preguntas:

1. ¿Qué entidad y qué representación se examinan?
2. ¿Qué evidencias del mundo real, de la representación y de los resultados respaldan las afirmaciones?
3. ¿Con qué protocolo se midieron las observaciones?
4. Si existe distorsión, ¿la intervención es necesaria, proporcionada y legítima?
5. ¿Quién tomó la decisión y en quién permaneció la responsabilidad?
6. ¿Siguen vigentes los registros y las facultades?
7. Cuando el alcance es comercial, ¿la influencia de la IA dejó valor sostenible?

No es necesario abordar todas las preguntas con la misma profundidad. Puede examinarse únicamente la representación de la identidad; el trabajo no será inválido, pero no podrá producir un dictamen comercial. Puede evaluarse la representación en sistemas e idiomas determinados; de ello no se desprende una declaración de conformidad. Omitir un campo no es un defecto. Ocultarlo sí lo es.

El resultado no es una puntuación única, sino un Dictamen de Auditoría. Puede establecer que una afirmación carece de respaldo; que solo puede sostenerse dentro de un alcance limitado; que se verificó una distorsión material; que no se hallaron motivos para intervenir; que procede una intervención limitada; que se observó contribución comercial; que no se demostró una contribución sostenible; que el resultado es inválido por razones éticas o de gobernanza; o que los registros han caducado. El valor de una auditoría no reside en producir un resultado favorable, sino en poder sostener también uno adverso.

2. La puerta de admisión a auditoría

No toda solicitud se admite a auditoría. Se aplican seis condiciones.

Claridad de la entidad: La empresa, marca, persona, producto, servicio o grupo se define con precisión. Una sociedad matriz y una de sus marcas, o la identidad legal de un autor y su seudónimo, pueden estar relacionados sin constituir la misma unidad de auditoría. Si el objeto es ambiguo, el trabajo no comienza hasta aclarar el alcance.

Finalidad de la decisión: Debe existir una pregunta de decisión definida, como verificar una distorsión de representación, determinar la necesidad de intervenir, evaluar una afirmación pública, examinar la relación con los resultados para el cliente, probar una contribución sostenible o reabrir la vigencia de una decisión anterior. «Veamos cómo nos va» no basta: si se desconoce la decisión, no puede definirse qué evidencia sería suficiente.

Acceso a los registros: Según lo exija el alcance, se facilita acceso razonable a la identidad formal, los límites de productos y servicios, licencias, versiones del sitio, mediciones anteriores, historial de intervenciones, CRM, ventas, prestación, devoluciones y cuentas de clientes. La falta de acceso no se pasa por alto mediante una suposición: reduce el alcance. Una revisión de representación puede continuar sin registros comerciales; una auditoría de sostenibilidad no.

Aceptación de un resultado adverso: Las partes aceptan que la afirmación pueda rechazarse, el lenguaje público limitarse, la intervención no recomendarse, el efecto comercial quedar sin demostrar, la conformidad denegarse o una decisión anterior retirarse. No puede auditarse a una parte que prohíbe contractualmente un hallazgo adverso.

Claridad de los conflictos de interés: Se registran las relaciones entre auditor, profesional, propietario de la entidad y cualquier futuro programa de conformidad. Se declaran los honorarios vinculados al resultado, los servicios prestados a un competidor, la ejecución de la intervención por el propio auditor o el uso de un informe favorable en una decisión de inversión o renovación contractual. Una institución puede ejecutar y auditar una intervención, pero en casos de alto riesgo no puede aprobar por sí sola su resultado sin una segunda decisión independiente.

Datos sintéticos, confidencialidad y privacidad: Los registros sintéticos, anonimizados y compuestos se etiquetan de forma explícita. Se protegen los secretos comerciales y los datos personales, pero esa protección no concede el derecho a ocultar una omisión que alteraría el dictamen. Los detalles pueden ser privados; la limitación debe ser pública.

La puerta puede resolver admitir, admitir con condiciones, admitir con alcance limitado o rechazar. El rechazo puede significar ingresos perdidos. No significa que el estándar haya perdido.

3. Bloqueo del alcance y niveles de auditoría

Antes de comenzar se bloquean la entidad, geografía, idioma, sistema e interfaz, periodo, campo de representación, universo de consultas, grupo de comparación, campo comercial, riesgo, nivel de auditoría, uso público, vigencia y exclusiones. El alcance no solo indica dónde mira la auditoría; también fija el límite que el dictamen no puede cruzar.

Durante el trabajo puede añadirse un sistema, idioma o registro, pero nunca mediante una ampliación silenciosa. Cada elemento nuevo crea una nueva versión del alcance. Un resultado en inglés no constituye evidencia sobre la representación en alemán; una auditoría de marca no constituye evidencia sobre el grupo empresarial; la conformidad de identidad no constituye evidencia de sostenibilidad comercial.

Existen cinco niveles de auditoría:

1. Revisión preliminar: Determina si existen un problema auditable, una afirmación, un riesgo inicial y un alcance adecuado. No produce una declaración pública de éxito.
2. Auditoría de representación: Examina evidencia del mundo real, un universo controlado de consultas, pruebas contrarias y de exclusión, codificación humana y el perfil de representación. Puede pronunciarse sobre una distorsión material; no sobre la contribución comercial.
3. Auditoría de intervención: Prueba el cambio antes y después mediante una línea base congelada, la Puerta de Intervención, resultados previstos y prohibidos, conjunto central, ventana de observación y condiciones de retirada. Puede mostrar cambio; no garantiza una causalidad plena.
4. Auditoría de valor comercial y sostenible: Combina clase de influencia, cohorte de clientes, demanda cualificada, ventas, contribución neta, prestación, satisfacción, conducta recurrente, dependencia del canal y un horizonte de observación adecuado.
5. Evaluación de conformidad: Examina la aptitud de la empresa y del profesional dentro de un alcance definido del Framework, la disciplina de evidencia y medición, la gobernanza de la intervención, el lenguaje público, el tiempo, los conflictos de interés y las condiciones de suspensión y retirada. Completar este nivel no crea por sí mismo un distintivo. Sin la infraestructura independiente exigida por el Capítulo V, solo produce un dictamen piloto de conformidad.

Un nivel inferior no puede apropiarse del lenguaje de uno superior.

4. El expediente de auditoría y el Registro de Afirmaciones

Una auditoría no es un único informe, sino un sistema de registros vinculados. El Expediente de Entidad contiene la entidad auditada y sus relaciones; el Registro de Afirmaciones, cada frase que las partes desean formular; el Registro de Evidencia, el respaldo de cada frase; el Registro de Medición, las observaciones; el Registro de Intervención, el cambio y las condiciones de retirada; el Registro de Gobernanza, la autoridad, los conflictos de interés y la responsabilidad; el Registro Temporal, la vigencia y la versión; y el Registro de Valor Sostenible, el resultado empresarial. Enfoques como W3C PROV-O, que expresan la procedencia mediante relaciones entre entidades, actividades y agentes, ofrecen un vecino técnico a esta idea de trazabilidad; el Framework no exige utilizar una ontología concreta.[9]

Ningún registro sustituye a otro. La Medición muestra la observación; el Registro de Evidencia, el permiso para formular una frase; la Intervención, la operación; la Gobernanza, la facultad para realizarla; el Tiempo, su vigencia actual; y el Registro de Valor, las ganancias y pérdidas de la empresa. El dictamen no se construye después para justificar esos registros: nace de ellos. En otros planos, métodos como las fichas de modelo y las fichas de datos para conjuntos de datos han mostrado la importancia de documentar finalidad, alcance, rendimiento, composición, uso y limitaciones.[12][13] Otros enfoques de auditoría de IA también consideran esenciales para la rendición de cuentas las funciones documentadas, la evidencia y los mecanismos correctivos a lo largo del ciclo de vida.[10] La arquitectura de expedientes de NobleJackal es afín a esta literatura; no ha sido validada por ella.

El Registro de Afirmaciones reviste especial importancia. «Los sistemas nos reconocen», «Se nos representa con atributos correctos», «Se nos recomienda con más frecuencia que a nuestros competidores», «La intervención aumentó la visibilidad», «La IA nos trae clientes», «Esos clientes son más rentables» y «Cumplimos el Framework» no son la misma frase. Cada una tiene un tipo, titular, uso previsto, riesgo, nivel de auditoría exigido, registro vinculado, formulación permitida, extensión prohibida, periodo de vigencia y aprobación propios.

No puede hacerse pública una frase material que no figure en el Registro. Puede rechazarse «La IA nos recomienda» y permitirse «La marca fue recomendada en seis de las consultas especificadas». La afirmación se ha hecho más pequeña y se ha acercado a la verdad.

5. El protocolo de auditoría

Una auditoría avanza en diez pasos:

1. Congelar la solicitud: Registrar la decisión buscada y la frase pública propuesta; cualquier cambio abre una nueva versión.
2. Bloquear la entidad y el alcance: Definir sistemas, idiomas, periodo, mercado, universo de consultas y campos excluidos.
3. Crear el Registro de Afirmaciones: Separar las afirmaciones sobre el mundo real, la representación, la intervención, el efecto comercial y la conformidad.
4. Establecer la línea base del mundo real: Verificar identidad, actividad, capacidad, precio, límites del servicio, licencias y realidad de la prestación.
5. Bloquear el protocolo de medición: Definir por adelantado los conjuntos central y exploratorio, repeticiones, códigos, evaluadores, denominador, datos faltantes y tiempo.
6. Producir observaciones de representación: Probar conjuntamente los campos favorables, neutrales, contrarios y de exclusión; conservar también las respuestas adversas.
7. Codificar y resolver: Evaluar por separado entidad, atributo, juicio, respaldo de fuente, actualidad y rastro comercial pertinente.
8. Establecer la conexión comercial: Cuando esté dentro del alcance, examinar clases de influencia, cohortes, ventas, costes, prestación y conducta recurrente.
9. Decidir sobre intervención o conformidad: Aplicar la Puerta de Intervención cuando exista distorsión; aplazar o denegar la decisión cuando la evidencia sea insuficiente.
10. Publicar el Dictamen de Auditoría: Presentar la decisión junto con alcance, limitaciones, vigencia, conflictos de interés y revisión.

El resultado se redacta en el último paso. No se elige en el primero.

6. Muestreo, suficiencia y juicio humano

El Framework no prescribe un número universal de consultas para todas las auditorías. Treinta consultas no bastan para todas las empresas; trescientas no son necesarias para todas. La suficiencia se justifica según el nivel de auditoría, la variación de la representación, el número de sistemas e idiomas, las familias de consultas, el riesgo, el efecto sobre el usuario, las consecuencias de la decisión, la frecuencia de resultados contrarios y la distribución temporal.

El tamaño de la muestra no puede cambiar después de ver el resultado. Las pruebas no pueden detenerse porque pronto apareció un patrón favorable ni el universo de consultas ampliarse arbitrariamente porque surgió un resultado adverso. La regla de parada se escribe por adelantado. La suficiencia observacional puede exigir conjuntamente completar la muestra predefinida, probar los campos contrarios y de exclusión y alcanzar el punto en que nuevos registros ya no produzcan un cambio material en el perfil. Suficiencia no significa universalidad: cuarenta consultas solo sostienen un dictamen sobre su conjunto, y dos idiomas solo sobre esos idiomas.

La automatización puede ayudar a agrupar, detectar similitudes y campos faltantes y realizar una codificación preliminar; no puede validar por sí sola su propio resultado. El trabajo de alto riesgo exige al menos dos funciones humanas. Cuando los evaluadores discrepan, cada uno registra su razonamiento, se vuelve a aplicar la definición común y, si es necesario, decide una tercera persona. El desacuerdo inicial no se borra. El acuerdo entre dos personas no crea la verdad, pero refuerza la consistencia del juicio.

7. Perfil de hallazgos y prohibición de una puntuación única

Una auditoría no permite que la fortaleza en un campo compense la debilidad en otro. Por ello, su perfil de hallazgos conserva celdas separadas:

Tabla 8.1 — Perfil de hallazgos de auditoría

Una infracción ética veta el dictamen positivo; una medición inválida no permite una afirmación sólida de representación; una contribución comercial sostenible no convierte en verdadera una distorsión de representación. Una puntuación única oculta la contradicción. El perfil la hace visible.

8. Resumen público, anexo confidencial y nueva auditoría

Una auditoría puede producir dos documentos. El Resumen Público de Auditoría indica la entidad, finalidad, alcance, nivel, versiones del Framework y del protocolo, sistemas e idiomas, periodo, hallazgos principales, formulación permitida, exclusiones, conflictos de interés, uso de datos sintéticos o anonimizados, vigencia y revisión.

El Anexo Confidencial de Auditoría puede proteger las consultas completas, respuestas sin procesar, registros de clientes, cálculos comerciales, datos personales, contratos, información de seguridad y notas detalladas de los evaluadores. La confidencialidad no concede el derecho a inducir a error en el dictamen público. La cifra que revela una alta tasa de devoluciones junto a una contribución positiva puede permanecer privada; la limitación material no. Pueden omitirse los detalles comerciales de un conflicto; su existencia se declara.

Se abre una nueva auditoría cuando cambia la empresa, marca, producto, país, idioma, servicio o modelo de precios; se produce un cambio material en un sistema o protocolo; aparecen contraevidencia sólida o daño grave a clientes; surge un efecto secundario inesperado, una infracción de alcance o un nuevo conflicto de interés; finaliza el periodo de vigencia; se publica una versión fundacional; o se invierten los resultados comerciales. El dictamen anterior no se borra: se le asigna el estado vigente, condicional, en revisión, sustituido, caducado, retirado o archivado.

9. Caso didáctico: Kestrel Grid Services

Simulación didáctica — datos sintéticos. Este caso no representa una empresa energética, un conjunto de datos de clientes ni un programa de conformidad reales.

Kestrel Grid Services es un proveedor ficticio de servicios de mantenimiento de redes eléctricas y prevención de fallos para instalaciones industriales. Una auditoría de Nivel IV abarca doce meses y dos ciclos completos de prestación.

Tabla 8.2 — Resultado sintético de la auditoría de Kestrel Grid Services

Los registros no muestran que la influencia de la IA fuera la única causa. Sí muestran que la cohorte relacionada dejó contribución positiva, se entregó valor y surgió conducta recurrente durante dos ciclos empresariales. No existe evidencia comparativa que permita afirmar superioridad o «mejor empresa».

Por tanto, el Dictamen de Auditoría se limita a lo siguiente: «Durante el periodo especificado de doce meses, seis proyectos de la cohorte relacionada con influencia de IA mediante múltiples registros se completaron con rentabilidad; se observaron tres contratos repetidos y dos consultas por recomendación. No se afirma que la influencia de la IA fuera la causa única ni que Kestrel sea superior a sus competidores».

El caso puede recibir un hallazgo favorable en una prueba de diseño de un programa de conformidad; no se emite distintivo alguno porque no se ha establecido un programa independiente y activo. Un Dictamen de Auditoría favorable no concede a la empresa todas las frases que desea, sino la frase que su evidencia puede sostener.

10. El Dictamen de Auditoría

Un dictamen no es un párrafo libre de celebración. Indica la entidad auditada, nivel, alcance, versiones del Framework y del protocolo, periodo, hallazgos principales, decisión, formulación permitida, extensiones prohibidas, exclusiones, conflictos de interés, vigencia y revisión.

Un dictamen limitado de representación podría decir: «En la Auditoría de Representación realizada en los sistemas, idiomas y fechas especificados, la identidad de la entidad se evaluó como mayoritariamente consistente, con omisiones recurrentes en dos atributos centrales. El efecto comercial quedó fuera del alcance». Un rechazo podría decir: «Los registros presentados no respaldan la afirmación “Los sistemas recomiendan a la empresa como líder del sector”; no se ha autorizado su uso público».

Un Dictamen de Auditoría sólido no oculta la incertidumbre. Indica qué juicio impide esa incertidumbre. No tiene que parecer absoluto. Su límite sí debe serlo.

El juicio de este capítulo es:

La auditoría no valida un resultado: somete a prueba una afirmación. Cuando la evidencia es suficiente, permite la frase; cuando es insuficiente, la limita; cuando se traspasa el límite, la rechaza.

La empresa no es el único sujeto auditado. También se auditan la independencia del auditor, la integridad del estándar y el límite del propio dictamen. Unos honorarios pueden iniciar el proceso; no pueden determinar el juicio. Un hallazgo favorable puede registrarse; no puede garantizar el futuro. Una decisión que no puede retirarse no es autoridad, sino obstinación.

Un estándar no está completo solo porque explique cómo auditar. También debe soportar las objeciones más fuertes que puedan formularse contra él.