Как разделять ответы ИИ на атомарные утверждения и оценивать…

Прямой ответ

Атомарное утверждение — наименьшее существенное положение, которое можно отдельно оценить как верное или неверное. Сначала разделите ответ на такие положения. Затем для каждого запишите правильную сущность, точность, полноту, актуальность, поддержку источником, существенность и возможный вред. Рассматривайте упоминание, цитирование и рекомендацию как разные события. Критическая ошибка не должна исчезнуть в среднем значении множества несущественных истин; NOMOS GEO называет это правилом некомпенсируемости.

Простыми словами

Фраза «Магазин сегодня открыт, находится в центре и доставляет бесплатно» содержит три утверждения. Первые два могут быть верными, а последнее — ложным. Ошибка о доставке не становится правильной лишь потому, что большая часть предложения верна.

Почему это важно

Одна общая отметка «верно/неверно» скрывает существенную ошибку. Высокий средний балл не должен делать приемлемым критический дефект: неверную идентичность, опасный совет или неподтверждённое полномочие.

Не путать

Упоминание означает появление имени сущности; оно не устанавливает точность утверждения.
Цитирование означает название источника; само по себе оно не доказывает поддержку нужного утверждения.
Точность — соответствие эталонной истине; полнота спрашивает, не пропущены ли необходимые сведения.
Актуальность показывает, действует ли утверждение на момент оценки.
Существенность или серьёзность относится к влиянию на решения и возможному вреду, а не к заметности ошибки.

Что делать

Разделите ответ на атомарные утверждения о субъектах, связях, свойствах, числах, датах, областях и рекомендациях.
Свяжите каждое утверждение с правильной сущностью и соответствующей записью Truth Pack.
Оценивайте точность, полноту, актуальность и доказательную поддержку в отдельных полях результата.
Фиксируйте упоминание, цитирование, рекомендацию и результат представления, не смешивая их.
Классифицируйте серьёзность по затронутым людям, влиянию на решение, обратимости и возможному вреду.
Применяйте условие некомпенсируемости к критической ошибке и не закрывайте её общим средним баллом.
Сохраняйте суждение, обоснование, доказательства, аудитора и неопределённость в реестре утверждений.

Как проверить

Не оценены ли несколько положений как одно утверждение?
Связано ли каждое утверждение с правильной сущностью и записью Truth Pack?
Разделены ли точность, полнота, актуальность и поддержка источником?
Не засчитано ли простое наличие ссылки автоматически как успех доказательства?
Отмечены ли выгодные, но ложные утверждения как ошибки?
Не компенсирована ли критическая ошибка высоким средним баллом?
Не принуждены ли утверждения UNRESOLVED к классу «верно» или «неверно»?

Ограничение

Атомарное разложение и классификация серьёзности требуют человеческого суждения. Пороговые значения и правило некомпенсируемости NOMOS GEO — предлагаемый метод аудита, а не официальная общая шкала NIST, всех отраслей или применимого права.