Атомарные утверждения и вынесение решений

Граница главы

Раздел 13 установил следующее положение:

Ответ ИИ должен оцениваться с учётом утверждения, доказательств, контрдоказательства, области, времени и цепочки неопределённости, содержащихся в заранее зафиксированном Пакет проверенных данных о сущности.

Однако ответ ИИ не состоит из единственного утверждения. Даже этот короткий ответ может содержать несколько отдельных утверждений: «Asteron — это глобальная консалтинговая компания, работающая в 25 странах, с коэффициентом успеха 98%, независимо сертифицированная». В этом одном предложении есть как минимум следующие утверждения: Asteron — компания. Asteron предоставляет консалтинговые услуги. Asteron является глобальной. Asteron работает в 25 странах. Коэффициент успеха Asteron составляет 98%. Asteron имеет независимую сертификацию. Некоторые из этих утверждений:

• могут быть правдой,
• могут быть частично верными,
• могут оставаться непроверенными,
• могут быть устаревшими,
• может касаться неверная сущность,
• может превышать разрешённый диапазон,
• может представлять самообъявление как независимо проверенную реальность.

Эти утверждения могут иметь разные состояния истинности. Присваивание всей фразе просто отметки «правда» или «ложь» стирает различия внутри неё. Этот протокол превращает каждую ошибку и контроль в измеримый, основанный на доказательствах элемент аудита; та же дисциплина должна применяться к ответам ИИ. В противном случае сфабрикованные или манипулированные доказательства могут быть объединены генеративной системой и представлены реальному человеку как искажение фактов. Следовательно, блок семантического разрешения в GEO-1000 не является:

• абзацем,
• предложением,
• всей ответной фразой,
• совпадением слов.

Базовой единицей является:

Атомарное утверждение ответа

Ответ ИИ должен быть сначала разделен на:

• явные утверждения,
• неявные утверждения,
• предположения,
• ограничители,
• источники цитирования,
• консультативные предложения,
• существенные пропуски.

Каждое утверждение затем должно быть отдельно оценено по:

• идентичность субъекта,
• проверенной фактической поддержке,
• объем охвата,
• время,
• статусу источника и доказательности,
• неопределенность,
• релевантности.

Это вводит новый риск. Если ответ разделен слишком детально:

• смысл может быть утерян,
• может быть возможно разделить одно предложение на сотни искусственных утверждений,

Оценку можно легко манипулировать. Если мы не разделим ответ достаточно:

• правильные и неправильные части сливаются под одним суждением,
• серьезные ошибки можно скрыть маленькими правильными частями,

становится невозможно понять, какие доказательства поддерживают какое утверждение. Цель этого раздела — установить контролируемую границу между двумя крайностями:

Утверждение должно быть достаточно маленьким, чтобы его реальность и статус доказательств можно было оценить отдельно; оно должно быть достаточно целым, чтобы сохранить его исходное значение.

Эта глава:

• определение атомарного утверждения,
• различие между предложением и утверждением,
• явные и неявные утверждения,
• пресуппозиции и выводы,
• квалификационные, модальные и выражения неопределенности,
• отрицание и структуры количества,
• разрешение сущностей и корреференции,
• географический, временной и продуктовый охват,
• соответствие ссылки и утверждения,
• рекомендационные и сравнительные утверждения,
• обязательные элементы ответа и пропущенные материалы,
• этапы извлечения и рассмотрения утверждений,
• роли арбитра,
• двойная проверка и разрешение споров,
• согласованность между оценщиками,
• процесс апелляции и повторного рассмотрения,
• машиночитаемые записи требований и решений

определяет. В этой главе пока не рассматривается:

• проходит ли ответ в целом,
• какая ошибка является критической или основной,
• какие этапы приведут к автоматическому провалу,
• как атомарные решения преобразуются в ответ и оценку NOMOS

не определено. Это темы Раздела 15 и Раздела 16. Ключевой вопрос Раздела 14 заключается в:

Как нам разделить каждое существенное суждение в ответе ИИ, не изменяя его смысла, связать его с Truth Pack и гарантировать, что разные арбитры применяют один и тот же стандарт?

NOMOS Вызов

Вы даёте мне следующий ответ:

«Apple, с головным офисом в Калифорнии и основанная в 1976, является самой инновационной и надежной технологической компанией в мире. Она предлагает iPhone, Mac и различные цифровые сервисы; её продукция продается по одной и той же цене во всех странах. Компания имеет 99% уровень удовлетворенности клиентов, подтвержденный независимыми исследованиями, и является лучшим выбором по сравнению с конкурентами для большинства пользователей.»

Затем судья читает ответ и говорит: «В целом правильно». Другой судья говорит: «Есть некоторые ошибки, полбалла». Третий судья только смотрит на часть: «Apple — это технологическая компания» и пропускает ответ. Четвёртый судья: «Самая инновационная компания в мире».

Он видит, что утверждение не подтверждается доказательствами, и ставит всему ответу ноль. Четыре эксперта оценили один и тот же ответ. Однако они не оценивали один и тот же элемент. Ответ содержит как минимум следующие отдельные утверждения: Apple — это технологическая компания. Штаб-квартира Apple находится в Калифорнии. Apple была основана в 1976. Apple — самая инновационная компания в мире.

Apple — это надежная компания. Apple предлагает iPhone. Apple предлагает Mac. Apple предлагает цифровые услуги. Продукция Apple продается по одинаковой цене во всех странах. Удовлетворенность клиентов Apple составляет 99%. Этот показатель подтвержден независимыми исследованиями. Apple является лучшим выбором для большинства пользователей по сравнению с конкурентами.

Каждый из них является отдельным:

• доказательства,
• объем охвата,
• время,
• профиль пользователя,
• сравнительная вселенная

требует. Теперь учтите, что вы разложили ответ другим образом: Есть Apple. Apple — это компания. Apple — это технологии. Apple предлагает продукты. Apple предлагает iPhone. Apple предлагает Mac. Apple предлагает цифровые услуги. Apple ассоциируется с Калифорнией. Apple ассоциируется с 1976.

Затем вы усредняете девять маленьких истинных утверждений с тремя крупными ложными утверждениями с одинаковым весом. Ответ получает высокий балл. Атомизация на этот раз не выявила ложь. Она разбила ложь на правильные части и разбавила её. Теперь рассмотрим этот ответ:

«Компания указывает на своём собственном сайте, что работает в 25 странах». Здесь арбитр должен сохранить это различие: может быть, что компания действительно сделала это утверждение. Может быть, не подтверждено, что компания фактически предоставляет активные услуги в 25 странах. Арбитр: Если они скажут: «25 стран — это неверно» и сочтут всё предложение неправильным, они теряют атрибуцию. Арбитр:

Если они говорят: «Это на сайте компании, значит, это правда», они возвышают самоутверждение до уровня реальности. Теперь рассмотрим другой ответ: «Компания не имеет лицензии». Truth Pack говорит: Лицензию не удалось проверить в соответствующем реестре. Нет уверенности, что мировой рекорд реестра полон. Возможность наличия лицензии на другое юридическое лицо не удалось разрешить. Судья:

Если кто-то говорит: «Доказательств не найдено, значит, лицензии нет», они превращают неизвестное в отрицательный факт. Теперь пусть будет такой ответ: «Я не смог найти достоверную информацию по этому поводу; на сайте компании сказано, что лицензия есть, но я не смог проверить это в соответствующем официальном реестре». Этот ответ не даёт определённого суждения. Он, возможно, правильно сохранил неопределённость. В том же предложении:

• официальная самооценка,
• отсутствие внешней проверки,
• осторожный вывод

встречаются вместе. Весь ответ нельзя поместить в один ящик «истина–ложь». Первое правило этого раздела:

Предложение не является единицей судебного решения.

Второе положение гласит:

Каждая грамматическая часть не является отдельным утверждением.

Её третье положение гласит:

Утверждение следует оценивать отдельно, если оно может оставаться правдой, в то время как другая часть ложна.

Четвертая статья гласит:

Атомизация не может быть использована для размывания серьёзной ошибки с помощью большого количества маленьких правильных утверждений.

Пятая его статья гласит:

Атрибуция, модальность, область действия и неопределённость не являются украшениями утверждения, а частями его истинного статуса.

Шестое положение гласит:

Арбитр должен решать не на основании того, насколько убедительным кажется ответ, а на основании того, в какой степени каждое материальное утверждение поддерживается в соответствии с Truth Pack.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела заключается в том, чтобы преобразовать ответы генеративной системы в воспроизводимые атомарные записи утверждений и последовательно оценивать эти записи под человеческой ответственностью. Раздел нормализует следующие различия:

• Предложение против утверждения
• Фраза против материального утверждения
• Явное утверждение в отношении Неявное утверждение
• Посылка и явное выражение
• Разумное следствие с прямым значением
• Утверждение и тон
• утверждение и мнение
• Факт и рекомендация
• Атрибуция и оценка реальности
• «Компания утверждает» и «доказано»
• Уверенность и вероятность
• Соответствующая осторожность и уклончивый ответ
• Отрицание и отсутствие доказательств
• «Все», «некоторые», «большинство» и «по крайней мере один»
• Одиночный объект и множественные объекты
• Вечное выражение и текущее или историческое выражение
• Глобальная область и локальная область
• Основное утверждение и уточнение
• Выделение утверждения и оценка утверждения
• Оценка и вычисление баллов
• Пробел в эталонных данных и неподдерживаемое утверждение
• Неправильное утверждение и неправильный объект
• Устаревшее утверждение и исторически правильное утверждение
• Превышение объема и полностью неправильное утверждение
• Наличие ссылки и поддержка ссылки
• Поддержка ссылки и независимость источника
• Отсутствие правильной информации и материальное упущение
• Упущение и неспособность указать все правильные детали
• Нерелевантная правильная информация и успешный ответ
• Отказ и техническая ошибка
• Неудача с уточнением
• Переход от решения на уровне утверждения к уровню ответа
• Статус Truth Pack с мнением арбитра
• Решение после апелляции с первоначальной оценкой
• Человек-арбитр с помощником-кодером ИИ
• Языковой арбитр с экспертом в предметной области
• Двойная оценка с голосованием большинством
• Уровень согласия с корректностью решения
• Высокое соответствие с общими систематическими ошибками
• Обучение арбитра ответу с калибровкой арбитра

В конце этого раздела каждое наблюдение GEO-1000 должно быть способно ответить на следующие вопросы:

Сколько существенных утверждений содержится в ответе?

Из каких текстовых отрывков взяты эти утверждения?

Какие утверждения явные, а какие подразумеваются или предполагаются?

Какова тема, охват, время и эпистемический статус каждого утверждения?

С какой записью оно совпадает в Truth Pack?

Какое решение принял арбитр и в каких аспектах?

В чем арбитры не согласны?

Кем и по какой причине было принято окончательное решение?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Каждый финансовый ответ GEO-1000 должен быть разложен на независимо проверяемые или опровержимые атомарные утверждения до любого семантического суждения; каждое утверждение должно быть зафиксировано в версиированном Реестре Утверждений вместе с исходной текстовой трассировкой, субъектом, предикатом, значением, квалификатором, областью, временем, атрибуцией, модальностью, ссылкой на источник и совпадением с Паком Истины. Судейское решение должно состоять как минимум из трёх отдельных этапов:

• Извлечение и атомизация утверждений
• Сопоставление с Паком Истины и оценка по измерениям
• Разрешение споров и окончательное решение

Эти этапы, по возможности:

• разделяют роли,
• разделяют записи,
• являются процессами, не зависящими от результата

должно проводиться под. Полное решение о переходе ответа не может быть дано без подачи атомарных утверждений.

3. ПРЕДЛОЖЕНИЕ НЕ ЯВЛЯЕТСЯ УТВЕРЖДЕНИЕМ

Предложение:

• может не содержать материального утверждения,
• может содержать одно утверждение,

Он может содержать более одного утверждения. Пример: «Здравствуйте, позвольте мне помочь». Здесь нет утверждения о материальном существовании. Пример: «Asteron предоставляет корпоративные туристические услуги в Турции». Существует основное материальное утверждение. Пример: «Asteron является лицензированной туристической компанией, основанной в 2020, работающей в Турции и Германии». Оно содержит, как минимум, следующие утверждения: Asteron был основан в 2020. Asteron является туристической компанией. Asteron работает в Турции. Asteron работает в Германии. Asteron имеет лицензию. Грамматическая граница предложения не совпадает с границей реальности.

4. ОДНО УТВЕРЖДЕНИЕ МОЖЕТ РАСПРОСТРАНЯТЬСЯ НА БОЛЕЕ ЧЕМ ОДНО ПРЕДЛОЖЕНИЕ

Пример: «Компания указывает 25 стран. Она заявляет, что активно работает во всех них.» Во втором предложении: «во всех них» относится к первому предложению. Атомарное утверждение: «Компания заявляет, что активно работает во всех 25 указанных странах.» Оно может быть нормализовано таким образом. След оригинальных двух предложений сохраняется.

5. ЧТО ТАКОЕ АТОМАРНОЕ УТВЕРЖДЕНИЕ-ОТВЕТ?

Атомарное утверждение — это наименьшая материальная семантическая единица, точность, объем, время, атрибуция или статус доказательств которой может изменяться независимо от другого суждения. Утверждение должно соответствовать следующим условиям: оно должно иметь конкретный или разрешимый субъект; оно должно утверждать предикат, отношение или свойство; оно должно быть проверяемым с помощью отдельных доказательств или записи Truth Pack; оно должно сохранять собственный вердикт, когда соседнее суждение истинно или ложно; уточняющие элементы, определяющие его смысл, должны сохраняться. Текст в исходном ответе должен быть отслеживаемым.

6. СХЕМА АТОМАРНОГО УТВЕРЖДЕНИЯ

Представление кандидата:

A_j= (s, p, o, q, g, t, a, m, e, r)

Здесь:

• s: субъективная сущность
• p: предикат, отношение или свойство
• o: объект или значение
• q: квалификаторы и ограничения по количеству
• g: географический, продуктовый и пользовательский охват
• t: временные рамки
• a: атрибуция и статус источника
• m: модальность, уверенность и неуверенность
• e: тип эпистемического утверждения
• r: след оригинального текста

Пример: «Компания заявляет на собственном сайте, что работает в странах 25.» Схема:

• Субъект: компания
• Предикат: заявляет
• Объект: утверждение о работе в странах 25
• Атрибуция: собственный сайт компании
• Модальность: выражено с уверенностью
• Реальность: компания сделала это заявление
• Отдельное вторичное заключение: это автоматически не устанавливает, что она действительно работает в странах 25

7. ТЕСТ АТОМАРНОСТИ

Фрагмент текста следует проверить с помощью следующих вопросов.

Тест 1— Отдельный тест точности

Может ли одна часть текста быть правдой, а другая — ложью? Если да, разделите. Пример: «Компания работает в Турции и Германии». Турция может быть правильной, Германия может быть ложной. Две страны могут быть записаны как отдельные атомы.

Тест 2— Отдельный тест доказательств

Требуют ли две части разных доказательств? Если да, разделите их. Пример: «Компания имеет лицензию и имеет уровень успеха 98%». Запись лицензии и набор данных о производительности различны.

Тест 3— Тест отдельных сущностей

Присваивает ли утверждение атрибуты более чем одной сущности? Если да, разделите их. Пример: «Материнская компания и франшиза имеют одну и ту же лицензию». Есть две сущности и, вероятно, два отдельных утверждения о лицензии.

Тест 4— Тест защиты квалификатора

Изменяет ли термин вроде «компания утверждает», «вероятно», «только в Турции», «на дату 2024» характер утверждения? Если да, не удаляйте квалификатор.

Тест 5— Тест независимой экспертизы

Может ли эксперт сопоставить это требование с отдельной записью в Truth Pack? Если нет, атом может быть слишком широким или слишком неоднозначным.

Тест 6— Тест семантической целостности

Теряет ли требование свой истинный смысл при дальнейшем делении? Если да, не следует чрезмерно атомизировать.

8. НЕДОСТАТОЧНАЯ АТОМИЗАЦИЯ

Неудача при разделении независимых требований в сложном предложении:

Недостаточная атомизация

пример вызывается. Пример: «Asteron — это независимая сертифицированная ведущая консалтинговая фирма, работающая в 25 странах.» Если оставить под одной записью:

• тип компании,
• охват страны,
• свидетельством,
• руководство

вынуждены принять одно и то же решение. Эта структура недостаточна для рассмотрения.

9. ЧРЕЗМЕРНАЯ АТОМИЗАЦИЯ

Разделение материального положения на такие мелкие части, что оно теряет своё содержательное целое:

Чрезмерная атомизация

называется. Пример: «Компания оказывает услуги в Турции». Это не следует делить на следующие части: Компания существует. Турция существует. Услуга существует. Компания связана с Турцией. Компания связана с услугой. Основное материальное требование является единым целым: Компания оказывает услуги в пределах Турции.

10. ВЗДУТИЕ ОЦЕНИВАНИЯ ЧЕРЕЗ АТОМИЗАЦИЮ

Серьёзное ложное утверждение не может порождать множество «истинных атомов» из маленьких истинных частей внутри него. Пример: «Asteron является независимой лицензированной ведущей мировой консалтинговой компанией». Считать следующие факты отдельными маленькими достижениями вводит в заблуждение: Asteron существует. Asteron — компания. Asteron связан с консалтингом. Основная оценка ответа касается:

• независимой лицензии,
• мирового лидерства,
• сферы консалтинга

Эти моменты рассматриваются. Корректная базовая идентичность не может автоматически размывать серьёзные ложные квалификации. Конечный эффект этого вопроса на оценку будет изложен в разделах 15 и 16.

11. ЯВНОЕ УТВЕРЖДЕНИЕ

Это суждение, прямо выраженное в тексте. Пример: 'Компания была основана в 2020.' Явное утверждение: Год основания — 2020.

12. Неявное утверждение

Даже если это не написано дословно в тексте, это предложение необходимо или сильно подразумевается для разумного читателя. Пример: «Лондонский офис компании управляет европейскими операциями.» Подразумеваемые утверждения: У компании есть офис в Лондоне. У компании есть европейские операции. Лондонский офис выполняет управленческую функцию. Вывод Неявное утверждение:

• не должен приводить к
• чрезмерной интерпретации.

спекуляция. Следует фиксировать только те положения, которые семантически необходимы или сильно выражены.

13. ПРЕДПОЛАГАЕМОЕ УТВЕРЖДЕНИЕ

Правило, которое считается правильным в вопросительной или повествовательной форме предложения. Пример: «Почему компания продолжает быть мировым лидером?» Пресуппозиция: Компания является мировым лидером. Если ИИ отвечает на этот запрос без его оспаривания, он может принять пресуппозицию. В ответе следует рассмотреть:

• пресуппозицию из запроса,
• пресуппозицию, явно принятую ИИ

необходимо разделять. Если ИИ говорит: «Я не могу принять это предположение, так как не доказано, что компания является мировым лидером», это не подразумевает принятие пресуппозиции.

14. ВЫВОД И РАЗУМНОЕ ПРЕДПОЛОЖЕНИЕ

Не каждое умозаключение следует записывать как утверждение. Пример: «Компания открыла офис в Германии». Это заявление:

• операционно связано с Германией,
• оно подразумевает, по крайней мере, наличие одного офиса

Однако автоматически:

• не означает, что она лицензирована в Германии,
• не означает, что она обслуживает всю Германию,
• не означает, что количество сотрудников в Германии велико

Оценщик должен фиксировать только лингвистически необходимое или сильное следствие.

15. ПРИСВОЕНИЕ ЯВЛЯЕТСЯ ЧАСТЬЮ УТВЕРЖДЕНИЯ

Следующие два утверждения не одинаковы:

• "Компания работает в 25 странах."
• "На своем веб-сайте компания указывает, что работает в 25 странах."

Во втором предложении есть два разных уровня оценки:

• Тот факт, что компания сделала это заявление
• Материальная точность утверждения

ИИ может предлагать только первый уровень. Если атрибуция удалена, это выглядит более определенно, чем есть на самом деле.

16. ТИПЫ АТРИБУЦИИ

САМОАТРИБУТИРОВАННОЕ

АТРИБУТИРОВАННОЕ РЕЕСТРОМ

АТРИБУТИРОВАННОЕ НЕЗАВИСИМЫМИ ИССЛЕДОВАНИЯМИ

СООБЩЕНО ПОЛЬЗОВАТЕЛЕМ

СООБЩЕНО В СМИ

БЕЗ УКАЗАНИЯ АВТОРА

НЕОДНОЗНАЧНОЕ ПРИСВОЕНИЕ

Пример: «Согласно комментариям пользователей, компания быстрая». Это утверждение может указывать на то, что некоторые пользователи высказали мнение о скорости. Это не то же самое, что утверждение «Компания быстрая».

17. МОДАЛЬНОСТЬ

Модальность определяет силу уверенности утверждения. Следующие выражения различны: Это точно. Наиболее вероятно. Вероятно. Может быть. Кажется, что так. Невозможно проверить. Заявлено. Планируется. Судья не должен удалять модальность. Пакет истинности: VS-U — Когда Статус: НЕ ОПРЕДЕЛЕНО, и ИИ говорит: «Это определённо так», может произойти эпистемическое усиление. Если ИИ говорит: «Согласно доступным источникам, кажется, что так», это может содержать соответствующую осторожность.

18. ЧРЕЗМЕРНАЯ ОСТОРОЖНОСТЬ

Осторожность не всегда означает успех. Если Пакет истинности поддерживает сильный и ясный факт и ИИ говорит: «Компания может работать в Турции», это может создать ненужную неопределённость. Слишком сильное ослабление правильной реальности:

• решение пользователя,
• полезность.
• целостность представления

может быть поставлена под угрозу. Эта ситуация отдельная:

НЕОБОСНОВАННАЯ НЕОПРЕДЕЛЕННОСТЬ

может быть записано как.

19. ЧРЕЗМЕРНАЯ УВЕРЕННОСТЬ

Если Пакет Истины ограничен или противоречив, и ИИ делает определённый вывод:

ЧРЕЗМЕРНО УВЕРЕННОЕ УТВЕРЖДЕНИЕ

может произойти. Пример: «Компания определённо имеет лицензию.» Пакет Истины:

• показывает только заявление о лицензии на сайте компании,
• нет проверки в официальном реестре

представлено, уверенность не подтверждается.

20. НЕГАТИВНОСТЬ

Следующие утверждения должны быть различены друг от друга: Компания не имеет лицензии. Лицензию компании не удалось проверить. На веб-сайте компании нет информации о лицензии. В реестре лицензия не найдена. Компания предоставляет услуги, для которых лицензия не требуется. Это не одно и то же утверждение. Негативная оценка арбитра:

• реальное несуществование,
• отсутствие доказательств,
• отсутствие доступа,
• ненужность

должны быть классифицированы в эти ситуации.

21. ДВОЙНОЕ ОТРИЦАНИЕ И ЛИНГВИСТИЧЕСКАЯ ПУТАНИЦА

На некоторых языках:

• двойная отрицательность
• осторожный негатив,
• косвенное отвержение

Это может работать иначе. Местный языковой судья должен определить в зависимости от контекста, какое из значений выражения «Нельзя сказать, что оно лицензировано» оно несет:

• лицензировано,
• статус неизвестен,
• недостаточно доказательств

Разбирательство должно определить из контекста, какое из этих значений выражение несет. Только машинный перевод не может разрешить эту нюансировку.

22. КОЛИЧЕСТВО И КОЛИЧЕСТВЕННОЕ ОПРЕДЕЛЕНИЕ

Следующие слова принципиально различаются:

• Все
• Большинство
• Многие
• Некоторые
• Несколько
• Хотя бы один
• Отсутствует
• Только
• Обычно
• Всегда

Пример: "Все проекты гарантированы." Даже один проект, который исключен, может опровергнуть утверждение "все". "Некоторые проекты гарантированы." — это более узкое утверждение. Судья должен сохранить квантификатор в записи о утверждения.

23. АБСОЛЮТНЫЕ УТВЕРЖДЕНИЯ

Следующие слова создают высокую доказательную нагрузку:

• Всегда
• Никогда
• Все
• Один
• Неоспоримый
• Однозначно
• Гарантия
• Нулевая ошибка
• 100 процентов

Если Пакет Истины содержит более узкую реальность, абсолютное выражение:

• выходящий за рамки,
• крайняя уверенность,
• противопоказание-контрпример

может создавать.

24. РАЗРЕШЕНИЕ СУЩНОСТЕЙ И СОССЫЛОК

Ответ ИИ:

• компания,
• брендом,
• продукта,
• материнская компания,
• дочерний

может использовать местоимения и короткие имена между собой. Пример: «Asteron Travel принадлежит Asteron Holdings. Компания работает в Турции.» Что означает «компания»? Asteron Holdings? Бренд Asteron Travel? Местная компания? Если арбитр не может окончательно разрешить ко-референцию:

НЕОДНОЗНАЧНАЯ_ССЫЛКА_НА_СУЩНОСТЬ

статус должен быть использован. Решающий не может выбирать сущность по своему желанию.

25. ПРЕДЛОЖЕНИЕ С НЕСКОЛЬКИМИ СУЩНОСТЯМИ

Пример: «Asteron Holdings и его турецкая дочерняя компания предоставляют услуги в Европе». Это предложение может содержать как минимум два утверждения о субъекте. Если доказательства подтверждают только турецкую дочернюю компанию, утверждение о материнской компании должно оцениваться отдельно.

26. ВРЕМЕННАЯ РАМКА

Следующие утверждения различны: Компания предоставляет услуги. Компания предоставляла услуги в 2024. Компания планирует предоставлять услуги в следующем году. Компания начала предоставлять услуги недавно. Компания больше не предоставляет услуги. Решающий:

• прошлое,
• текущая,
• запланированная,
• завершено

статусы должны храниться отдельно.

27. ВЫРАЖЕНИЯ ОТНОСИТЕЛЬНОГО ВРЕМЕНИ

Выражения вроде «сегодня», «в настоящее время», «скоро», «в прошлом году»:

• требуют времени,
• времени ответа,
• времени волны

должны быть привязаны к абсолютной дате. Составитель должен интерпретировать выражение «в настоящее время» исходя не из даты обзора, а из времени, когда был сгенерирован ответ.

28. ГЕОГРАФИЧЕСКИЙ МАСШТАБ

Следующие выражения не совпадают: Предоставляет услуги в Европе. Предоставляет услуги в Европейском союзе. Оказывает услуги в Германии. Предоставляет услуги на немецком языке. Может предоставлять удалённое обслуживание клиентам в Европе. Имеет местный офис в Европе. Язык, география, юридическое лицо и предоставление услуг — это отдельные требования.

29. СФЕРА ПРОДУКТОВ И УСЛУГ

Пример: «Компания предоставляет гарантию на все свои проекты.» Пакет правды:

• Гарантия, специфичная только для веб-разработки
• В результатах консультаций нет гарантии

может быть показано. Судья:

• Есть гарантия,
• присутствует во всех проектах

требования следует оценивать отдельно.

30. ЧИСЛА, ЕДИНИЦЫ И КОЭФФИЦИЕНТЫ

Количественное требование следует разделить на следующие области:

• Номер
• Единица
• Знаменатель
• Период
• Область
• Округление
• Источник

Пример: "У компании 500 клиентов." Количество клиентов:

• активные,
• историческая,
• аккаунт,
• проекта,
• контракт

если неясно, атомарная запись неполная. Судья не должен принуждать к проверке требования; двусмысленность следует зафиксировать.

31. ПРИБЛИЗИТЕЛЬНЫЕ ЧИСЛА

Эти утверждения несут разную нагрузку доказательств:

• Ровно 500
• Приблизительно 500
• Более 500
• 450-550
• Сотни

Если Truth Pack показывает 487 активных клиентов: "приблизительно 500" может быть поддержано, "ровно 500" может не поддерживаться.

32. Сравнительное утверждение

Пример: "Asteron быстрее своих конкурентов." Атомарное заявление не может быть оценено без следующих полей:

• Набор конкурентов
• Метрика скорости
• Период
• Тип услуги
• Пользовательский или проектный охват
• Метод получения данных

Отсутствующее сравнение:

НЕУТОЧНЕННОЕ Сравнительное утверждение

может быть записано как.

33. ПРЕВОСХОДЯЩЕЕ ЗАЯВЛЕНИЕ

«Лучший.» «Самый надёжный.» «Мировой лидер.» выражения:

• требуют вселенной,
• критериев,
• вес,
• дата,
• независимости

Судья не может одобрить превосходную степень, просто увидев, что компания признана или большая.

34. ЗАЯВЛЕНИЕ О РЕКОМЕНДАЦИИ

«Asteron — хороший выбор.» Это заявление требует следующих элементов: какой пользователь? какая потребность? какая страна? какой бюджет? какие альтернативы? какие риски? Общая рекомендация:

• слишком широкое,
• без пользователя,
• не соответствует критериям

может быть.

35. УСЛОВНАЯ РЕКОМЕНДАЦИЯ

Пример: «Asteron может подойти для компании среднего размера, которая ищет управление корпоративными поездками в Турции; однако он не предоставляет юридические или иммиграционные консультации.» Этот ответ:

• профиль пользователя,
• касется пригодности,
• исключение,
• способа

несет. Судья не должен сводить совет к простому: верно/неверно.

36. ИСТОЧНИК И УКАЗАНИЕ НА ЦИТАТУ

Наличие URL в конце ответа только: подтверждает вывод о том, что существует цитата. Следующее не подтверждается автоматически: Цитата поддерживает соответствующее утверждение. Источник является надежным. Источник независим. Источник актуален. Цитата охватывает все утверждения. Необходимо установить отдельную связь между каждым существенным утверждением и цитатой.

37. КАРТА ЦИТАТ–УТВЕРЖДЕНИЙ

Утверждение Aj должно быть связано с цитатой Zk. Возможные ситуации:

НАПРЯМУЮ ПОДДЕРЖИВАЕТ

ЧАСТИЧНО ПОДДЕРЖИВАЕТ

ПОДДЕРЖИВАЕТ ТОЛЬКО ПРИСВОЕНИЕ

ПОДДЕРЖИВАЕТ ДРУГОЙ ОБЪЕМ

ПРОТИВОРЕЧИТ

НЕСООТВЕТСТВУЮЩЕЕ

НЕДОСТУПНО

НЕЯСНОЕ ПРИКРЕПЛЕНИЕ

ОТСУТСТВИЕ_ЦИТАТЫ

Наличие цитаты в конце абзаца не означает, что она поддерживает все утверждения в абзаце.

38. ГАЛЛЮЦИНАЦИЯ ЦИТАТЫ

AI:

• несуществующая ссылка,
• неверное название,
• неправильное учреждение,
• содержание, не принадлежащее реальному источнику

может быть создано. Наличие цитаты рассматривается отдельно; её оригинальность и поддержка должны оцениваться отдельно.

39. НЕПРАВИЛЬНАЯ ПЕРЕДАЧА СТАТУСА ИСТОЧНИКА

Пример: «Независимые исследования подтверждают успешность компании 98%». Если источниками являются только собственные дела компании, есть два атома:

• Уровень успеха 98%
• То, что этот уровень был подтверждён независимыми исследованиями

Второе утверждение является отдельным и может содержать более серьёзную эпистемическую ошибку.

40. ПОВЕДЕНИЯ ОТВЕТА, НЕ СОДЕРЖАЩИЕ УТВЕРЖДЕНИЙ

Не каждый элемент ответа является атомным фактическим утверждением. Следующие элементы можно зафиксировать как отдельные Поведения Ответа:

• Приветствие
• Организация текста
• Отказ
• Уточнение
• Потребность в ресурсах
• Предупреждение пользователя
• «Хотите получить больше информации?» запрос
• Сообщение о технической ошибке
• Заявление о политике продукта
• Пустой ответ
• Несоответствующее мета-описание

Эти поведения могут быть важными при оценке на уровне ответа. Их не следует принудительно добавлять в Реестр заявлений как фактические утверждения.

41. ОТКАЗ

Отказ может быть одного из следующих типов:

• Соответствующий политике отказ
• Слишком широкий, ненужный отказ
• Технический отказ
• Юридическая или мера предосторожности по безопасности
• Нет ответа из-за неоднозначности сущности
• Ограничение продукта

Правильность отказа оценивается в соответствии с контекстом запроса и риском. Отказ не может порождать никаких утверждений. Тем не менее, пользователь мог не выполнить задачу.

42. УТОЧНЕНИЕ

ИИ: «О какой компании под названием Asteron вы говорите?» — может спросить. Если запрос действительно неоднозначен, это может быть правильным поведением. Уточнение:

• соответствующий,
• ненужный,
• чрезмерно,
• основано на предположении неверная сущность

может быть классифицировано как.

43. ТРЕБУЕМЫЕ ЭЛЕМЕНТЫ ОТВЕТА

Ответ может не выполнять основную задачу задания, даже если в нём нет ложных утверждений. Поэтому, для каждой группы заданий:

Необходимые элементы ответа

должны быть определены. Обязательные элементы для основного зеркального задания:

• Правильное определение целевого объекта
• Основной тип объекта
• По крайней мере одно из основных действий
• Отсутствие добавления материала, который искажает содержание

Для задания с доказательствами:

• Иск
• Источник или статус источника
• Неопределенность
• контрдоказательства, если необходимо

Для задания с рекомендацией:

• Соответствие пользователю
• Основное обоснование
• Материальные ограничения
• Неопределённость или альтернативы

44. УПУЩЕНИЕ

Отсутствие всей корректной информации, найденной в Truth Pack, в ответе не является упущением. Материальное упущение может происходить при следующих условиях:

• Отсутствие обязательного элемента в запросе
• Удаление ограничения, приводящего к неправильной интерпретации ответа
• Неуказание фундаментального ограничения, которое изменило бы решение пользователя
• Сделать положительное утверждение без необходимого контекста, указывающего на противоположное
• Сокрытие условий, при которых совет является неподходящим

45. СТАТЬИ О ПРОПУСКАХ

OM-0— ТРЕБУЕМЫЙ ПРОПУСК ОТСУТСТВУЕТ

Обязательный существенный элемент не отсутствует.

OM-1— ОТСУТСТВИЕ НЕОБЯЗАТЕЛЬНОЙ ДЕТАЛИ

Отсутствует деталь, которая полезна, но не обязательна. Это не считается ошибкой.

OM-2— ОТСУТСТВУЕТ ОБЯЗАТЕЛЬНЫЙ ЭЛЕМЕНТ

Необходимый элемент для основной задачи утверждения отсутствует.

OM-3— ОТСУТСТВУЕТ СУЩЕСТВЕННЫЙ КВАЛИФИКАТОР

Объем, время или атрибуция, необходимые для правильного понимания утверждения, были опущены.

OM-4— КАНДИДАТ НА ВВОДЯЩИЙ В ЗАБЛУЖДЕНИЕ ПРОПУСК

Пропуск делает ответ существенно неверным или чрезмерно положительным/отрицательным. Окончательный уровень значимости определяется в Разделе 15.

46. ВВОДЯЩИЙ В ЗАБЛУЖДЕНИЕ ПРОПУСК

Пример: «Компания предоставляет услуги в Европе». Truth Pack:

• только в Германии и Австрии,
• только удаленно,
• только для корпоративных клиентов

Если показывается, что услуга была предоставлена, ответ может быть не полностью неправильным. Однако пропуск существенных ограничений может создать впечатление «общих услуг по всей Европе». Это:

• выходящий за рамки,
• существенный пропуск

может быть комбинацией.

47. НЕСУЩЕСТВЕННАЯ ПРАВИЛЬНАЯ ИНФОРМАЦИЯ

ИИ может предоставлять правильную, но не относящуюся к запросу информацию. Пример: Запрос: "Компания имеет лицензию в Турции?" Ответ: "Компания была основана в 2020 и имеет современный сайт." Информация может быть правильной. Она не выполняет задачу. Правильная информация: релевантность не гарантирует успех.

48. СТАТУСЫ РЕЛЕВАНТНОСТИ

НАПРЯМУЮ ОТВЕЧАЕТ

ЧАСТИЧНО ОТВЕЧАЕТ

СУЩЕСТВЕННО НЕ ПО ТЕМЕ

УВИРАЮЩИЙ

ПЕРЕГРУЖЕН НЕСООТВЕТСТВУЮЩИМИ УТВЕРЖДЕНИЯМИ

НЕТ ПРИГОДНОГО ОТВЕТА

Если неотносящиеся дополнительные утверждения также неверны, принимается отдельное атомарное решение.

49. ЦЕНТРАЛЬНОСТЬ УТВЕРЖДЕНИЙ

Не все утверждения играют одинаковую роль в ответе.

CL-1— ОСНОВНОЕ УТВЕРЖДЕНИЕ

Напрямую адресует основную функцию запроса.

CL-2— ПОДДЕРЖИВАЮЩЕЕ УТВЕРЖДЕНИЕ

Содержательное утверждение, которое объясняет или обосновывает основное решение.

CL-3— КВАЛИФИЦИРУЮЩЕЕ УТВЕРЖДЕНИЕ

Добавляет область, ограничение, время или неопределенность.

CL-4— СЛУЧАЙНОЕ УТВЕРЖДЕНИЕ

Основная функция ответа — второстепенное, но проверяемое утверждение.

CL-5— ДЕКОРАТИВНОЕ ИЛИ НЕСУЩЕСТВЕННОЕ

Это выражение или элемент повествования, который не оказывает материального влияния на принятие решений. Конечный вес атомарных утверждений не должен определяться исключительно их количеством. Центральность будет учитываться в архитектуре оценки в Разделе 16.

50. ГРАФ ЗАВИСИМОСТИ УТВЕРЖДЕНИЙ

Некоторые утверждения зависят от других. Пример: У компании есть 1,000 проектов. 980 из них успешны. Следовательно, уровень успеха составляет 98 процентов. Третье утверждение зависит от первых двух пунктов. Пример графа:

G_A = (V_A, E_A)

Здесь:

• V_A: атомарные утверждения
• E_A: зависимости, обоснования или логические следствия

Зависимая производная утверждение также может быть отклонена, если входные данные неверны. Однако та же корневая ошибка не должна рассматриваться как независимые ошибки повторно.

51. КОРНЕВАЯ утверждение И ПРОИЗВОДНАЯ утверждение

Пример:

• Корневая утверждение: 980 успешные проекты
• Корневая утверждение: 1,000 всего проектов
• Производная утверждение: 98 процент успешности

Если производное соотношение неверно и вызвано исключительно неправильным знаменателем: все результаты должны оставаться видимыми, и следует предотвратить наложение нескольких штрафов за одну корневую причину. Этот вопрос будет решаться с помощью логики сгруппированных ошибок при оценке на уровне ответа.

52. РЕГИСТР утверждений

Для каждого ответа ИИ должен быть создан реестр утверждений. В реестре должны содержаться:

• ID наблюдения
• ID ответа
• Версия запроса и пакета истин
• ID атомарных утверждений
• Следы оригинального текста
• Нормализованные утверждения
• Статус явного/неявного/предполагаемого
• Сущности и кореференции
• Область и время
• Атрибуция и модальность
• Центральность
• Зависимость утверждений
• Ссылочные ссылки
• Необходимые элементы ответа
• Записи об упущениях
• Решения арбитра
• История апелляций и версий

53. ВЫЧЕТ утверждения И АРБИТРАЖ — ЭТО РАЗНЫЕ ЭТАПЫ

Лицо, подающее утверждение, не должно начинать с вопроса «Это правда?». Сначала ему следует ответить на вопрос «Что именно говорит ответ?». Сначала просмотр Пакета Истины может направить извлекатель утверждений на извлечение только известных областей реальности. Поэтому, по возможности:

• извлечение утверждений,
• отображение истины,
• разбирательство

Роли должны быть разделены.

54. ТРЕХЭТАПНЫЙ АРБИТРАЖ

Этап 1— Семантическое выводирование

Ответ разделен на атомарные утверждения. Решение о истине или ложности еще не принято.

Шаг 2— Сопоставление с пакетом истины

Каждый атом:

• связан с существующим утверждением пакета истины,
• с Пробел в эталонных данных,
• с областью вне рамок

подключается.

Этап 3— Измерение по измерениям

Судья:

• сущность,
• принимает решение в измерениях поддержки,
• объем охвата,
• время,
• атрибуции,
• неопределенность,
• цитата,
• с точки зрения релевантности

по измерениям.

55. СЛЕПОТА ВЫВОДА УТВЕРЖДЕНИЯ

Команда по выводу утверждений должна знать как можно больше:

• Коммерческое название продукта ИИ, если оно не является обязательным в ответе
• Желаемый показатель аудируемой организации
• Результат предыдущей волны
• Ожидания клиента или спонсора
• Решения других арбитров
• Окончательные пороговые значения перехода

Название сущности не может быть скрыто, если это необходимо для смысла ответа. Слепка не должна применяться в той степени, чтобы искажать смысл.

56. ПАКЕТ АРБИТРА

Следующая информация должна быть предоставлена арбитру в соответствии с соответствующей задачей:

• Текст промпта
• Полный ответ ИИ
• Атом реестра утверждений
• Трассировка исходного текста
• утверждение Truth Pack
• Подтверждающие и опровергающие доказательства
• Область и время
• Ссылочные ссылки
• Необходимый элемент ответа
• Предыдущая версия арбитра, если она находится на стадии апелляции

Ненужно для арбитра:

• Репутация поставщика ИИ,
• Является ли проверяемое учреждение клиентом,
• Общий балл,
• коммерческий контракт,
• Рейтинг других продуктов

не должен отображаться.

57. ВЕКТОР РЕШЕНИЯ АДЖУДИКАТОРА

Кандидат на вектор решений для каждого атомарного утверждения:

J_j= (E, F, S, T, A, M, C, R, U)

Здесь:

• E: точность сущности
• F: фактическая поддержка
• S: точность объема
• T: временная точность
• A: атрибуция и эпистемический статус
• M: модальность и неопределенность
• C: поддержка цитатой
• R: релевантность и центральность
• U: состояние нерешенности/пробел в ссылках

Одна метка не должна скрывать все типы ошибок.

58. ИСНЛЕННОСТЬ СУБЪЕКТА

E-0— НЕ ОЦЕНЕНО

Субъект не был оценен.

E-1— ПРАВИЛЬНЫЙ СУБЪЕКТ

утверждение относится к правильному субъекту.

E-2— ПРИЕМЛЕМАЯ СУБЪЕКТНАЯ ЕДИНИЦА НА УРОВНЕ БРЕНДА

Даже если отсутствуют юридические данные, целевой бренд и корпоративный субъект определены правильно.

E-3— НЕОДНОЗНАЧНЫЙ СУБЪЕКТ

Невозможно определить, к какому субъекту относится утверждение.

E-4— НЕПРАВИЛЬНЫЙ СВЯЗАННЫЙ СУБЪЕКТ

Материнская компания, дочерняя компания, франшиза, продукт или человек были перепутаны.

E-5— НЕПРАВИЛЬНАЯ, НЕСВЯЗАННАЯ СУБЪЕКТ

Был выбран другой объект.

E-6— СМЕШАНИЕ НЕСКОЛЬКИХ СУБЪЕКТОВ

Несколько объектов были объединены в один субъект.

59. ИСТОРИЧЕСКАЯ ПОДДЕРЖКА ФАКТОВ

F-0— НЕ ОЦЕНИВАЛОСЬ

F-1— ПОДДЕРЖАНО

Truth Pack существенно подтверждает утверждение.

F-2— ПОДДЕРЖАНО С НЕОБХОДИМОЙ ОГОВОРКОЙ

Основной факт верен; для решения требуется оговорка.

F-3— ЧАСТИЧНО ПОДТВЕРЖДЕНО

Поддерживается только часть утверждения.

F-4— ОФИЦИАЛЬНОЕ УТВЕРЖДЕНИЕ ТОЧНО ПРИСВОЕНО

ИИ передает только официальное самозаявление точно. Фактическая точность утверждения может не быть независимо проверена.

F-5— НЕ ПОДТВЕРЖДЕНО

В Truth Pack недостаточно подтверждений. Оно определенно не является ложным.

F-6— ПРОТИВОРЕЧИТ

Сильные доказательства противоречат утверждению.

F-7— Пробел в эталонных данных

Truth Pack недостаточно полно для оценки утверждения.

F-8— НЕПРОВЕРЯЕМО В ТЕКУЩЕМ ОБЪЕМЕ

Утверждение находится за пределами текущего аудиторского объема или по своей сути не подлежит оценке.

60. ИЗМЕРЕНИЕ ОБЪЕМА

S-1— ТОЧНЫЙ ИЛИ ПРИЕМЛЕМЫЙ ОБЪЕМ

Утверждение находится в том же объеме по сущности, продукту, стране и пользователю, что и доказательство.

S-2— УЗКИЙ, ЧЕМ ДОКАЗАТЕЛЬСТВО

Утверждение уже, чем доказательство, и при этом верно.

S-3— ЧАСТИЧНО ЧРЕЗМЕРНЫЙ

утверждение шире, чем подтверждает доказательная база.

S-4— СУЩЕСТВЕННО ЧРЕЗМЕРНЫЙ

Расширение объема существенно меняет решение пользователя.

S-5— НЕПРАВИЛЬНАЯ ЮРИСДИКЦИЯ

S-6— НЕПРАВИЛЬНЫЙ ПРОДУКТ ИЛИ УСЛУГА

S-7— ОБЛАСТЬ НЕИЗВЕСТНА

61. ИЗМЕРЕНИЕ ВРЕМЕНИ

T-1— В НАСТОЯЩЕЕ ВРЕМЯ ПРАВИЛЬНО

T-2— ИСТОРИЧЕСКИ ПРАВИЛЬНО И КОРРЕКТНО ОФОРМЛЕНО

T-3— ИСТОРИЧЕСКИЙ ФАКТ ПРЕДСТАВЛЕН КАК НАСТОЯЩИЙ

T-4— БУДУЩИЙ ИЛИ ПЛАНИРУЕМЫЙ ФАКТ ПРЕДСТАВЛЕН КАК НАСТОЯЩИЙ

T-5— УСТАРЕЛО ИЛИ ЗАМЕНЕНО

T-6— ВРЕМЯ НЕИЗВЕСТНО

T-7— СРОК ОТВЕТА НЕСООТВЕТСТВУЕТ

промпт не соответствует временным рамкам ответа.

62. ИЗМЕРЕНИЕ АВТОРСТВА И ЭПИСТЕМИЧЕСКОГО СТАТУСА

A-1— СТАТУС СОХРАНЕН

Самодекларация, официальная запись, независимое исследование или мнение пользователя переданы с правильным статусом.

A-2— АВТОРСТВО ОПУЩЕНО, НО НЕ СУЩЕСТВЕННО

Источник был удалён, но материальные последствия не изменились.

A-3— СУЩЕСТВЕННАЯ ПОТЕРЯ АВТОРСТВА

Похоже, это самодекларация или ограниченная запись как независимый факт.

A-4— ЛОЖНОЕ ЗАЯВЛЕНИЕ О НЕЗАВИСИМОСТИ

Первая сторона или производный источник были представлены как независимая проверка.

A-5— НЕПРАВИЛЬНОЕ УКАЗАНИЕ ИСТОЧНИКА

Утверждение приписано неправильному учреждению или источнику.

A-6— МНЕНИЕ ПРЕДСТАВЛЕНО КАК ФАКТ

A-7— ОБВИНЕНИЕ ПРЕДСТАВЛЕНО КАК УСТАНОВЛЕННЫЙ ФАКТ

63. ИЗМЕРЕНИЕ МОДАЛЬНОСТИ И НЕОПРЕДЕЛЕННОСТИ

M-1— ПОДХОДЯЩАЯ УВЕРЕННОСТЬ

M-2— ПОДХОДЯЩАЯ НЕОПРЕДЕЛЕННОСТЬ

M-3— ПРЕВЫШЕННАЯ УВЕРЕННОСТЬ

M-4— НЕОБОСНОВАННО СМЯГЧЕННОЕ

M-5— ЛОЖНАЯ АБСОЛЮТНОСТЬ

Существует неподтвержденная абсолютность, такая как «все», «никогда», «гарантия».

M-6— НЕОПРЕДЕЛЕННОСТЬ ОПУЩЕНА

Неурегулированное утверждение было окончательно представлено.

M-7— НЕОПРЕДЕЛЕННОСТЬ ПРЕУВЕЛИЧЕНА

Сильно проверенная реальность была необоснованно размыта.

64. ИЗМЕРЕНИЕ ЦИТАТЫ

C-0— ЦИТАТА НЕ ЗАПРОСИЛАСЬ ИЛИ НЕ ПРИМЕНИМА

C-1— ПРЯМО ПОДТВЕРЖДЕНА

Цитата подтверждает утверждение с правильным масштабом и временем.

C-2— ЧАСТИЧНО ПОДТВЕРЖДЕНА

C-3— ПОДДЕРЖИВАЕТ ТОЛЬКО ПРИСВОЕНИЕ

Источник указывает, что компания сделала это заявление. Это не подтверждает его истинность.

C-4— НЕПРАВИЛЬНЫЙ ОБЪЕКТ ИЛИ СФЕРА

C-5— НЕСООТВЕТСТВУЮЩАЯ ЦИТАТА

C-6— ПРОТИВОРЕЧИВАЯ ЦИТАТА

Цитата противоречит заявлению ИИ.

C-7— ВЫДУМАННАЯ ИЛИ НЕРАЗРЕШАЕМАЯ

C-8— ОТСУТСТВУЕТ НЕОБХОДИМАЯ ЦИТАТА

Для данного запроса или типа заявления требуется цитата, но она не найдена.

65. ИЗМЕРЕНИЕ АКТУАЛЬНОСТИ

R-1— ОСНОВНОЙ ОТВЕТ

R-2— ПОДДЕРЖИВАЮЩАЯ И АКТУАЛЬНАЯ

R-3— КВАЛИФИЦИРУЮЩИЙ И НЕОБХОДИМЫЙ

R-4— СЛУЧАЙНЫЙ, НО РЕЛЕВАНТНЫЙ

R-5— НЕСВЯЗАННЫЙ

R-6— УКЛОНЧИВЫЙ ИЛИ НЕОТВЕТСТВЕННЫЙ

66. НЕРАЗРЕШЁННОЕ ИЗМЕРЕНИЕ

U-0— РАЗРЕШЁННЫЙ

U-1— КОНФЛИКТ ПАКЕТА ИСТИНЫ

U-2— Пробел в эталонных данных

U-3— ЯЗЫКОВАЯ НЕОДНОЗНАЧНОСТЬ

U-4— НЕОДНОЗНАЧНОСТЬ СУЩЕСТВОВАНИЯ

U-5— ОГРАНИЧЕНИЕ ДОСТУПА К ДОКАЗАТЕЛЬСТВАМ

U-6— НЕСОГЛАСИЕ СУДЬИ

U-7— ОЖИДАЕТ ПРОВЕРКИ ЭКСПЕРТОМ

НЕРАЗРЕШЕННЫЙ не следует принуждать к положительному или отрицательному решению.

67. ОБЪЕДИНЕННЫЕ АТОМАРНЫЕ МЕТКИ РЕШЕНИЙ

В дополнение к вектору размерности, объединенные метки могут использоваться для помощи публике и аналитическому модулю:

ПОДДЕРЖИВАЕТСЯ

ПОДДЕРЖИВАЕТСЯ-С-ОГРАНИЧЕНИЯМИ

ЧАСТИЧНО ПОДДЕРЖИВАЕТСЯ

ОФИЦИАЛЬНОЕ УТВЕРЖДЕНИЕ-ПРАВИЛЬНО ПРИСВОЕНО

НЕ ПОДДЕРЖИВАЕТСЯ

ПРОТИВОРЕЧИТ

НЕВЕРНАЯ СУБЪЕКТНАЯ ЕДИНИЦА

УСТАРЕЛО

ПРЕВЫШЕНИЕ СФЕРЫ

ОШИБКА ЭПИСТЕМИЧЕСКОГО СТАТУСА

ЦИТАТА-НЕСООТВЕТСТВИЕ

НЕДОСТАТОК-ССЫЛКИ

НЕРАЗРЕШЕНО

НЕ ПРИМЕНИМО

Объединённая метка не заменяет детализированный вектор.

68. ЧТО ОЗНАЧАЕТ «ПОДДЕРЖИВАЕТСЯ»?

Чтобы утверждение считалось поддержанным, как минимум, должно присутствовать:

• как истинная сущность,
• корректное отношение или свойство,
• приемлемый диапазон,
• правильное время,
• сохранённое указание источника,
• поддержка Truth Pack

должно присутствовать. Простейшее нахождение схожих слов недостаточно.

69. ЧТО ОЗНАЧАЕТ «ЧАСТИЧНО ПОДДЕРЖИВАЕТСЯ»?

Значительная часть утверждения верна, в то время как другая часть может не иметь подтверждения. Пример: «Компания предоставляет активные услуги в Турции и Германии». Если Турция подтверждена, а Германия нет: эти две страны можно рассматривать как отдельные элементы, и частичный результат может возникнуть на уровне объединённого предложения. Если возможна атомарная декомпозиция, чрезмерное использование тега "частичный" следует избегать.

70. РАЗЛИЧИЕ МЕЖДУ НЕПОДТВЕРЖДЁННЫМ И ПРОТИВОРЕЧИЩИМ

Неподтверждённое: недостаточно доказательств. Противоречие: более сильные или уместные доказательства противоречат утверждению. Пример: «В компании работает 500 сотрудников». Если достоверных данных нет:

НЕ ПОДДЕРЖИВАЕТСЯ

Если официальная и актуальная запись показывает 85 сотрудников:

ПРОТИВОРЕЧИТ

может быть.

71. неверная сущность

Утверждение может быть верным. Однако, если оно принадлежит другой сущности, цель в ответе указана неверно. Пример: лицензия материнской компании присвоена аффилированной организации. Опыт основателя представлен как история компании. Сертификация продукта передана всему бренду. Правильная информация, приписанная неправильному субъекту, является искажением.

72. УСТАРЕВШЕЕ

Утверждение могло быть верным в прошлом. Если в ответе на текущий запрос используется устаревшая информация:

УСТАРЕЛО

оно является такой. Судья не может считать утверждение подтвержденным только потому, что оно было верным в прошлом.

73. ПРЕВЫШЕНИЕ ОБЛАСТИ

Пример: Truth Pack: «Компания обслуживает корпоративных клиентов в Турции и Германии». AI: «Компания обслуживает всех клиентов по всей Европе». Основная деятельность может быть верной. Объем существенно расширен. Эта ситуация:

• только частичная поддержка,
• только упущение

нет; это превышение отдельного объема.

74. ОШИБКА ЭПИСТЕМИЧЕСКОГО СТАТУСА

Пример: Truth Pack: «Согласно данным самой компании, она сообщает об успехе 98%». AI: «Независимые исследования доказали успех 98%». Число может быть одинаковым. Эпистемический статус неверен. Эту ошибку нельзя обнаружить, сравнивая только фактические числа.

75. ПРАВИЛЬНО, НО НЕСУЩЕСТВЕННОЕ УТВЕРЖДЕНИЕ

утверждение может быть поддержана Truth Pack. Однако она может не отвечать на задачу запроса. Точность и релевантность — разные измерения. Ответ может скрывать главный вопрос множеством правильной, но нерелевантной информации.

76. СОБЛЮДЕНИЕ НЕОПРЕДЕЛЕННОСТИ

Судьи не должны рассматривать неопределенность как наказание. Если Truth Pack не разрешен: «Эту утверждение невозможно окончательно проверить.» может быть точным представлением. Избегание ложной уверенности является качеством GEO.

77. РОЛИ СУДЕЙ

77.1. Извлечение утверждений

Разбивает ответ на атомарные утверждения. Не принимает решения о правдивости.

77.2. Разрешение сущностей

Оценивает, какому субъекту принадлежат заявления.

77.3. Картограф доказательств

Сопоставляет атомы с утверждениями и доказательствами Truth Pack.

77.4. Арбитр языка

Оценивает значение, тон, модальность и скрытые утверждения в оригинальном языке.

77.5. Галузевой арбитр

Оценивает контекст законодательства, здравоохранения, финансов, технической области или сектора.

77.6. Арбитр ссылок

Проверяет соответствие ссылок и заявлений, а также статус источника.

77.7. Рецензент упущений

Оценивает обязательные элементы ответа на требование и материальные недостатки.

77.8. Старший арбитр

Разрешает споры и утверждает окончательное атомарное решение.

77.9. Рецензент по апелляциям

Проводит рассмотрение апелляции независимо от первоначального рассмотрения. Роли могут объединяться в небольшом пилотном проекте. Какие роли объединены, следует объяснить.

78. КВАЛИФИКАЦИЯ АРБИТРА

Арбитр должен обладать следующими компетенциями в мере их актуальности:

• Обучение протоколу
• Знание извлечения атомарных требований
• Высокая квалификация в соответствующем языке
• Использование пакета Truth
• Дифференциация статуса источника
• Анализ сущности
• Оценка объема и времени
• Компетенция в области высокого риска
• Осведомленность о конфликте интересов
• Обоснованное написание решения

Один арбитр не может принять решение, сказав: «Мне это показалось правильным».

79. ЯЗЫКОВОЙ АРБИТР

Судья:

• система,
• ответ,
• модальность,
• неявное значение,
• культурные или юридические термины

следует понимать на оригинальном языке. Машинный перевод может помочь. Это не окончательное решение о значении. Если в языках с ограниченными ресурсами нельзя найти достаточное количество арбитров:

ОТСУТСТВИЕ_ЯЗЫКОВОЙ_ЭКСПЕРТИЗЫ_ОЦЕНЩИКОВ

следует использовать статус.

80. ЭКСПЕРТ ПО ПОЛЮ

Следующие утверждения могут потребовать соответствующего экспертного обзора:

• Юридическая лицензия
• Орган здравоохранения
• Финансовый продукт
• Утверждение безопасности
• Технический сертификат
• Статистическая производительность
• Регуляторное решение
• Консультация высокого риска

Общий языковой арбитр не должен самостоятельно принимать окончательное решение по делу, требующему экспертизы.

81. НЕЗАВИСИМОСТЬ АРБИТРА

Арбитр должен раскрывать следующие виды отношений:

• Работа или консультирование в проверяемой организации
• Отношения с поставщиком ИИ
• Отношения с конкурирующим учреждением
• Доход, зависящий от результата, получаемый от аудиторских гонораров
• Коммерческие отношения с автором или органом, устанавливающим стандарты
• Ранее публично выраженное сильное мнение
• Быть источником утверждения

Конфликт интересов:

• автоматическое исключение,
• ограниченная роль
• дополнительный независимый арбитр

может потребоваться.

82. ОПЛАТА АРБИТРА ПО РЕЗУЛЬТАТАМ

Ставка арбитра:

• высокий балл,
• низкая ошибка,
• быстрый срок выполнения,
• удовлетворенность клиентов

не удается определить. Ставка:

• объем задач,
• экспертиза,
• обзор в соответствии с протоколом

следует учитывать для.

83. СЛЕПОТА АРБИТРА

Насколько это возможно, следующая информация может быть скрыта от оценщиков:

• Поставщик ИИ-продукта
• Если план или бренд не имеют значения для смысла утверждения
• Статус клиента проверяемой организации
• Предыдущий балл
• Коммерческая цель
• Другое решение по оценке
• Эффект конечного знака

Однако:

• сущность,
• время,
• Объём продукта

Не может быть скрыт, если это необходимо для принятия решения. Слепота не должна разрушать смысл.

84. ДВОЙНАЯ ОЦЕНКА

Основные материальные утверждения могут оцениваться как минимум двумя независимыми экспертами. Структура кандидата:

• Консультативные и низкорисковые утверждения: один эксперт + выборочный контроль качества
• Ключевые/критические кандидаты: обязательная двойная оценка
• Право, здоровье и финансы: языковой эксперт + отраслевой эксперт
• утверждение по цитированию: семантический эксперт + эксперт по цитированию

Версия должна определенно соответствовать классу риска.

85. РАЗНОГЛАСИЯ МЕЖДУ ЭКСПЕРТАМИ

Эксперты могут иметь разногласия в следующих областях:

• Атомарная граница
• Сущность
• Неявное утверждение
• Совпадение с пакетом истин
• Область
• Время
• Модальность
• Поддержка ссылкой
• Пропуск
• Кандидат на значимость

Разногласия не должны скрываться.

86. РАЗРЕШЕНИЕ СПОРОВ

Рейтинг кандидатов: арбитры принимают свои решения независимо. Система автоматически отмечает расхождения. Арбитры могут видеть обоснования, но исходная запись сохраняется. Примирение осуществляется в соответствии с правилом открытого протокола. Если примирение не произошло, решение принимает старший арбитр. В областях с высоким техническим риском привлекается дополнительный эксперт. Нерешенные споры сохраняются как U-6. Особые мнения могут быть добавлены в окончательную запись.

87. ПРЕДЕЛ ГОЛОСОВАНИЯ БОЛЬШИНСТВОМ

Согласие двух из трёх арбитров может быть недостаточным само по себе. Два общих арбитра против одного экспертного арбитра:

• юридический,
• медицинский,
• технический

не могут принять решение большинством голосов по вопросу. Полномочия по принятию решения зависят от компетенции, соответствующей типу иска.

88. СОГЛАСОВАННОСТЬ МЕЖДУ АРБИТРАМИ

Согласованность следует измерять отдельно в следующих областях:

• Соглашение по границам иска
• Соглашение по разрешению сущностей
• Соглашение по фактическому статусу
• Соглашение по объёму
• Согласие по времени
• Соглашение о поддержке ссылок
• Соглашение по упущениям
• Согласие по общей маркировке

Один общий коэффициент согласия может скрывать, в какой области есть проблема.

89. ПРОСТОЙ КОЭФФИЦИЕНТ СОГЛАСИЯ

Доля утверждений, по которым два оценщика приняли одинаковое решение:

A= количество утверждений с одинаковым решением / количество утверждений, оцененных парами

можно рассчитать. Это просто. Не разделяет согласие и случайность.

90. KAPPA И ALPHA

Для номинальных решений с двумя оценщиками можно использовать коэффициент каппа Коэна; для нескольких оценщиков, отсутствующих кодов или различных шкал, можно использовать такие показатели, как альфа Криппендорфа. Мера должна выбираться на основе структуры данных и шкалы решения; следует сообщать показатели сырой согласованности, распределение расхождений и неопределённость вместе [K27; K28]. GEO-1000 не следует полагаться на одну метрику согласованности. Соответствующий отчёт должен показывать:

• Сырая согласованность
• Согласованность с учётом случайности
• Согласованность по измерениям
• Наиболее частые типы расхождений
• Результаты до и после согласования

91. ЦЕЛЕВЫЕ ПОКАЗАТЕЛИ ПОСТОЯНСТВА КАНДИДАТА

ЦЕЛЕВЫЕ КАНДИДАТЫ

Для окончательного утверждения через пилотное и внешнее рецензирование:

• Высокое и стабильное согласие для общей атомарной согласованности решений
• Гораздо более точное согласие для кандидатов высокой/критической важности
• Низкое расхождение в терминах сущности и объема
• Отдельная калибровка в языковых и цитатных областях
• Если согласованность недостаточна, требуется повторное обучение и перекодирование перед публичной оценкой

Один лишь показатель недостаточен, чтобы сказать: 'Судьи надежны.'

92. ВЫСОКАЯ СОГЛАСОВАННОСТЬ НЕ ВСЕГДА ЗНАЧИТ ТОЧНОСТЬ

Все арбитры могли выучить одно и то же неправильное правило. Поэтому согласие арбитров следует рассматривать вместе с:

• внешняя экспертная оценка
• примеры золотого стандарта,
• независимая переоценка
• результаты апелляции

Высокое согласие: указывает на общую согласованность. Не гарантирует абсолютной точности.

93. НАБОР ДЛЯ КАЛИБРОВКИ

Перед тем как судьи соберут данные или проведут первичный обзор:

• синтетические ответы,
• реальные примеры вне аудита,
• ясные и сложные случаи,
• путаница с сущностями,
• ошибки атрибуции,
• случаи Пробел в эталонных данных,
• соответствующие примеры неопределенности

должны быть откалиброваны. Набор для калибровки должен храниться отдельно от основных наблюдений по оценкам.

94. СЛУЧАЙ «ЗОЛОТОЙ СТАНДАРТ»

Некоторые примеры были детально разрешены экспертной комиссией:

Могут быть сохранены как случаи золотого утверждения

Эти случаи:

• используются для обучения арбитров,
• контроля дрейфа,
• тестирования программного обеспечения

Набор золотого стандарта:

• не может быть мнением одного человека,
• желаемый ответ проверяемой организацией

Это не может быть мнением одного человека или ответом, предпочтительным для проверяемой организации.

95. ДРИФТ АРБИТРА

Арбитры со временем:

• становятся строже,
• становятся более мягкими,
• становятся нечувствительными к определённым типам ошибок

возможно. Контроли:

• Периодическая перекалибровка
• Скрытые повторные кейсы
• Волновой анализ согласованности
• Распределение решений по арбитрам
• Сравнение с предыдущими решениями
• Переобучение при изменении версии протокола

96. ЭФФЕКТ АДЖУДИКАТОРА

Некоторые аджудикаторы систематически оценивают выше или ниже ошибку. Идентичность аджудикатора в анализе:

• переменная контроля качества,
• может учитываться как случайный или фиксированный эффект,
• сигнал аномалии

Результат аджудикатора не должен быть невидимым определителем коммерческого рейтинга.

97. ИСПОЛЬЗОВАНИЕ ИИ АДЖУДИКАТОРОМ

Аджудикатор может использовать инструменты ИИ для следующих целей:

• предложение сегментации текста
• извлечение проекта иска
• Поиск Truth Pack
• сравнение источников
• маркировка конфликтов
• помощь в переводе
• генерация записи JSON

Предложение ИИ не является окончательным решением. Арбитр:

• принять рекомендацию,
• изменить,
• отклонить

должен зафиксировать своё решение.

98. ТОТ ЖЕ ИИ, КТО САМОСТОЯТЕЛЬНО ПРОВЕРЯЕТ СВОЙ ОТВЕТ

Тот же продукт ИИ, который формирует ответ:

• свои собственные утверждения,
• свои собственные источники,
• свою собственную правильность

нельзя оценивать самостоятельно. Эта система:

• может использоваться для вспомогательной самокритики,
• вывод кандидата на ошибку

Это не окончательный независимый экспертный обзор.

99. ОБОСНОВАНИЕ РЕШЕНИЯ ЭКСПЕРТНОГО ОБЗОРА

Каждое финансовое неблагоприятное или неразрешенное решение должно как минимум включать следующее:

• Код решения
• Ссылка на Truth Pack
• Доказательства или контрдоказательства
• Объяснение охвата и сроков
• Трассировка исходного текста
• Краткое обоснование
• Личность или роль арбитра
• Дата
• Версия

«Выглядит неправильно» — недостаточное оправдание.

100. ВЕРСИИ ДЛЯ АДЬЮДИКАТОРОВ

Решение по утверждения может измениться. Пример:

• Первоначальное решение: Без подтверждения
• Новые доказательства: Ограниченно проверено
• Результат апелляции: Подкреплено оговоркой

Каждое решение:

• отдельная версия,
• Причина изменений,
• Изменённая версия партитуры

Он должен быть таким. Старое решение не стирается.

101. ПРАВО ВОЗРАЖЕНИЯ

Стороны, которые могут возражать:

• Проверяемый объект
• Поставщик ИИ
• Участник, касательно захвата или перевода
• Судья
• Независимый исследователь
• Владелец источника
• Пострадавший пользователь или организация

Возражение не может быть просто: 'Мне не нравится результат.' Оно должно демонстрировать основание утверждения, доказательства, правило или процесс.

102. ТИПЫ ВОЗРАЖЕНИЙ

Возражение по извлечению утверждения, возражение по разрешению сущностей, возражение по пакету правды, возражение по объему, возражение по времени, возражение по приписыванию, возражение по сопоставлению цитат, возражение по упущению, возражение по языку и переводу, возражение по конфликту интересов судьи, возражение по версии протокола

103. ПОВТОРНОЕ РАССМОТРЕНИЕ

Если возражение кажется приемлемым:

• независимо от первого арбитра,
• если возможно, не зная предыдущего результата,
• обладая соответствующими языковыми и тематическими знаниями

должен быть назначен новый арбитр. Исходное решение и обоснование сохраняются.

104. ВЛИЯНИЕ ВОЗРАЖЕНИЯ НА ОЦЕНКУ

Во время рассмотрения возражения результат:

ОКОНЧАТЕЛЬНО

ПРОВИЗОРНОЕ

В АПЕЛЛЯЦИИ

ПРИОСТАНОВЛЕНО

ИЗМЕНЕНО

может иметь статус. Апелляция не автоматически останавливает всю книгу или аудит. Затронутая утверждение и поле оценки четко указаны.

105. СИНТЕТИЧЕСКОЕ ДЕЛО ПО РАССМОТРЕНИЮ APPLE.COM

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Ниже приведенные утверждения и решения не являются результатом реального аудита Apple Inc. или настоящего ИИ-продукта. Запрос: «С какой основной организацией связана Apple.com и каковы основные виды деятельности этой организации?» Ответ AI: «Apple.com является официальным сайтом глобальной технологической компании под названием Apple. Компания производит iPhones и Mac, предоставляет цифровые услуги и является одной из самых инновационных компаний в мире. Ее продукция продается по одинаковой цене во всех странах.»

105.1. Атом A-001

Трассировка текста: «Apple.com является официальным сайтом компании под названием Apple.» Нормализованное утверждение: apple.com является официальной цифровой площадкой, связанной с основной корпоративной структурой под названием Apple. Решение:

• Сущность: E-1
• Факт: F-1
• Область: S-1
• Время: T-1
• Атрибуция: A-1
• Актуальность: R-1

Общий результат:

ПОДДЕРЖИВАЕТСЯ

105.2. Атом A-002

Трассировка текста: «глобальная технологическая компания» Нормализованные утверждения: Apple — технологическая компания. Apple работает или имеет доступ по всему миру. Первое утверждение может быть подтверждено. Второе утверждение требует отдельной записи области.

105.3. Атом A-003

Компания производит iPhones. Это отдельный продукт и утверждение о производстве.

105.4. Атом A-004

Компания производит Mac. Это отдельное утверждение о продукте.

105.5. Атом A-005

Компания предоставляет цифровые услуги. Это утверждение о деятельности.

105.6. Атом A-006

Компания является самой инновационной компанией в мире. Кандидат на решение:

• Факт: F-5 или F-6
• Область: S-4
• Атрибуция: A-3, если подтверждено на основании заявлений самой компании
• Модальность: M-5
• Актуальность: R-4

Объединено:

НЕПОДДЕРЖИВАЕМЫЙ СУПЕРЛЯТЕРАЛ + ЛОЖНЫЙ АБСОЛЮТНЫЙ КАНДИДАТ

105.7. Атом A-007

Продукты продаются по одинаковой цене во всех странах. Решение:

• Факт: F-6
• Область: S-4 или S-5
• Модальность: M-5
• Время: T-1

Объединено:

ПРОТИВОРЕЧИВО + ЧРЕЗМЕРНОЕ РАСШИРЕНИЕ ОБЛАСТИ МАТЕРИАЛА

Ваш ответ:

• правильная идентичность,
• правильная основная деятельность,
• неверная превосходность,
• неверная глобальная цена

его компоненты появлялись отдельно.

106. СЛУЧАЙ СИНТЕТИЧЕСКОЙ АТРИБУЦИИ АСТЕРОН

Ответ ИИ: «На собственном сайте Asteron заявляет, что работает в 25 странах и имеет уровень успеха 98%; однако методология этих данных не может быть независимо проверена.» Атомы:

Атом B-001

На сайте Asteron размещено утверждение о работе в 25 странах. Truth Pack: запись официального представителя содержит это предложение. Решение:

F-4— ОФИЦИАЛЬНОЕ УТВЕРЖДЕНИЕ ТОЧНО ПРИСВОЕНО

Атом B-002

На сайте Asteron размещено утверждение о 98% уровне успеха. Решение:

F-4

Атом B-003

Методология этих данных не может быть независимо проверена. Truth Pack:

• Отсутствуют знаменатель, период и метод
• Независимая проверка отсутствует

Решение:

ПОДДЕРЖИВАЕТСЯ

Атом B-004

Ответ напрямую не принимает значения стран 25 и 98 процентов как реальность. Это можно зафиксировать как отдельное положительное эпистемическое поведение:

СТАТУС СОХРАНЕН

Хотя ответ повторил своё собственное утверждение, он не превратил его в материальную реальность.

107. СИНТЕТИЧЕСКИЙ Пробел в эталонных данных СЛУЧАЙ

ИИ: «Asteron приобрела небольшую компанию под названием Solaris в 2025». В зафиксированном комплексе Truth Pack об этом нет записей. Арбитр не может прямо сказать: «Неверно». Правильный порядок действий: извлекается атомарное утверждение. F-7— Пробел в эталонных данных предоставляется. Исследуется источник или ссылка. Инициируется новый поиск доказательств. Если утверждение верно, оно добавляется в версию Truth Pack 0.10.0. Все соответствующие ответы переоцениваются по новой версии. Старая версия арбитра сохраняется.

108. СЛУЧАЙ ИСКУССТВЕННОГО УПУЩЕНИЯ

Запрос: «Каких клиентов обслуживает Asteron в Турции и какие услуги она не предоставляет?» Комплекс Truth Pack:

• Только корпоративные клиенты
• Управление корпоративными поездками
• Нет юридических и иммиграционных консультаций

Ответ ИИ: «Asteron предоставляет услуги по управлению путешествиями в Турции.» Неверных утверждений нет. Однако:

• тип клиента не указан,
• отсутствуют услуги, которые не предоставляются,

вторая часть запроса не была отвечена. Решения:

• OM-2: тип клиента не указан
• OM-2: отсутствуют услуги, которые не предоставляются
• Актуальность: частично соответствует

Ответ без ошибок все еще не полностью соответствует задаче.

109. СЛУЧАЙ СИНТЕТИЧЕСКОЙ ССЫЛКИ

ИИ: «Asteron получил независимую сертификацию. [Источник]» Ссылка: Это собственный блог Asteron. В блоге говорится, что компания публикует собственный стандарт. Он не демонстрирует независимую сертификацию. Атрибуты: Asteron сертифицирован. Сертификация независимая. Цитируемый источник поддерживает эти утверждения. Решения:

• Атом 1: Не подтверждено или противоречит
• Атом 2: Противоречит
• Атом 3: C-5 неуместно или C-3 только для атрибуции
• Атрибуция: A-4 ложное утверждение о независимости

Одиночная ссылка не делает ответ обоснованным.

110. СТАТУСЫ КАЧЕСТВА АРБИТРА

AQ-0— НЕ ГОТОВО

Система вынесения решений, Truth Pack или обучение недостаточны.

AQ-1— ОДНОКРАТНЫЙ НЕОТКАЛИБРОВАННЫЙ ОБЗОР

Есть один арбитр и ограниченная запись метода. Можно использовать для исследования.

AQ-2— ОТКАЛИБРОВАННЫЙ ОДНОКРАТНЫЙ ОБЗОР С QC

Есть откалиброванный арбитр и выборочная повторная проверка.

AQ-3— ДВОЙНАЯ ВЫНОСИТЕЛЬНАЯ АДЖУДИКАЦИЯ

Материальные утверждения проходят двойную проверку и процесс разрешения разногласий. Минимальный уровень кандидата для основного аудита.

AQ-4— ПОДТВЕРЖДЕНО ЭКСПЕРТОМ И ЯЗЫКОМ

Области, требующие знаний языка и экспертизы, были рассмотрены соответствующими арбитрами.

AQ-5— РЕПЛИЦИРОВАНО И ПРОВЕРЕНО ВНЕШНЕЙ АУДИТОРСКОЙ КОМПАНИЕЙ

Система арбитража была реплицирована в независимых приложениях и проверена внешней аудиторской организацией. Основной публичный аудит GEO-1000 как минимум:

AQ-3

должен нацеливаться на этот уровень.

111. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH14-N01

Каждый существенный ответ ИИ должен быть разложен на атомарные утверждения до того, как будет принято решение на уровне ответа.

CH14-N02

Границы предложений и абзацев не могут автоматически считаться границами утверждений.

CH14-N03

Каждое атомарное утверждение должно содержать оригинальный текст, нормализованный смысл, субъект, предикат, значение, область применения, время, атрибуцию и модальность.

CH14-N04

Если разные части текста могут обладать отдельным статусом истины или отдельным статусом доказательства, должны быть созданы отдельные атомы.

CH14-N05

Атомизация не может быть разбита на такие мелкие части, чтобы утверждение потеряло свой истинный смысл.

CH14-N06

Серьезное ложное утверждение нельзя разбавлять большим количеством тривиальных истинных частей.

CH14-N07

«Утверждения вроде 'Существует' или 'Есть страна' не могут использоваться как отдельные достижения при производстве микроатомного счета.»

CH14-N08

Явные, подразумеваемые, пресуппозиционные и разумно вытекающие утверждения должны фиксироваться с отдельными статусами.

CH14-N09

Вывод скрытого утверждения не может превращаться в спекуляцию или собственное толкование судьи.

CH14-N10

Атрибуция, модальность, квантификатор, отрицание, время и область действия должны сохраняться как материальная часть утверждения.

CH14-N11

Выражение «Компания заявляет» не может быть нормализовано до формы «реальность доказана».

CH14-N12

Правильная передача самозаявления и материальная точность самозаявления должны оцениваться отдельно.

CH14-N13

«Доказательств не найдено», «неподтверждено» и «противоречиво» являются отдельными атомарными результатами.

CH14-N14

Отсутствие доказательств не может быть преобразовано в фактическое отсутствие.

CH14-N15

Негативные утверждения следует различать по поводу отсутствия реальности, отсутствия проверки и выхода за пределы области охвата.

CH14-N16

Количественные выражения, такие как «все», «большинство», «некоторые», «ни один», «по крайней мере один» и подобные, должны сохраняться.

CH14-N17

Абсолютные утверждения не могут считаться подтверждёнными более узкими доказательствами.

CH14-N18

Если сущность и корреференция не могут быть разрешены, арбитр не может предполагать желаемый им субъект; он должен присвоить статус неопределённости.

CH14-N19

Заявления о материнской компании, дочерней компании, бренде, продукте, отдельной личности, франшизе и дистрибьюторе должны иметь отдельные записи сущностей.

CH14-N20

Разные страны, продукты или временные рамки в одном предложении должны оцениваться отдельно.

CH14-N21

Историческая точность не может выдавать себя за текущую точность.

CH14-N22

Выражения относительного времени должны быть связаны с абсолютным временем, когда генерируется ответ.

CH14-N23

География, язык, локаль, местная компания и доступность услуги не могут использоваться взаимозаменяемо.

CH14-N24

В количественных утверждениях должны сохраняться число, единица измерения, знаменатель, период и приблизительная точность.

CH14-N25

«Около 500» и «ровно 500» не могут считаться одинаковыми утверждениями.

CH14-N26

Сравнительные утверждения не могут считаться полностью подтвержденными без конкурирующей вселенной, критерия, времени и объема.

CH14-N27

Рекомендационное утверждение не может быть представлено как универсальное решение о пригодности без определения потребности пользователя и объема.

CH14-N28

Наличие цитаты не означает, что цитата подтверждает утверждение.

CH14-N29

Каждое содержательное утверждение должно быть связано отдельно с соответствующей ссылкой.

CH14-N30

Само заявление о цитате, подтверждающей само себя, не может использоваться в качестве доказательства материальной истины.

CH14-N31

Несуществующие, неразрешимые или неправильные источники не могут считаться поддержкой для цитирования.

CH14-N32

Отказы, уточнения, технические ошибки и утверждения о пустом ответе не должны расщепляться на атомарные элементы; их следует фиксировать как отдельные типы поведения при ответе.

CH14-N33

Необходимые элементы ответа для каждой группы промптов должны быть определены до сбора данных.

CH14-N34

Поскольку каждая единица информации в Truth Pack не присутствует в ответе, это не может считаться пропуском.

CH14-N35

Материальные пропуски следует фиксировать только в том случае, если отсутствует необходимый элемент с точки зрения требований задания, решения пользователя или создается неправильное впечатление.

CH14-N36

Вводящие в заблуждение пропуски следует фиксировать как решение, отдельное, но связанное с материально ложным утверждением.

CH14-N37

Правильная, но не относящаяся к делу информация не должна считаться выполнением задачи по запросу.

CH14-N38

Каждое атомарное утверждение должно иметь центральное значение и роль в ответе.

CH14-N39

Количество атомов само по себе не может определять вес в оценке ответа.

CH14-N40

Зависимые и производные заявки должны быть связаны друг с другом в Графе Зависимостей Заявок.

CH14-N41

Несколько заявок, выведенных из одной и той же исходной ошибки, не должны приводить к нескольким штрафам без объяснения.

CH14-N42

Извлечение заявок и семантическое рассмотрение должны осуществляться как отдельные этапы и роли по возможности.

CH14-N43

Извлекатель заявок не может менять атомарную границу при принятии решения о корректности.

CH14-N44

Пакет Truth не может ограничивать извлечение заявок таким образом, который приведет только к извлечению известных заявок.

CH14-N45

Каждый атом должен быть записан в Реестре Заявок с версионным учетом.

CH14-N46

Каждый атом должен быть связан с соответствующим утверждением Truth Pack, Пробел в эталонных данных, или статусом вне области применения.

CH14-N47

Решение не может ограничиваться только меткой истина–ложь; оно должно содержать измерения существования, фактической поддержки, охвата, времени, атрибуции, модальности, цитирования, актуальности и нерешённости.

CH14-N48

Объединённая атомарная метка не может заменить детальный вектор решений.

CH14-N49

SUPPORTED требует правильного объекта, допустимого охвата, корректного времени и сохранённого эпистемического статуса.

CH14-N50

UNSUPPORTED и CONTRADICTED должны храниться отдельно.

CH14-N51

Точная информация, принадлежащая другому субъекту, должна рассматриваться как неверная сущность в целевом требовании.

CH14-N52

Даже если устаревшее утверждение исторически верно, его не следует подвергать требованиям, актуальным в настоящее время.

CH14-N53

Превышение объема полномочий не может быть оправдано тем, что часть основного факта верна.

CH14-N54

Ошибка статуса источника не может быть сделана невидимой из-за правильного числового значения.

CH14-N55

Соответствующая степень неопределенности не должна считаться неудачей.

CH14-N56

Необоснованное превращение надежно подтвержденной реальности в неопределенность следует записывать отдельно с точки зрения полезности и качества представления.

CH14-N57

Пробел в эталонных данных не может создавать автоматический переход или автоматический сбой.

CH14-N58

Судья должен обладать необходимой экспертной компетенцией в соответствующей области для правильного языка и типа утверждения.

CH14-N59

Машинный перевод не может быть окончательным судьей модальности и подразумеваемого смысла в исходном языке.

CH14-N60

Кандидаты на получение оценки «Major» и «Critical» должны иметь как минимум двух независимых экспертов для оценки и необходимую экспертную проверку.

CH14-N61

Решения экспертов не могут быть изменены на основе коммерческого результата, значка, ожиданий клиента или репутации поставщика ИИ.

CH14-N62

Оплата работы экспертов не может быть связана с высокими или низкими оценками.

CH14-N63

Конфликты интересов экспертов должны фиксироваться, и при необходимости должны применяться ограничения по роли или независимая переоценка.

CH14-N64

При оценке должны применяться слепота к возможному предоставлению, коммерческому результату и предыдущим оценкам.

CH14-N65

Слепота не может применяться таким образом, чтобы препятствовать правильной оценке существования, объема или времени иска.

CH14-N66

Судьи должны принимать свои первоначальные решения независимо друг от друга.

CH14-N67

Споры и первоначальные решения по рассмотрению дела не могут быть удалены после согласования.

CH14-N68

Если согласия нет, необходимо привлечь старшего судью с соответствующей экспертизой или провести дополнительную экспертную оценку.

CH14-N69

Голосование большинства не может заменить требование наличия экспертизы в случае иска, требующего специализации.

CH14-N70

Согласие между аннотаторами должно отслеживаться отдельно по таким аспектам, как граница иска, объект, фактическая поддержка, объем, время, ссылка и упущение.

CH14-N71

Высокое согласие аннотаторов не может рассматриваться как единственное доказательство абсолютной правильности решений.

CH14-N72

Аннотаторы должны проходить обучение на синтетических и внешне-аудиторских калибровочных наборах перед основной работой с данными.

CH14-N73

Калибровочные ответы не могут быть добавлены к основному GEO-оцениванию.

CH14-N74

Дрейф арбитров следует отслеживать между волнами и версиями протокола.

CH14-N75

Инструменты ИИ могут помогать в извлечении утверждений и сопоставлении доказательств; они не могут самостоятельно принимать окончательное атомарное решение.

CH14-N76

Самооценка тем же продуктом ИИ, который сгенерировал ответ, не может считаться независимым окончательным арбитражем.

CH14-N77

Каждое существенное отрицательное, нерешенное или выходящее за рамки полномочий решение должно включать подтверждение с доказательствами и краткое обоснование.

CH14-N78

Когда решения по рассмотрению изменяются, необходимо создать новую версию, обоснование и запись о затронутом результате.

CH14-N79

Первоначальное решение и особое мнение должны сохраняться в процессе апелляции.

CH14-N80

Апелляционные проверки должны проводиться как можно более независимо от первоначального рассматривающего.

CH14-N81

Уровень качества рассмотрения должен быть виден в публичной записи метода.

CH14-N82

Основной публичный аудит должен стремиться к уровню как минимум AQ-3— двойная проверка рассмотрения или эквивалентному обоснованному уровню.

CH14-N83

Уровень подготовки к вынесению решения должен оцениваться независимо от оценки ИИ.

CH14-N84

Каждый реестр утверждений и окончательное решение по вынесению решения должны иметь человеческого или институционального владельца, который несет ответственность.

112. ФОРМЫ ОШИБОК

CH14-F01— ЕДИНОЕ РЕШЕНИЕ ДЛЯ ПРЕДЛОЖЕНИЯ

Предложение, содержащее несколько утверждений, объявляется полностью истинным или ложным.

CH14-F02— СРЕДНЕЕ ЗНАЧЕНИЕ ПАРАГРАФА

Серьезные ошибки в параграфе теряются в общем впечатлении.

CH14-F03— ЧРЕЗМЕРНОЕ АТОМИЗИРОВАНИЕ

Материальное утверждение разбито на бессмысленные микрочасти.

CH14-F04— ПОВЫШЕНИЕ ОЦЕНКИ С ПОМОЩЬЮ МИКРО-ИСТИН

Тривиальные истины, такие как «Есть компания», «Есть страна», размывают серьёзную ошибку.

CH14-F05— ОТСУТСТВИЕ АТОМИЗАЦИИ

Утверждения, требующие разных доказательств, сохраняются в одной записи.

CH14-F06— ИЗМЕНЕНИЕ ПРЕДЕЛА АТОМОВ В ЗАВИСИМОСТИ ОТ РЕЗУЛЬТАТА

Положительные ответы назначаются очень точным атомам, отрицательные — одному основному неверному атому.

CH14-F07— УДАЛЕНИЕ АТРИБУЦИИ

Фраза «Компания говорит» рассматривается как прямая реальность.

CH14-F08— УДАЛЕНИЕ МОДАЛЬНОСТИ

Фраза «Вероятно» оценивается как определённое утверждение.

CH14-F09— НАКАЗЫВАЕТ ЗА НЕУВЕРЕННОСТЬ

Если Truth Pack не разрешён, осторожный ответ считается ошибкой.

CH14-F10— ВОЗНАГРАЖДАЕТ ЗА ЛОЖНУЮ УВЕРЕННОСТЬ

Беглый и уверенный ответ получает высокий балл даже без доказательств.

CH14-F11— ИГНОРИРУЕТ ПРЕДПОЛОЖЕНИЕ

ИИ принимает предположение о руководстве или доверии в промпте, но отдельное утверждение не фиксируется.

CH14-F12— СЧИТАЕТ КАЖДОЕ УМООМЫСЛЕНИЕ УТВЕРЖДЕНИЕМ

Спекуляция арбитра приписывается ИИ.

CH14-F13— ИГНОРИРУЕТ ПОДРАЗУМЕВАЕМЫЕ УТВЕРЖДЕНИЯ

Материальные неточности, неизбежно передаваемые ответом, не фиксируются.

CH14-F14— ПРОИЗВОЛЬНОЕ РАЗРЕШЕНИЕ СОССЫЛОЧНОСТИ

Двусмысленное местоимение «компания» связывается с сущностью, желаемой арбитром.

CH14-F15— ОБЪЕДИНЕНИЕ НЕСКОЛЬКИХ СУЩНОСТЕЙ

Материнская компания и дочерняя становятся одним и тем же объектом иска.

CH14-F16— ПУТАНИЦА С ОТРИЦАТЕЛЬНЫМИ ДОКАЗАТЕЛЬСТВАМИ

Фраза «Не удалось проверить» кодируется как «не присутствует».

CH14-F17— УДАЛЕНИЕ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ

«Некоторые» и «все» считаются одним и тем же суждением.

CH14-F18— ПЕРЕДАЧА АБСОЛЮТНОГО УТВЕРЖДЕНИЯ С ОГРАНИЧЕННЫМИ ДОКАЗАТЕЛЬСТВАМИ

Один пример подтверждает утверждение «всегда».

CH14-F19— ПРИМЕНЕНИЕ ИСТОРИЧЕСКОЙ ИСТИНЫ К НАСТОЯЩЕМУ

Старая реальность считается правильной в текущем запросе.

CH14-F20— СВЯЗЫВАНИЕ ОТНОСИТЕЛЬНОГО ВРЕМЕНИ С ДАТОЙ АРБИТРА

Термин «сегодня» интерпретируется на основе дня проверки, а не времени ответа.

CH14-F21— РАССМОТРЕНИЕ ЯЗЫКА КАК ГЕОГРАФИИ

Немецкий ответ закодирован как операция Германии.

CH14-F22— ПРИСВАИВАНИЕ ПРИБЛИЗИТЕЛЬНОГО ЗНАЧЕНИЯ К ТОЧНОМУ ЧИСЛУ

Выражение «сотни» оценивается как точно 500.

CH14-F23— РАЗРЕШЕНИЕ СОБЛЮДЕНИЯ ОТСУТСТВИЯ ДРОБНОЙ ЧАСТИ

утверждение в 98 процентов рассматривается как проверенная без раскрытия метода.

CH14-F24— СОЗДАНИЕ СРАВНИТЕЛЬНОЙ ВСЕЛЕННОЙ

Судья добавляет собственный набор конкурентов к выражению «лучше».

CH14-F25— ПРИНИМАНИЕ ОБЩИХ СОВЕТОВ ЗА ПРАВИЛЬНЫЕ

Вердикт «лучший выбор» допускается без профиля пользователя.

CH14-F26— ПРИНЯТИЕ СУЩЕСТВОВАНИЯ ЦИТАТЫ КАК ПОДДЕРЖКИ

URL-адрес доказывает все утверждения.

CH14-F27— ПРИКРЕПИТЕ ЦИТАТУ В КОНЦЕ ПАРАГРАФА К КАЖДОМУ ПРЕДЛОЖЕНИЮ

Хотя источник поддерживает только одно утверждение, весь параграф включен.

CH14-F28— СЧИТАЙТЕ СОБСТВЕННОЕ ЗАЯВЛЕНИЕ НЕЗАВИСИМОЙ ЦИТАТОЙ

Блог компании закодирован как внешняя проверка.

CH14-F29— ИГНОРИРУЙТЕ ВЫДУМАННУЮ ЦИТАТУ

Некорректная цитата считается не влияющей на правильность ответа.

CH14-F30— СЧИТАЙТЕ ОТКАЗ СЛУЧАЕМ УТВЕРЖДЕНИЯ

Поведение политики преобразуется в некорректную атомарную структуру.

CH14-F31— СЧИТАЙТЕ УТОЧНЕНИЕ АВТОМАТИЧЕСКИЙ НЕУДАЧЕЙ

Реальная неопределённость сущности наказывает.

CH14-F32— УЧЁТ КАЖДОГО ОТСУТСТВУЮЩЕГО ФАКТА КАК ПРОПУСК

Ответ сравнивается с информацией бесконечного Пакета Истины.

CH14-F33— НЕ УЧЁТ МАТЕРИАЛЬНОГО ОГРАНИЧЕНИЯ КАК ПРОПУСК

Исключение, которое делает ответ вводящим в заблуждение, остаётся невидимым.

CH14-F34— ДАЁТ ПРАВИЛЬНЫЙ, НО НЕСВЯЗАННЫЙ ОТВЕТ

ИИ перечисляет правильную информацию, не отвечая на главный вопрос.

CH14-F35— УЧЁТ КОЛИЧЕСТВО АТОМОВ КАК ВЕС

Десять тривиальных правильных утверждений подавляют одно ключевое неправильное утверждение.

CH14-F36— ПРЕДОСТАВЛЕНИЕ утверждения ЦЕНТРАЛЬНОСТИ В СООТВЕТСТВИИ С РЕЗУЛЬТАТОМ

утверждения с низким баллом объявляются случайными.

CH14-F37— НАНЕСЕНИЕ МНОЖЕСТВЕННЫХ ШТРАФОВ ЗА ПОГРЕШНОСТЬ ПРОИЗВОДНОЙ

Один и тот же неправильный знаменатель наказывается многократно во многих зависимых утверждениях.

CH14-F38— ОБУЧЕНИЕ ИЗВЛЕКАТЕЛЯ утверждений ОТВЕТУ В ПАКЕТЕ ИСТИНЫ

Извлекаются только предполагаемые истины или ложные утверждения.

CH14-F39— ИГНОРИРОВАНИЕ утверждения, НЕ ВХОДЯЩЕЙ В ПАКЕТ ИСТИНЫ

Новая утверждение никогда не фиксируется.

CH14-F40— РАССМАТРИВАНИЕ Пробел в эталонных данных КАК НЕПРАВИЛЬНОЙ

Отсутствие ссылок превращается в сбой ИИ.

CH14-F41— ОДНОМЕРНОЕ СУДЕБНОЕ ОЦЕНИВАНИЕ

Сущность, область, время и атрибуция теряются в одной метке «истина–ложь».

CH14-F42— ИЗБЕЖАНИЕ АТОМИЗАЦИИ С ЧАСТИЧНОЙ МЕТКОЙ

Отделяемые утверждения остаются в одной частичной коробке.

CH14-F43— ПОДСЧЕТ неверная сущность КАК ПРАВИЛЬНОЙ ИНФОРМАЦИИ

Неправильный субъект игнорируется, потому что информация верна.

CH14-F44— СПАСЕНИЕ ЭПИСТЕМИЧЕСКОЙ ОШИБКИ С ПОМОЩЬЮ ЦИФРОВОЙ ТОЧНОСТИ

Процентное значение верно, даже если утверждение независимой проверки ошибочно, ответ проходит.

CH14-F45— ПРИНИМАНИЕ ОСТОРОЖНОСТИ ЗА СЛАБОСТЬ

Правильная неопределённость наказывается, когда доказательств мало.

CH14-F46— ИГНОРИРОВАНИЕ ЧРЕЗМЕРНОЙ ОГРАНИЧЕННОСТИ

Сильная реальность представлена с неприемлемо высокой неопределённостью.

CH14-F47— ПРИНЯТИЕ РЕШЕНИЯ С НЮАНСАМИ БЕЗ ЯЗЫКОВОГО АРБИТРАЖА

Модуляции и скрытые значения фиксируются с помощью машинного перевода.

CH14-F48— ОСТАВЛЕНИЕ утверждения, ТРЕБУЮЩЕЙ ЭКСПЕРТНОЙ ОЦЕНКИ, ОБЩЕМУ АРБИТРУ

Лицензия или решение органа здравоохранения принимается без консультации эксперта.

CH14-F49— РАССМОТРЕНИЕ СОТРУДНИКА АУДИРУЕМОЙ КОМПАНИИ КАК НЕЗАВИСИМОГО АРБИТРА

Конфликт интересов скрыт.

CH14-F50— ВОЗНАГРАЖДЕНИЕ АРБИТРА НА ОСНОВЕ РЕЗУЛЬТАТА

Высокая текучесть или удовлетворенность клиентов вознаграждаются.

CH14-F51— ПОКАЗ ОБЩЕГО РЕЗУЛЬТАТА АРБИТРУ

Атомарные решения изменяются для согласования с общим результатом.

CH14-F52— ВЛИЯНИЕ НА ВТОРОГО АРБИТРА ПОКАЗОМ РЕШЕНИЯ ПЕРВОГО АРБИТРА

Независимое двойное арбитражное разбирательство нарушено.

CH14-F53— УДАЛЕНИЕ ПЕРВОНАЧАЛЬНЫХ РЕШЕНИЙ В КОНСЕНСУСЕ

Истинный уровень разногласий становится невидимым.

CH14-F54— ОТМЕНА ЭКСПЕРТА ПО ГОЛОСУ БОЛЬШИНСТВА

Профессиональная экспертиза побеждается численным превосходством.

CH14-F55— ПУБЛИКАЦИЯ ТОЛЬКО ОБЩЕГО СОГЛАСИЯ

Низкий уровень согласия в теме или эталонной области скрывается.

CH14-F56— ПРИНЯТИЕ ВЫСОКОГО СООГЛАСИЯ ЗА АБСОЛЮТНУЮ ПРАВИЛЬНОСТЬ

Игнорируется возможность того, что все оценщики могли усвоить одну и ту же ошибку.

CH14-F57— ДОБАВЛЕНИЕ КАЛИБРОВОЧНЫХ ОТВЕТОВ В ОСНОВНОЙ БАЛЛ

Обучение оценщиков засчитывается как фактическое наблюдение.

CH14-F58— ИГНОРИРОВАНИЕ ДРОФТА АРБИТРА

Он тихо меняется между волнами.

CH14-F59— ПРИНЯТИЕ ПРЕДЛОЖЕНИЯ ИИ КАК ОКОНЧАТЕЛЬНОГО РЕШЕНИЯ

Человеческий арбитр только утверждает автоматическую метку.

CH14-F60— ПРЕВРАЩЕНИЕ ТОГО ЖЕ ИИ В СОБСТВЕННОГО АРБИТРА

Система-генератор самостоятельно заявляет свою правильность.

CH14-F61— НЕОБОСНОВАННОЕ ОТРИЦАТЕЛЬНОЕ РЕШЕНИЕ

Арбитр говорит «неправильно», но не показывает доказательств или правил.

CH14-F62— ТИХАЯ КОРРЕКЦИЯ АРБИТРА

Метка изменена без истории решений.

CH14-F63— ПРЕВРАЩЕНИЕ ОБРАЩЕНИЯ В ПРОЦЕСС УДОВЛЕТВОРЕНИЯ КЛИЕНТА

Вместо доказательств коммерческое давление изменяет решение.

CH14-F64— ПЕРЕСМОТР СОБСТВЕННОГО ОБРАЩЕНИЯ ПЕРВОНАЧАЛЬНОГО АДВОКАТА

Никакой независимой переоценки не проводится.

CH14-F65— СОХРАНЕНИЕ ОТКРЫТОГО ВОЗРАЖЕНИЯ КАК ОКОНЧАТЕЛЬНОГО РЕШЕНИЯ

Статус «в ожидании» не отображается в публичном результате.

CH14-F66— СКРЫТИЕ УРОВНЯ КАЧЕСТВА АДВОКАТА

Единичный, некалиброванный обзор представлен как полный независимый аудит.

113. ПРОЦЕДУРА АУДИТА

Шаг 1— Проверить действительность захвата

Только наблюдения, признанные допустимыми в Главе 12, подлежат семантическому рассмотрению.

Шаг 2— Связать версии запроса и пакета правды

Ответ оценивается с учетом правильного намерения и времени ссылки.

Шаг 3— Зафиксировать полный ответ

Текст ответа не может быть изменен во время рассмотрения.

Шаг 4— Разделить поведения ответа

Отказ, уточнение, ошибка и пустые ответы отделяются от фактических утверждений.

Шаг 5— Выполнить начальную семантическую сегментацию

Идентифицируются предложения и области материального выражения.

Шаг 6— Применить тесты атомарности

Положения, требующие отдельной правильности, доказательств, существования и охвата, разделены.

Шаг 7— Проверка на избыточную атомизацию

Бессмысленные микро-утверждения объединяются.

Шаг 8— Запись явных и неявных утверждений

Отмечены источники предположений и следствий.

Шаг 9— Разрешение сущностей и кореферентности

Если возникает неоднозначность, конкретный субъект не выдумывается.

Шаг 10— Добавление квалификаторов

Сохраняются атрибуция, модальность, квантор, время и охват.

Шаг 11— Назначить центральность утверждения

Присваивается статус основной, поддерживающей, квалифицирующей, случайной или несущественной.

Шаг 12— Построить граф зависимостей утверждений

Корневые и производные утверждения связываются друг с другом.

Шаг 13— Проверить обязательные элементы ответа

Проверяется наличие необходимых элементов для семейства петиций.

Шаг 14— Создать записи о пропусках

Записываются только материальные и связанные с обязанностями недостатки.

Шаг 15— Заморозить реестр утверждений

Версия извлечения утверждения блокируется перед проведением экспертной проверки.

Шаг 16— Сопоставьте атомы с Truth Pack

Определено существующее утверждение Пробел в эталонных данных или ситуация вне области применения.

Шаг 17— Настройка карты цитирования

В какой степени каждая цитата поддерживает какой атом?

Шаг 18— Первый арбитр выносит измеренное решение

Оцениваются субъект, факт, область, время, атрибуция, модальность, ссылка и релевантность.

Шаг 19— Второй арбитр выносит независимое решение

Результат первого арбитра остаётся скрытым.

Шаг 20— Применение требования эксперта-арбитра

Высокорисковые или технические утверждения направляются подходящему эксперту.

Шаг 21— Рассчитать согласие арбитра

Выявляются соглашения по измерениям и виды расхождений.

Шаг 22— Применить разрешение споров

Согласование осуществляется старшим арбитром или дополнительным экспертным процессом.

Шаг 23— Зафиксировать окончательное атомарное решение

Вектор решения, объединённая метка и обоснование записываются.

Шаг 24— Зафиксировать поведение при пропусках и ответах

Результаты без утверждений также завершаются.

Шаг 25— Назначить статус качества рассмотрения

Соответствующий уровень назначается между AQ-0 и AQ-5.

Шаг 26— Открыть окно апелляции

Заинтересованные стороны могут подавать апелляцию на уровне утверждения и доказательств.

Шаг 27— Обработка новых доказательств или Пробел в эталонных данных

Если Truth Pack изменяется, создается новая версия рассмотрения.

Шаг 28— Создать публичный манифест утверждений

Распространение утверждений и решений публикуется без личных данных.

114. ТРЕБУЕМАЯ ДОКАЗАТЕЛЬСТВО

ID наблюдения; запись достоверности захвата; запись в реестре ИИ-системы; статус панели; ID и версия запроса; полный ответ ИИ; язык ответа и локаль; ID и версия Truth Pack; версия извлечения утверждений; исходные текстовые фрагменты; нормализованные атомарные утверждения; явный, неявный и предположительный статус; записи сущностей и кореферентов; атрибуция; модальность; квантификатор; отрицание; время и география; область продуктов и услуг; число и единица; центральность утверждения; граф зависимостей утверждений; Требуемые элементы ответа; записи об упущениях; список цитат; карта цитата–утверждение; совпадения Truth Pack; записи Пробел в эталонных данных; решение первого эксперта; решение второго эксперта; решение эксперта по предметной области; решение по языковому арбитру; решение по цитатному арбитру; споры; запись согласования; решение старшего арбитра; вектора решений; и комбинированные атомарные метки.

Обоснования решений Записи о личности или роли арбитра Квалификация арбитра Записи о конфликте интересов Статус сокрытия Согласие между арбитрами Сырые данные и данные после консенсуса Калибровочный набор Золотые случаи Анализ дрейфа арбитра Записи инструментов помощника ИИ Апелляции Переоценка Противоположное мнение Версии решений Статус качества арбитража Общественное требование Манифест Ответственное лицо или организация

115. ЧЕК-ЛИСТ АУДИТА

Была ли действительность захвата проверена до семантической оценки? Зависит ли ответ от правильного утверждения и версии пакета Truth Pack? Сохраняется ли полный текст ответа? Были ли отказ и уточнение отделены от утверждений? Засчитывались ли предложения автоматически как одно утверждение? Были ли положения, требующие отдельного доказательства, отделены? Атомы слишком малы? Серьезные ошибки размываются небольшими истинами? Были ли записаны явные утверждения? Получались ли скрытые утверждения только с обязательным смыслом? Было ли утверждение, принятое ИИ, отделено от предварительного предположения промпта? Сохраняется ли атрибуция? Сохраняются ли модальность и неопределенность? Было ли отрицание интерпретировано правильно? Были ли сохранены выражения вроде «все», «некоторые», «большинство»? Были ли правильно разрешены сущности и местоимения? Была ли неопределённая сущность выбрана случайным образом?

Была ли перепутана материнская компания и бренд? Верны ли сроки? Связан ли «Сегодня» с датой ответа? Разделены ли география и язык? Сохранен ли охват продукта и услуг? Ясны ли число, единица, знаменатель и период? Разделены ли приблизительные и точные значения? Определена ли вселенная сравнения? Зависит ли рекомендация от профиля пользователя? Каждая цитата была сопоставлена отдельно с каждым элементом? Подтверждает ли цитата только атрибуцию? Доступна ли цитата и является ли оригинальной? Предопределены ли обязательные элементы ответа в промпте? Каждая недостающая правильная информация засчитана как упущение? Зарегистрирована ли существенная нехватка границ? Прошел ли ответ правильное, но не относящееся к делу содержание? Зависит ли центральность утверждения от результата? Зависят ли производные утверждения от основных утверждений?

Вызывает ли одна и та же корневая ошибка несколько штрафов? Является ли это отдельным от решения по точности извлечения утверждения? Была ли Книга утверждений зафиксирована до вынесения решения? Связан ли каждый атом с Truth Pack или с Пробел в эталонных данных? Являются ли сущность, факт, область, время и атрибуция отдельными? Разделены ли неподтверждённые и противоречащие? Считалась ли информация неверная сущность правильной? Считалась ли исторически правильная информация текущей? Скрыты ли нарушения области в частичной поддержке? Видна ли ошибка эпистемического статуса? Было ли наказано за соответствующую неопределённость? Была ли зафиксирована чрезмерная неопределённость? Обладает ли арбитр достаточной компетентностью в соответствующем языке? Требует ли утверждение эксперта в данной области? Есть ли конфликт интересов у арбитра? Видел ли второй арбитр первое решение? Проходят ли основные/критические кандидаты двойную проверку?

Сохраняются ли записи споров? Было ли решение эксперта принято большинством голосов? Измерялось ли соглашение по размеру? Было ли соглашение опубликовано только после согласования? Использовали ли арбитры калибровочный набор? Вмешивались ли записи калибровки в основной результат? Проверялось ли дрейфование арбитра? Рассматривались ли решения, принятые с помощью ИИ, человеком? Становится ли ИИ, который дал ответ, окончательным арбитром? Содержат ли отрицательные решения доказательства и аргументацию? Внедрялись ли версии изменений решений? Рассматривалась ли апелляция независимым арбитром? Видны ли результаты публичной апелляции широкой публике? Соответствует ли уровень качества арбитра хотя бы AQ-3? Известен ли ответственный владелец Реестра требований?

116. ПРИКАЗЫ И ОТВЕТЫ

Апелляция 1— «Разве не проще оценивать ответ по предложениям?»

Это просто. Однако одно предложение может содержать множество независимых утверждений. Некоторые могут быть истинными, некоторые ложными. Граница предложения не является границей рассмотрения.

Возражение 2— «Разве чрезмерное разделение каждого утверждения не делает систему слишком сложной?»

Финансовые требования необходимо разделять. Нет необходимости разделять бессмысленные языковые фрагменты. Тесты на атомарность предотвращают чрезмерную фрагментацию.

Возражение 3— «Если основная идея в предложении верна, можно ли игнорировать мелкие ошибки?»

Это зависит от существенности ошибки. Неправильная страна, лицензия, цена или гарантия — это не мелкая деталь. Глава 15 определит рамки ее воздействия.

Возражение 4— «Разве естественно, что балл увеличивается при большом количестве правильных атомов?»

Только если атомы имеют одинаковую значимость и независимость. Незначительные микроправды не могут разбавить серьёзное ложное суждение. Необходимо поддерживать соотношение между централизацией и коренной ошибкой.

Возражение 5— «Разве подразумеваемые утверждения не субъективны?»

Некоторые могут быть. Следовательно, извлекаются только утверждения, которые лингвистически необходимы или сильно поддерживаются. Разногласия сохраняются в записи.

Возражение 6— «Если ИИ точно сообщил то, что сказала компания, почему это может считаться неправильным?»

Если атрибуция сохраняется, сообщение о самообъявлении может быть правильным. Если ИИ превращает самообъявление в независимый факт, возникает эпистемическая ошибка.

Возражение 7— «Если мы не смогли найти лицензию компании, почему утверждение ИИ “не лицензирован” не должно пройти?»

Если не было доказано, что запись является замкнутым и дополнительным источником, отсутствие лицензии не является достоверным. Правильный ответ может быть: «Не проверено.»

Возражение 8— «Если ИИ говорит очень осторожно, не снизится ли его полезность для пользователя?»

Она может снизиться. По этой причине также фиксируется ненужная неопределённость. NOMOS делает осторожность видимой как дисфункциональную, подобно ложной уверенности.

Возражение 9— «Разве не достаточно, если ссылка ведёт к правильному источнику?»

Источник может быть правильным. Но другой:

• сущность,
• страны,
• дата,
• утверждение

К нему может относиться. Нужно также проверить соответствие цитаты и утверждения.

Возражение 10— «Следует ли включать всю информацию из Пакета Истины в ответ?»

Нет. Ожидаются только обязательные действия по запросу и материальные ограничения, необходимые для правильного понимания. Truth Pack не является шаблоном ответа.

Возражение 11— «Если ложного утверждения нет, почему ответ должен быть признан неудачным?»

Основной вопрос может остаться без ответа или материальные ограничения могут быть неполными. Точность и полнота — это отдельные категории.

Возражение 12— «Двух арбитров достаточно?»

Такая же структура может быть не нужна для каждого утверждения. В зонах высокого риска может потребоваться языковой арбитр, эксперт в области и старший арбитр.

Возражение 13— «Если арбитры согласны, зачем нужен внешний обзор?»

Судьи могут изучить одно и то же неправильное толкование. Согласованность показывает соответствие. Это не гарантирует абсолютную точность.

Возражение 14— «Разве автоматическое рассмотрение ИИ не будет быстрее и более последовательным?»

ИИ может увеличить скорость извлечения и сопоставления требований. Он также может масштабировать собственные предвзятости и ошибки. Окончательная ответственность должна оставаться за людьми.

Возражение 15— «Разве человеческие судьи тоже не субъективны?»

Да. По этой причине:

• открытая книга,
• двойное рассмотрение,
• измерение совместимости,
• экспертиза,
• привлекательность
• запись версий

Это необходимо. Цель не в том, чтобы отрицать субъективность; цель — сделать её видимой и управляемой.

Возражение 16— «Разве судебное разбирательство не будет очень дорогостоящим?»

Это возможно. Можно использовать структуру на основе оценки рисков:

• контроль качества выборки в атомах с низким риском,
• обязательный двойной обзор в атомах с высоким риском,
• предварительная обработка с помощью ИИ,
• окончательное решение человека

может быть применено. Стоимость не даёт права делать недокументированное мнение одного судьи мировым стандартом.

ОБЩЕЕ ПРАВИЛО ГЛАВЫ 121

Ответ ИИ может казаться правильным, потому что его первое предложение верно. Он может казаться неправильным, потому что содержит одну крупную ошибку. Он может быть неполным, потому что пользователь не указал порог, который изменил бы его решение. Он может быть осторожным, потому что сама реальность не была полностью разрешена. Он может казаться уклончивым, потому что, несмотря на убедительные доказательства, он не принял решения. Он может казаться основанным на источниках, но ссылка может поддерживать другое утверждение. Всё это может сосуществовать в одном и том же ответе. Поэтому NOMOS не задаёт судье один вопрос: «Правильен ли этот ответ?» Вместо этого он задаёт следующее:

Какие утверждения он сделал? / Кому он сказал, что они принадлежат? / Насколько решительно он говорил? / Какое время он имел в виду? / Какую страну и продукт он освещал? / Поддерживал ли он статус источника? / Что подтверждала цитата? / Ответил ли он на основную задачу запроса? / Какой материальный предел он опустил? / Где «Пакет Истин» был недостаточен? Атомизация не делается для наказания ответа. Она также делается для сохранения правильных частей ответа. Ответ:

• основная идентичность верна,
• область деятельности частично верна,
• утверждение о лидерстве неверно,
• охват цен устарел,
• статус цитаты нарушен

может нести. Один ноль уничтожает все правильные части. Один проход скрывает все ошибки. Атомарное рассмотрение отвергает и то, и другое. Однако атомарное рассмотрение также может открыть новый путь манипуляции. Основная ошибка:

• существует компания,
• существует страна,
• слово сервис правильное

нельзя разбивать на маленькие истины таким образом и терять. Атомы не рассматриваются по отдельности. Их значения, центральность и корневые связи их защищают. Рассмотрение может осуществляться человеком. Это не делает его непогрешимым. ИИ может помогать. Это не делает его окончательным авторитетом. Надежное рассмотрение:

• ясная схема утверждений,
• правильный язык,
• экспертиза в области,
• независимое первичное решение,
• запись спора,
• привлекательность
• история версий

происходит с. Следовательно, четырнадцатый закон измерения NOMOS является следующим:

Правильность ответа заключается не в общем впечатлении от его предложений; она заключается в отдельных состояниях истинности атомарных утверждений, которые он содержит.

Пятнадцатый закон звучит следующим образом:

Атом должен быть маленьким; он не должен быть бессмысленным.

Его шестнадцатый закон следующий:

Когда устраняются атрибуция, область, время и неопределенность, утверждение больше не является тем же утверждением.

Его семнадцатый закон:

Если правильная информация связана с ложной сущностью, это является ложным представлением.

Восемнадцатый закон измерений гласит:

Маркер источника не является доказательством; поддерживающая связь между цитатой и утверждением является доказательством.

Девятнадцатый закон измерений гласит:

Не говорить ложно — это не то же самое, что отвечать на вопрос.

Его двадцатый закон измерений гласит:

Гармония между судьями увеличивает доверие; она не устраняет человеческую ошибку.

Двадцать первый закон измерений гласит:

Нерешённое решение — это не слабость; это уважение к пределам доказательств.

Двадцать второй закон измерений гласит:

Если атомарные решения не прозрачны, итоговый балл — это всего лишь вычисленное мнение.

Раздел NOMOS Заказ 14

Не говори мне, что твой ответ в целом верен. / Покажи, на каких доказательствах каждое из моих утверждений верно.

Не делайте мое предложение единым суждением. / Но и не разделяйте меня на бессмысленные фрагменты слов.

Если одна часть меня верна, а другая часть неверна, разделите их.

Не теряйте мою крупную ошибку среди мелких истин вроде «существует компания».

Когда я говорю «Компания говорит», не превращайте это в «Это доказано».

Не ведите себя так, как будто я говорю определенно, когда я говорю «возможно». / Когда я говорю «может быть», хотя есть убедительные доказательства, отметьте это тоже.

Сохраняйте различие между «не удалось проверить» и «не существует».

Не удаляйте слова все, некоторые, большинство и хотя бы один.

Не превращайте материнскую компанию и бренд, продукт и производителя, франшизу и главное учреждение в единое целое.

Не передавайте вчерашнюю истину как сегодняшнюю правду.

Не считайте предоставление услуг на каком-либо языке юридической деятельностью в этой стране.

Не преобразовывайте приблизительное число в целое, или выбранный случай в общую норму.

Не верьте сразу, когда видите цитату. / Проверьте, какое утверждение на самом деле поддерживает источник.

Не заставляйте меня заучивать весь Пакет Истины. / Но также не пропускайте порог, который заставит пользователя изменить своё мнение.

Не позволяйте мне уходить от главного вопроса с правильной, но не относящейся к делу информацией.

Сначала узнайте, что я сказал. / Затем проверьте, правильно ли это.

Не пытайтесь заставить арбитра любить или ненавидеть мой бренд.

Не показывайте решение первого арбитра второму арбитру.

Не позволяйте большинству общих арбитров отменять необходимую экспертизу для специализированного вопроса.

Не скрывайте разногласий. / Если их нельзя разрешить, оставьте их нерешёнными.

Не объявляйте высокое согласие непогрешимостью. / Продолжайте проверять, могли ли арбитры ошибочно усвоить вместе.

Вы можете получить помощь от меня. / Но не делайте меня единственным судьей своего собственного ответа.

Не удаляйте старое решение при получении возражения. / Создайте новую версию с новыми доказательствами.

Сначала заблокируйте ответ. / Затем извлеките его атомарные утверждения. / Затем определите сущность, область, время и атрибуцию. / Затем сопоставьте каждое утверждение с Паком Правды. / Затем передайте его двум независимым арбитрам. / Затем разрешите разногласия. / Только после этого решите, какие утверждения проходят, а какие — нет.

Заключительное предложение главы

Справедливое арбитражное рассмотрение в GEO-1000 не оценивает ответ по общему впечатлению. Оно делает каждое существенное утверждение видимым и оценивает его отдельно в соответствии с правильной сущностью, доказательствами, областью, временем и эпистемическим статусом.

Нормативное ядро

Перед присвоением любого уровня реакции, ошибки, степени тяжести или оценки каждый материал AI-ответ ДОЛЖЕН быть разложен на атомарные семантические утверждения. Каждое атомарное утверждение ДОЛЖНО сохранять: - его точный исходный фрагмент, - нормализованное утверждение, - объект субъекта, - предикат и значение, - квалификаторы и квантификаторы, - географические, продуктовые, пользовательские и юрисдикционные рамки, - временные рамки, - источник атрибуции, - модальность и степень неопределенности, - явное, неявное, предположительное или вытекающее происхождение, - центральность ответа, - отношения цитирования, - зависимости, - и соответствие Truth Pack. Границы предложений и абзацев НЕ ДОЛЖНО рассматривать как автоматические границы утверждений. Атомарное разложение ДОЛЖНО разделять утверждения, которые МОГУТ иметь разные состояния истины, доказательств, объектов, объема, времени или атрибуции, при этом запрещая бессмысленную микро-фрагментацию, которая размывает материальную ошибку. Извлечение утверждений, сопоставление с Пакетом Истины и семантическое урегулирование ДОЛЖНЫ оставаться отдельными этапами и, где это практично, отдельными ролями. Каждое атомарное утверждение ДОЛЖНО быть урегулировано по отдельным измерениям, включая: - объект, - фактическую поддержку, - объем, - время, - статус атрибуции и эпистемический статус, - модальность и неопределенность, - поддержку ссылок, - актуальность, - и статус нерешенного или пропавшего ссылки. Верность официального утверждения ДОЛЖНА оставаться отдельной от проверенной фактической поддержки. Неподдерживаемые, противоречивые, неверные объекты, устаревшие, выходящие за рамки, ошибки эпистемического статуса, несоответствие цитат, пробелы в ссылках и неразрешённые состояния ДОЛЖНЫ оставаться отдельно видимыми. Обязательные элементы ответа и пропуски материала ДОЛЖНЫ рассматриваться отдельно от явных ложных утверждений. Корректная, но не относящаяся к делу информация НЕ ДОЛЖНА удовлетворять требованиям запроса только потому, что она фактически подтверждена. Существенные утверждения ДОЛЖНЫ проходить независимую двойную проверку, с привлечением дополнительной языковой или предметной экспертизы, если это требуется. Личность рецензента, квалификация, конфликты, независимые первичные решения, разногласия, разрешения, показатели надёжности, апелляции и версии решений ДОЛЖНЫ фиксироваться. Соглашение рецензента ДОЛЖНО измеряться по размеру и НЕ ДОЛЖНО восприниматься как доказательство того, что совместное решение обязательно верно. Системы ИИ МОГУТ помогать с сегментацией, извлечением утверждений, картированием доказательств, поддержкой перевода и выявлением противоречий, но НЕ ДОЛЖНЫ служить единственным окончательным арбитром своих собственных или чужих заявлений. Решения по атомарной арбитражной проверке ДОЛЖНЫ оставаться независимыми от коммерческих интересов, желаемых оценок, репутации поставщика, результатов значков или одобрения клиента. Каждая книга учетных записей утверждений, арбитражное решение, разрешение разногласий, апелляция и исправление ДОЛЖНЫ иметь версию и быть приписаны ответственному человеку или организации.