Представление — это распределение

Граница главы

Раздел 1 установил следующее положение:

Одиночный ответ не является оценкой GEO. Одиночный ответ — это отдельное наблюдение, произошедшее при зафиксированных условиях.

Этот раздел отвечает на следующий вопрос:

Если один ответ не является баллом GEO, то какой объект мы действительно хотим измерить?

Ответ:

Представление сущности в генеративных системах — это многомерное распределение, формируемое через продукты ИИ, пользователей, страны, языки, условия сессий, промпты и время.

Эта глава:

• распределение представления,
• основные измерения распределения,
• разница между средним и распределением,
• неравенство подгрупп,
• стабильность,
• проблема охвата и отсутствующих наблюдений,
• риск редких серьезных ошибок,
• концептуальная структура общедоступной карточки результатов

определяет. В этой главе пока не рассматривается:

• сколько участников будет назначено на каждую страну,
• как будет установлен образец выборки,
• как будут проверяться переводы промптов,
• как будут оцениваться атомарные утверждения,
• точная формула итогового NOMOS балла,
• пороговые значения соответствия

Эта глава нормативно не решает эти вопросы; в последующих главах они рассматриваются отдельно. Прежде чем определить формулу оценки, Глава 2 определяет реальность, которую должен представлять балл.

NOMOS Вызов

Рассмотрим два продукта ИИ. Каждый получает одинаковый средний глобальный балл:

90 / 100

Языковые результаты первого продукта следующие:

• Английский: 90
• Турецкий: 91
• Немецкий: 89
• Японский: 90
• Арабский: 90

Языковые результаты второго продукта следующие:

• Английский: 99
• Турецкий: 98
• Немецкий: 97
• Японский: 86
• Арабский: 70

Простое среднее значение обоих продуктов составляет 90. Обладают ли они одинаковым качеством GEO? Нет. Первый продукт обеспечивает схожее представление на разных языках. Второй продукт обеспечивает отличное представление на некоторых языках, но серьезно слабое представление на другом языке. Обычное среднее скрывает эту разницу. Теперь рассмотрим два других продукта. 95% ответов обоих удовлетворяет критериям прохождения. Остальные 5% в первом продукте состоят из:

• незначительных недостатков,
• ограниченных объяснительных недостатков,
• несколько НЕИЗВЕСТНЫХ

результатов. Остальные 5% во втором продукте состоят из:

• неверной информации о здравоохранительных органах,
• несуществующей лицензии,
• неправильной юридической идентичности,
• неподходящих рекомендаций

существует. Стандартная точность для обоих снова составляет 95 процентов. Есть ли у них одинаковый риск представления? Нет. Теперь рассмотрим третью пару. Среднее значение обоих через три волны измерений составляет 90. Первый:

• Волна 1: 90
• Волна 2: 91
• Волна 3: 89

Второй:

• Волна 1: 98
• Волна 2: 90
• Волна 3: 82

Имеют ли они одинаковую стабильность во времени? Нет. В этом случае проблема заключается не только в следующем: «Каково среднее?» Нам также необходимо знать следующее: Как распределены результаты? Кто хорошо представлен, кто плохо представлен? Какие языки и страны отстают? Насколько серьезны ошибки? Насколько результат меняется со временем? Какие области никогда не измерялись? С какими весами было создано среднее? Сколько различных реальностей скрывается за одним средним? Первый вывод этого раздела таков:

Одинаковое среднее не является одинаковым представлением.

Второе положение гласит:

Оценка GEO может быть сводкой распределения; она не может заменить распределение.

1. ЦЕЛЬ ГЛАВЫ

В этом разделе определяется, как следует понимать представление сущностей в генеративных системах до того, как оно будет сведено к единому числу. Его основные цели:

• Показать, что представление не является вневременной и единственной «точкой зрения ИИ»
• Определить условия, от которых зависит результат представления
• Объяснить, что бинарная система true–false сама по себе недостаточна
• Разделить среднюю точность и неравенство между подгруппами
• Сделать видимым высокий риск ошибок, скрытый за высокими средними значениями
• Показать, что стабильность и точность — это не одно и то же
• Предотвратить заполнение неизмеренных областей положительными предположениями внутри распределения
• Подготовить структуру будущего показателя NOMOS, который является единичным, но не обречен быть единичным

В конце этого раздела читатель должен быть в состоянии ответить на следующий вопрос:

Почему результат GEO сущности не ограничивается только средней точностью?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Представление сущности в генеративных системах — это условное распределение различных ответов и результатов представления, которые могут возникать при определённых условиях.

Это распределение:

• это не абстрактная «мысль» одной модели,
• это не общее мнение всех систем искусственного интеллекта,
• это не только частота повторений на сайте,
• Дело не только в частоте упоминания названия бренда,
• это не просто средняя точность,

Это не только показатель рекомендаций. Распределение представления в рамках определенного протокола показывает следующее:

Какие пользователи видят какой вид представления на каком продукте ИИ и пользовательский интерфейс, на каком языке, в какой стране, с каким запросом, при каких условиях сеанса и в какое время.

Следовательно, результат распределения всегда зависит от следующих вопросов: Какая сущность? Какой продукт ИИ? Какой пользовательский интерфейс? Какая целевая аудитория? Какая страна? Какой язык и локализация? Какой запрос? Какие условия сеанса? Какая волна измерений? Какой Truth Pack? Какое правило оценки? Когда любое из этих полей изменяется, распределение также может измениться.

3. ЧТО ОЗНАЧАЕТ СЛОВО «РАСПРЕДЕЛЕНИЕ»?

В этой книге слово "распределение" не относится к скрытому или метафизическому взгляду, который предполагается существующим внутри системы искусственного интеллекта. Оно не утверждает: NOMOS: "Это реальное распределение компании в разуме модели." Здесь под распределением подразумевается операционное и наблюдаемое распределение.

Это схема различных результатов представления, которые могут быть получены в рамках определенного протокола в целевой популяции и условиях измерения.

Следует различать два распределения.

3.1. Распределение целевых представлений

Распределение, которое измерение пытается предсказать, но не может полностью наблюдать напрямую. Оно представлено следующим образом:

P_E(Y | A, C, L, S, P, T, U)

Здесь:

• E: проверяемая сущность
• Y: результат представления
• A: продукт ИИ и пользовательский интерфейс
• C: страна или географические условия
• L: язык и локаль
• S: условия сессии и персонализации
• P: запрос
• T: время или волна измерения
• U: целевая вселенная пользователей

Выражение задает вопрос: «В определенной целевой вселенной пользователей, при указанных условиях, с какими вероятностями происходят результаты представления?» Не все элементы целевого распределения могут быть измерены. Они оцениваются через выборку.

3.2. Наблюдаемое эмпирическое распределение

Это распределение действительных наблюдений, полученных в реальном или синтетическом измерении. Его представление:

P̂_E

может быть использовано. Эмпирическое распределение само по себе не является целевым распределением. Это оценка, полученная через его выборку, взвешивание и дизайн измерений. Величина различий может зависеть от:

• Дизайн выборки
• Выбор участников
• Охват стран и языков
• Доля некорректных наблюдений
• Отсутствие ответов
• Ошибка арбитра
• Измерительная волна
• Выбор промптов
• Условия продукта и интерфейса
• Взвешивание
• Кластеризация и зависимость

Следовательно, эмпирическое распределение не может быть опубликовано как «абсолютная и неизменная истина искусственного интеллекта». Правильное выражение должно быть: «Оценка, полученная для указанной целевой популяции и условий измерений».

4. ПРОСТРАНСТВО ПРЕДСТАВЛЕНИЯ

Представление сущности не происходит в одном измерении. Каждое наблюдение существует в многомерном пространстве условий. Базовое представление:

X_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i)

Здесь:

• Ei: сущность
• ИИ: продукт ИИ и пользовательский интерфейс
• Ui: пользователь или единица выборки
• Ci: страна и географический слой
• Li: язык и локаль
• Si: сеанс, план и условие персонализации
• Pi: запрос или семейство запросов
• Ti: время и волна измерений

Сгенерированный ответ:

R_i

можно показать. Представительное состояние, полученное в результате оценки ответа, следующее:

Y_i= g(R_i, V_E, J)

и может рассматриваться как. Здесь:

• VE: использован проверенный пакет Truth Pack для объекта
• J: правила оценки и вынесения решений
• g: процесс оценки, который преобразует ответ в представительные результаты

Значение этого представления следующее: один и тот же ответ не может быть оценен самостоятельно без указания, по какой сущности, какому Пакету Истины и какому правилу оценки он был проверен.

5. ПРЕДСТАВИТЕЛЬНЫЙ РЕЗУЛЬТАТ НЕ ЯВЛЯЕТСЯ ОДНИМ ЗНАЧЕНИЕМ

Только целостность ответа:

• не может быть вынуждено к категориям истинно,
• неверна

Присвоение метки часто недостаточно. Следующие ситуации могут происходить одновременно в одном и том же ответе:

• Правильная идентичность
• Правильная основная категория
• Неполное покрытие услуг
• Устаревшее количество сотрудников
• Неподтвержденное утверждение о руководстве
• Правильная цитата
• Неподходящая рекомендация
• Некритичный дефицит границ

Следовательно, результат представления можно рассматривать как вектор результата. Кандидат на представление:

Y_i= (y_i^id, y_i^cat, y_i^fact, y_i^scope, y_i^time, y_i^evidence, y_i^recommendation, y_i^harm)

Здесь:

• yiid: точность идентичности
• yicat: точность категории и роли
• yifact: точность фактических данных
• yiscope: сохранение объема и границ
• yitime: временная достоверность
• yievidence: согласованность утверждения и доказательств
• yirecommendation: рекомендации и пригодность для пользователя
• yiharm: класс вреда ошибки или неверного руководства

Точные правила оценки этих полей будут определены в последующих разделах. Основной принцип здесь:

Представительный ответ должен оцениваться не только по тому, содержит ли он правильную информацию, но и по тому, о ком, о чем, в каких границах, с какими доказательствами и для кого он представлен надлежащим образом.

6. ОСНОВНЫЕ СОСТОЯНИЯ ПРЕДСТАВЛЕНИЯ

Статус каждого отдельного утверждения и окончательного ответа может различаться. В этом разделе концептуально выделяются следующие основные состояния.

6.1. ПОДТВЕРЖДЕНО

Утверждение подтверждается достаточными доказательствами в пределах определённого объёма и времени.

6.2. ОПРОВЕРГНУТО

Утверждение противоречит достоверным и релевантным записям.

6.3. НЕПОДТВЕРЖДЕНО

Для утверждения недостаточно подтверждающих материалов. Не доказано, что утверждение обязательно ложное. Однако записей недостаточно, чтобы принять его за истину.

6.4. УСТАРЕЛО — БОЛЬШЕ НЕ АКТУАЛЬНО

Утверждение могло быть верным в прошлом. На дату измерения оно больше не является действительным или его текущую точность невозможно проверить.

6.5. ЧАСТИЧНО ПОДТВЕРЖДЕНО — ЧАСТИЧНО ПОДТВЕРЖДЕНО

Поддерживается только определенный объем, население, страна, продукт или время утверждения. Ответ мог превысить лимит поддержки.

6.6. ВНЕ СФЕРЫ — ВНЕ СФЕРЫ

Утверждение не связано с проверяемым объектом или Truth Pack. Оно могло исходить от другой организации, продукта, страны или услуги.

6.7. СМЕШЕНИЕ СУБЪЕКТОВ — СЛИЯНИЕ СУБЪЕКТОВ

Система:

• две разные компании,
• бренд и юридическое лицо,
• человек и учреждение,
• старое и новое юридическое лицо,
• перепутала разные организации с одинаковыми названиями

друг с другом. Эта ошибка не является простым фактическим недочетом. Это искажение объекта представления.

6.8. ВАЖНОЕ ПРОПУЩЕННОЕ — ОТСУТСТВУЮЩАЯ ИНФОРМАЦИЯ

Предложения в ответе могут быть правильными. Однако важная информация, которая могла бы повлиять на решение пользователя, была опущена. Пример: услуга предоставляется только в определённых странах. Лицензия ограничена конкретной юрисдикцией. Цена указана без учета налога. Результат основан на данных первой стороны. Продукт не подходит для определённых пользователей. Опущение может привести к неправильным выводам, даже если нет напрямую неверного предложения.

6.9. ОТКАЗ — ОТКЛОНЕНИЕ

Система отказалась отвечать. Отказ:

• соответствующий,
• ненужный,
• несогласованный,
• основанный на безопасности,
• технический

может возникнуть. Ret не считается автоматически неудавшимся или успешным. Он классифицируется отдельно.

6.10. НЕТ РЕЗУЛЬТАТА

Система не смогла предоставить полезный ответ по техническим или операционным причинам. Это не то же самое, что Ret.

6.11. НЕИЗВЕСТНО

Доступные записи недостаточны для надежной классификации. НЕИЗВЕСТНО не может быть преобразовано в положительный результат.

7. ОСНОВНЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЯ

Распределение представления не может быть объяснено только средним значением. Как минимум, следует оценить следующие характеристики.

7.1. Центральная тенденция

Суммирует общую точность или уровень перехода ответов. Примеры показателей:

• Среднее
• Взвешенное среднее
• Медиана
• Доля успешных результатов

Центральная тенденция важна. Однако она показывает только центр распределения.

7.2. Разброс и изменчивость

Указывает, насколько результаты разбросаны вокруг центра. У двух систем с одинаковым средним одно может быть последовательным среди пользователей, в то время как другое может быть очень изменчивым. Изменчивость:

• пользователей,
• стран,
• языков,
• сессий,
• волны измерений

также можно изучать среди них.

7.3. Форма распределения

Сосредоточены ли результаты вокруг одной центральной точки? Или они разделены на два и более кластеров? Например:

• Если половина пользователей видит очень точные,
• а половина видит очень неточные

ответы, среднее может быть средним. Однако типичный опыт пользователя не является «средней точностью». Это два отдельных поляризованных опыта.

7.4. Различия между подгруппами

Видят ли определенные языковые, страновые или пользовательские группы систематически разные результаты? Глобальное среднее может скрывать эту разницу.

7.5. Риск в хвосте

Существуют ли редкие, но серьезные ошибки? Редкие события могут оказывать небольшое влияние на среднее значение. Их влияние на вред для человека может быть значительным.

7.6. Покрытие

Какую часть целевой аудитории действительно измерили? Высокий результат может сочетаться с низким покрытием.

7.7. Пропавшая и неизвестная масса

Какая доля ответов:

НЕИЗВЕСТНО,

НЕ ТЕСТИРОВАЛАСЬ,

отказ, технический ответ отсутствует или недействительная запись?

7.8. Временная стабильность

В какой степени распределение сохраняется на разных волнах измерений?

8. КАНДИДАТ NOMOS ПОДПИСЬ ПРЕДСТАВИТЕЛЬНОГО РАСПРЕДЕЛЕНИЯ

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

Рекомендуется, чтобы результат GEO сначала определялся следующей подписью распределения, а не отдельным числом:

RDS(E) = (μ, κ, σ, Δ, τ, ρ, u)

Это представление называется Подпись Распределения Представлений, а именно:

Подпись Распределения Представлений

Компоненты:

μ — Общий уровень представления

Общая точность или прогноз перехода при заданных весах и области.

κ — Покрытие

Степень, в которой целевой пользователь, страна, язык, ИИ-продукт и временной интервал достаточно измерены.

σ — Вариабельность

Рассеяние среди пользователей и экспериментальных ячеек.

Δ — Неравенство подгрупп

Существенная разница между языками, странами, продуктами или другими значимыми группами.

'tau — Риск критических и хвостовых ошибок

Частота и характер редких серьёзных ошибок.

ρ — Временная стабильность

Устойчивость распределения по волнам.

u — Неизвестная и неразрешенная масса

НЕИЗВЕСТНО — это доля распределения, которая остается неразрешенной или недостаточно оцененной. Эта сигнатура пока не является окончательной формулой оценки. Следующие элементы требуют дальнейшей разработки:

• определённое определение,
• оценка,
• вес,
• публичная презентация

Они будут завершены в ходе пилотных исследований и в последующих главах. Основной принцип заключается в следующем:

Результат GEO должен давать ответ не только на вопрос «насколько точно?», но и «для кого, насколько последовательно, насколько справедливо, насколько полно и насколько рискованно?»

9. СРЕДНЕЕ ОТБЕЛИВАНИЕ

Если учреждение демонстрирует только высокий глобальный средний показатель и скрывает серьёзные недостатки распределения, это называется:

Среднее отбеливание

Среднее значение может быть рассчитано следующими способами:

• Сокрытие самого слабого языка
• Исключение маленьких стран из отчета
• Смешивание критических ошибок с общей ошибкой
• Удаление результатов НЕИЗВЕСТНОГО из знаменателя
• Учет только хорошо работающих ИИ-продуктов
• Исключение слабой волны измерений
• Сделать невидимой популяцию, находящуюся вне сферы охвата
• Изменение весов после получения результатов

Среднее может быть вычислено математически правильно. Однако представленная им информация для общественности может вводить в заблуждение. Поэтому:

Математически правильное вычисление среднего не означает, что оно достаточно для принятия решений.

10. РАЗНЫЕ РЕАЛЬНОСТИ ОДНОГО И ТОГО ЖЕ СРЕДНЕГО

Среднее значение может быть 90 во всех следующих синтетических распределениях.

10.1. Однородное распределение

Все основные подгруппы находятся в диапазоне 88–92. Это распределение относительно сбалансировано.

10.2. Поляризованное распределение

Половина пользователей видит результаты, близкие к 100, в то время как другая половина видит результаты, близкие к 80. Среднее значение — 90. Однако пользовательский опыт неодинаков.

10.3. Лингвистически фрагментированное распределение

Результаты очень хорошие для языков с высокой численностью населения или большими ресурсами, но значительно слабые для языков с ограниченными ресурсами. Глобальное среднее может выглядеть хорошо. Языковая справедливость слабая.

10.4. Распределение по странам с фрагментацией

Даже внутри одного языка результаты могут различаться из-за разных стран, регионов, доступа к продукту или пользовательской базы.

10.5. Временно нестабильное распределение

Очень высокие результаты происходят в одной волне, очень низкие результаты — в другой волне. Даже если среднее значение высоко, трудно установить надежные ожидания пользователей.

10.6. Распределение с хвостовым риском

Большинство ответов верны. Однако небольшая часть содержит серьезные ошибки, связанные со здоровьем, правом, лицензированием или безопасностью.

10.7. Распределение высокой неизвестной массы

Большинство оцениваемых ответов верны. Однако значительная часть целевой аудитории или ответов:

• подверглась тестированию,
• не тестировалась,

НЕИЗВЕСТНО

или результаты неубедительны. Публикация высокого показателя, основанного только на оцениваемых ответах, может скрыть масштаб.

11. НЕРАВЕНСТВО ПОДГРУПП

Глобальный показатель может не отражать опыт внутри подгрупп. Ключевые подгруппы могут включать:

• Продукт ИИ и пользовательский интерфейс
• Страна
• Язык
• Локаль
• План
• Веб или мобильное
• Контролируемая или естественная панель
• Временная волна
• Намерение пользователя
• Семейство устройств

Не все эти группы могут иметь одинаковую важность в каждом аудите. Основные группы должны быть определены после утверждения области.

11.1. Язык — это не то же самое, что страна

Туркоязычные:

• Пользователь в Турции,
• Пользователь в Германии,
• Пользователь в другой стране

Они могут использовать один и тот же язык. Однако:

• доступ к продукту,
• цена,
• ресурсы,
• локальный интерфейс,
• юридический контекст,
• персонализацию

могут различаться. Следовательно, все различия не могут объясняться только языком или страной.

11.2. Интерсекционные клетки

Некоторые материальные различия становятся видимыми только при одновременном рассмотрении нескольких областей. Пример: Германия × Турция × Мобильный × Бесплатный тариф × Панель пользователей в естественных условиях сама по себе может быть экспериментальной ячейкой. Однако по мере увеличения количества ячеек размер выборки уменьшается. Поэтому окончательный результат нельзя публиковать для каждой маленькой ячейки. Дизайн измерения: должен сохранять значимые подгруппы и не должен создавать статистически ложную точность.

11.3. База подгруппы

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

В дополнение к глобальному среднему значению рекомендуется отдельно сообщать результат самой слабой адекватно исследованной подгруппы или группы нижнего 10%. Это можно назвать:

Основа представления

или:

Язык/Страна Пол

Однако, если «наименьший балл» получается из маленькой и нестабильной ячейки, это может дать неправильные результаты. Поэтому базовая метрика должна быть определена вместе с:

• минимальный образец,
• доверительный интервал
• качество ячейки

Точное правило будет определено в следующих разделах.

12. ЭТО ЧАСТЬ РАСПРЕДЕЛЕНИЯ ОБЛАСТИ ОХВАТА

Распределение состоит не только из наблюдаемых ответов. То, что никогда не наблюдалось, также определяет значение результата. Например, были протестированы английский и турецкий языки; японский и арабский — нет. Веб-интерфейс был протестирован; мобильный интерфейс и платная версия — нет. Сильные результаты для английского и турецкого языков не оправдывают утверждение: «Представление хорошо во всех языках и на всех пользовательских интерфейсах». Обоснованным выводом является: «Измерения проводились на указанных веб-платформах для английского и турецкого языков. Другие языки и мобильные платформы не тестировались.»

12.1. Карта покрытия

Каждое распределение GEO должно содержать следующую карту в той мере, в какой это актуально:

• Целевая вселенная
• Выборочная совокупность
• Покрытые страны
• Непокрытые страны
• Покрытые языки
• Непокрытые языки
• Мониторируемые ИИ-продукты
• Немониторируемые продукты
• Мониторируемые пользовательские интерфейсы
• Немониторируемые интерфейсы
• Волны измерений
• Семейства промптов вне области

12.2. Уровень покрытия

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

Можно разработать метрику покрытия, чтобы показать, какая часть целевой вселенной представлена с достаточным уровнем измерения. Однако покрытие:

• только количество стран,
• только количество языков,
• только доля населения

не может быть измерено. Например, может быть охвачено 150 стран. Однако 95% участников могли прийти только из пяти стран. Или может быть охвачено 90% населения, но малые языки могут быть полностью исключены. Поэтому охват населения следует показывать отдельно от охвата стран/языков наблюдателями.

13. ПРОПАВШИЕ НАБЛЮДЕНИЯ И НЕОТВЕТЫ

Отсутствующие данные — это не только техническая проблема. Их распределение может быть систематически искажено. Причины отсутствия наблюдения могут включать:

• Неудовлетворительное выполнение задачи участником
• Продукт недоступен в стране
• Ограничения вычислений
• Техническая ошибка
• Отклонение системой
• Неверный снимок экрана
• Изменение запроса участником
• Продукт не работает на определённом языке
• Судьи, неспособные принимать надежные решения

Каждая из этих причин требует отдельного статуса.

13.1. Отсутствующие данные могут быть не случайными

Например, если больше заданий не могут быть выполнены в странах с низким качеством соединения, использование только успешных записей может сместить глобальный результат в пользу состоятельных пользователей с сильным соединением. Если уровень НЕИЗВЕСТНО повышается из-за того, что ответы на определенном языке трудно оценить, оценка, рассчитанная только из известных ответов, может скрывать языковое неравенство. Поэтому:

Отчет о пропавших данных и распределении причин отсутствующих данных должен быть частью отчета.

13.2. Знаменатель — целостность знаменателя

Отчет должен ясно ответить на вопрос: «90 процентов от чего именно составляет 90 процентов?» Возможные знаменатели:

• Назначенные участники
• Инициаторы задач
• Исполнители заданий
• Записи, соответствующие протоколу
• Действительные системные результаты
• Ответы с решениями арбитра
• Ячейка конкретного языка или страны

Знаменатель не должен изменяться после того, как результат виден. Например:

• Назначенные задания 1,000,
• Выполненные задания 900,
• Действительные задания 800,
• Пройденные задания 720

Таким образом:

720/800=90%

Это коэффициент успеха среди действительных записей. Наблюдаемый коэффициент успеха по всей назначенной выборке вместо этого:

720/1000=72%

отвечает на другой вопрос. Оба показателя можно использовать. Их нельзя представлять в одинаковом смысле.

14. ТОЧНОСТЬ И ПОСЛЕДОВАТЕЛЬНОСТЬ — ЭТО НЕ ОДНО И ТО ЖЕ

Распределение может иметь высокую точность. Однако оно может быть непоследовательным во времени или между пользователями. Другое распределение может иметь низкую точность. Однако оно может быть систематически неправильным. Поэтому следует различать четыре ситуации.

Быть «последовательным» не всегда положительно. Система может быть довольно последовательной, если она дает одну и ту же ошибку всем пользователям.

14.1. Согласованность между пользователями

Видят ли разные пользователи одинаковое представление материала в одной и той же ячейке?

14.2. Согласованность между сессиями

Одинаковый или сопоставимый пользователь видит аналогичные результаты в новых сессиях?

14.3. Межволновая согласованность

Производит ли один и тот же протокол схожее распределение в разные дни или периоды?

14.4. Согласованность после обновления продукта

Когда в продукте ИИ происходят существенные изменения, продолжается ли прежнее распределение?

15. ПРОИЗВОДСТВО ОДНОГО И ТОГО ЖЕ ПРЕДЛОЖЕНИЯ НЕ ЯВЛЯЕТСЯ СТАБИЛЬНОСТЬЮ

Стабильность: это не означает «давать каждому пользователю тот же самый ответ слово в слово». Продукт ИИ может использовать разные выражения, порядок и примеры. Пока сохраняется материальный смысл, это могут быть приемлемые варианты. Важное различие заключается в следующем:

Формальная изменчивость

Выбор слов Порядок предложений Длина Тон Пример Использование списка или абзаца Если сохраняется материальная истина, это может не быть ошибкой.

Семантическая изменчивость

Смена идентичности компании Дифференциация основной категории Расширение или сокращение области деятельности Смена лицензии или компетенции Изменение цены и географии Рекомендация одному пользователю, но не аналогичному пользователю без объяснения Если материальное представление меняется, может возникнуть проблема стабильности. Поэтому предпочтительной концепцией является:

Условная семантическая стабильность

Так должно быть. Ожидается сохранение фундаментальной реальности при эквивалентных материальных условиях. Изменение рекомендации из-за разных потребностей пользователя может быть соответствующим контекстным поведением.

16. ЧУВСТВИТЕЛЬНОСТЬ К КОНТЕКСТУ И ПРОИЗВОЛЬНАЯ ВАРИАТИВНОСТЬ

Система не всегда должна давать одинаковые рекомендации всем пользователям. Например:

• Пользователи с низким бюджетом
• Только пользователи, ищущие услуги в конкретной стране
• Пользователи, требующие иной лицензии
• Пользователи, ищущие индивидуальные, а не корпоративные услуги

могут получать различные результаты соответствия для одной и той же сущности. Эта разница:

• может быть обусловлена состоянием пользователя,
• объемом услуги,
• или фактическим лимитом

и может быть чувствительной к контексту и точной. Однако если результат меняется без причины при равных условиях пользователя, это может быть произвольной вариабельностью. Поэтому NOMOS не хочет: «Одинаковый ответ для всех пользователей». Оно хочет:

Ответ, который является последовательным и объяснимым при эквивалентных материальных условиях и чувствительным к фактическим пределам при различных условиях.

17. ВРЕМЯ ВНУТРИ РАСПРЕДЕЛЕНИЯ ПРЕДСТАВЛЕНИЯ

Распределение представления не вневременно. Его можно рассматривать как PE,t. Распределение одной и той же сущности:

• обновление продукта,
• изменение ресурсов,
• изменение компании,
• новостное событие,
• новая языковая версия,
• техническое изменение доступа

может расходиться впоследствии.

17.1. Внезапное изменение

После обновления продукта или ресурса распределение меняется быстро за короткое время.

17.2. Постепенное изменение

Из-за новых ресурсов и поведения пользователей результат постепенно изменяется со временем.

17.3. Временные колебания

Во время конкретного события или новостного периода распределение временно отличается.

17.4. Изменение после вмешательства

После вмешательства GEO распределение может измениться. Однако для утверждения, что изменение произошло из-за вмешательства, также требуется базовая линия и проект причинно-следственной связи.

17.5. Сглаживание средним за время

Для продукта:

• в первой волне 98,
• во второй волне 90,
• в третьей волне 82

Если взять среднее, получится 90. Однако публикация 90 скрывает нисходящий тренд. Следовательно:

Временное среднее не может заменить результаты по волнам.

18. РИСК ХВОСТА И РАСПРЕДЕЛЕНИЕ СИЛЬНЫХ ОШИБОК

Большая часть распределения может быть правильной. Однако следует также оценивать ошибки с низкой вероятностью и большой величиной. Примеры:

• Лицензия на медицинскую деятельность, которая на самом деле не существует
• Неправильное руководство по чрезвычайным ситуациям
• Неправильные юридические полномочия
• Фальшивая гарантия инвестиций
• Неправильная идентичность компании
• Неподходящие советы для детей или уязвимых групп
• Повторение манипулятивной инструкции, скрытой от людей

В предыдущей архитектуре:

• Критический,
• Серьезный,
• Умеренный,
• Консультативный

были разделены на четыре уровня важности, и предполагалось, что критические находки должны автоматически вызывать отказ. В этой книге эта система связывается с распределением населения.

18.1. Разделение частоты и серьезности

Ошибка:

• частая, но с низким воздействием,
• редкая, но серьезная

может возникнуть. Однако только частота не может одинаково оценить оба случая.

18.2. Представление кандидата на основе риска с учетом серьезности

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

Индикатор риска может быть разработан с использованием коэффициентов серьезности для классов ошибок:

tau= Σ_{k=1}^K λ_k p_k

Здесь:

• pk: прогнозируемая частота данного типа ошибки
• λk: коэффициент тяжести типа ошибки

Однако коэффициенты не могут определяться произвольно. Они должны основываться на:

• Предсказуемый вред для человека
• Целостность представления
• Влияние на решение пользователя
• Обратимость
• Намерение и манипуляция
• Зона повышенного риска

Точный метод будет определён в Разделе 15.

18.3. Критический этап

Высокий общий средний показатель не может автоматически исключать проверенного кандидата с критической ошибкой. Правильная публичная запись должна показывать оба результата вместе: «Оценка общего представления высока.» и: «Указанное критическое событие или события также влияют на решение о соответствии.»

19. ОТКАЗ И НЕУСПЕХ В РАСПРЕДЕЛЕНИИ

Система, которая не отвечает, также является частью пользовательского опыта. Однако не все отказы одинаковы.

19.1. Соответствующий отказ

Система может проявлять осторожность, когда доказательств недостаточно или когда она не может предоставить безопасный ответ. В некоторых контекстах это может быть правильным поведением.

19.2. Ненужный отказ

Система может непоследовательно избегать ответа на общедоступную и низкорискованную информацию.

19.3. Техническое отсутствие ответа

Система может не дать ответа из-за технической ошибки.

19.4. Отказ из-за выхода за рамки

Запрос может быть неправильным или выходить за рамки протокола задачи.

19.5. Сохранение отказов в распределениях

Отказы:

• успех,
• неудача,

НЕИЗВЕСТНО

не следует заставлять их попадать в одну категорию. Следует оценивать их функцию и обоснованность. Исключение отклонений из знаменателя может дать высокий уровень точности только среди успешных ответов и исказить реальный пользовательский опыт.

20. КАК МОЖНО СРАВНИВАТЬ РАСПРЕДЕЛЕНИЯ?

Просто сравнивать численные результаты недостаточно для сравнения распределения двух ИИ-продуктов. Чтобы сравнение было справедливым, следующие области должны быть максимально равными или явно смоделированы:

• Проверяемый объект
• Целевая популяция
• Версия промпта
• Языки
• Страны
• Измерительная волна
• Условия сессии
• пользовательский интерфейс
• Распределение планов
• Правило вынесения решения
• Пакет реальности
• Правила достоверности
• Весы

Два показателя, полученные с существенно различными протоколами, нельзя использовать напрямую для ранжирования.

20.1. Сравнение на общей основе

Все сравниваемые ИИ-продукты:

• официально доступны,
• поддерживают один и тот же язык и условия использования

могут быть сравнены в общем пространстве. Это обеспечивает более чистое сравнение между системами.

20.2. Распределение естественного доступа

Каждый ИИ-продукт может быть измерен в собственной реальной вселенной пользовательского доступа. Этот результат показывает фактическое глобальное влияние продукта. Однако, поскольку целевые аудитории могут отличаться, прямое ранжирование по производительности требует осторожности.

20.3. Разные интерфейсы одного провайдера

Веб-, мобильные, корпоративные продукты или разные планы, даже если они принадлежат одному поставщику, могут создавать отдельные распределения. Если их необходимо объединить в один результат, необходимо объяснить метод комбинации и веса.

21. ВЕС ИЗМЕНЯЕТ ЗНАЧЕНИЕ РАСПРЕДЕЛЕНИЯ

Глобальное среднее зависит от веса, с которым объединяются наблюдения. Возможные веса:

• Равные по странам
• По населению стран
• Соответствующая популяция пользователей ИИ
• Пользователи по языку
• Фактическое воздействие продукта
• Равные продукты ИИ
• Доля рынка
• Целевой рынок клиентов

Каждый метод отвечает на разный вопрос.

21.1. Равный вес по странам

Сан-Марино и Индия могут получать одинаковый вес. Этот подход может решить вопрос «среднего опыта страны». Он не отражает средний пользовательский опыт во всем мировом населении.

21.2. Вес населения

Крупные страны имеют большее влияние. Этот подход может приблизиться к опыту мирового населения. Он может сделать маленькие страны и языки невидимыми.

21.3. Вес языковой справедливости

Это также может обеспечить видимость языков с ограниченными ресурсами. Это не то же самое, что глобальный показатель населения.

21.4. Вес экспозиции продукта

Можно учитывать взвешивание продуктов ИИ в зависимости от фактической пользовательской экспозиции. Это требует надежных и независимых данных о использовании.

21.5. Принцип нормативного взвешивания

Веса должны быть определены до того, как будут видны результаты, публично раскрыты, и следует указать вопрос, на который они отвечают.

Запрещается выбирать систему взвешивания, которая будет увеличивать положительный результат после того, как результаты стали известны. Наряду с единой глобальной оценкой могут также публиковаться альтернативные значимые взвешенные результаты.

22. РАСПРЕДЕЛЕНИЕ ОЦЕНОК — С ПОТЕРЯМИ

Возможно получение одного числа из распределения. Однако одно число не несет всю информацию, содержащуюся в распределении. Поэтому оценка:

Является сжатым с потерями представлением распределения

должна приниматься. Оценка может терять следующую информацию:

• Слабейший язык
• Слабейшая страна
• Тип критической ошибки
• Неизвестная масса
• Колебания во времени
• Поляризация
• Различие продукта и плана
• Неподходящая популяция
• Распределение отклонений
• Неопределённость арбитра

Оценка полезна, потому что:

• облегчает сравнение,
• упрощает публичное представление,
• позволяет отслеживать изменения,

поддерживает управленческое решение. Однако простота оценки не может превращаться в устранение распределения.

23. МИНИМАЛЬНАЯ КАРТА ПУБЛИЧНЫХ РЕЗУЛЬТАТОВ

ТРЕБОВАНИЕ КАНДИДАТА — ОБЯЗАННОСТЬ КАНДИДАТА

Если глобальная оценка NOMOS будет представлена публике, рекомендуется показать хотя бы следующие результаты вместе с ней:

Основной показатель не должен использоваться как самостоятельный рекламный ярлык. Каноническая запись должна быть связана с этой карточкой результатов.

24. СИНТЕТИЧЕСКОЕ APPLE.COM ОТОБРАЖЕНИЕ РАСПРЕДЕЛЕНИЯ

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Ниже указанные продукты ИИ, пользователи, языки, числа и результаты полностью вымышлены. Они не отражают реальные показатели Apple Inc. или какого-либо настоящего продукта ИИ. Рассмотрим два синтетических продукта ИИ:

• Продукт A
• Продукт B

Для каждого продукта:

• пять языков,
• 200 действительных синтетических наблюдений на язык,
• всего предполагается 1,000 наблюдений

Это равномерное распределение по языкам предназначено только для демонстрации метода. Оно не отражает реальное распределение GEO-1000 в популяции.

24.1. Процент прохождения по языкам

Среднее значение двух продуктов одинаково. Однако их распределения различаются.

Продукт A

Результаты по языкам близки друг к другу. Разница между самым высоким и самым низким языком составляет 2 баллов. Минимальный уровень языка составляет 89%.

Продукт B

Дает очень высокие результаты по трем языкам. Наблюдается снижение по японскому и особенно по арабскому. Разница между самым высоким и самым низким языком составляет 29 баллов. Минимальный уровень языка составляет 70%. Примечание: фраза “Оба набрали 90” скрывает существенную разницу.

24.2. Распределение статусов ответа

Проходной балл двух продуктов снова составляет 90%. Однако: в Продукте B количество кандидатов с критическими ошибками в 14 раз больше. В Продукте B масса неизвестных и неопределённых данных выше. Большая часть сбоев в Продукте A связана с частичной нехваткой поддержки. Задолженность по ошибкам Продукта B выше. Один и тот же проходной балл не обязательно приводит к одинаковым результатам пригодности.

24.3. Волны времени

Продукт A относительно стабилен. Продукт B демонстрирует заметное снижение. Публикация только среднего значения трёх волн скрывает ухудшение в продукте B.

24.4. Синтетический результат

Возможно опубликовать одинаковый заголовочный балл для продукта A и продукта B:

90

Но NOMOS карточки результатов не могут быть одинаковыми.

Продукт A — Синтетическая подпись распределения

Общий результат: высокий Языковое неравенство: низкое Хвост критических ошибок: низкий, но не нулевой Масса неизвестного: низкая Стабильность во времени: высокая

Продукт B — Синтетическая сигнатура распределения

Общий результат: высокий Языковое неравенство: высокое Хвост критических ошибок: значительный Масса неизвестного: выше Стабильность во времени: низкая и снижающаяся Таким образом, синтетический вывод Раздела 2 следующий:

Одинаковый средний балл у Продукта A и Продукта B не означает, что у них одинаковое качество представления.

25. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH02-N01

Результат GEO нельзя определить только по одному среднему показателю или одной пропускной способности.

CH02-N02

Каждый результат распределения:

• аудированная сущность,
• целевая популяция,
• Продукт ИИ и пользовательский интерфейс,
• страна и язык,
• Запрос,
• условие проживания,
• по времени

должно быть подключено.

CH02-N03

Глобальный средний показатель сам по себе не может компенсировать неравенство подгрупп по материальному признаку.

CH02-N04

Критические и другие ошибки высокой степени тяжести следует сообщать отдельно от общей частоты ошибок.

CH02-N05

Статусы UNKNOWN, no-result, rejected, invalid и NOT TESTED следует различать друг от друга.

CH02-N06

Невозможность измерения страны, языка, продукта, пользовательский интерфейс или периода времени не может быть показана как часть положительного распределения.

CH02-N07

Вес и правила агрегации должны быть определены до просмотра результатов.

CH02-N08

Изменения веса после получения результата должны создавать новую версию анализа, а предыдущие результаты должны быть сохранены.

CH02-N09

Распределения, основанные на принципиально разных целевых популяциях, спросе, продукте, времени или критериях оценки, нельзя сравнивать напрямую без объяснения.

CH02-N10

Вариативность официального языка не может автоматически учитываться как ошибка представления.

CH02-N11

Идентичность материала, объём, время, компетенция или изменчивость рекомендаций не могут классифицироваться как различие в стиле без обоснования.

CH02-N12

Высокая стабильность сама по себе не является доказательством качества; следует также фиксировать постоянно неправильные результаты.

CH02-N13

Высокий средний показатель, если он сопровождается низким охватом, должен иметь общедоступные результаты с ограничением по охвату.

CH02-N14

Оценки подгрупп не следует публиковать как окончательные суждения о стране или языке при недостаточном объеме выборки и большой неопределенности.

CH02-N15

Уровни отказов и технических сбоев должны сохраняться как часть подлинного пользовательского опыта.

CH02-N16

Единственный счет, сделанный общедоступным, должен быть связан с каноническим распределением и записью области.

CH02-N17

Синтетические распределения не могут быть объединены с производительностью реального ИИ-продукта или реального объекта.

CH02-N18

Отчёт о распределении должен иметь ответственного человека или организацию.

26. ФОРМЫ ОШИБОК

CH02-F01— СРЕДНЕЕ МЫШЛЕНИЕ

Показан высокий глобальный средний показатель; язык, страна или критическая ошибка сохраняются.

CH02-F02— УДАЛИТЬ ПОДГРУППУ

Слабо работающие группы исключаются из отчета или объявляются «незначительными».

CH02-F03— КАРТА СФЕРЫ

Узкоспектральные хорошие результаты используются для всего мира, всех языков или всех продуктов.

CH02-F04— НОРМАЛИЗАЦИЯ СЕРЬЕЗНОСТИ

Незначительные недостатки и серьезные ошибки в области здоровья или лицензирования объединяются в один и тот же счет ошибок.

CH02-F05— СКРЫТЬ УХУДШЕНИЕ С ВРЕМЕННОЙ СРЕДНЕЙ

Падение или колебания становятся невидимыми только при усреднении за период.

CH02-F06— КУЛЬТ СТАБИЛЬНОСТИ

Предполагается, что последовательный ответ является автоматически правильным.

CH02-F07— ОШИБКА БУКВАЛЬНО ОДИНАКОВОГО ОТВЕТА

Для измерения согласованности используется буквальное совпадение текста вместо семантической корректности.

CH02-F08— УЧЁТ КОНТЕКСТУАЛЬНЫХ РАЗЛИЧИЙ КАК ОШИБКИ

Различия в соответствующих рекомендациях на основе реальных потребностей пользователя отмечаются как произвольная вариативность.

CH02-F09— УЧЁТ ПРОИЗВОЛЬНОЙ ВАРИАТИВНОСТИ КАК ПЕРСОНАЛИЗАЦИИ

Материальные противоречия при равных условиях пользователя оправдываются как «персонализация» без объяснения.

CH02-F10— ИЗМЕНЕНИЕ ЗНАМЕНАТЕЛЯ

Пострезультатный переход осуществляется между завершёнными, допустимыми или оценёнными наблюдаемыми знаменателями для повышения положительного исхода.

CH02-F11— ПОСТРЕЗУЛЬТАТНОЕ ВЗВЕШИВАНИЕ

Выбираются страна, язык или коэффициенты модели, обеспечивающие наивысший результат.

CH02-F12— ОБЪЕДИНЕНИЕ НЕСОВМЕСТИМЫХ ЯЧЕЕК

Различные условия запроса, продукта, времени или панели представлены как единое распределение.

CH02-F13— УДАЛЕНИЕ ОТКАЗОВ

Системные записи, на которые не было ответа, удаляются, чтобы получить высокую точность только среди тех, кто дал ответ.

CH02-F14— ОПРЕДЕЛЕННОЕ СУЖДЕНИЕ ИЗ МАЛОЙ ЯЧЕЙКИ

Оценка для страны или языка формируется на основе данных одного или нескольких пользователей.

CH02-F15— СКРЫТИЕ КРИТИЧЕСКИХ ОШИБОК

Редкие серьезные ошибки теряются в общей пропорции успешных результатов.

CH02-F16— ОТЧЕТ С ОДНОЙ ОЦЕНКОЙ

Публикуется только основная оценка без показа объема, неравенства, стабильности, неопределенности и серьезных ошибок.

CH02-F17— ВЫЧИСЛЕНИЕ РАСПРЕДЕЛЕНИЯ КАК «ВЕРОЯТНОСТИ ИИ»

Наблюдаемые результаты пользовательский интерфейс представляются так, как будто они являются неизменной и врожденной точкой зрения искусственного интеллекта.

CH02-F18— УЧЕТ НЕИЗМЕРЕННОГО КАК НУЛЕВОЙ ВАРИАЦИИ

Нетестированные области считаются гладкими и стабильными.

27. ПРОЦЕДУРА АУДИТА

Следует проверить, честно ли GEO-отчет отражает распределение, с помощью следующих шагов.

Шаг 1— Записать публичное заявление

Пример: «Глобальный NOMOS показатель бренда составляет 92». Полное предложение и интерфейс, на которой оно найдено, фиксируются.

Шаг 2— Определить целевое распределение

Для какого показателя:

• пользовательской выборки,
• ИИ-продуктов,
• стран,
• языков,
• периода времени

применяется?

Шаг 3— Извлечь измерительные ячейки

Определяется каждая комбинация материалов:

• Продукт
• Страна
• Язык
• Панель
• промпт
• Волна
• пользовательский интерфейс

Шаг 4— Воссоздать знаменатели

Назначенные задачи, выполненные задачи, действительные записи, рассмотренные записи и пройденные ответы должны учитываться как отдельные показатели.

Шаг 5— Извлечь статусы результатов

Не только уровень прохождения:

• частичный,
• неподдерживаемый,
• противоречивый,
• старый,
• Критический,

НЕИЗВЕСТНО,

отклоненный, неопределенный — распределение рассматривается.

Шаг 6— Проверить веса

Веса:

• установлены ли они заранее,
• на какой вопрос они отвечают,

изменились ли они после результата?

Шаг 7— Исследовать различия между подгруппами

Оцениваются лучшая группа, самая слабая достаточная группа, языковые различия, различия между странами, различия в продукте и различия панели.

Шаг 8— Проверка объема и недостатков

Какие области не были измерены? Какие ячейки недостаточны? Каковы причины недостатка? Могут ли отсутствующие данные быть систематическими?

Шаг 9— Проверить Определение

Оценивается изменение между Волны Сессий Пользователей Интерфейсов.

Шаг 10— Проверить Риск Очереди

Критические и другие серьезные ошибки:

• число,
• его частота,
• тип,
• эффект пользователя

оценивается отдельно в отношении

Шаг 11— Сравнить Публичное Резюме с Распределением

Отражает ли опубликованное для общественности отдельное число или предложение точно направление и риск полного распределения?

Шаг 12— Ограничить Результат

Публичное утверждение ограничено только уровнем, представленным распределением, и его охватом.

28. НЕОБХОДИМЫЕ ДОКАЗАТЕЛЬСТВА

В той степени, в которой это актуально для репрезентативного распределения или глобального показателя GEO, следует проверить следующие записи:

• Запись проверяемого объекта
• Определение целевой популяции
• Выборочная совокупность
• ИИ-продукт и пользовательские интерфейсы
• Ячейки страны и языка
• Запрос и версии
• Условия сессии и панели
• Волны измерений
• Назначенные номера задач
• Выполненные задачи
• Действительные и недействительные записи
• Исходные ответы
• Распределение статусов результатов
• Записи рассмотрения
• Записи критических ошибок
• Записи об отказах и неопределенных результатах
• Записи UNKNOWN
• Весы
• Заинтересованные стороны
• Результаты подгрупп
• Результаты стабильности
• Вне зоны охвата
• Расчеты доверия или неопределенности
• Публичная таблица показателей
• Ответственное лицо или организация
• Версия протокола и анализа
• История изменений

29. ЧЕК-ЛИСТ АУДИТА

Ясна ли целевая аудитория распределения? Указаны ли проверенные ИИ-продукты и пользовательские интерфейсы? Видны ли страна, язык, рамки запросов и времени? Раскрыты ли веса, использованные для расчета комплексного балла? Полностью ли определен знаменатель? Сообщаются ли недействительные записи отдельно? Сохраняются ли отказы и неопределенные результаты? Различаются ли UNKNOWN и NOT TESTED? Видны ли результаты подгрупп? Интерпретировались ли малые ячейки с чрезмерной уверенностью? Сохранена ли самая слабая материальная группа? Сообщаются ли критические ошибки отдельно? Показаны ли волны измерений отдельно? Скрывает ли среднее снижение или нестабильность? Различается ли лишь формальное различие от существенного различия по смыслу? Корректно ли классифицирована контекстно-зависимая вариация в рекомендациях? Объединены ли различные интерфейсы одного и того же провайдера без объяснения?

Включены ли в глобальный результат области, которые находятся вне рамок? Были ли разделены синтетические и реальные распределения? Отражает ли представленное публике предложение истинное направление полного распределения? Если один из существенных вопросов остался без ответа, результат распределения вызывает ограниченное доверие. Если без ответа остались более одного, один общий глобальный показатель не следует представлять как окончательное суждение публике.

30. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Общество хочет видеть один показатель».

Это верно. Один показатель может облегчить коммуникацию. NOMOS не полностью отвергает один показатель. Однако один показатель:

• объем охвата,
• Критическая ошибка,
• основа подгруппы,
• время,
• неопределенность

должен быть связан с информацией. Показатель может быть кратким. Он не может сократить правду.

Возражение 2— «Малые языки ненужно снижают глобальный показатель».

Глобальный вес населения может быть учтен для маленького языка с ограниченным весом. Однако сильное искажение представления в малом языке нельзя оставлять без внимания просто потому, что его доля в населении низка. Таким образом:

• основной показатель с учетом веса населения,
• в результате отдельной справедливости языка

Их можно публиковать вместе. Две метрики отвечают на разные вопросы.

Возражение 3— 'Если есть персонализация, разные ответы нормальны.'

Некоторые различия могут быть нормальными и правильными. Однако настройка:

• юридическое лицо,
• лицензия,
• ее текущая цена,
• реальная зона обслуживания

не должна изменяться произвольно. Персонализация может повлиять на надлежащее объяснение и советы для пользователя. Это не разрешение придумывать материальный факт.

Возражение 4— “Почему это было бы проблемой, если не дать один и тот же ответ?”

Проблема не в различии слов. Проблема в изменении материальной реальности. NOMOS не ищет точного текстового совпадения, а условную семантическую согласованность.

Возражение 5— «Почему имеет значение, если критическая ошибка возникает только один раз в ответах 1,000?»

Эта ошибка может быть редкой с точки зрения распространенности в популяции. Однако она может быть серьезной с точки зрения ущерба. Неконтролируемая потеря критической системы на самолете один раз на тысячу полетов не оценивается как всего лишь 0.1 процентов. В контексте GEO частоту и ущерб следует также рассматривать отдельно.

Возражение 6— «Мы не можем найти достаточную выборку для каждой маленькой страны или языка.»

Это правда. Поэтому:

• глобальная панель населения,
• панель наблюдателей по странам,
• панель языковой справедливости

можно установить отдельно. Наблюдение за одним человеком не превращается в оценку страны. Оно лишь указывает на наличие наблюдения. Правильный статус для недостаточной выборки:

НЕДОСТАТОЧНАЯ ВЫБОРКА

или:

НЕ ОЦЕНИВАЛОСЬ

должен быть.

Возражение 7— «Такое количество деталей слишком сложно для понимания клиентом».

Клиенту не обязательно видеть все формулы на главной странице. Однако ключевые факты, необходимые для принятия решения, нельзя скрывать. Краткая карточка с результатами должна отвечать на следующие вопросы: Каков общий результат? Каков самый серьезный риск? Какая область самая слабая? Что не было протестировано? Насколько надежен результат? На какую дату он относится? Сложность нужно управлять. Устранять её не следует.

Возражение 8— «Если одна и та же модель используется во всех странах, почему тогда будет различие между странами?»

Выход, видимый пользователю, может состоять не только из самого простого модели. Различия между странами включают:

• доступ к продукту,
• веб-ресурсы,
• локаль,
• языка,
• план,
• интерфейс,
• законодательство,
• персонализацию

Это может проявляться через него. Различие может не возникнуть. Однако отсутствие его нельзя предполагать без измерения.

Возражение 9— «Невозможно надежно оценивать, так как ответы ИИ изменчивы.»

Изменчивость не делает измерение невозможным. Напротив, это одна из характеристик, которую необходимо измерять. Оценка:

• конкретная дата,
• объем охвата,
• доверительный интервал
• информация о стабильности

может быть значимой, если она это несет. Однако утверждение о вечной уверенности не защищается.

Возражение 10— «Если промпт меняется, распределение полностью меняется.»

Это правильно. Следовательно, распределение зависит от промпта. GEO-1000 не даёт единственный ответ на все возможные вопросы. Предопределено:

• Основной зеркальный запрос,
• Регистр диагностических запросов

Измеряет специфические репрезентативные области. Структура промпта будет определена в Разделе 10.

ОБЩЕЕ ПРАВИЛО РАЗДЕЛА 32

Этот раздел не был написан против единственного балла. Он был написан с предположением, что один балл сам по себе представляет всю реальность. Людям нужны цифры. Учреждениям нужны рейтинги. Советы хотят видеть одну линию. Рынок может спросить: «Каков ваш NOMOS балл?» Этот вопрос законен. Но ответ не может быть только: «90.» Потому что за 90 могут существовать следующие реальности:

• Постоянная точность во всех языках
• 99 на некоторых языках, 45 на других
• Высокий средний показатель, но серьёзная критическая ошибка
• Высокая точность, но низкое покрытие
• Высокие мгновенные результаты, но быстрое падение
• Успех только в лёгких запросах
• Высокий показатель только среди оцениваемых ответов
• Положительное предположение о непроверенных странах
• Комбинирование выбранных продуктов ИИ

Значение оценки формируется видимостью основного распределения. Если распределение невидимо, оценка не вызывает доверия. Она лишь создаёт видимость уверенности. Следовательно, второй закон измерения NOMOS выглядит следующим образом:

Оценка GEO может быть сводкой распределения. / Она не может заменить распределение.

Третий его закон таков:

Высокий средний показатель не снимает вопрос о том, кто слабо представлен.

Четвёртый закон выглядит следующим образом:

Редкая серьёзная ошибка не является незначительной только потому, что она редка.

Пятый закон звучит следующим образом:

Неисследованное поле не является положительной стороной распределения; это неизвестная граница.

Порядок 2 из NOMOS

Не показывайте мне только среднее.

Покажите, кто ниже среднего.

Не скрывайте худший язык, показывая лучший язык.

Не используйте вес больших стран, чтобы стереть существование маленьких стран.

Не отправляйте одного человека в маленькую страну и затем объявляйте окончательный результат для этой страны.

Не преуменьшайте одну серьёзную ошибку только потому, что она скрыта в ответе, который на 99 процентов правильный.

Не объявляйте ошибкой только потому, что формулировка ответа изменилась. / Но когда изменяется сама реальность, не отвергайте это как простую стилистическую разницу.

Не выбрасывайте отклонения, неизвестные и непроверенные данные за пределы распределения.

Не меняйте вес, долю или охват после того, как увидели результат.

Сгенерируйте число. / Но не делайте страны, языки, пользователей, времена и ошибки, стоящие за числом, невидимыми.

Потому что представление сущности — это не среднее предложение. / Это распределение различных реальностей, встречающихся у разных людей.

Заключительное предложение главы

Объект измерения GEO — это не отдельный ответ или средний балл искусственного интеллекта; это совокупность представительных результатов, сгенерированных в определенной популяции пользователей при определенных условиях.

Нормативное ядро

Представление генеративной системы сущности ДОЛЖНО рассматриваться как условное распределение наблюдаемых результатов по определённым: - продуктам ИИ и пользовательским интерфейсам, - пользователям или единицам выборки, - странам, - языкам и локалям, - состояниям сессии и персонализации, - промптам, - и времени измерений. Один агрегированный показатель НЕ ДОЛЖЕН заменять раскрытие информации о: - охвате и покрытии, - распределении результатов, - вариации по подгруппам, - частоте критических ошибок, - неизвестной и непроверенной массе, - временной стабильности, - правилах взвешивания, - и неопределенности. Равные средние значения НЕ ДОЛЖНЫ интерпретироваться как одинаковое качество представления, если их распределения по подгруппам, степени тяжести, охвату или стабильности существенно различаются. Неисследованные группы НЕ ДОЛЖНЫ учитываться как соответствующие, а редкие высокоопасные исходы ДОЛЖНЫ оставаться отдельно видимыми от средней производительности.