Панели странового наблюдения и языковой справедливости

Граница главы

Раздел 5 установил следующее положение:

Для каждого AI продукта необходимо отдельно определять популяцию пользователей, подходящих для продукта.

Раздел 6 преобразовал эту популяцию в выборку:

Основная панель популяции должна предоставлять заранее определенные вероятности выбора и веса для людей в целевой популяции до того, как будут видны результаты.

Теперь нам нужно решить две разные задачи справедливости. Первая проблема:

Взвешивание по популяции может сделать очень маленькие страны невидимыми в основной выборке.

Вторая проблема:

Среднее значение по мировой популяции может скрывать серьезные искажения представления в языках с низкими ресурсами или низкой численностью населения.

Чистая выборка по популяции сильна для измерения среднего человеческого опыта в мировой популяции. Однако та же выборка:

• не может наблюдать каждую страну индивидуально,
• не может предоставить достаточное количество выборок для каждого языка
• не удается создать оценку страны для небольших стран,

может не выявлять редкие, но существенные ошибки на языках с ограниченными ресурсами. Поэтому GEO-1000 не может состоять только из одной панели. Вместе с основной панелью населения необходимы две дополнительные структуры:

Панель наблюдателей страны

Стандартная метка панели:

Панель наблюдателей страны

и:

панель языковой справедливости

Стандартная метка панели:

панель языковой справедливости

Панель наблюдателей за страной отвечает на следующий вопрос:

В странах, которые недостаточно представлены в основной панели населения, есть ли хотя бы реальные наблюдения пользователей, проверка доступа или ранние предупреждающие сигналы?

С другой стороны, Панель языковой справедливости отвечает на следующий вопрос:

Даже если глобальный средний показатель кажется высоким, представлены ли пользователи на определенных языках неправильно, не полностью или рискованно?

Эти две панели не заменяют основную Панель Населения. Они дополняют её. Предоставление наблюдателю страны возможности наблюдать за страной не измеряет результат этой страны. Чрезмерная выборка языка не делает этот язык более распространённым в мировом населении. Задачи этого раздела:

• видимость страны по сравнению с весом населения,
• разделение глобального среднего с учётом языковой справедливости,
• отделение оценки численности населения от раннего предупреждения,
• разделение статистической достаточности от объёма наблюдений

друг от друга. Этот раздел ещё не:

• определил, как промпты должны переводиться на все языки,
• провёл обратный перевод и тест на семантическое соответствие,
• установил детальный механизм отбора участников,
• описал, как атомарные утверждения будут оцениваться арбитрами,
• установил окончательные пороги соответствия

точно. Эти вопросы будут дополнительно регулируются в следующих разделах. Основной вопрос Раздела 7:

Как мы измеряем, создавая глобальный рейтинг, не искусственно завышая показатели маленьких стран и языков, но при этом не оставляя их полностью незаметными?

NOMOS Вызов

Вы создаете панель населения 1,000 для продукта на базе ИИ. В результате выборки пропорциональной населению:

• сотни пользователей из нескольких крупных стран,
• десятки пользователей из некоторых средних стран,
• нет пользователей из большинства маленьких стран

прибыло. Глобальный рейтинг:

94

Это было рассчитано таким образом. Затем вы сказали: «Этот продукт ИИ представляет бренд по всему миру с точностью 94 процентов». Однако в 70 маленьких странах нет ни одного реального наблюдения пользователей. Эти страны могут составлять небольшую часть мирового населения. Тем не менее, остаются следующие вопросы без ответа: действительно ли продукт доступен? Работает ли намерение на правильном языке? Система путает одну страну с другой? Местная компания путается с глобальным брендом? Неверны ли цена, сервис и юридический контекст? Не удается ли системе отвечать? Есть ли редкие критические ошибки? Глобальный показатель населения не отвечает на эти вопросы. Теперь представьте, что вы добавили одного человека в каждую страну. Вы получили 70 дополнительных наблюдений.

Вы добавили каждую из этих стран к основному баллу с весом 1/1,070, делая маленькие страны многократно больше их истинной доли населения. Географическая видимость увеличилась, но оценка населения была искажена. Затем один пользователь в одной стране получил неправильный ответ, и вы заявили: «GEO-балл этой страны равен нулю». Ответ одного человека не является баллом страны. Это единичное событие, наблюдаемое в определённых условиях в этой стране. Теперь рассмотрим язык. Результат для английского — 98 процентов, для немецкого — 96 процентов, для турецкого — 91 процентов. Язык с низким ресурсом имеет всего восемь пользователей и сырое значение 50 процентов. Вы говорите: «Восьми человек недостаточно; уберите язык из отчета». Глобальный рейтинг растет, но опыт пользователей на этом языке исчезает.

В другом подходе вы предоставляете дополнительные 200 пользователей для языка с низкими ресурсами. Среднее значение выборки снижается. Затем вы говорите: "Глобальный показатель снизился до 84." Однако фактическая доля населения, говорящая на этом языке, может составлять 2 процентов. Чрезмерная выборка увеличивает статистическую мощность. Она не увеличивает вес в популяции. Первое правило этого раздела следующее:

Наблюдаться — не значит иметь вес.

Второе положение гласит:

Отдельное наблюдение по стране — это не оценка страны.

Её третье положение гласит:

Справедливость по языкам не означает присваивание равного веса всем языкам в глобальном показателе.

Четвертая статья гласит:

Высокое глобальное среднее не устраняет серьезного ухудшения в конкретном языке.

Пятая его статья гласит:

Дополнительные наблюдения, сделанные для увеличения охвата, нельзя добавлять к основному показателю без перерасчета веса в соответствии с истинной популяцией.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела заключается в создании дополнительных панелей, которые повышают видимость стран и языков без нарушения представления статистической популяции основной Панели Населения. В разделе нормализуются следующие различия:

• Географическая видимость с учетом веса популяции
• Наблюдение за страной с оценкой страны
• Обнаружение одиночного события с оценкой распространенности
• Основная Панель Населения с Панелью Наблюдателей Стран
• Панель Наблюдателей Стран с валидационным исследованием, специфичным для страны
• Покрытие стран с покрытием популяции
• Покрытие числа языков с учетом численности носителей
• Справедливость по языку с равным глобальным взвешиванием языков
• Глобальная доля языка с чрезмерной выборкой
• Родной язык и язык запроса
• Язык и локаль
• Язык и система письма
• Поддерживаемый язык и язык, который может самостоятельно генерировать ответы
• Дефект перевода промпта и языковой дефект ИИ-системы
• Недостаток ресурсов и дефект представления ИИ
• Недостаточность арбитров и сбой продукта
• Законное местное различие и несправедливое языковое неравенство
• Глобальный средний показатель и база подгруппы
• Охват доступа по странам и точность представления стран
• Сигнал наблюдателя и окончательное решение о соответствии
• Одноволновой цикл наблюдения с многоволновым географическим покрытием

В конце этого раздела каждый аудит GEO-1000 должен быть способен дать четкие ответы на следующие вопросы:

В каких странах есть хотя бы одно фактическое наблюдение?

В каких странах есть только наблюдение по раннему предупреждению, а в каких — статистические прогнозы?

Какие языки были измерены, какие достигли достаточного объема выборки, а какие не были протестированы?

Если языки с низкими ресурсами были избыточно выбраны для выборки, как это было учтено в глобальной оценке?

Является ли источник плохого результата на языке действительно сгенерированным ИИ, или это связано с промптом, ресурсами, локализацией или проблемами с экспертизой?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

GEO-1000 должен управлять основной оценкой численности с помощью Панели населения; наблюдением за небольшими странами с помощью Панели наблюдателей стран; идентификацией языкового неравенства и языков с низкими ресурсами отдельно с помощью Панели языковой справедливости.

Эти три структуры:

• отличаются по целям,
• отличаются по целевым выборкам,
• отличаются по весам,
• отличаются по публичным утверждениям

имеют. Наблюдение одной панели не может быть преобразовано в значение другой панели без объяснения. Структура по умолчанию:

3. ЧТО ТАКОЕ ПАНЕЛЬ СТРАНОВЫХ НАБЛЮДАТЕЛЕЙ?

Панель страновых наблюдателей в странах, которые недопредставлены или недостаточно представлены в основной панели населения:

• доступ к продукту,
• Применимость промпта
• базовый анализ сущностей,
• поведение языка и локали,
• ранний сигнал критической ошибки

является дополнительной аудиторской панелью, созданной для наблюдения. Основная задача Панели Наблюдателей за Странами не заключается в выставлении оценки.

Она заключается в том, чтобы впервые сделать невидимую страну видимой.

Наблюдение Country Observer может показать: «В указанной стране, для указанного ИИ-продукта пользовательский интерфейс, языка и временного условия, этот результат наблюдался хотя бы один раз». Оно не может показать: «X% пользователей в этой стране видят тот же результат».

4. Единица Панели Наблюдателей за Странами

Базовой единицей наблюдения Панели Наблюдателей за Странами является не только страна. Предпочтительная единица:

S_{c,a,l,s,w}

где:

• c: страна или юрисдикция
• a: Продукт ИИ и пользовательский интерфейс
• l: язык, система письма и локаль
• s: условие сессии или плана
• w: волна измерений

Это различие необходимо. В одной и той же стране:

• более одного языка,
• разные планы,
• веб- и мобильные интерфейсы,
• разные юридические или технические условия доступа

могут существовать. Добавление пользователя в страну не означает мониторинг всех языковых и пользовательских интерфейсов страны.

5. ОБЯЗАННОСТИ ПАНЕЛИ НАБЛЮДАТЕЛЯ СТРАНЫ

5.1. Проверка доступа

Хотя продукт, согласно официальной регистрации, доступен в стране, фактический пользователь:

• может не иметь возможности войти в систему,
• может не иметь возможности достичь указанной интерфейсы,

Может столкнуться с препятствием в плане или проверке. Наблюдатель страны тестирует официальную запись доступа на полевом уровне.

5.2. Базовая проверка личности

Сущность, контролирующая продукт ИИ:

• правильная компания,
• правильный бренд,
• правильные отношения с страной

Может ли он анализировать внутри?

5.3. Обнаружение отклонений локали

В разных локалях одной и той же страны на одном языке:

• цена,
• компания,
• услуги,
• закон,
• совет

Меняется ли это? Если это меняется, может ли эта разница быть финансовой и объяснимой?

5.4. Сигнал редкой тяжёлой ошибки

В ответе одного наблюдателя:

• неправильная лицензия,
• неправильное юридическое лицо,
• опасная информация о здоровье или безопасности,
• тяжелое слияние идентичности

Это можно наблюдать. Одинарное событие не указывает на распространенность в стране. Однако оно может инициировать проверку.

5.5. Новая гипотеза исследования

Наблюдательная панель может задать вопрос: «Является ли это событие единичным, или оно повторяющийся шаблон среди пользователей в стране?» Этот вопрос проверяется с помощью целевого дополнительного образца.

5.6. Запись о географическом охвате

Она показывает, в скольких подходящих странах продукт имеет реальные наблюдения пользователей. Это не количество отдельных оценок стран. Это наблюдательное покрытие.

6. ЧТО НАБЛЮДАТЕЛЬНАЯ ПАНЕЛЬ СТРАНЫ НЕ МОЖЕТ СДЕЛАТЬ

Только наблюдательная панель страны:

• надежный счет страны,
• уровень населения страны,
• рейтинг страны,
• решение о соответствии страны,
• превосходство модели на основе страны

не может быть получено. Если в стране есть только один наблюдатель и ответ верный: «Оценка страны 100» нельзя утверждать. Если неверный: «Оценка страны равна нулю» нельзя утверждать. Верный статус:

OBSERVED_PASS

Наблюдаемая проблема

OBSERVED_CRITICAL_CANDIDATE

СБОЙ ДОСТУПА

НЕДОСТАТОЧНО ДЛЯ ОЦЕНКИ ПО СТРАНЕ

являются наблюдаемыми записями.

7. РЕЕСТР ПРАВОМОЧНЫХ СТРАН

Для каждого ИИ-продукта должен быть создан реестр право¬мочных стран. Каждая страна может иметь один из следующих статусов:

CE-0— НЕИЗВЕСТНО

Статус доступа к продукту и аудиту не удалось определить.

CE-1— ВНЕ Естественный охват

Продукт остается вне официальной или легитимной зоны использования. Он не учитывается в оценке точности представления страны. Показывается как пробел в области доступа.

CE-2— ОГРАНИЧЕННЫЙ ИЛИ СПЕЦИАЛЬНЫЙ ДОСТУП

Только:

• учебное заведение,
• приглашениями,
• план,
• устройство,
• тип пользователя

доступ доступен. Может потребоваться отдельная панель.

CE-3— ПОДХОДИТ ДЛЯ НАБЛЮДЕНИЯ Country Observer

Продукт подходит для наблюдения Country Observer с точки зрения соответствующего пользовательский интерфейс и как минимум одного языка аудита.

CE-4— ПОДХОДИТ ДЛЯ ОЦЕНКИ НАСЕЛЕНИЯ

Имеется доля населения, подходящая для продукта, в основной панели населения страны.

CE-5— ПОДХОДИТ ДЛЯ ОЦЕНКИ СТРАНЫ

Можно получить оценку страны при достаточной выборке, эффективной выборке, охвате языков и условиях качества. Страна может быть CE-3, но не CE-5. Это означает, что страна наблюдается, но надежную оценку страны получить не удалось.

8. ЛЕСТНИЦА МЕЖДУ НАБЛЮДЕНИЕМ Country Observer И ОЦЕНКОЙ СТРАНЫ

CS-0— НЕ НАБЛЮДАЕТСЯ

Для соответствующей страны нет действительного наблюдения наблюдателя страны.

CS-1— ОДИНОЧНОЕ наблюдение наблюдателя страны

Есть одно действительное наблюдение «страна–продукт–язык». Генерирует только запись события.

CS-2— ПОВТОРНОЕ наблюдение наблюдателя страны

Есть несколько наблюдений из разных волн или пользователей. Может вызвать подозрение в шаблоне. Недостаточно для расчета показателя страны.

CS-3— ЭКСПЛОРАТОРНАЯ ВЫБОРКА СТРАНЫ

Достигнута предельная группа эксплороторной выборки в разделе 6. Можно дать эксплороторный результат с большой неопределенностью.

CS-4— ПРОВИЗОРНАЯ ОЦЕНКА СТРАНЫ

Можно получить провизорную оценку страны при достаточном и сбалансированном отборе проб.

CS-5— КАНДИДАТ НА ОЦЕНКУ СТРАНЫ

Достаточное количество активных образцов, охват по языкам/локалям, повторные волны и контроль качества обеспечены. Он может быть кандидатом на оценку по стране. Точные пороговые значения следует откалибровать с помощью пилотного исследования и внешнего обзора.

9. ЦИКЛ НАБЛЮДАТЕЛЯ

Наблюдение каждой волны во всех подходящих странах может быть невозможным с точки зрения затрат и операций. Поэтому может использоваться Цикл Наблюдателя. Волны измерений:

w=1,2,…,K

и подходящие страны: пусть c∈CS. Назначение наблюдателя для страны c в волне w:

z_{c,w}= 1(если страна будет наблюдаться в этой волне); в противном случае z_{c,w}= 0

может быть представлено следующим образом. Условие базового цикла:

\sum_{w=1}^K z_{c,w}\geq 1

должно соблюдаться. То есть каждая подходящая страна должна быть наблюдаема хотя бы один раз в пределах определённого цикла наблюдения. Это положение:

• не означает, что каждая страна будет наблюдаться в каждой волне,
• или что одно наблюдение будет составлять оценку страны

Ни одно из условий не следует из требования цикла.

10. КЛАССЫ ЧАСТОТ НАБЛЮДЕНИЯ

Страны могут быть разделены на заранее определённые классы частот.

SF-0— ВНЕ ДОСТУПА

Нет доступа к продукту. Наблюдение представителя пользователя не проводится. Статус доступа контролируется.

SF-1— ОДИН РАЗ ЗА ЦИКЛ НАБЛЮДЕНИЯ

Страны с низким риском, небольшие страны или страны, которые уже имеют достаточное косвенное покрытие в Панели населения.

SF-2— ПЕРИОДИЧЕСКОЕ НАБЛЮДЕНИЕ

Наблюдается снова через равные промежутки времени.

SF-3— КАЖДАЯ ОСНОВНАЯ ВОЛНА

Может наблюдаться в каждой основной волне по следующим причинам:

• высокая численность пользователей,
• материальный целевой рынок,
• предыдущая серьезная ошибка,
• быстрый доступ или изменения в регулировании,

зона обслуживания с высоким риском.

SF-4— МОНИТОРИНГ ИНЦИДЕНТОВ

Усиленное наблюдение из-за подтвержденного критического события или непрерывного нарушения представления. Класс частоты не может быть изменен ретроспективно после рассмотрения результатов. Новое событие может создать новую версию для следующей волны.

11. ПРИОРИТЕТ НАБЛЮДАТЕЛЯ

Частота активности наблюдателя страны не должна определяться исключительно на основе численности населения. По мере необходимости могут учитываться следующие области:

• Потенциальная для продукта аудитория
• Фактическое покрытие услуги или рынка объекта
• Предыдущие записи о неправильном представлении
• Влияние на пользователей с высоким риском
• Изменения в доступе к продукту
• Уникальность языка и локали
• Использование языков с ограниченными ресурсами
• Юридические или операционные различия
• Время, прошедшее с момента последнего наблюдения

Эти поля должны использоваться в соответствии с заранее определенным правилом управления. Подход «Результат этой страны плох, давайте измерять меньше» запрещен.

12. Метрики покрытия наблюдателем страны

Покрытие страны не является одним числом. Должны использоваться как минимум три отдельных метрики.

12.1. Покрытие наблюдения страны

Доля стран, имеющих как минимум одного действительного наблюдателя или наблюдение за населением.

COC_count= |{c ∈ C_S: n_c^obs > 0}| / |C_S|

Эта метрика показывает покрытие с точки зрения числа стран.

12.2. Покрытие наблюдения страны с учетом населения

Доля подходящей популяции в странах с хотя бы одним действительным наблюдением по отношению к общей целевой популяции.

COC_pop= [Σ_{c:n_c^obs>0} N_c] / [Σ_{c∈C_S} N_c]

Этот показатель показывает, наблюдаются ли большие популяции.

12.3. Покрытие прогнозирования по странам

Это доля стран, достигших достаточной выборки по стране.

CEC= |{c: n_{c,eff}≥ m_c}| / |C_S|

Здесь mc — это заранее определённый порог адекватности для прогноза по стране. Аудит:

• 100 процент покрытия наблюдений по странам,
• 99 процент покрытия наблюдений по населению,
• может иметь только 10 процент покрытия прогноза по странам

Эти результаты нельзя преобразовать друг в друга.

13. СИГНАЛ ПРЕДУПРЕЖДЕНИЯ НАБЛЮДАТЕЛЯ

Когда в наблюдении наблюдателя обнаруживается материальная проблема, создается сигнал тревоги наблюдателя. Типы сигналов тревоги:

SA-1— АНОМАЛИЯ ДОСТУПА

Официальная запись доступа противоречит фактическому доступу пользователя.

SA-2— АНОМАЛИЯ СУБЪЕКТА

Субъект объединяется с другой компанией, продуктом или операцией в стране.

SA-3— АНОМАЛИЯ ЯЗЫКА ИЛИ ЛОКАЛИЗАЦИИ

Происходит неверный язык, неправильный контекст страны или очевидное отклонение локали.

SA-4— АНОМАЛИЯ ВАЖНОГО ФАКТА

Материальная цена, услуга, мощность, партнерство или время указаны неверно.

SA-5— КАНДИДАТ НА КРИТИЧЕСКИЙ ИНЦИДЕНТ

Существуют проблемы со здоровьем, законом, финансами, безопасностью, лицензированием или серьезная ошибка идентичности.

SA-6— АНОМАЛИЯ ССЫЛКИ ИЛИ промпта

Источник проблемы не является ответом ИИ:

• запрос,
• перевод,
• официальный источник,
• разбирательство

может быть виноват. Тревога не является автоматической ошибкой страны. Это начало проверки и эскалации.

14. ПРОТОКОЛ ЭСКАЛАЦИИ НАБЛЮДАТЕЛЯ

Шаг 1— Проверка достоверности

Соответствует ли наблюдение действительно протоколу? Верная страна Верный продукт Верная промпт Верный язык Первоначальный подходящий результат Все доказательства проверены.

Шаг 2— Перекодирование инцидента

Проблема:

• Продукт ИИ,
• реестровая запись,
• запрос,
• участник,
• доступ

К какому источнику это может принадлежать?

Шаг 3— Независимое повторение

Прежде чем выбрать результат, выполняется проверка с заранее заданными новыми пользователями или сессиями.

Шаг 4— Целевое выборочное обследование

Если событие продолжается, может применяться выборка по странам. Размер выборки:

• тяжесть события,
• ожидаемая распространенность,
• население страны,
• языковое разнообразие

заранее определяются.

Шаг 5— Разделение решений

Следующие результаты сохраняются отдельно:

• Одно подтвержденное событие
• Повторяющийся шаблон
• Уровень по стране
• Критический эффект применимости

Одно критическое событие может влиять на проверку соответствия даже без оценки распространенности.

15. ЧТО ТАКОЕ ЯЗЫКОВАЯ СПРАВЕДЛИВОСТЬ?

Языковая справедливость:

Речь идет не о том, чтобы все языки получали точно одинаковый ответ слово в слово.

Это означает:

В семантически эквивалентных и материально сопоставимых пользовательских вопросах, кроме реальных локальных различий, пользователи не должны систематически получать представления, которые более ошибочны, более неполные, меньше обоснованы или более рискованны из-за их языка.

Языковая справедливость не стремится к этому равенству:

R_Turkish= R_English= R_Japanese

Слово в слово. Она ищет это:

Сопоставимое представление с точки зрения идентичности, материальной реальности, границ, времени, статуса источника и пригодности для пользователя.

16. ЯЗЫКОВАЯ РАЗЛИЧНОСТЬ НЕ ВСЕГДА ЯВЛЯЕТСЯ НЕДОБРОСОВЕСТНОСТЬЮ

Языковые результаты могут законно различаться по следующим причинам: Объем местных услуг различен. Цены и условия контрактов варьируются в зависимости от страны. Юридические знания зависят от юрисдикции. Намерения пользователя различаются. промпты не являются семантически идентичными. Официальные источники содержат разный контент на разных языках. Продукт AI официально не поддерживает соответствующий язык. Каждое из этих различий следует фиксировать. Объяснимые местные различия не следует отмечать как несправедливость. Однако, даже если реальность одинакова, в языке с ограниченными ресурсами:

• идентичность компании повреждена,
• границы сняты,
• добавлена неправильная лицензия,
• ответ постоянно дается на другом языке

это может быть проблема с языковым представлением.

17. ЯЗЫКОВОЕ ПОДРАЗДЕЛЕНИЕ

В оценке языка указание только общего названия языка может быть недостаточным. Предпочтительная языковая единица:

L=(λ,σ,ℓ,d)

и может рассматриваться как. Здесь:

• λ: язык
• σ: письменность
• ℓ: локаль или контекст страны
• d: задача или область

Например, один и тот же язык:

• в другой письменной системе,
• в другой стране,
• в юридической или медицинской области

может потребовать отдельной измерительной ячейки. Не все пользователи языка представляют собой единую однородную группу.

18. СТАТУСЫ ПОДДЕРЖКИ ЯЗЫКА

Каждый ИИ-продукт может использовать один из следующих статусов для языка и пользовательский интерфейс:

LS-0— НЕИЗВЕСТНО

Статус поддержки не может быть определён.

LS-1— НЕ ПОДДЕРЖИВАЕТСЯ

Продукт официально не поддерживает рассматриваемый язык. Он не оценивается в рамках оценки основного поддерживаемого языка. Может проводиться экспериментальное тестирование.

LS-2— НАБЛЮДАЕТСЯ, НО НЕ ПОДДЕРЖИВАЕТСЯ

Продукт может генерировать ответы. Однако официальной поддержки или гарантии качества нет. Сообщается как отдельный экспериментальный результат.

LS-3— ОГРАНИЧЕННАЯ ПОДДЕРЖКА

Поддержка существует для конкретных задач, интерфейсов или функций.

LS-4— ОФИЦИАЛЬНО ПОДДЕРЖИВАЕТСЯ

Язык продукта в целом заявляется как поддерживаемый.

LS-5— ДОПУСКАЕТСЯ К АУДИТУ

Язык:

• официальная поддержка,
• эквивалентность промптов,
• местный арбитр,
• ссылочная компетентность,
• допустимое захватывание

полностью соответствует требованиям аудита. Само наличие официальной поддержки не является LS-5.

19. ЯЗЫК С НИЗКИМИ РЕСУРСАМИ

Термин «язык с низкими ресурсами» не описывает ценность языка или качество его носителей. В отдельных технологических и аудиторских контекстах он указывает на один или несколько из следующих недостатков:

• Ограниченное цифровое содержание
• Ограниченный локализованный официальный источник
• Ограниченный набор данных для оценки
• Ограниченный доступ к оценщикам
• Низкая поддержка продукта
• Ограниченные терминологические ресурсы
• Низкое качество машинного перевода
• Ограниченный доступ к пользовательской панели

Язык может быть с низкими ресурсами в одной области и сильным в другой. Например, хотя он имеет сильные ресурсы в повседневном общении:

• закон,
• медицина
• конкретная техническая область

может иметь ограниченные ресурсы. Следовательно, уровень языковых ресурсов:

• продукта,
• задача,
• время,
• область

должны быть определены вместе.

20. ЗАДАЧИ ПАНЕЛИ ПО ЯЗЫКОВОМУ СПРАВЕДЛИВОСТИ

20.1. Увеличение выборки для языков с низким уровнем ресурсов

Предоставляет дополнительных пользователей для языков, которые не получают достаточное количество наблюдений в основной панели населения.

20.2. Измерение распределения материальных ошибок по языкам

Не только общая точность:

• идентичность,
• объем охвата,
• время,
• источник,
• рекомендация,
• Критическая ошибка

исследует результаты отдельно.

20.3. Проверка языка ответа

Отвечает ли ИИ в соответствии с языком запроса? Если он переключается на другой язык, какова причина?

20.4. Исследование различий в языке и локали

Один и тот же язык несет разную локальную реальность в разных странах? Способен ли ИИ правильно учитывать это различие?

20.5. Исследование паритета источника и официального представления

Несут ли официальные записи существования одинаковую материальную реальность на всех языках? Низкий результат ИИ может возникнуть из-за языкового разрыва в самом источнике.

20.6. Тестирование эквивалентности промптов

Действительно ли переводы передают один и тот же пользовательский замысел?

20.7. Тестирование равенства арбитров

Могут ли арбитры на разных языках применять один и тот же нормативный стандарт?

21. ЧЕТЫРЕ ВОРОТА ЯЗЫКОВОЙ СПРАВЕДЛИВОСТИ

Языковое достижение должно оцениваться через четыре ворота, прежде чем приписывать его языковой производительности ИИ-продукта.

Ворота 1— Эквивалентность замысла

Являются ли промпты семантически сопоставимыми? Если это не удается:

ОШИБКА_ЭКВИВАЛЕНТНОСТИ_ПОДСКАЗОК

статус указан.

Ворота 2— Эталонное соответствие

Достаточны ли официальные и проверенные записи реальности для соответствующего языка? Если нет:

ОТСУТСТВИЕ_ЯЗЫКОВОЙ_ЭТАЛОННОЙ_БАЗЫ

статус указан.

Ворота 3— Соответствие измерений

Сравнимы ли условия захвата, сессии, интерфейса и пользователя? Если это не удается:

ОШИБКА_СООТВЕТСТВИЯ_ИЗМЕРЕНИЙ

статус указан.

Ворота 4— Соответствие оценивания

Есть ли оценщики на родном языке или с достаточной локальной экспертизой и одинаковыми правилами оценки? Если это не удается:

ОТСУТСТВИЕ_ЯЗЫКОВОЙ_ЭКСПЕРТИЗЫ_ОЦЕНЩИКОВ

назначается. Если только четыре условия не выполнены надлежащим образом: «Продукт на базе ИИ хуже на этом языке» не может быть окончательно установлено. Языковой разрыв по-прежнему является находкой экосистемы GEO. Однако его источник должен быть правильно классифицирован.

22. УСТАНОВЛЕНИЕ ЯЗЫКОВОЙ ВСЕЛЕННОЙ

Фраза «все языки» не может использоваться без ограничений. Каждый аудит должен создать Языковой Реестр в рамках Объема. Языки могут быть выбраны из следующих групп:

22.1. Глобальный набор основных языков

Родные языки, используемые большим числом людей и подходящие для продукта.

22.2. Набор языков рынка сущности

Языки, на которые нацелена проверяемая сущность:

• услуги,
• с точки зрения содержания,
• клиент,
• контракт

и поддержки.

22.3. Набор языков поддержки продукта

Языки, официально поддерживаемые продуктом на базе ИИ.

22.4. Набор языков с ограниченными ресурсами для наблюдения

Языки с ограниченными ресурсами, которые слабо представлены в основной панели населения или несут риск с точки зрения поведения продукта.

22.5. Набор языков высокого риска

Языки, которые оказывают существенное влияние на пользователя в контексте здравоохранения, права, финансов или безопасности.

22.6. Экспериментальный набор языков

Языки, которые продукт официально не поддерживает, но которые тестируются в наблюдательных или исследовательских целях. Эти группы могут пересекаться. Причина включения каждого языка должна быть зафиксирована.

23. РАСПРЕДЕЛЕНИЕ СПРАВЕДЛИВОСТИ ПО ЯЗЫКАМ

Для языка l пусть целевое значение в основной панели населения будет nlP. Дополнительное целевое значение в панели справедливости — nlF. Общее количество собранных наблюдений на языке:

n_l^T= n_l^P+ n_l^F

получено. Общий вес языка в расчете на мировое население сохраняется как Wl. Нормализованный вес на одно наблюдение:

w_{i,l}= W_l/ n_l^T

можно рассматривать таким образом. Таким образом, язык подвергается избыточной выборке. Однако он не превышает фактическую долю населения в глобальном балле.

24. ВКЛАД ПАНЕЛИ ПО СПРАВЕДЛИВОСТИ ЯЗЫКА В ГЛОБАЛЬНЫЙ СЧЕТ

Наблюдения за языковой справедливостью могут быть использованы двумя способами.

24.1. Раздельный диагностический анализ

Панель справедливости выдает только оценки по языку и типы ошибок. Основная панель населения не изменяет общий балл. Этот метод проще.

24.2. Объединённый взвешенный анализ

Наблюдения за справедливостью в отношении населения и языка используются вместе. Каждое наблюдение перевзвешивается в соответствии с фактическим весом населения целевого языка. Этот метод может увеличить объем информации. Однако:

• двойной счет
• многоязычный пользователь,
• зависимость панели,
• вариабельность весов

Это следует учитывать. Метод, который будет использоваться, должен быть определен до получения результатов.

25. МЕТРИКИ ПОКРЫТИЯ ЯЗЫКОВ

25.1. Покрытие наблюдения по языкам

Доля языков в области охвата, по которым есть хотя бы одно действительное наблюдение.

LOC= |{l: n_l^obs > 0}| / |L_scope|

25.2. Покрытие предсказания языков

Доля языков, которые соответствуют требованиям по достаточности выборки и качеству.

LEC= |{l: n_{l,eff}≥ m_l}| / |L_scope|

25.3. Покрытие языков с учетом численности населения

Доля целевой языковой популяции, которая была адекватно наблюдена. Требуется основной язык аудита или разделение весов пользователей для предотвращения двойного учета многоязычных пользователей.

25.4. Покрытие поддержки продукта

Указывает, на скольких из охваченных языков продукт имеет официальную поддержку. Поддержка языка и точность представления рассматриваются отдельно.

26. Метрики языкового неравенства

Метрики кандидата — Предлагаемые метрики

Точный набор метрик должен быть откалиброван через пилотное и внешнее рассмотрение.

26.1. Результаты по языкам

Для каждой достаточной языковой ячейки рассчитывается θl.

26.2. Разница между наибольшим и наименьшим

DG_max= max_l θ_l− min_l θ_l

Просто для понимания. Однако чувствительно к маленьким и нестабильным единичным ячейкам.

26.3. Робастная разница процентилей

DG_{90−10}= Q_{0.90}(θ_l)− Q_{0.10}(θ_l)

Менее чувствительно к экстремальным ячейкам.

26.4. Минимальный уровень языка

Это наименьший результат по языку с достаточной выборкой.

LF_min= min_{l∈L_est} θ_l

Это значение должно предоставляться вместе с небольшим неопределённым значением для ячейки.

26.5. Надёжный языковой минимум

Это нижний процентиль или среднее значение подгруппы достаточного числа языков. Пример:

LF_10= Q_{0.10}(θ_l)

26.6. Критический уровень ошибок языка

Для каждого языка:

CR_l= допустимый ответ с проверенной критической ошибкой / допустимый языковой ответ

Он публикуется отдельно от глобального среднего.

26.7. Доля неизвестного языка

U_l= НЕИЗВЕСТНЫЙ или неразрешимый ответ / соответствующее языковое наблюдение

Высокая доля неизвестного может быть так же важна, как и низкий показатель.

27. Равный языковой балл и взвешенный по населению балл

Можно получить диагностические результаты, которые оценивают все языки одинаково:

G_equal-language= (1/L)Σ_{l=1}^L θ_l

Этот результат приближает вопрос: «Средний опыт тестируемого языка». Он не представляет средний человеческий опыт в мировой популяции. Результат с учетом численности населения:

G_population-language= Σ_l W_l θ_l

Он сохраняет распределение населения. Два показателя различны. Их нельзя использовать взаимозаменяемо. Оба могут быть показаны вместе на карте языковой справедливости.

28. ЯЗЫКОВАЯ СПРАВЕДЛИВОСТЬ НЕ ЯВЛЯЕТСЯ ОБЯЗАТЕЛЬСТВОМ ПО ДОСТИЖЕНИЮ РАВНЫХ РЕЗУЛЬТАТОВ

Иметь одинаковый балл по двум языкам не является автоматическим нарушением. Разница может быть объяснена следующими причинами:

• Фактическая разница местного обслуживания
• Закон, специфичный для страны
• Официальное покрытие продукта поддержкой
• Доступ к ресурсам
• Намерение пользователя
• Область промпта

Однако, если источник различий не может быть объяснен или языки с ограниченными ресурсами систематически испытывают:

• неправильную идентичность,
• неправильное разрешение,
• недостаток материалов,
• высокую критическую ошибку

если это имеет место, существует проблема языковой справедливости. NOMOS определяет языковую справедливость следующим образом:

При равных материальных условиях сам язык не должен быть причиной систематического искажения.

29. ПЕРЕСЕЧЕНИЕ ЯЗЫКА И СТРАНЫ

Языковой показатель не является независимым от страны. Один и тот же язык:

• разные страны,
• разный доступ к продукту,
• разные локальные ресурсы,
• разное законодательство,
• разные цены

может использоваться в контексте. Следовательно, ячейка «страна–язык»: (c,l) должна рассматриваться отдельно, когда это необходимо. Пример:

• Германия × турецкий
• Турция × турецкий
• Великобритания × турецкий

Это тот же язык, но может иметь различный локальный и рыночный контекст. Справедливость языка не может измеряться исключительно официальным языком страны.

30 наблюдатель страны И ПАНЕЛЬ СПРАВЕДЛИВОСТИ ЯЗЫКА ПЕРЕСЕЧЕНИЕ

Наблюдение одновременно:

• небольшое наблюдение Наблюдателя страны,
• наблюдение для языка с низким ресурсом

может иметь место. В этом случае запись должна содержать следующие поля:

PRIMARY_PANEL_ROLE

SECONDARY_DIAGNOSTIC_TAGS

вес населения Статус наблюдателя Статус языковой справедливости Одно и то же наблюдение не может быть полностью учтено в двух отдельных панелях. Это одно наблюдение. Оно имеет более одного диагностического тега.

31. ИЗМЕНЕНИЕ УЧАСТНИКОВ В ПАНЕЛИ НАБЛЮДАТЕЛЕЙ И ЯЗЫКА

Участник может быть изменен только из-за нарушения протокола. Следующие результаты не являются причинами для изменения:

• Неверный ответ ИИ
• Отказ
• Ответ на другом языке
• Критическая ошибка
• Путаница сущностей
• Отрицательная рекомендация

Это результаты измерений. Цель панели наблюдателей заключается именно в выявлении неожиданных событий. Изменение пользователя из-за того, что произошло неожиданное событие, подрывает цель панели.

32. ЯЗЫКОВАЯ ЭКСПЕРТИЗА

Экспертиза в Панели языковой справедливости должна как минимум соответствовать следующим условиям:

• Способность понимать промпт и ответ естественно или на высоком уровне владения
• Знание местной терминологии
• Способность оценивать источники доказательств
• Использование одного и того же нормативного руководства по оценке
• Быть слепым к модели и, если возможно, к интересам бренда
• Раскрытие конфликта интересов
• Путь третьего арбитра в случае разногласий

Язык, на котором невозможно найти арбитра:

ОТСУТСТВИЕ_ЯЗЫКОВОЙ_ЭКСПЕРТИЗЫ_ОЦЕНЩИКОВ

должен иметь статус. Нельзя предполагать, что все нюансы корректны, если перевод выполнен на английский автоматически. Машинный перевод может быть полезным инструментом. Он не является окончательной проверкой местного значения.

33. ПАРИТЕТ ИСТОЧНИКОВ

Объекта на английском сайте:

• объем охвата,
• цена,
• лицензия,
• ограничения,
• доказательства

существует; если они отсутствуют в версии на другом языке, низкий результат ИИ может быть не только проблемой модели. Требуются три отдельных результата:

• Сущность Язык Источник Разрыв
• ИИ-продукт Язык Представление Разрыв
• Общий Разрыв для Пользователя

Конечная проблема с точки зрения пользователя всё ещё реальна. Однако ответственность за исправление может варьироваться:

• сущность,
• Поставщик ИИ,

оба.

34. ПАРИТЕТ ИСКА

промпты, которые не являются семантически эквивалентными, дают разные ответы. Пример: на одном языке: «Чем занимается эта компания?» На другом языке: «Надёжна ли эта компания и стоит ли её рекомендовать?» Если спросить, результаты нельзя сравнивать. Конституция промптов будет подробно описана в следующем разделе. Положение этого раздела следующее:

Различия в производительности языковой модели не могут быть отнесены на счет производительности ИИ-языка без проверки эквивалентности промптов.

35. ОТКЛОНЕНИЕ ЯЗЫКА ОТВЕТА

Пользователь даёт промпт на турецком языке. ИИ генерирует ответ на английском. Этот результат:

• даже если фактическая информация верна,
• может повлиять на опыт пользователя,
• доступность,
• и понимание.

Отклонение языка ответа должно быть зафиксировано отдельно:

СОВПАДЕНИЕ_ЯЗЫКА

ЧАСТИЧНОЕ_ИСПОЛЬЗОВАНИЕ_ДРУГОГО_КОДА

НЕЗАЯВЛЕННОЕ_ИСПОЛЬЗОВАНИЕ_ДРУГОГО_ЯЗЫКА

НЕПРИГОДНЫЙ_ЯЗЫКОВОЙ_ВЫХОД

НЕИЗВЕСТНО

Смена кода не всегда является ошибкой. Например, использование технических терминов на английском может быть нормальным. Это важно, если это нарушает основную удобопользуемость ответа.

36. ПИСЬМЕННАЯ СИСТЕМА И ТРАНСЛИТЕРАЦИЯ

Один и тот же язык может использоваться в разных системах письма. Для сущности:

• название,
• название продукта,
• юридическая идентичность

это может быть спутано с другой сущностью при транслитерации. Комитет по языковой справедливости, в той мере, в какой это применимо:

• система письма,
• транслитерация,
• официальное местное название
• имя, используемое пользователем

должен записывать свои поля. Различия в системах письма должны считаться только формальными. Если это влияет на разрешение сущности, это существенно.

37. SYNTHETIC Country Observer CYCLE

ПРЕЗЕНТАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Следующие продукт, страны, числа и результаты являются вымышленными. В реестре синтетического продукта под названием Orion AI Естественный охват: 120 допустимых стран. Основная Панель Населения зафиксировала допустимые наблюдения в первой волне только в 38 странах из-за взвешивания по населению.

37.1. Объем первой волны

Количество допустимых стран: 120 Стран с хотя бы одним наблюдением: 38

COC_count= 38/120= 31.7%

Пусть эти 38 страны составляют 97% от допустимого населения.

COC_pop= 97%

Результат: количество стран невелико, охват населения высок.

37.2. Четырехволновой цикл наблюдателей

Распределите оставшиеся 82 стран на четыре волны, используя ранее замороженную случайную и основанную на рисках программу. Каждая страна наблюдается как минимум один раз в течение цикла. В конце четвертой волны:

COC_count= 120/120= 100%

Однако достаточная выборка для оценки страны была достигнута только в 14 странах.

CEC = 14/120= 11.7%

Корректная публичная запись: покрытие наблюдения стран: 100%/ покрытие наблюдения населения: около 100%/ покрытие прогноза по странам: 11.7% Некорректная публичная запись: «Все 120 стран имеют надежный показатель страны».

37.3. Малый страновый критический сигнал

В записи Country Observer наблюдение AI в маленькой стране J ошибочно идентифицирует проверяемое лицо как лицензированную юридическую фирму. На самом деле, это лицо не предоставляет юридические услуги. Одного наблюдения недостаточно для оценки уровня ошибок в стране J; оно устанавливает кандидатное критическое событие. Протокол: проверить наблюдение; подтвердить промпт и справочную запись; повторить с новыми независимыми пользователями; если событие повторяется, открыть целевую выборку по стране; и оценить влияние на критическое соответствие отдельно. Наблюдаемое событие может быть редким; потенциальный вред не обязательно должен быть малым.

38. ДЕМОНСТРАЦИЯ СПРАВЕДЛИВОСТИ СИНТЕТИЧЕСКОГО ЯЗЫКА

СИНТЕТИЧЕСКАЯ ВЫБОРКА — НЕ РЕАЛЬНЫЕ РЕЗУЛЬТАТЫ ИИ ИЛИ КОМПАНИИ

Включите пять языков в тестирование Core Identity Synthetic Apple.com. Распределение главной панели населения:

Результаты синтетического языка:

Глобальный результат с учетом численности населения:

0.55(95)+0.25(92)+0.10(88)+0.06(65)+0.04(58)=90.27

Глобальный показатель высок. Однако наблюдается сильная деградация в двух языках.

38.1. Пересборка данных для справедливости языков

Добавьте дополнительные наблюдения 140 к L4, 160 к L5. Новое количество наблюдений:

Грубое среднее значение по всем наблюдениям 1,300 ниже показанного выше глобального результата с учетом численности населения. Это не показатель глобального населения, так как L4 и L5 были намеренно пересобраны. После восстановления весов целевой популяции глобальный результат возвращается к указанной выше величине с учетом численности населения. Пересборка повышает чувствительность для L4 и L5 без изменения оценки с учетом численности населения.

38.2. Таблица оценки языковой справедливости

Синтетический результат. Глобальный показатель с учетом численности населения: 90.27. Показатель равного языка:

(95+92+88+65+58)/5=79.6

Разница между языками от самого высокого к самому низкому: 37 очков; язык с наименьшим показателем: 58; среднее значение для двух нижних языков: 61.5; уровень критических ошибок в языках с ограниченными ресурсами: указывается отдельно; эквивалентность промпта: предполагается подтвержденной; паритет источников: предполагается подтвержденным. Правильная интерпретация:

Представленность мирового населения кажется высокой; однако справедливость по языкам крайне слабая.

Неверная интерпретация: «Поскольку глобальный показатель равен 90, GEO успешен на всех языках.»

39. СИНТЕТИЧЕСКИЙ СЛУЧАЙ, ВЫЯВЛЯЮЩИЙ ИСТОЧНИК УХУДШЕНИЯ ЯЗЫКА

Рассмотрим три языка.

Язык A

Эквивалент промпта Официальный источник полный Местный арбитр достаточен Ответ ИИ неверен Результат: кандидат на проблему представления языка в продукте ИИ.

Язык B

Перевод запроса существенно отличается от ответа ИИ, соответствующего запросу. Результат: недостаток в структуре запроса.

Язык C

На официальной языковой странице старая цена ИИ переносит старую цену Английский источник является актуальным Результат: проблема языка источника сущности и совокупный разрыв в представлении достигают пользователя. Даже если показатели трех языков кажутся одинаковыми, владелец исправления отличается.

40. ПАНЕЛИ СТРАН И ЯЗЫКОВ ОБЩЕДОСТУПНАЯ КАРТА РЕЗУЛЬТАТОВ

В публичной карточке результата кандидата должны быть указаны следующие поля:

Страновые поля

Естественный охват соответствующее количество стран Количество стран с как минимум одним наблюдением Покрытие наблюдений по странам Покрытие наблюдений с учетом численности населения Покрытие прогноза по странам Цикл времени наблюдателя Статус уведомлений наблюдателя ЗА ПРЕДЕЛАМИ РОДНОГО ДОСТУПА страны, НЕ НАБЛЮДАЕМЫЕ страны Дата измерения

Языковые поля

Количество охваченных языков Наблюдаемое количество языков Количество языков, для которых можно сделать прогнозы Официально поддерживаемые языки Экспериментальные языки Результат по мировому языку с учетом численности населения Результат при равном признании языков Минимальное количество языков Различие между языками Критические показатели ошибок

ОТСУТСТВИЕ_ЯЗЫКОВОЙ_ЭТАЛОННОЙ_БАЗЫ

ОШИБКА_ЭКВИВАЛЕНТНОСТИ_ПОДСКАЗОК

НЕТЕСТИРОВАННЫЕ языки Версия панели языков Эта карта делает видимой реальность, которую не может нести единственный «многоязычный» значок.

41. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH07-N01

Панели Country Observer и Language Fairness должны быть определены отдельно от основной панели населения с точки зрения цели, выборки и весов.

CH07-N02

Наблюдение странового наблюдателя не может использоваться в качестве оценки населения страны.

CH07-N03

Для страны наличие наблюдения и способность составлять оценку по стране — это разные статусы.

CH07-N04

Количество охваченных стран и взвешенное по населению покрытие стран должно указываться вместе.

CH07-N05

Оценка охвата по стране должна отображаться отдельно от охвата наблюдений.

CH07-N06

Каждая соответствующая критериям страна должна иметь вероятность быть наблюдаемой больше нуля в определённом цикле наблюдения; страны вне зоны охвата также должны быть показаны.

CH07-N07

Цикл наблюдения и классы частоты по странам должны быть версионированы перед просмотром ответов ИИ.

CH07-N08

Страна с низким баллом не может быть удалена из цикла Наблюдателя после того, как результаты будут увидены.

CH07-N09

Оповещение Наблюдателя страны не является автоматической неудачей страны; оно запускает проверку и эскалацию.

CH07-N10

Одно событие Critical Observer также может инициировать отдельную проверку соответствия без оценки распространенности.

CH07-N11

Наблюдения с Панели наблюдателей страны не могут использоваться в основной Популяционной панели с равным исходным взвешиванием.

CH07-N12

Если наблюдения странового наблюдателя включены в основной балл, их вероятности выбора и веса должны быть явно смоделированы.

CH07-N13

Справедливость в языке нельзя определять как обязанность давать один и тот же ответ слово в слово.

CH07-N14

Справедливость языка требует сопоставимой точности, ограничений, источника и пригодности для пользователя при эквивалентных материальных условиях.

CH07-N15

Язык и страна, язык и локаль, а также язык и система письма не могут использоваться взаимозаменяемо.

CH07-N16

Вселенная языков, охватываемая измерением, и причина включения каждого языка должны быть объяснены до проведения измерения.

CH07-N17

Утверждение «все языки» может использоваться только в том случае, если действительно измерялись все соответствующие языковые и пользовательские интерфейсы; в противном случае следует говорить «языки в рамках области охвата».

CH07-N18

Наблюдения на языке, который официально не поддерживается, не могут быть добавлены к основной производительности поддерживаемого продукта без объяснения.

CH07-N19

Чрезмерная выборка языков с ограниченными ресурсами не должна увеличивать глобальный вес населения.

CH07-N20

Если наблюдения с панели справедливости языка включены в глобальный результат, они должны быть возвращены к фактическим весам населения целевого языка.

CH07-N21

Один и тот же многоязычный пользователь не может учитываться более чем за одного полного человека в глобальном весе населения.

CH07-N22

Без проверки эквивалентности промптов разницу в языковом балле нельзя однозначно отнести к производительности языкового ИИ.

CH07-N23

Низкий языковой балл нельзя возлагать только на продукт ИИ без оценки справедливости по эталону.

CH07-N24

Решение о точности языка не может быть финализировано без достаточной компетенции местного арбитра.

CH07-N25

Отклонение в языке ответа и переключение кода должны регистрироваться отдельно.

CH07-N26

Законные различия в местной действительности не могут классифицироваться как языковая несправедливость.

CH07-N27

Необъяснимые существенные языковые различия нельзя списывать исключительно на персонализацию или различия стиля.

CH07-N28

Глобальный балл населения не может заменять результат языковой справедливости.

CH07-N29

Равный языковой балл нельзя представлять как глобальный балл с учетом веса населения.

CH07-N30

Необходимо показывать показатели критических ошибок на основе языка отдельно от общего среднего значения.

CH07-N31

PROMPT_EQUIVALENCE_FAILURE, REFERENCE_LANGUAGE_GAP, MEASUREMENT_PARITY_FAILURE и ADJUDICATION_LANGUAGE_GAP должны поддерживаться как отдельные статусы.

CH07-N32

В панелях Country Observer и Language Fairness решение о смене участников не может основываться на правильности ответа ИИ или на пользе для бренда.

CH07-N33

Одна и та же наблюдательная запись может иметь несколько диагностических меток; однако она не может получать больше одного полного веса в глобальном прогнозе без объяснения.

CH07-N34

Записи панелей страны и языка должны иметь ответственное человеческое или институциональное лицо.

42. ФОРМЫ ОШИБОК

CH07-F01— ОЦЕНКА СТРАНЫ ОДНИМ ЧЕЛОВЕКОМ

Наблюдение одного наблюдателя публикуется как оценка GEO для страны.

CH07-F02— СИМВОЛИЧНОЕ ПОКРЫТИЕ СТРАНЫ

Каждому человеку назначается одна страна, и это называется «пропорционально населению мира».

CH07-F03— ПУТАЮТ ПОКРЫТИЕ НАСЕЛЕНИЯ С КОЛИЧЕСТВОМ СТРАН

Хотя наблюдается небольшое количество крупных стран, показано только покрытие населения; хотя наблюдается большое количество малых стран, показано только количество стран.

CH07-F04— ПРИСВАИВАНИЕ ОБЛАСТИ НАБЛЮДЕНИЯ КАК ОБЛАСТИ ОЦЕНКИ

Все страны с хотя бы одним наблюдением считаются оцененными странами.

CH07-F05— УЧЁТ НАБЛЮДЕНИЯ ОТ НАБЛЮДАТЕЛЯ СТРАНЫ ДВАЖДЫ В ОСНОВНОЙ ОЦЕНКЕ

Одно и то же наблюдение получает полный вес как в панели наблюдателей, так и в панели населения.

CH07-F06— ПРЕОБРАЗОВАНИЕ ПРЕДУПРЕЖДЕНИЯ ОТ НАБЛЮДАТЕЛЯ СТРАНЫ В УТВЕРЖДЕНИЕ О РАСПРОСТРАНЁННОСТИ

Одно событие обобщается на всех пользователей страны.

CH07-F07— ПРОИГНОРИРОВАТЬ СОБЫТИЕ КРИТИЧЕСКОГО НАБЛЮДАТЕЛЯ

Высокий риск вреда не рассматривается при утверждении «только один пользователь».

CH07-F08— УДАЛЕНИЕ СТРАНЫ С НИЗКИМ БАЛЛОМ ИЗ ЦИКЛА

График наблюдателя изменяется в зависимости от результатов.

CH07-F09— НАБЛЮДЕНИЕ ТОЛЬКО ЗА КОММЕРЧЕСКИМИ РЫНКАМИ

Страны, имеющие доступ к продуктам, но считающиеся коммерчески неважными, полностью исключаются; результат представляется глобально.

CH07-F10— РАССМАТРИВАНИЕ СТРАНЫ И ЯЗЫКА КАК ОДНОГО И ТОГО ЖЕ

Официальный язык страны принят как язык всех пользователей.

CH07-F11— УТВЕРЖДЕНИЕ ВСЕХ ЯЗЫКОВ

Измеряются только некоторые ограниченные языки; результат публикуется как «на всех языках».

CH07-F12— УДАЛЕНИЕ НИЗКОГО СВАРНОГО ЯЗЫКА

Поскольку выборка мала, язык полностью исключен из отчета.

CH07-F13— ПЕРЕРАСТАЮЩИЙ ЯЗЫК С НЕДОСТАТОЧНЫМИ РЕСУРСАМИ В МИРОВОМ МАСШТАБЕ

Язык с избыточной выборкой учитывается в глобальном индексе в соответствии с его долей в выборке.

CH07-F14— УЧЕТ РАВНОГО ЯЗЫКОВОГО ИНДЕКСА КАК ИНДЕКСА НАСЕЛЕНИЯ

Диагностический индекс, который придает равный вес каждому языку, представлен как средний опыт мировой популяции.

CH07-F15— УЧЕТ ИНДЕКСА НАСЕЛЕНИЯ КАК СПРАВЕДЛИВОСТЬ ЯЗЫКА

Глобальный результат, усиленный весом крупных языков, скрывает искажение для малых языков.

CH07-F16— УЧЕТ ОШИБКИ ПЕРЕВОДА промпта КАК ОШИБКИ ИИ

Разница, возникающая из-за семантически различных промптов, приписывается модели.

CH07-F17— УЧЕТ РАЗРЫВА ИСХОДНОГО ЯЗЫКА КАК ОШИБКИ ИИ

Хотя локализованной официальной информации нет, вся ответственность возлагается на продукт ИИ.

CH07-F18— ЗАЩИТА ОШИБКИ ИИ ИЗ-ЗА НЕДОСТАТКА РЕСУРСОВ

Несмотря на наличие тех же и достаточных ресурсов, ошибки на языке с низким уровнем ресурсов закрываются исключительно как отсутствие контента.

CH07-F19— РАССМОТРЕНИЕ НЕАДЕКВАТНОСТИ ЯЗЫКА АДЖЮДИКАТОРА КАК СБОЯ ПРОДУКТА

Даже если аджюдикатор неправильно понял, результат считается окончательным.

CH07-F20— РАССМОТРЕНИЕ МАШИННОГО ПЕРЕВОДА КАК ОКОНЧАТЕЛЬНОГО СУДЬИ

Потеря локального значения не проверяется.

CH07-F21— РАССМОТРЕНИЕ ИЗМЕНЕНИЙ В КОДЕ КАК АВТОМАТИЧЕСКОЙ ОШИБКИ

Сбои происходят при естественных технических терминах или допустимом смешении языков.

CH07-F22— РАССМОТРЕНИЕ НЕПРИГОДНОГО ЯЗЫКОВОГО ОТКЛОНЕНИЯ КАК СТИЛЯ

Даже если система отвечает на другом языке, который пользователь не может понять, результат считается успешным.

CH07-F23— ИГНОРИРОВАНИЕ РАЗЛИЧИЯ В ПИСЬМЕННОЙ СИСТЕМЕ

Ошибка транслитерации, вызывающая путаницу сущностей, считается формальной.

CH07-F24— УЧЁТ МНОГОЯЗЫЧНОГО ПОЛЬЗОВАТЕЛЯ ДВАЖДЫ

Один и тот же человек учитывается как отдельная единица населения на всех языках.

CH07-F25— РАССМОТРЕНИЕ ЗАКОННОГО ЛОКАЛЬНОГО РАЗЛИЧИЯ КАК НЕСПРАВЕДЛИВОГО

Даже если разница в цене или законе основана на реальных местных условиях, это объявляется языковой предвзятостью.

CH07-F26— РАССМОТРЕНИЕ НЕОБЪЯСНИМОГО РАЗЛИЧИЯ КАК ЛИЧНОГО

Материальная несогласованность при равных условиях не ставится под сомнение.

CH07-F27— ОПРЕДЕЛЁННЫЙ БАЛЛ ИЗ-ЗА НЕХВАТКИ ЯЗЫКОВОЙ ЯЧЕЙКИ

Рейтинг языков проводится на основе нескольких наблюдений.

CH07-F28— НАСТРОЙКА ЯЗЫКОВОЙ ПАНЕЛИ ПОСЛЕ РЕЗУЛЬТАТА

Выбираются только языки с низким или высоким числом баллов.

CH07-F29— ИЗМЕРЕНИЕ ТОЛЬКО ЯЗЫКОВ С ВЫСОКИМ ИСТОЧНИКОМ

Результат представлен как «многоязычный».

CH07-F30— СОХРАНЕНИЕ НЕПРОВЕРЕННЫХ ЯЗЫКОВ

Поле НЕ ТЕСТИРОВАНО не отображается на публичной карточке результата.

43. ПРОЦЕДУРА АУДИТА

Шаг 1— Заморозка реестра соответствия продукта и страны

Для каждой страны:

• Естественный охват
• доступ к продукту
• язык аудита
• пользовательский интерфейс

статус записан.

Шаг 2— Определение охвата стран основной панели населения

Определяется, в каких странах наблюдается основная панель.

Шаг 3— Определение универсума стран наблюдателей

Определены страны, которые имеют недостатки в основной панели и имеют статус CE-3.

Шаг 4— Установить цикл наблюдателя

Страны:

• назначаются по частотному классу,
• волне,
• языку/локали,
• пользовательский интерфейс

и поддержки.

Шаг 5— Предварительный выбор участников-наблюдателей

Основные и резервные списки создаются до просмотра результатов.

Шаг 6— Классификация результатов наблюдателей

Назначаются доступ, идентификация, язык, материальный факт, статусы критических событий.

Шаг 7— Применение сигнала тревоги и эскалации

По типу сигнала тревоги:

• снова,
• целевой образец
• контроль справочных материалов,
• проверка соответствия

запускается.

Шаг 8— Вычислить показатели охвата стран

Объем количества стран, объем населения и объем оценки страны рассчитываются отдельно.

Шаг 9— Заморозить запись языка

Для каждого языка:

• по причинам охвата,
• статус поддержки,
• система письма,
• локаль,
• пользовательская совокупность

записываются.

Шаг 10— Установить дополнительную выборку для справедливости языка

Дополнительные цели устанавливаются для языков, недостаточно представленных в основной панели населения.

Шаг 11— Проверить четыре языковых критерия

Оцениваются системная эквивалентность, референтная паритетность, паритетность измерения и паритетность судебного решения.

Шаг 12— Оценка языковых наблюдений

Для каждого языка:

• правдивость,
• недостаток материалов,
• Критическая ошибка,
• неизвестно,
• отклонение языка ответа

записываются.

Шаг 13— Разделить глобальные и диагностические веса

Результат, взвешенный по численности населения, и результат с равным признанием языков рассчитываются отдельно.

Шаг 14— Рассчитать языковое неравенство

языковой порог, значительная языковая разница, различие критических ошибок, рассчитывается коэффициент неизвестного.

Шаг 15— Исследовать пересечения страна–язык

Определяются различия или конфликты в локализации материалов.

Шаг 16— Создать публичную карточку результата

Область применения, достаточность прогноза, сигналы тревоги и не протестированные области становятся видимыми.

44. НЕОБХОДИМЫЕ ДОКАЗАТЕЛЬСТВА

Запись продукта ИИ и пользовательского интерфейса; регистрация страны Естественный охват; количество правомочных стран; статус доступа к стране; распределение основных стран Панели населения; наблюдаемая совокупность страны; цикл наблюдателя; классы частоты наблюдателей; матрица распределения стран по волнам; распределение стран по языкам; основные и резервные списки наблюдателей; результаты наблюдений по странам; оповещения наблюдателей; записи об эскалации; целевые выборки по странам; охват наблюдений по странам; охват стран с учетом населения; охват стран для оценок; реестр языков в рамках охвата; статус поддержки языков; записи о скриптах и локали; основные подсчеты выборки по языкам; подсчеты превышения выборки для справедливости языка; веса населения по языкам; записи многоязычных пользователей; записи эквивалентности промптов; записи справедливости по референсу; записи справедливости измерений; записи квалификации местных оценщиков; и результаты по языкам.

Языковые критические показатели ошибок Отклики на языке отклонения Языковое неравенство Метрики Неопробованные языки Равные результаты по языку и населению Веса панели Проверки на двойной учет Публичная карточка результатов Версии панели Ответственное лицо или учреждение

45. ЧЕК-ЛИСТ АУДИТА

Была ли цель Панели наблюдателей по странам отделена от основной панели населения? Какие страны включены в Панель наблюдателей? Актуален ли статус права на участие и доступ для стран? Существует ли вероятность положительного наблюдения в каждом цикле наблюдения соответствующей страны? Была ли остановка цикла наблюдения до получения результатов? Использовалось ли наблюдение Панели наблюдателей по странам как оценка страны? Были ли разделены охват наблюдений стран и охват оценок страны? Был ли охват стран, взвешенный по населению, показан отдельно? Были ли наблюдения Панели наблюдателей по странам учтены дважды в основной оценке? Было ли подтверждено критическое предупреждение наблюдателя? Был ли один сигнал тревоги преобразован в утверждение о распространенности? Было ли открыто целевое выборочное обследование из-за сигнала тревоги? Был ли заранее определен круг изучаемых языков? Соответствует ли утверждение «все языки» фактическому охвату? Были ли разделены язык, письменная система и локаль?

Был ли зафиксирован статус поддержки языков продукта? Почему были выбраны языки с ограниченными ресурсами? Были ли примеры языковой справедливости перераспределены в глобальном рейтинге? Был ли один и тот же многоязычный пользователь посчитан дважды? Была ли проверена эквивалентность промптов? Соответствуют ли официальные источники по содержанию на разных языках? Знают ли администраторы соответствующий язык на достаточном уровне? Использовался ли машинный перевод в качестве окончательного судьи? Были ли зафиксированы отклонения в языке ответа? Было ли легитимное местное разнообразие отделено от языковой несправедливости? Были ли опубликованы языковой корпус и вариативность языка? Видны ли показатели критических ошибок на основе языка? Были ли разделены REFERENCE_LANGUAGE_GAP и другие ошибки измерения? Видны ли нетестированные языки? Скрывает ли публичный рейтинг проблему языковой справедливости?

Получило ли одно и то же наблюдение полный вес в нескольких панелях? Идентифицирован ли ответственный владелец записей панели?

46. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Разве дать одного человека каждой маленькой стране не лучше, чем не давать никому?»

Для раннего наблюдения и географического охвата — да. Но этот человек не измеряет долю страны. Правильный термин:

Наблюдение Country Observer

должен быть.

Возражение 2— «Если один человек не дает оценку страны, зачем мы его отправляем?»

Потому что одно наблюдение может:

• выявить проблемы с доступом,
• прояснить путаницу с объектами,
• опознать неправильный язык,
• и зафиксировать критические события

видно впервые. Панель Наблюдателя является системой раннего предупреждения.

Возражение 3— «Должны ли мы наблюдать за каждой страной в каждой волне?»

Нет. Можно использовать определённый цикл наблюдения. Страны с высоким риском или значимые страны можно наблюдать чаще; маленькие и низкорисковые страны можно наблюдать поочередно. Расписание должно быть определено до получения результатов.

Возражение 4— «Если маленькие страны имеют низкий вес в глобальном рейтинге, почему мы уделяем им так много внимания?»

Потому что их доля населения может быть низкой. Однако:

• закон,
• языка,
• местный ущерб для пользователей,
• географическая целостность

являются реальными человеческими сообществами. Низкий вес не должен означать невидимость.

Возражение 5— «Разве одинаковое взвешивание всех языков не является самым справедливым методом?»

Равное взвешивание языков может быть ценным диагностическим подходом. Оно не отражает средний человеческий опыт среди мирового населения. Оценка для всего населения и оценка языковой справедливости должны публиковаться отдельно.

Возражение 6— «Если небольшой язык лишь немного влияет на глобальный результат, почему низкий балл имеет значение?»

Потому что проблема представления реальна для людей, использующих этот язык. Кроме того, серьёзные ошибки в лицензиях, здравоохранении или идентификации не становятся автоматически незначительными из-за доли населения.

Возражение 7— «Разве несправедливо обвинять ИИ, если язык с низким ресурсом имеет мало ресурсов?»

Обвинять ИИ может быть несправедливо. Поэтому:

• паритет ресурсов,
• эквивалентность промптов,
• компетентность арбитра

следует изучать отдельно. Ошибка, которую видит пользователь, остаётся фактически правильной. Владелец исправления должен быть определён корректно.

Возражение 8— «Разве нормально получать разные ответы на одном и том же языке в разных странах?»

Это может быть нормально, если реальные местные условия различаются. Если один и тот же материальный факт меняется по-разному и без объяснения, это может быть проблемой. Язык и локаль должны рассматриваться вместе.

Возражение 9— «Если ИИ дает правильный ответ на другом языке, почему он должен ошибаться?»

Если пользователь не может понять ответ, представление не может быть использовано. Отклонение языка следует оценивать отдельно вместе с точностью.

Возражение 10— «Поиск пользователей 200 для языковых оценок может быть очень дорогим.»

Можно использовать меньшую выборку. Результат:

• обнаружение,
• временный,
• недостаточная выборка

должен публиковаться с этим статусом. Стоимость не дает ложной уверенности.

Возражение 11— «Если глобальный результат уже высок, не пугает ли отдельная языковая карта клиента без необходимости?»

Сокрытие ухудшения материала не защищает клиента. Это создает ложное чувство уверенности. Можно использовать короткую и ясную карту результатов.

Возражение 12— «Сведет ли одно событие Критического Наблюдателя ко всем критериям соответствия?»

Автоматический ответ зависит от типа события. Одно событие не указывает на национальное распространение. Однако если оно влечет за собой серьезный ущерб или ложные полномочия, это может инициировать критический пересмотр и временные меры. Решение будет определено в разделе 15.

ОБЩЕЕ ПРАВИЛО РАЗДЕЛА 49

Создание мирового рейтинга легко. Вы заполняете мировое население большими странами. Вы теряете малые страны по частям. Вы оцениваете языки с большим количеством ресурсов. Языки с низким количеством ресурсов: вы убираете, говоря «Недостаточно данных». Затем вы публикуете одно число. Это число может быть математически рассчитано правильно. Но оно может не показывать всех недостатков представления мира. NOMOS не придаёт равного веса каждой стране. Потому что доли населения людей не равны. NOMOS также не игнорирует малые страны. Потому что низкое население не означает несуществование. NOMOS не учитывает все языки одинаково в мировом рейтинге. Потому что это может исказить средний опыт мирового населения. NOMOS также не делает малые языки невидимыми. Потому что даже если их глобальный вес низок, ошибка представления для людей, использующих этот язык, может быть 100% реальной.

Панель наблюдателей страны:

Показывает там, где мы никогда не смотрели.

Панель языковой справедливости:

Показывает, кто находится ниже глобального среднего.

Панель населения:

Оценивает средний опыт в мировой популяции.

Когда эти три работают вместе, глобальный показатель становится одновременно достоверным для населения и проверяемым с точки зрения справедливости. Один пользователь в стране — это не вся страна. Но этот пользователь — реальный человек. Язык может составлять небольшую часть глобального населения. Но ошибка в этом языке не становится менее неправильной. Критическое событие может быть редким. Но вред измеряется не только частотой. Поэтому седьмой закон измерений NOMOS заключается в следующем:

Право на видимость не то же самое, что вес в популяции.

Его восьмой закон таков:

Наблюдение за страной не то же самое, что оценка страны.

Девятый закон звучит следующим образом:

Языковая справедливость — это не равенство всех языков; это обеспечение того, чтобы никто систематически не отставал от материальной реальности из-за своего языка.

Десятый закон таков:

Если глобальное среднее делает язык и страну, которые отстают, невидимыми, этого самого по себе недостаточно для географического результата.

Раздел NOMOS Заказ 7

Не скрывайте страны, на которые вы никогда не смотрите, показывая мне мировой рейтинг.

Не отправляйте одного пользователя в маленькую страну и не делайте этого человека представителем всей страны.

Но также не игнорируйте маленькую страну навсегда только потому, что её население мало.

Разделяйте наблюдение за страной, прогноз по стране и соответствие страны.

Не судите всю страну по одной серьёзной ошибке. / Но и не игнорируйте вред людям, говоря «только один ответ».

Не основывайте успех в крупных языках на молчании малых языков.

Вы можете много выбирать для языка с низкими ресурсами. / Но не делайте так, чтобы он казался более крупным, чем есть на самом деле, в мировом населении.

Не превращайте одинаковую языковую оценку в оценку населения; не превращайте оценку населения в оценку языковой справедливости.

Не вините меня, если перевод неправильный. / Если источник неполный, также укажите это. / Если арбитр не понимает язык, не делайте окончательного суждения.

Не классифицируйте законное местное различие как несправедливость, и не списывайте необъяснимое значительное расхождение как простую стилистику.

Сначала наблюдайте за странами. / Затем укажите, где вы можете поддержать оценку. / Затем сделайте сверхвыборку языков, требующих диагностической видимости. / Затем верните их к истинным весам населения. / Держите на виду людей, которых средний мировой результат оставляет в тени.

Заключительное предложение главы

По-настоящему глобальное GEO-измерение должно показывать больше, чем видит большинство мира. Оно также должно показывать, кто остаётся незамеченным в меньших странах и языках, кто представлен неверно и какой результат является лишь единичным предупреждением.

Нормативное ядро

Панели населения GEO-1000, Панели наблюдателей по странам и Панели языковой справедливости ДОЛЖНЫ оставаться различными по цели, выборке, взвешиванию и публичным утверждениям. Наблюдение Панели наблюдателей по странам МОЖЕТ установить, что условие доступа, ответ, аномалия или критический инцидент произошли в определенном контексте страна–продукт–язык. Наблюдение Панели наблюдателей по странам НЕ ДОЛЖНО представляться как оценка распространенности по стране или как показатель GEO страны. Покрытие наблюдений по странам, покрытие наблюдений с учетом веса населения и покрытие оценки по стране ДОЛЖНЫ быть представлены отдельно. Каждая подходящая страна ДОЛЖНА получать ненулевую вероятность включения в наблюдение в рамках заранее объявленного цикла наблюдения, если она не выходит за пределы правомерного естественного охвата продукта. Языковая справедливость ДОЛЖНА оценивать материально сопоставимое представление в рамках семантически эквивалентных запросов и сопоставимых контекстов. Она НЕ ДОЛЖНА требовать точно идентичных ответов слово в слово или игнорировать законные местные различия. Языки с избыточной выборкой ДОЛЖНЫ быть возвращены к их целевым весам на популяцию для глобальных оценок. Оценки с учетом веса популяции, диагностика при равных весах языков, минимальные уровни по языкам, показатели критических ошибок, показатели неизвестных элементов и непроверенных языков ДОЛЖНЫ оставаться отдельно видимыми. Различие в языке НЕ ДОЛЖНО приписываться исключительно продукту ИИ до тех пор, пока не будут оценены эквивалентность запросов, паритет эталонных данных, паритет измерений и паритет рассмотрения. Одно наблюдение МОЖЕТ иметь несколько тегов диагностической панели, но НЕ ДОЛЖНО получать дублирующий вес всей популяции. Инциденты критического наблюдателя МОГУТ вызвать подтверждающую выборку и проверку соответствия без того, чтобы рассматривать их как доказательство распространенности в стране.