Один ответ — ещё не оценка GEO

Граница главы

Этот раздел отвечает только на следующий вопрос:

Почему один ответ генеративной системы не является GEO-оценкой и какие суждения можно сделать на основе одного ответа?

Эта глава:

• квоты выборки по странам,
• каким образом будут взвешиваться языки,
• как будет настроен Пакет Истины,
• как арбитры будут оценивать атомарные утверждения,
• окончательные формулы оценки NOMOS,
• соответствие и решение по значку

Эта глава не определяет эти вопросы детально; в последующих главах они рассматриваются отдельно. Глава 1 имеет более фундаментальную задачу:

Установить эпистемическую границу между наблюдением и обобщением.

Любые исследования выборки, оценивания и соответствия, проведенные до установления этой границы, будут построены на неверной основе.

СТАТУСЫ ПРОВИЗИИ В ЭТОМ РАЗДЕЛЕ

Не все предложения в этой книге имеют одинаковую нормативную силу. Используются следующие статусы:

НОРМАТИВНОЕ — НОРМАТИВНОЕ

Положение, считающееся обязательным для соответствия и методологической целостности. Пример: один ответ не может использоваться в качестве общего балла GEO.

КАНДИДАТ — ПРОПИСАННОЕ ПОЛОЖЕНИЕ

Рекомендуемый метод, который подлежит окончательной проверке после пилотного, внешнего применения или статистической валидации. Пример: рекомендуется 1,000 действительных наблюдений на продукт ИИ для каждой основной волны измерений как предполагаемый минимальный размер выборки.

ГИПОТЕЗА

Ожидание, которое необходимо проверить с помощью данных. Пример: может существовать различие в материальном представлении между Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях.

СИНТЕТИЧЕСКОЕ

Метод представления, который не отражает реального пользователя, реальный вывод ИИ или реальную производительность компании.

ОТКРЫТЫЙ ВОПРОС

Это тема, которая еще не завершена из-за недостаточности доказательств или решения органов управления. Эти статусы не могут тихо превращаться друг в друга. Кандидат на порог не становится доказанным нормативным фактом только потому, что он написан в книге. Синтетическое представление не превращается в наблюдение в реальном мире. Гипотеза не может быть опубликована как результат без измерения.

NOMOS Вызов

Вы задали системе искусственного интеллекта вопрос о вашем бренде. Система дала правильный ответ. Вы сделали скриншот. Вы включили его в вашу презентацию. Затем вы сказали следующее предложение: «Искусственный интеллект знает нас правильно». Что именно вы измеряли? Ответ, который увидят все пользователи? Типичное поведение системы?

Глобальный представитель? Точность во всех языках? Стабильность с течением времени? Или только:

Единичный результат, который получил конкретный пользователь, на конкретном аккаунте, на конкретном продукте ИИ и пользовательский интерфейс, в ответ на конкретный запрос, в конкретное время?

Один ответ не является бесполезным. Один ответ может быть правдой. Один ответ может быть важным. Один ответ может раскрыть серьёзную ошибку. Один ответ может показать реальный опыт конкретного человека. Однако один ответ не может служить доказательством суждения больше, чем он способен выдержать.

Один ответ может показать следующее:

Этот результат был получен как минимум один раз при задокументированных условиях.

Один ответ сам по себе не может показать следующее:

• Что большинство пользователей получили тот же ответ
• Что тот же результат произошел в других странах
• Что та же точность сохраняется на других языках
• Что тот же ответ был получен на других аккаунтах и планах
• Что ответ стабилен во времени
• Что другие продукты ИИ произвели такое же представление
• Что вмешательство GEO вызвало этот результат
• Что ответ влияет на поведение пользователя
• Что ответ генерирует лиды, продажи или устойчивую ценность
• Что общий GEO-бал компании высок

Первая предпосылка этого раздела:

Ответ — это наблюдение. / Это не распределение наблюдений. / Распределение — не причинно-следственная связь. / Только причинно-следственная связь не является устойчивой ценностью.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — устранить наименьшую, но наиболее распространенную ошибку вывода при измерении GEO:

Считать единичный результат генеративной системы как общее поведение системы, опыт популяции, узнаваемость бренда или GEO-бал.

Этот раздел нормализует следующие различия:

• Единичный результат против исхода для населения
• Существование события против распространенности события
• Наблюдение против выборки
• Пользователь против сеанса
• Повторение против независимого наблюдения
• AI-модель против ИИ-продукта, представленного пользователю
• Исходный ответ против единицы анализа
• Немедленный результат против временной стабильности
• Скриншот против полного пакета доказательств
• Отказ системы против недействительного сбора данных
• Критическое единичное событие и уровень распространенности
• Синтетическая запись и наблюдение реального пользователя
• Измеренная ставка и решение о соответствии

До того как эти различия будут установлены:

• Выборка GEO-1000,
• веса по странам и языкам,
• оценка атомарных утверждений,
• оценка NOMOS
• решение о соответствии

не может быть установлено.

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

GEO-оценка объекта в генеративных системах не может быть получена из одного ответа, одного скриншота, одного пользователя, одного аккаунта, одной сессии, одного языка, одной страны или одной точечной во времени оценки. Требование представительности населения требует как минимум следующее:

• Предопределённый объект аудита
• Предопределённая целевая популяция
• Указанный план выборки
• Закрытый запрос или группа запросов
• Определенный продукт ИИ и пользовательский интерфейс
• Несколько действительных наблюдений
• Известная структура зависимостей
• Записи о стране, языке и времени
• Неизменённые исходные ответы
• Пакеты доказательств
• Предопределённые правила оценки
• Заявление об неопределённости
• Ответственная человеческая ответственность

Присутствие этих элементов не означает автоматически, что измерение корректно. Однако их отсутствие может сделать обобщение на большую популяцию неприемлемым.

3. ПЯТЬ ОТДЕЛЬНЫХ ЕДИНИЦ ИЗМЕРЕНИЯ

Распространённая фундаментальная ошибка в GEO-аудите заключается в путанице различных единиц измерения. Следующие пять единиц должны быть чётко различимы.

3.1. Единица наблюдения

Единица наблюдения — это один выход системы генерации, полученный при определённых условиях. Наблюдение можно определить с помощью следующей комбинации:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Здесь:

• Ei: проверяемый объект
• ИИ: продукт ИИ и пользовательский интерфейс
• UI: анонимный вкладчик или единица пользователя
• Ci: страна или географический слой
• Li: язык и локаль
• Si: сессия и условие персонализации
• Pi: идентификатор запроса и версия
• Ti: время и волна измерений
• Ri: необработанный ответ
• Ki: запись доказательства и проверки

Если один из этих элементов изменяется существенно, может произойти новое наблюдение. Например, тот же пользователь:

• если он задает тот же запрос в другом ИИ-продукте,
• если он задает вопрос на другом языке,
• если он задает вопрос в другой волне измерений,
• если он задает вопрос отдельно в персонализированной и чистой сессии,

Могут быть получены отдельные наблюдения. Эти наблюдения не считаются автоматически независимыми друг от друга, потому что они исходят от одного и того же пользователя.

3.2. Единица выборки

Единица выборки — это человек, аккаунт, сессия или другой объект доступа, отобранный из целевой популяции. В большинстве приложений GEO-1000 единицей выборки может быть соответствующий реальный пользователь. Однако в соответствии с исследовательским дизайном:

• пользователь,
• пара пользователь–продукт,
• аккаунт,
• сессия,
• участник исследовательской панели

может использоваться в качестве единицы выборки. Неспособность четко определить единицу выборки может привести к следующим типам ошибок подсчета:

• Учёт десяти повторений одного человека как десяти разных людей
• Учёт совместного аккаунта как множества независимых пользователей
• Оценка результатов десяти ИИ-продуктов одного пользователя как если бы это были десять независимых наблюдений популяции
• Игнорирование кластеризации в одной исследовательской панели

3.3. Единица анализа

Единица анализа — это объект, к которому применяется оценка точности или представительности. Эта единица:

• точный ответ,
• отдельный абзац в ответе,
• существенное предложение,
• атомарное утверждение,
• цитата,
• вопрос по рекомендации

Это возможно. Пользователь видит один ответ. Однако этот ответ может одновременно содержать:

• пять правильных утверждений,
• два неподтверждённых утверждения,
• одно устаревшее утверждение,
• одну критическую ошибку

Таким образом, ответ, который видит участник, не обязательно должен быть единой, неделимой единицей истины/ложности при анализе. Статус перехода полного ответа и статусы истинности атомарных утверждений внутри него могут поддерживаться отдельно. Метод атомарных утверждений будет определён в последующей главе книги.

3.4. Вселенная вывода

Вселенная вывода — это целевая популяция, к которой предполагается обобщать результат измерения. Эту вселенную нельзя молчаливо принимать как «всех в мире». Для конкретного ИИ-продукта целевая вселенная может быть ограничена такими условиями, как:

• Иметь официальное и законное право доступа к продукту
• Соответствие требованиям по возрасту
• Возможность использовать продукт на соответствующем языке
• Возможность доступа к указанному веб- или мобильному интерфейсу
• Возможность быть активным в указанный период измерения

Даже для одного и того же ИИ-продукта:

• Контролируемая панель в стандартизированных условиях,
• Панель пользователей в естественных условиях,
• бесплатный план,
• платный план,
• веб,
• мобильный

можно создавать разные универсы выводов. Опубликованная ставка неполная, если не указано, к какому универсу обобщается выборка.

3.5. Оцениваемое количество — оцениваемая величина

Исследование не просто собирает данные. Оно пытается оценить определённое количество. Основная оцениваемая величина GEO-1000 может быть выражена в её наиболее общей форме следующим образом:

Вероятность того, что соответствующий пользователь из определенной целевой популяции, в рамках указанной волны измерений, на конкретном продукте ИИ и пользовательский интерфейс, увидит представление, которое соответствует критерию приемлемости при использовании зафиксированного запроса в определенных условиях сессии.

Математически:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Здесь:

• E: проверяемая сущность
• A: продукт ИИ и пользовательский интерфейс
• P: версия запроса
• S: условие сессии
• W: волна измерений
• T: целевая популяция

Yi=1: ответ соответствует критерию перехода, который будет определён позже

Это определение устанавливает важную границу:

Оценка GEO — это не абстрактное и вечное «знание» модели; это предсказание вероятности наблюдаемых представлений при заданных условиях пользователя.

Окончательное правило перехода и формула оценки будут приведены в последующих разделах книги.

4. ОГРАНИЧЕНИЕ ФРАЗЫ «ТАК ОТВЕТИЛА МОДЕЛЬ»

Пользователи часто не получают доступ непосредственно к чистой базовой модели. Результат, видимый пользователю, может состоять из комбинации следующих компонентов:

• Базовая или направляющая модель
• Интерфейс продукта
• Доступ к данным или веб-доступ
• Слой цитирования
• Слой безопасности и политики
• Системные инструкции
• План учетной записи
• Персонализация
• Память
• Предыдущий разговор
• Язык и локаль
• Страна
• Время
• Обновления продуктов поставщика

По этой причине предпочтительно использовать следующее выражение при основной проверке, проводимой через пользовательский интерфейс:

"На пользовательский интерфейс были обнаружены указанный продукт ИИ и следующий результат."

Следующее выражение может быть более обобщённым без необходимого технического контроля: "Модель так думает." Название модели, появляющейся в продукте, может быть зафиксировано. Однако результат следует оценивать как поведение всего пользовательский интерфейс, а не только весов модели.

5. ЧТО ЯВЛЯЕТСЯ ДОПУСТИМЫМ НАБЛЮДЕНИЕМ?

Наличие ответа не означает автоматически, что это действительное наблюдение, которое может быть внесено в измерение GEO.

5.1. Минимальные условия действительности

Наблюдение должно содержать, как минимум, следующие элементы в соответствии с соответствующим протоколом:

• Наличие правильного аудита
• Назначенный продукт ИИ и пользовательский интерфейс
• Правильный идентификатор запроса и версия
• Правильный язык и локаль
• Определённое состояние сессии
• Зафиксированная страна или географический слой
• UTC отметка времени и волна измерений
• Полный необработанный ответ
• Первый неподобранный подходящий результат
• Необходимый скриншот или эквивалентное доказательство
• Анонимный идентификатор наблюдения
• Запись отклонений протокола

Их детальная техническая схема будет определена в последующем разделе Capture NOMOS.

5.2. Статусы наблюдений

Каждая запись должна быть помечена одним из следующих статусов:

ДЕЙСТВИТЕЛЬНАЯ — VALID

Соответствует требуемым условиям протокола.

УСЛОВНО ДЕЙСТВИТЕЛЬНАЯ — CONDITIONALLY VALID

Есть ограниченный недостаток; для каких анализов её можно использовать, указано явно.

НЕДЕЙСТВИТЕЛЬНАЯ — INVALID

Не может использоваться в основной оценке или расчёте баллов из-за нарушения протокола.

НЕИЗВЕСТНО — НЕИЗВЕСТНО

Недостаточно данных для вынесения решения о действительности. НАБЛЮДЕНИЕ НЕИЗВЕСТНО не может быть безмолвно принято как ДЕЙСТВИТЕЛЬНОЕ.

5.3. Разница между действительным системным результатом и недействительным сбором данных

Это различие обязательно. Продукт ИИ:

• может отказаться отвечать,
• может показать сообщение об ошибке,
• может остановиться, не сгенерировав ответ,
• может возникнуть проблема с подключением,

может сказать, что не может выполнить задачу. Если участник правильно применил весь протокол, это могут быть допустимые результаты системы. Их нельзя тихо удалять из набора данных. В отличие от этого:

• участник обрезает ответ,
• изменяет запрос,
• генерирует заново, чтобы выбрать лучший ответ,
• редактирует скриншот,
• использует неправильный продукт ИИ

сбор данных может вызвать недействительность. Первое — это фактическое поведение системы. Второе — нарушение процесса измерения. Их нельзя отнести к одной категории.

6. ЧТО МОЖЕТ ДОКАЗАТЬ ОДИН ОТВЕТ?

Одно наблюдение ограничено. Но оно не лишено смысла.

6.1. Что конкретный результат произошел хотя бы один раз

Действительная запись может поддерживать это предложение: «На указанном ИИ-продукте и пользовательский интерфейс, при указанном времени и условиях, этот результат наблюдался как минимум один раз.» Это предложение демонстрирует наличие события. Оно не показывает его распространенность.

6.2. Фактическое воздействие на конкретного пользователя

Пользователь принимается за:

• юридическое лицо,
• медицинскую информацию,
• юридическую консультацию,
• цена,
• лицензия,
• совет

если такое встречается, это реальный опыт пользователя. Даже если он не представляет всю популяцию, это имеет значение с точки зрения затронутого пользователя.

6.3. Возможность конкретной ошибки

Одиночный вывод может показать: «Эта ошибка может возникнуть при таких условиях системы.» Однако, он не показывает: «Эта ошибка типична.»

6.4. Формулирование новой исследовательской гипотезы

Одна ошибка может создать вопрос, который будет проверяться в более широком масштабе. Пример: «Произошла ли эта путаница идентичностей только в одной сессии, или существует систематическая закономерность в одном и том же языке и стране?»

6.5. Инициация обзора критического инцидента

Одиночный ответ:

• предсказуемый серьёзный вред человеку,
• фальшивая профессиональная авторитетность,
• неправильное экстренное медицинское руководство,
• существенная юридическая ошибка,
• серьёзный совет по безопасности,
• серьёзная путаница идентичности с другим субъектом

может быть достаточно, чтобы инициировать обзор инцидента. Инициирование расследования критического инцидента — это не тот же процесс, что и объявление соотношения в населении.

6.6. Опровержение утверждения «Этого никогда не происходило»

Допустим, организация говорит: «Система никогда не назначала нас не в ту страну». Одно подтвержденное контр-наблюдение может опровергнуть это абсолютное утверждение. Одно наблюдение не подтверждает «Это происходит постоянно», но может опровергнуть «Это никогда не происходило».

7. ЧТО НЕ МОЖЕТ ДОКАЗАТЬ ОДИН ОТВЕТ?

7.1. Типичное поведение системы

Одного ответа недостаточно, чтобы заключить: «Система обычно реагирует таким образом».

7.2. Превалирование в популяции

Один ответ не подтверждает результат: «95% пользователей видят одно и то же представление».

7.3. Временная стабильность

Ответ на сегодняшний день:

• завтра,
• через неделю,
• После обновления продукта

он может не оставаться таким же. Это не измерение стабильности за один раз.

7.4. Межстрановая валидность

Ответ пользователя из Турции не указывает на то, что увидят пользователи в Китае, Германии или Сан-Марино.

7.5. Межъязыковая валидность

Вывод на английском:

• Турецкий,
• Японский,
• Арабский,
• Немецкий

не отражают точность выводов.

7.6. Валидность между продуктами ИИ

Результат в одном продукте ИИ нельзя обобщать на другие продукты ИИ. Разные продукты и интерфейсы одного и того же поставщика также могут вести себя по-разному.

7.7. Эффект вмешательства

Один положительный результат после изменения географического региона (GEO) не доказывает утверждение: «Этот результат был создан нашим вмешательством». Необходимы исходные данные, сравнение и альтернативные объяснения.

7.8. Стабильность рекомендаций

Наличие пользователя, просматривающего опцию, недостаточно для заключения: «Система теперь рекомендует этот бренд».

7.9. Коммерческое воздействие

Положительный отклик:

• означает, что пользователь увидел отклик,
• изучил бренд,
• с которым вы взаимодействовали,
• купил его,
• что был удовлетворен

не показывает сам по себе.

7.10. GEO-оценка

Один ответ не оценивает представленное распределение определенной целевой аудитории. Следовательно, он не может дать общую GEO-оценку.

8. СУЩЕСТВОВАНИЕ СОБЫТИЯ И РАСПРОСТРАНЕННОСТЬ СОБЫТИЯ

Это одно из самых важных различий в этом разделе.

8.1. Существование события

Отвечает на вопрос: «Произошло ли это представление или ошибка хотя бы один раз?» Одного правильного наблюдения может быть достаточно. Представление:

I(E) = 1(если событие было зафиксировано хотя бы один раз); в противном случае I(E) = 0

0 здесь не означает: «Событие невозможно». Это только указывает на то, что оно не было зафиксировано в текущем измерении.

8.2. Распространенность события

Отвечает на вопрос: «Как часто событие происходит в определенной целевой популяции?» В простой выборке необработанный коэффициент можно рассчитать как:

p̂ = количество правильных записей, где событие было зафиксировано / общее количество правильных записей

Однако в реальных исследованиях GEO-1000:

• веса для населения,
• страты по странам и языкам,
• сопоставленные пользователи,
• кластерные группы панели,
• неявка,
• недействительные записи,
• эффект проекта

должны учитываться. Поэтому исходная ставка не всегда является окончательной оценкой для населения.

8.3. Инцидентность и распространённость не могут быть преобразованы друг в друга

Событие могло быть зафиксировано один раз, но быть очень редким. Событие может быть частым, но не зафиксированным вовсе в небольшом пилотном исследовании. Следующие два предложения различаются:

• "Эта ошибка была зафиксирована один раз."
• "Эта ошибка была зафиксирована у 12% пользователей."

Второе предложение требует определения знаменателя и выборки.

9. СТАТИСТИЧЕСКАЯ ВНЕШНОСТЬ СМЕЩЕНИЯ ОДНОЙ НАБЛЮДЕНИЯ

Однажды мы задали вопрос продукту ИИ. Ответ соответствовал критерию успеха. Необработанная частота:

p̂ = 1/1= 1= 100%

Кажется, это 100 процентов. Но эти 100 процентов не означают, что каждый член целевой популяции увидит такой же результат. Для наглядности таблица ниже показывает приблизительные 95 процентные интервалы доверия Вилсона при независимых бернуллиевских наблюдениях и несвзвешенной простой случайной выборке: [K09]

Эта таблица является синтетической и иллюстративной. Она не доказывает:

• Что эти интервалы действительны для всех схем выборки GEO-1000
• Что наблюдений 1,000 достаточно для всех языковых и страновых подгрупп
• кластеризация и взвешивание неэффективны
• что 95 процентов сырых данных автоматически означают уместность

То, что это на самом деле показывает:

По мере уменьшения числа наблюдений неопределенность в отношении пропорции популяции увеличивается.

100 процентов, наблюдаемых в одном наблюдении, могут быть совместимы с очень широким возможным диапазоном популяции.

10. ПОЧЕМУ «1,000» НЕ ЯВЛЯЕТСЯ МАГИЧЕСКИМ ЧИСЛОМ?

ПРАВИЛО КАНДИДАТА — ОСНОВНОЕ ПРАВИЛО КАНДИДАТА

GEO-1000 несет это основное предложение:

Для каждого контролируемого ИИ-продукта и каждой основной волны измерений по умолчанию нацелено минимальное количество 1,000 действительных пользовательских наблюдений.

Это положение еще не является окончательным научным минимумом. Оно будет переоценено на основе результатов пилотного и внешнего применения.

10.1. Почему это сильное начало?

При предположении простого случайного отбора, когда истинный уровень около 50%, теоретическая 95% погрешность для 1,000 наблюдений составляет примерно ±3.1 пунктов. Это может обеспечить значимую начальную точность на уровне всего продукта.

10.2. Почему это не решает все проблемы?

1,000 наблюдений:

• в десятках стран,
• на многих языках,
• для бесплатных и платных планов,
• для веб- и мобильных платформ,
• для контролируемых и естественных панелей

При делении подячейки уменьшаются. Например, если для каждого из 20 языков имеется только 50 наблюдений, неопределенность, связанная с языком, может быть намного выше, чем общая оценка модели.

10.3. Эффект дизайна

Наблюдения:

• от той же исследовательской панели,
• из той же страны,
• от того же пользователя,
• согласованные по дизайну

присутствуют, простое предположение о независимой выборке может не работать. Фактическая неопределенность может быть шире.

10.4. Подход NOMOS

Наблюдения 1,000 служат:

• основной точкой отсчета протокола,
• начальным минимальным значением на уровне модели по умолчанию,
• кандидатом на пороговое значение, которое будет откалибровано в пилотном исследовании

NOMOS не утверждает, что наблюдения 1,000 автоматически достаточны для каждой страны, языка и условий использования.

11. НЕЗАВИСИМОЕ НАБЛЮДЕНИЕ НЕ ТОЖДЕСТВЕННО ПОВТОРНОМУ НАБЛЮДЕНИЮ

Пользователь может задать один и тот же вопрос десять раз. Этот процесс может быть ценным. Однако он не создаёт десяти независимых пользователей.

11.1. Повторение того же пользователя в одной сессии

Можно измерить:

• вариативность обновления ответов,
• стабильность в рамках сессии,

вероятность альтернативных ответов. Само по себе оно не измеряет распространённость в популяции.

11.2. Повторение того же пользователя в новой сессии

Это может уменьшить влияние контекста предыдущего чата. Однако:

• тот же аккаунт,
• тот же план,
• та же страна,
• toe же персонализация,
• тот же пользователь

может продолжать создавать статистическую зависимость между наблюдениями.

11.3. Один пользователь тестирует несколько продуктов ИИ

Этот дизайн может помочь с сопоставимым сравнением между моделями. Однако наблюдения зависят на уровне пользователя. Эта зависимость должна учитываться при записи и анализе.

11.4. Разные пользователи используют один и тот же аккаунт

Могут существовать разные люди. Однако:

• история аккаунта,
• персонализация,
• план,
• память

могут быть общими. Эти записи нельзя автоматически считать независимыми.

11.5. Обеспечение нормативной независимости

Наблюдения должны быть спроектированы таким образом, чтобы быть максимально независимыми; известные зависимости пользователя, аккаунта, сеанса, панели, страны, устройства и повторяющиеся зависимости должны фиксироваться и учитываться в анализе.

Независимость не следует сводить к бинарной категории:

• да,
• нет

В случае необходимости используйте один из следующих статусов иждивенца:

НЕЗАВИСИМЫЙ

СОПРЯЖЕННЫЙ

КЛАСТЕРИЗОВАННЫЙ

ПОВТОРЕНО_В_ПОЛЬЗОВАТЕЛЕ

Зависимый

НЕИЗВЕСТНО

12. ПРИНЦИП ПЕРВОГО ПОДХОДЯЩЕГО ВЫХОДА

В основной панели населения задача участника заключается не в том, чтобы найти самый положительный ответ. Участник должен зафиксировать первый завершённый подходящий результат, сгенерированный при заранее определённом условии. Участник:

• не удается обновить ответ,
• нельзя запросить новый ответ,
• нельзя выбрать положительный,
• нельзя обрезать только хорошую часть,

нельзя переписать ответ. Поведение воспроизведения также можно исследовать отдельно. Однако: "Мы задали один и тот же вопрос пять раз и выбрали лучший ответ." — это не основной показатель популяции. Это тест выбранного лучшего результата. Его следует представлять с отдельным названием и методом.

13. ИСКЛЮЧЕНИЕ ОДНОГО КРИТИЧЕСКОГО СОБЫТИЯ

Одиночный ответ не может определить показатель популяции. Однако это не означает, что отдельный ответ никогда не может существенно повлиять на решение. NOMOS устанавливает два отдельных пути оценки.

13.1. Путь представления популяции

Он задает вопрос: «Как часто этот результат встречается в целевой популяции?» Требуется большая и достоверная выборка.

13.2. Путь критического события

Вопрос звучит так: «Насколько велик предсказуемый ущерб, если этот результат произойдет один раз?» Одно подтвержденное событие может вызвать проверку. Например:

• Назначение несуществующей медицинской лицензии
• Отправка опасного экстренного медицинского направления
• Сообщение о неверных юридических полномочиях
• Удаление защитной границы
• Путаница компании с другим юридическим лицом
• Повторение манипулятивного указания, скрытого от людей, как будто это совет

Это может быть единичный кандидат на критическое событие.

13.3. Разделение оценки и решения о соответствии

Критическое событие обычно может быть единичным наблюдением. Например:

1/1000=0.1%

Эта частота может показаться небольшой. Однако если потенциальный ущерб события серьезен, это может создать необратимый разрыв в решении о соответствии. Следовательно:

Оценка населения измеряет частоту события; Обзор критического события измеряет влияние события на вред и целостность.

Высокая средняя точность не может автоматически исключить серьёзную единичную ошибку. Окончательные условия для критической классификации будут определены в последующих главах книги.

14. ЛЕСТНИЦА НАБЛЮДАТЕЛЬНЫХ УТВЕРЖДЕНИЙ

В этом разделе нормативно разделены только первые четыре уровня наблюдения. На более высоких уровнях:

• оценка с учётом населения,
• оценка по нескольким моделям,
• временная стабильность,
• эффект вмешательства,
• устойчивая ценность

будут определены в последующих разделах.

O-0— НЕ ТЕСТИРОВАЛОСЬ

Соответствующий продукт ИИ или состояние не измерялось. Правильный статус:

НЕ ТЕСТИРОВАЛОСЬ

Неприемлемое предложение: "Это уместно, потому что проблема не была замечена."

O-1— НАБЛЮДЕНИЕ ОДНОГО СОБЫТИЯ

Существует один действительный результат. Корректная формулировка: «При указанных условиях этот результат наблюдался один раз.» Невыразимое предложение: «Система представляет существование таким образом.»

O-2— ПОВТОР ПОЛЬЗОВАТЕЛЯ ИЛИ СЕССИИ

Для одного и того же пользователя, аккаунта или семейства сеансов существует несколько результатов. Корректная формулировка: «При указанных условиях пользователя и сеанса этот результат произошел в семи из десяти повторений.» Невыразимое предложение: «Семь из десяти независимых пользователей увидели этот результат.»

O-3— ИЗМЕРЕНИЕ ОДНОЙ ЯЧЕЙКИ МНОГИМИ ПОЛЬЗОВАТЕЛЯМИ

То же самое:

• Продукт ИИ,
• пользовательский интерфейс,
• страны,
• языка,
• состояние панели,
• версия промпта,
• волна измерения

содержит несколько подходящих наблюдений пользователя. Корректная формулировка: «78% из 200 действительных наблюдений в контролируемой ячейке Турции/Turkish соответствовали указанному критерию перехода.» Этот результат не может быть автоматически обобщён на другие страны, языки или пользовательские интерфейсы.

O-4— МНОГОСЛОЙНОЕ ИЗМЕРЕНИЕ ЯЧЕЕК

Предопределенные образцы существуют из разных стран, языков или пользовательских ячеек. На этом уровне:

• результаты по ячейкам,
• взвешенный результат,
• объем охвата,
• неопределенность

подлежат отчетности. Подробные правила для весов популяции и справедливости подгрупп определены в последующих главах книги.

15. ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОГО APPLE.COM

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Пользователи, ИИ-продукты, ответы, показатели и результаты, приведенные ниже, являются вымышленными. Они не отражают фактическую работу Apple Inc. и поведение каких-либо реальных ИИ-продуктов.

15.1. Сценарий A — Один положительный ответ

Вымышленный пользователь задает следующий вопрос вымышленному ИИ-продукту A: «Что это за компания Apple.com?» Вымышленный ответ: «Apple — это американская технологическая компания, которая разрабатывает потребительскую электронику, программное обеспечение и цифровые сервисы.» Предварительная оценка:

• Идентичность субъекта верна
• Основная категория верна
• Нет очевидных критических ошибок
• Базовое представление приемлемо

Исходный результат:

1/1=100%

Некорректное публичное заявление: «Продукт ИИ A представляет Apple с точностью 100%». Корректное публичное заявление: «В синтетической выборке указанное отдельное наблюдение удовлетворяло критерию перехода. Популяционная распространённость и надёжность продукта не определены.»

15.2. Сценарий B — Обнаружение с десятью наблюдениями

Десять независимых синтетических пользователей используют одну и ту же версию семантического запроса. Синтетический результат:

• Ответы 7 прошли
• Ответ 1 частично верен
• Ответ 1 содержит устаревшую информацию
• Ответ 1 указывает неправильную основную деятельность

исходная процентная доля прохождения:

7/10=70%

При простом, идеализированном предположении независимой выборки приблизительный процентный интервал Уилсона 95 обязательно широкий. Результат остаётся исследовательским, так как он основан на:

• небольшой выборке,
• одноклеточный,
• одна волна

Текущий статус:

ИССЛЕДОВАТЕЛЬСКИЙ — Недостаточно для общедоступного глобального рейтинга NOMOS.

15.3. Сценарий C — 1,000 Наблюдаемая синтетическая волна

Предположим синтетически, что выполнены следующие условия:

• Продукт ИИ A
• Действительные наблюдения 1,000
• Предопределённая целевая популяция
• Зафиксированная версия промпта
• Определенные слои страны и языка
• Немодифицированный исходный подходящий ответ
• Полные записи доказательств
• Предопределенные правила вынесения решений

Синтетический результат:

Простой исходный процент успешных попыток:

918/1000=91.8%

Приблизительный интервал Уилсона 95% в условиях идеализированного невзвешенного предположения: есть. Однако одно лишь это число ещё не является окончательным значением NOMOS балла GEO. Потому что есть дополнительные факторы, которые необходимо оценить:

• Вес страны и языка
• Эффект дизайна
• Наихудший результат по языку
• Доля некорректных наблюдений
• Согласованность между оценщиками
• Проверка кандидатов на критические ошибки
• Непроверенные группы пользователей
• Время и ограничение измерения пользовательский интерфейс

Шесть кандидатов с критическими ошибками также должны проходить отдельный обзор инцидента. Корректная отчетность: «Сырой процент прохождения в синтетической волне составляет 91.8 процентов. Этот результат описывает наблюдения до применения весов населения и эффектов дизайна. Поскольку выявлено шесть кандидатов с критическими ошибками, решение о соответствии требует отдельного рассмотрения». Некорректная отчетность: «GEO-оценка Apple NOMOS составляет 91.8 и она соответствует требованиям». Синтетические данные не могут быть приписаны таким образом реальной компании или реальной системе.

16. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

N-01

Вывод единой генеративной системы не может использоваться в качестве общей GEO-оценки.

N-02

Единичный наблюдаемый вывод:

• Продукт ИИ и пользовательский интерфейс,
• страны,
• языка,
• запрос,
• сессия,
• время

должны быть отражены вместе с его условиями.

N-03

Единичный вывод:

• типичный,
• непрерывный,
• глобальный,
• принадлежащий всем пользователям

не может быть представлен как поведение.

N-04

Повторения от одного и того же пользователя, аккаунта или сессии не могут учитываться как независимые наблюдения за населением без раскрытия зависимости.

N-05

В основной панели численности участников, участник должен зафиксировать первый подходящий заранее определённый результат; воспроизведение не может быть использовано для выбора положительного ответа.

N-06

Отказ системы, сообщение об ошибке или невозможность ответа должны регистрироваться как действительный исход системы, если протокол был корректно применён.

N-07

Обрезанные, изменённые, вручную переписанные ответы или ответы, контекст запроса которых невозможно проверить, не могут быть включены в основной расчёт балла.

N-08

Выбор только положительных скриншотов и скрытие распределения результатов запрещены.

N-09

Синтетические наблюдения не могут использоваться в оценках реальных пользователей или реальной системы.

N-10

Доля населения не должна публиковаться без указания охвата, знаменателя и соответствующего объяснения неопределенности.

N-11

Вероятность критической ошибки не может быть тихо компенсирована в рамках общего среднего.

N-12

Результат наблюдения может применяться только к вселенной выводов, которая уникально определена; его нельзя обобщать на неизмеренные страны, языки, продукты или временные периоды.

N-13

Измерение, оценка или публичное заявление должны иметь ответственного человека или институт.

N-14

НЕИЗВЕСТНЫЕ, НЕ ПРОВЕРЯВШИЕСЯ или НЕДЕЙСТВИТЕЛЬНЫЕ записи не могут быть тихо преобразованы в положительный результат.

17. КАНДИДАТ GEO-1000 ОСНОВНОЕ ПРАВИЛО

КАНДИДАТ-001

Для каждого продукта ИИ, подвергаемого аудиту, и для каждой основной волны измерения населения по умолчанию следует нацеливаться на минимум 1,000 действительных наблюдений пользователя.

Это кандидатное предложение:

• точность общего прогноза продукта,
• стоимость,
• применимость,
• справедливость по странам и языкам

Это создает первоначальный баланс между этими соображениями. Однако это не гарантирует адекватного охвата:

• всех оценок стран,
• всех оценок языков,
• всех подгрупп пользователей

Адекватность должно проверять через:

• пилотные проекты,
• независимые повторения,
• эффект дизайна,
• чувствительность подгрупп

Эти оценки определяют окончательный нормативный статус.

18. ФОРМЫ ОШИБОК

F-01— Выбранный скриншот

Публикуется только наиболее позитивный ответ среди многочисленных результатов.

F-02— Рассмотрение одного пользователя как всей популяции

Опыт одного человека обобщается на всю целевую аудиторию.

F-03— Подсчет повторов одного и того же пользователя как новых людей

Повторы, сгенерированные одним человеком или аккаунтом, учитываются как независимые участники.

F-04— Обновление ответа и выбор лучшего

Начальные или отрицательные ответы отбрасываются; наиболее подходящий ответ сохраняется как результат измерения.

F-05— Дрифтовый сдвиг запроса

Участники изменяют слова, тон или содержание запроса; результаты объединяются так, как будто это один и тот же эксперимент.

F-06— Контаминация контекста

Предыдущие разговоры влияют на ответ; запись представляется как отдельная сессия.

F-07— Сокрытие персонализации

Память, специальные инструкции или история пользователя видимы; результат представлен как общий ответ пользователя.

F-08— Путаница между моделью и продуктом

Указано только общее название модели или поставщика; фактический продукт, интерфейс и состояние инструмента не фиксируются.

F-09— Удаление ошибок и недочетов из знаменателя

Удалено, чтобы результаты выглядели положительными, когда система не отвечает на записи.

F-10— Учёт недействительного захвата как сбоя системы

Сообщается как ошибка участника, отсутствие доказательств или неправильный результат работы ИИ-продукта.

F-11— Глобализация одного языка и страны

Результат одной локали применяется глобально.

F-12— Использование синтетических данных как реальных

Записи, созданные в демонстрационных целях, добавляются к фактической производительности.

F-13— Потеря критического события в среднем

Серьезные ошибки в области здоровья, права, лицензирования или безопасности становятся незаметными в условиях высокого среднего значения.

F-14— Вывод эффекта вмешательства по одному успеху

Одиночная положительная реакция, полученная после вмешательства GEO, рассматривается как причинный эффект исследования.

F-15— Оценка всей системы по одной ошибке

Одна ошибка обобщается так, как будто продукт ИИ всегда ошибается и делает это для всех пользователей.

F-16— Определение целевой аудитории задним числом

После того как результат становится известен, группа пользователей с высоким успехом объявляется «фактической целевой аудиторией».

19. ПРОЦЕДУРА АУДИТА

Аудитор должен следовать приведенной ниже последовательности при оценке достоверности одного наблюдения или раннего заявления GEO.

Шаг 1— Записать публичное заявление

Полное предложенное предложение определено. Пример: «ChatGPT правильно знает нашу компанию.»

Шаг 2— Определение уровня утверждения

Предложение может содержать утверждение о:

• одиночном событии,
• распространенности,
• стабильности,
• глобальном последствии,
• причинно-следственной связи,
• коммерческом воздействии

Необходимо определить применимый уровень.

Шаг 3— Определение количества поддерживающих наблюдений

Сколько реальных пользователей? Сколько аккаунтов? Сколько независимых сессий? Сколько повторов? Сколько ИИ-продуктов? Сколько языков и стран?

Шаг 4— Проверка условий наблюдений

Записаны ли продукт ИИ, пользовательский интерфейс, промпт, сеанс, страна, язык и время?

Шаг 5— Проверка целостности доказательств

Есть ли полный ответ? Есть ли полный скриншот? Был ли ответ выбран или обновлён? Был ли файл изменён? Является ли запись синтетической?

Шаг 6— Определение структуры зависимостей

Есть ли повторения одного и того же пользователя? Использовался ли общий аккаунт? Есть ли зеркальная модель? Имеется ли кластеризация с одной и той же панели?

Шаг 7— Разделение ошибки сбора данных и достоверного системного результата

Является ли фактическим результатом отклонение или системная ошибка? Или участник нарушил протокол?

Шаг 8— Сравнение утверждения с уровнем доказательств

Используется ли одно наблюдение для суждения о популяции или для глобального вывода?

Шаг 9— Открытие критического пути

Если один ответ может привести к предсказуемому серьезному вреду, инициируется отдельное расследование инцидента.

Шаг 10— Ограничить решение

Общественный приговор снижается только до уровня, поддерживаемого доказательствами.

20. НЕОБХОДИМЫЕ ДОКАЗАТЕЛЬСТВА

Для наблюдения или утверждения в рамках данного раздела следует искать следующие записи в той мере, в какой они имеют отношение:

• Идентификация проверяемого объекта
• Полностью раскрытое GEO-утверждение для публики
• Количество наблюдений
• Количество уникальных участников
• Продукт ИИ и пользовательский интерфейс
• Видимая модель или версия, если доступна
• Тип плана или учетной записи
• Страна и локализация
• ID запроса, версия и полный текст
• Состояние сессии и персонализации
• UTC временная метка
• Измерительная волна
• Полный необработанный ответ
• Скриншот или эквивалентное доказательство
• Статус воспроизведения или выбора ответа
• Статус достоверности наблюдения
• Зависимость и запись соответствия
• Синтетический или реальный статус
• Журнал недостоверных наблюдений
• Запись критического события
• Объем результата
• Заявление об неопределённости
• Ответственное лицо или организация

Не все эти записи могут требоваться с одинаковой детализацией для каждого наблюдения с низким риском. Однако, если планируется предоставить общественности общий GEO-балл или пункт о соответствии, важные поля не могут оставаться пустыми.

21. ЧЕК-ЛИСТ АУДИТА

Был ли полностью идентифицирован проверяемый объект? Были ли зафиксированы продукт ИИ и пользовательский интерфейс? Был ли запрос зафиксирован перед измерением? Был ли запрос изменен участником? Известны ли условия сессии и персонализации? Зарегистрирована ли информация о стране и регионе пользователя? Сохранен ли полный ответ? Это первый подходящий результат или лучший выбранный результат? Есть ли полный набор доказательств? Были ли фактическое количество пользователей и количество наблюдений разделены? Были ли повторные и сопоставленные наблюдения посчитаны отдельно? Были ли отказы и системные ошибки правильно учтены в знаменателе? Были ли недействительные записи сохранены и обоснованы? Были ли синтетические и реальные данные разделены? Представлен ли один ответ как результат для всей популяции?

Применяется ли утверждение только к измеряемому продукту, стране, языку и времени? Была ли вероятность критической ошибки оценена отдельно? Содержит ли результат указание на уверенность или неопределённость? Явно ли показаны нетестированные области? Превышает ли публичное заявление уровень фактических наблюдений? Если один из фактических вопросов остался без ответа, результат имеет ограниченную доверенность. Если без ответа остались более одного, его не следует использовать для общего GEO-рейтинга.

22. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Реальный пользователь уже видит только один ответ.»

Это верно. Единственный ответ, который видит один пользователь, является реальным опытом этого человека. Следовательно, отдельные события фиксируются. Однако индивидуальный опыт не равен опыту всей популяции. NOMOS учитывает оба факта вместе:

Опыт одного пользователя реален. / Один пользователь не является всей популяцией.

Возражение 2— «Если система дает один и тот же ответ каждый раз, разве одного ответа недостаточно?»

Утверждение о том, что система дает один и тот же ответ каждый раз, также требует измерения. Кроме того:

• время,
• получение,
• страны,
• языка,
• план,
• персонализация,
• пользовательский интерфейс

Может варьироваться. Даже система, считающаяся детерминированной, не может быть обобщена за пределы определенных условий.

Возражение 3— «Почему именно 1,000?»

Число 1,000 не является магическим порогом уверенности. GEO-1000 служит основным ориентиром, который уравновешивает:

• значительный объем пользователей,
• широкую оценку на уровне продукта,
• практическую стоимость,
• понятность для общественности.

Подгруппам может потребоваться больше наблюдений. Пилотные исследования должны проверить или пересмотреть порог.

Возражение 4— «Пусть одни и те же люди 1,000 тестируют все продукты ИИ».

Этот метод может быть полезен для парного сравнения моделей. Однако выбор только интенсивных пользователей ИИ, которые имеют доступ ко всем продуктам, может исказить целевую популяцию. Также наблюдения одного и того же человека зависят друг от друга. В дальнейшем будут сравниваться полностью парные, частично парные и сбалансированные дизайны.

Возражение 5— «Разве скриншота уже недостаточно как доказательства?»

Скриншоты важны. Однако сами по себе они не всегда показывают следующее:

• реальное время
• страну
• план
• предыдущую беседу
• персонализацию
• обновление ответа
• изменение файла
• полный ответ

По этой причине скриншот является важной частью пакета доказательств. Он не является полным доказательством.

Возражение 6— «Почему мы включаем систему, которая не отвечает, в оценку?»

Реальный опыт пользователя может заключаться в том, что он не получает ответа. Отказ или ошибка:

• технический
• безопасность,
• политика
• доступ

может быть результатом. Если протокол был применен правильно, событие должно быть зафиксировано. Нереспонзивность системы из-за технической ошибки участника классифицируется отдельно.

Возражение 7— «Почему одна серьёзная ошибка должна влиять на всю проверку?»

Одна ошибка не доказывает, что большинство населения совершило ту же ошибку. Однако потенциальный ущерб от одной ошибки может быть значительным. Следовательно:

• частота счета
• Критическое решение, вред и целостность

оцениваются отдельно. Среднее значение не может автоматически устранить вред, причиняемый человеку.

Возражение 8— «Если мы не можем ничего сказать одним ответом, какова ценность ранних тестов?»

Тесты для единичных и малых выборок:

• генерировать гипотезы,
• обнаруживать виды ошибок,
• тестовые промпты,
• тестировать систему захвата,
• калибровать арбитров,

может выявить критические события. Неправильно не проводить исследовательское тестирование. Неправильно представлять результат исследования как показатель по популяции.

ОБЩИЙ ПРИНЦИП ГЛАВЫ 24

Эта глава была написана, чтобы развеять одно заблуждение: «Я спросил ИИ, получил ответ; вот мой результат GEO». Нет. У вас пока нет общего результата GEO. У вас есть наблюдение. Это наблюдение:

• реально,
• имеет значение,
• даже критический

может быть. Однако это все еще одно наблюдение. Для оценки GEO необходимо наличие:

• пользователей,
• ИИ-продуктов,
• стран,
• языков,
• сессий,
• времени

Необходимо измерять распределение представительности по ИИ-продуктам, странам, языкам, сессиям и времени. Один скриншот — это не распределение. Десять автоматических повторений — это не десять независимых людей. И тысяча ответов от плохой выборки не представляют мировое население. Даже пропорциональная населению выборка может быть неполной без языковой справедливости. Высокое среднее не может стереть критические ошибки. Первый закон измерения NOMOS, следовательно, таков:

Один ответ — это событие. / Множество ответов — это паттерн. / Определенная выборка — это оценка популяции. / Повторение во времени — это мера стабильности. / Но ни одно из этих измерений по отдельности не является причинно-следственным или устойчивой ценностью.

Порядок раздела 1 из NOMOS

Не приносите мне один скриншот, а затем говорите за всю систему.

Не делайте ответ одного пользователя ответом всего мирового населения.

Не превращайте дубликаты одной и той же учетной записи в независимых людей.

Не обновляйте ответ и не отображайте предпочтительное как если бы это было реальным распределением.

Не удаляйте отклонения, ошибки и неизвестные значения из знаменателя.

Не обобщайте один язык на весь мир, одну страну на все страны или один продукт ИИ на все генеративные системы.

Не превращайте один успех в доказательство эффекта вмешательства и одну ошибку в неизменный характер всей системы.

Не топите одну серьезную ошибку в среднем показателе.

Сначала зафиксируйте событие. / Затем измерьте закономерность. / Затем определите целевую популяцию. / Затем покажите зависимость и неопределённость. / И говорите только в той мере, в какой это позволяет доказательная база.

Заключительное предложение главы

Представление сущности в системах искусственного интеллекта не является единственным ответом. Продукты ИИ — это распределение, которое следует измерять по пользователям, странам, языкам, сеансам и времени.

Нормативное ядро

Один выход генеративной системы МОЖЕТ устанавливать, что конкретный ответ произошел при зафиксированных условиях. Один выход НЕ ДОЛЖЕН использоваться для вывода о: - распространенности в популяции, - типичном поведении продукта, - временной стабильности, - согласованности между языками, - согласованности между странами, - согласованности между продуктами, - эффекте вмешательства, - достоверности рекомендаций, - коммерческом воздействии, - соответствие, - или оценке GEO. Все более широкие утверждения ДОЛЖНЫ поддерживаться заранее определённой целевой популяцией, действительным дизайном многократных наблюдений, зафиксированной структурой зависимостей, комплектом доказательств, правилом оценки, заявлением о сфере применения и раскрытием неопределённости. Один выход с высоким уровнем вреда МОЖЕТ вызвать отдельное рассмотрение критического инцидента без того, чтобы считаться доказательством распространенности в популяции.