Прямой ответ
Вероятностная система может в разное время отвечать по-разному на один и тот же или похожий вопрос. Сообщайте число повторов, условия выполнения, распределение результатов, типы ошибок и неохваченные случаи. Размер выборки — не фиксированное маркетинговое число: он зависит от решения, различия в ошибках, которое нужно обнаружить, ожидаемой изменчивости и допустимой неопределённости. Используйте доверительный интервал или другую статистическую сводку лишь тогда, когда выполняются предпосылки метода.
Простыми словами
По одному броску нельзя понять, честен ли игральный кубик. Выпавшая шестёрка не означает, что она будет выпадать всегда. Бросьте кубик много раз, изучите распределение и укажите, какая неопределённость всё ещё остаётся.
Почему это важно
Один удачный снимок экрана не доказывает успех, а один плохой ответ — постоянный провал. Если скрыть изменчивость и неопределённость, из малой выборки делают большие выводы, а сравнения вводят в заблуждение.
Не путать
- Сигнал уверенности модели — собственный вывод модели, а не доверительный интервал результата измерения.
- Неопределённость измерения показывает, насколько наблюдаемый результат оценивает лежащую в основе частоту.
- Ошибка выборки возникает, когда исследованные случаи неполно представляют целевую совокупность.
- Изменчивость системы — изменение результатов в одинаковых условиях или со временем.
- Неопределённость доказательств означает неполноту или противоречивость самого Truth Pack.
Что делать
- Определите целевую совокупность, порог решения и различие ошибок, которое нужно обнаружить.
- Проведите пилотные повторы по одному протоколу, чтобы получить исходные данные о частоте ошибок и изменчивости.
- Обоснуйте размер выборки желаемой точностью, риском, изменчивостью и доступными ресурсами.
- Сохраняйте вопрос, язык, страну, модель, версию, дату и условия повторов одинаковыми либо явно делите их на слои.
- Сообщайте количества, доли, распределения, выбросы и число критических ошибок, а не только среднее.
- При подходящих предпосылках указывайте доверительный интервал, метод и уровень; иначе ограничьтесь описательной сводкой.
- Перечислите непредставленные группы, неудачные запуски и границы обобщения.
Как проверить
- Не выдан ли один результат за постоянное поведение системы?
- Видны ли число повторов и условия выполнения?
- Обоснован ли размер выборки целью решения и ожидаемой изменчивостью?
- Не скрывает ли среднее критические ошибки или различия подгрупп?
- Рассчитан ли доверительный интервал методом, подходящим данным и предпосылкам?
- Не перепутаны ли уверенность модели и уверенность измерения?
- Не обобщён ли результат на ненаблюдаемые языки, страны, модели или периоды?
Ограничение
NOMOS GEO не назначает одно минимальное число повторов или один размер выборки для каждого исследования. Предпосылки независимости, распределения и устойчивости могут не выполняться полностью в сторонних генеративных системах; тогда снижайте силу статистического заявления и при необходимости привлекайте специалиста по методологии.
Запомните одной фразой
Один ответ — это выборка; сообщайте результат вместе с ограничениями выборки.
Источники этой записи
- S38NIST AI 600-1, *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*Добровольное институциональное руководство в области стандартов
- S44NIST, * AI Risk Management Framework Playbook* и AI RMF CoreНаправления по добровольному осуществлению
- S50NIST AI 100-1, *Artificial Intelligence Risk Management Framework (AI RMF 1.0)*Добровольная институциональная база, ориентированная на стандарты
- S51NIST/SEMATECH, *e-Handbook of Statistical Methods*Техническое руководство официального органа