Пропорциональная населению выборка GEO-1000

Граница главы

Раздел 5 установил следующее положение:

Целевая пользовательская аудитория каждого продукта ИИ должна определяться отдельно. Общая численность населения страны не является численностью пользователей, имеющих право на продукт в этой стране.

Теперь мы подходим к следующему вопросу:

Из определённой численности подходящих пользователей для GEO-1000, сколько человек будет выбрано, из какой страны, на каком языке и каким методом?

Подходящая численность пользователей для ИИ-продукта составляет:

• 40% в стране A,
• 25% в стране B,
• 15% в стране C,
• 0.04% в маленькой стране

Если доступно, как следует распределять действительные наблюдения 1,000? Как дробные квоты будут преобразованы в целые числа? Будут ли страны с долей населения меньше одного человека полностью исключены? Будет ли нарушено взвешивание по населению, если каждому населению будет выделен хотя бы один человек? Можно ли объединить малые страны в отдельный пул? Если некоторые языки будут перепредставлены для языковой справедливости, как будет рассчитан глобальный балл? Если целью является 100 действительных наблюдений в стране, сколько людей следует пригласить? Кто заменит участника, если он не выполнит задание? Можно ли заменить пользователя, дающего неправильные ответы? Если один и тот же человек тестирует более одного продукта ИИ, будет ли выборка по-прежнему независимой?

Даже имея необработанную выборку из 1,000 человек, могут ли сильно неравные веса снизить эффективную статистическую информацию ниже уровня 1,000 независимых, равноосновных наблюдений? Это не просто организационные детали. Дизайн выборки определяет, насколько большое влияние каждый человек оказывает на показатель GEO. Дефектная выборка:

• может неверно взвешивать правильные ответы,
• может символически переоценивать малые страны,
• может делать большие популяции меньше, чем они есть на самом деле,
• может делать низкоресурсные языки невидимыми,
• может представлять добровольных пользователей технологий так, как если бы они были населением всего мира.

Его можно корректировать для достижения желаемого результата после просмотра результатов. Ранее установленная архитектура аудита требует, чтобы каждый аудит был измеримым, а у модели/продукта была указана дата, страна, язык, набор запросов, количество повторов и запись измерений. Этот раздел применяет ту же дисциплину к дизайну выборки. Поскольку подлинные доказательства требуют указания ограничений, контекста и времени, это также требует демонстрации того, как была создана выборка. Этот раздел:

• как будут распределены 1,000 действительные наблюдения основной панели населения,
• как будут установлены страты и ячейки,
• как будут управляться маленькие страны,
• как дроби будут преобразованы в целые числа,
• как будет учитываться переотбор,
• как разделить приглашение, резервные и действительные объекты наблюдения,
• как установить веса для проектирования и анализа,
• почему эффективный размер выборки может отличаться от исходного числа

определяет. В этой главе пока не рассматривается:

• из какого поставщика панели будут отобраны участники,
• подробности реализации полевого этапа при добровольной или вероятностной выборке,
• проверка и оценка ответов,
• метод окончательного доверительного интервала,
• все формулы оценивания NOMOS

не полностью окончательные. Задача раздела 6 заключается в следующем:

Преобразовать определенную целевую популяцию в зафиксированную, взвешиваемую и воспроизводимую выборку GEO-1000 до получения исхода.

NOMOS Вызов

Вы создаете глобальную панель из 1,000 человек для продукта на основе ИИ. Доступные для продукта популяции десяти стран следующие:

Сырые квоты в соответствии с чистой пропорцией населения:

Половину человека выбрать нельзя. 0.4 человек нельзя отвезти в страну. Если округлить сырые квоты до ближайшего целого числа, общая сумма может превысить или не достигнуть 1,000. Если дать хотя бы одного человека каждой стране, будут представлены страны I и J в большей степени по сравнению с их долей в населении.

Передача одного человека стране I увеличивает её теоретическую долю 2.5 раз. Передача одного человека стране J увеличивает её теоретическую долю 10 раз. Это экстремальное представление можно в значительной степени скорректировать. Но вы не можете получить показатель страны с одним человеком. Что произойдет, если вы не дадите ни одного человека странам I и J?

Если вы определяете эти страны как отдельные и обязательные страты, вероятность того, что некоторые люди из целевой популяции будут отобраны, становится нулевой. В этом случае утверждение о «вероятностной выборке, представляющей всю соответствующую мировую популяцию», слабеет. Теперь рассмотрим более опасное решение. Сначала вы собираете ответы.

Единственный пользователь в стране J дает неверный ответ. Затем вы говорите: «Размер выборки этой страны очень мал, давайте исключим ее из области исследования». В стране A много положительных ответов. Вы сохраняете ее с полным весом. Это уже не округление. Это изменение выборки, ориентированное на результат.

В другом случае вы увеличиваете процент недействительных записей в языковой группе с низкими результатами, используя резервных участников только до получения положительного ответа. Это также не является выборкой. Это механизм отбора ответов. Первое постановление этого раздела:

Выборка должна быть установлена до просмотра ответов ИИ.

Второе положение гласит:

Вероятность выбора участника не может зависеть от правильности его ответа.

Её третье положение гласит:

Видимость малой страны и вес населения в глобальном рейтинге должны управляться отдельно.

Четвертая статья гласит:

Пересэмплирование возможно; избыточное взвешивание не обязательно.

Пятая его статья гласит:

Сырые записи 1,000 не всегда несут статистическую информацию, эквивалентную наблюдениям 1,000.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела заключается в преобразовании целевых действительных наблюдений 1,000 для каждого продукта ИИ и волны измерений в проверяемый дизайн выборки на основе пользовательной популяции, имеющей право на продукт. Раздел стандартизирует следующие различия:

• Целевая популяция против выбранной выборки
• Исходная квота против целочисленного распределения
• Основная популяционная панель против дополнительных панелей
• Видимость страны против веса страны
• Страты против экспериментальной ячейки
• Страты крупных стран против пула малых стран
• Пропорциональное распределение против непропорционального сверхвыборочного отбора
• Доля выборки против доли популяции
• Количество приглашений против цели по действительным наблюдениям
• Резервный участник против замены после результатов
• Недействительность сбора данных против неблагоприятного ИИ-результата
• Дизайнерский вес против веса результата
• Сырая выборка против эффективной выборки
• Выборка по странам против выборки по языкам
• Многоязычный пользователь против более чем одного человека
• Одностадийный отбор против многостадийного отбора
• Распределение Естественный охват против распределения Общая опора сравнения
• Моментальное распределение волн и распределение временных рядов
• Оценка населения и анализ по распознаванию стран или языков
• Основные наблюдения 1,000 с вспомогательными наблюдателями и панелями справедливости

В конце этого раздела каждый аудит должен быть в состоянии ответить на следующие вопросы:

Почему наблюдения 1,000 были распределены в таких количествах по стране, языку и группам пользователей?

Как был определён вес каждого наблюдения в глобальном результате?

Кто имел нулевую вероятность быть выбранным и почему?

Сколько человек было приглашено, сколько завершили и сколько наблюдений осталось действительным?

Были ли результаты выборки заморожены до просмотра?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Основная выборка населения GEO-1000 должна основываться на стратифицированной схеме выборки, которая назначает известные или предсказуемые вероятности выбора людям в заранее замороженной рамке населения, подходящего для продукта, для каждого ИИ-продукта и волны измерений. Целевая величина основной панели населения по умолчанию:

По крайней мере 1,000 действительных наблюдений на каждый ИИ-продукт и основную волну измерений

сохраняется. Это число:

• не является количеством приглашенных людей,
• не является количеством аккаунтов,
• не является количеством необработанных скриншотов,

Это не сумма всех дополнительных панелей. 1,000 является целью для действительных наблюдений за продуктом, соответствующих протоколу в основной популяционной панели. Панели Country Observer, Language Fairness и Accessibility могут создавать дополнительные выборки. Эти дополнительные выборки:

• могут увеличивать общий объем полевых данных выше 1,000,
• могут использоваться с соответствующими весами в результатах глобальной популяции,

но не могут использоваться для скрытого уменьшения цели действительных наблюдений 1,000 основной панели.

3. БАЗОВОЕ ПРЕДСТАВЛЕНИЕ ВЫБОРКИ

Для конкретного продукта ИИ a, волны измерений w и целевой популяционной рамки, страты:

h∈ H_{a,w}

обозначены. Для каждой страты:

• Nh: оценка подходящей для продукта популяции в страте
• N: общая целевая популяция
• Wh: вес популяции страты
• n: целевая действительная основная панельная наблюдение
• qh: грубая пропорциональная квота
• nh: распределённые целые действительные наблюдения цели

является. Общая целевая популяция:

N= Σ_{h=1}^H N_h

Вес популяции страты:

W_h= N_h/ N

Грубая пропорциональная квота:

q_h= nW_h

является. Основное пропорциональное распределение при идеальных условиях:

n_h≈ nW_h

должно быть. Однако:

• qh может быть дробным,
• некоторые ячейки могут быть меньше одного человека,
• может потребоваться минимальная диагностическая выборка для подгрупп по языку и стране,
• также могут быть изучены небольшие группы высокого риска

Уровни заполнения полей могут различаться. Поэтому исходная квота не является прямым окончательным распределением.

4. ТРИ РАЗЛИЧНЫЕ ЦЕЛИ ДИЗАЙНА ВЫБОРОК

Та же выборка может не удовлетворять всем целям с одинаковой силой. Следует разделять три цели.

4.1. Глобальная оценка населения

Отвечает на вопрос:

Какой представительный результат увидит средний человек из глобальной популяции пользователей, подходящей для продукта?

Приоритетным является вес населения.

4.2. Диагностика подгрупп

Отвечает на вопрос:

Какие искажения представления происходят в конкретных странах, языках, планах или группах пользователей?

Может потребоваться сверхотбор малых групп.

4.3. Географическое и языковое покрытие

Отвечает на вопрос:

В каких странах и на каких языках наблюдается хотя бы реальное присутствие пользователей?

Панели наблюдателей по странам и справедливости языка становятся важными. Эти три цели нельзя необъяснимо объединять в одной выборке.

5. ОСНОВНАЯ АРХИТЕКТУРА ВЫБОРКИ

Кандидат на основную архитектуру выборки для GEO-1000 состоит из четырех уровней.

5.1. Панель населения

Каждый продукт и волна ИИ имеют минимум 1,000 действительных наблюдений в качестве основной панели. Это позволяет получить оценку глобального населения.

5.2. Наложение наблюдателя по странам

Обеспечивает дополнительные географические наблюдения для небольших стран, которые не могут быть напрямую представлены в основной панели населения. Эти наблюдения могут указывать на:

• одиночном событии,
• статус доступа,
• потребности в будущих исследованиях

Они сами по себе не создают страновой рейтинг.

5.3. Дополнительная выборка справедливости языка

Генерирует дополнительные наблюдения для языков с ограниченными ресурсами или языков, недостаточно представленных в основной панели. Они перераспределяются согласно фактическим весам населения в глобальном результате.

5.4. Доступность - дополнительная выборка

Также измеряет пользователей вспомогательных технологий и доступности, которые недостаточно представлены в стандартной панели. Целевая вселенная и вес этих наблюдений фиксируются отдельно.

6. ЧТО ТАКОЕ СТРАТУМ?

Стратум — это сегмент населения, который управляется отдельно с точки зрения распределения выборки и вероятности отбора. Стратум может быть комбинацией одного или нескольких из следующих областей:

• Страна
• Регион
• Язык
• Локаль
• План ИИ
• Веб или мобильное
• Контролируемый или Панель пользователей в естественных условиях
• Статус доступности
• Тип пользователя
• Юрисдикция

Если каждое небольшое сочетание сделать отдельным слоем, выборка будет фрагментирована. Например: сочетание страна × язык × план × мобильный/веб × возрастная группа × тип пользователя может дать сотни или тысячи ячеек. Наблюдения 1,000 не предоставляют надежных оценок для большинства этих ячеек. Поэтому стратификация должна быть:

• существенной,
• измеримой,
• соответствующей численности выборки

должен быть.

7. СЛОЙ НЕ ТО ЖЕ САМОЕ, ЧТО ОТЧЕТНАЯ ЯЧЕЙКА

Он может отображаться отдельно на карточке группы результатов. Однако он не обязательно должен быть отдельным слоем в дизайне выборки. Например:

• небольшой язык,
• определенная группа с особыми возможностями,
• определенная возрастная группа

Его можно выбрать внутри более широкой страты в основной выборке. Позже его можно отдельно указать в анализе. Возможен и обратный вариант: два региона могут быть отдельно стратифицированы для повышения эффективности выборки. Однако в публичном отчете они могут быть объединены под одним региональным результатом. Дизайн стратификации и структура отчетности должны иметь отдельные записи.

8. ПОСЛЕДОВАТЕЛЬНОСТЬ СОЗДАНИЯ СТРАТЫ

Кандидатная последовательность для основной популяционной панели выглядит следующим образом:

• Продукт ИИ и пользовательский интерфейс
• Рамка популяции Естественный охват или Общая опора сравнения
• Страна или пул небольших стран
• Основной язык аудита или языковая группа
• План материалов/разделение интерфейса, если необходимо
• Рамка отбора участников

План и интерфейс не обязательно создавать в виде отдельных слоев для каждой страны. Это можно управлять через:

• подслой,
• квоту,
• случайное распределение

методы.

9. СЛОИ БОЛЬШИХ И МАЛЫХ СТРАН

Сырой квотой страны:

q_c= nN_c/ N

имеет такую форму. Если сырой квоты достаточно, страну можно сохранить непосредственно как отдельный слой. Это можно назвать:

слой страны, представляющей сама себя

Создание отдельных обязательных слоев для стран с очень маленькой сырой квотой может снизить эффективность выборки. Эти страны можно соответствующим образом:

• региональными,
• языковой семьи,
• режимом доступа к продукту,
• географической близостью

включать в пул малых стран.

10. ПУЛ МАЛЫХ СТРАН

Пул малых стран:

Пусть он будет представлен как B_r= {c_1, c_2, …, c_k}

Общая численность допустимого населения пула:

N_{B_r}= Σ_{c∈B_r} N_c

Основная квота выборки:

q_{B_r}= nN_{B_r}/ N

вычисляется как. В рамках пула выбор страны может осуществляться с вероятностью, пропорциональной размеру допустимого населения. Вероятность того, что страна c будет выбрана в пуле:

Pr(c | B_r) = N_c/ N_{B_r}

Возможно. Затем выбирается участник из выбранной страны. Этот подход:

• может предотвратить ситуацию, когда маленькие страны имеют нулевой шанс быть выбранными в целевой популяции,
• не гарантирует, что каждая страна будет выбрана в данной волне,

сохраняет глобальную оценку численности населения. Не выбранная страна в этой волне:

НЕ ВЫБРАНА В ВЫБОРКЕ НАСЕЛЕНИЯ

не означает: «Страна не является частью целевой популяции».

11. ОГРАНИЧЕНИЯ ОБЪЕДИНЕНИЯ МАЛЫХ СТРАН

Малые страны нельзя случайным образом объединять в один пул только из-за того, что их население небольшое. Страны в пуле должны быть схожи в тех аспектах, которые имеют значение:

• доступ к продукту,
• пользовательский интерфейс,
• структура языка или локали,
• юридический доступ,
• географический регион,
• метод сбора данных

должен соблюдаться. Страна без доступа к продукту не может быть размещена в том же основном пуле, что и страна с полным доступом. Различные условия использования не могут быть скрыты.

12. ПУЛ МАЛЫХ СТРАН НЕ СОЗДАЁТ ОТДЕЛЬНЫЙ СТРАНОВОЙ БАЛЛ

Один или два наблюдения, выбранные из пула, могут использоваться в глобальном вкладе пула в популяцию и могут указывать на отдельное событие в стране. Однако это не создаёт отдельный статистический балл для малой страны. Если требуется балл по стране, дополнительно:

• Наблюдатель страны,
• страно-специфическая выборка,
• многоэтапная кумулятивная выборка

может потребоваться.

13. РАСПРЕДЕЛЕНИЕ ПРОПОРЦИЙНО ЧИСТОМУ НАСЕЛЕНИЮ

Чистое пропорциональное распределение: основано на формуле:

q_h= nW_h

Преимущества:

• это понятно для основной оценки населения,
• естественным образом придает вес большим группам населения,
• может уменьшать различия в весах,

может приближаться к самовзвешивающемуся дизайну. Ограничения:

• может отбирать очень мало малых стран и языков,
• может быть недостаточно для получения оценок подгрупп,
• может оставлять невидимыми группы высокого риска,

может создавать дробные и почти нулевые квоты. Следовательно, чистое пропорциональное распределение может быть сильным по умолчанию для основной Панели Населения. Оно не заменяет дополнительные панели.

14. ПРЕОБРАЗОВАНИЕ ДРОБЕЙ В ЦЕЛЫЕ ЧИСЛА

Сырые квоты часто бывают дробными. Общий объем распределения должен быть точно равен n. Метод наибольшего остатка может использоваться в качестве метода по умолчанию.

14.1. Первый шаг

Каждая сырая квота округляется вниз:

b_h= ⌊q_h⌋

14.2. Второй шаг

Количество нераспределенных наблюдений:

R= n− Σ_h b_h

вычисляется.

14.3. Третий шаг

Дробная часть каждой страты:

f_h= q_h− b_h

где f_h — дробная часть q_h.

14.4. Четвертый шаг

Оставшиеся R наблюдений добавляются по одному к слоям с наибольшими значениями fh.

14.5. Ситуация равенства

Если дробные части двух уровней равны:

• численность населения,
• предопределённый фиксированный порядок,
• зарегистрированное случайное начальное значение

Следует использовать независимое правило для разрешения равенства, независимо от результата. Страна не может быть выбрана на основании результатов.

15. АЛЛОКАЦИЯ СИНТЕТИЧЕСКИХ ЦЕЛЫХ ЧИСЕЛ

СИНТЕТИЧЕСКИЙ ОТРАЖЕНИЕ

Соответствующие популяции в начале раздела:

Если страны защищены как отдельные слои, округляйте вниз:

Остается одно наблюдение. Оно добавляется в H, потому что наивысшая дробная часть равна 0.5 в стране H. Итоговое распределение:

Хотя эта конструкция определяет I и J как отдельные детерминированные слои, если она не даёт шанса быть выбранной, это может создать проблему с точки зрения полного вывода целевой вселенной. Более точное решение — небольшой сельский бассейн.

16. СИНТЕТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ С НЕБОЛЬШИМ СЕЛЬСКИМ БАССЕЙНОМ

Страны H, I и J:

B_small= {H, I, J}

Их нужно объединять в бассейне. Популяция бассейна:

1,500,000+400,000+100,000=2,000,000

Квота на пул:

1,000× 2,000,000/ 1,000,000,000= 2

становится. Основное распределение:

Веса отбора стран в пуле:

По этим вероятностям выбираются два основных наблюдения популяции. В той же волне:

• оба наблюдения могут быть получены из H,
• один из H и один из I,
• редко из J

Это может происходить. Дизайн не делает J видимым в каждой волне, но это не снижает вероятность выбора J до нуля. Если необходимо наблюдать J, он добавляется отдельно в Панель Наблюдателей Страны. Наблюдение Страны не дает J веса один в 1,000 в основной глобальной выборке; J сохраняет свой истинный вес в основной панели.

17. МИНИМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ ЯЧЕЕК

Чисто пропорциональная квота может быть недостаточной для проведения диагностического анализа для некоторых подгрупп. Например, исходная квота для языковой ячейки может быть 8. Надежный языковой показатель нельзя получить при восьми наблюдениях. В этом случае есть три варианта:

• Не публиковать языковой показатель
• Объединить ячейку с похожими группами
• Избыточная выборка ячейки

Минимальное распределение ячеек должно быть определено до получения результатов.

18. ГРУППЫ ОТЧЁТОВ КАНДИДАТОВ

ГРУППЫ ОТЧЁТОВ КАНДИДАТОВ — ГРУППЫ ОТЧЁТОВ КАНДИДАТОВ

Приведённые ниже пороговые значения не являются окончательными научными решениями. Они должны быть откалиброваны через пилотное тестирование и внешнюю проверку.

1–29 Действительное наблюдение

Отчёт о единственном событии и открытии Страна или языковая ставка не публикуется

ТОЛЬКО НАБЛЮДЕНИЕ

30–99 Действительные наблюдения

Примерная оценка Увеличенная неопределённость Определённое суждение о соответствии не предоставляется

ЭКСПЕРИМЕНТАЛЬНО

100–199 Действительные наблюдения

Первая оценка подгруппы Неопределённость должна быть видна

ПРОВИЗОРНОЕ

200 и выше Действительные наблюдения

Более точная оценка подгруппы кандидат Влияние дизайна и веса оцениваются снова

СТАНДАРТНАЯ ОЦЕНКА КАНДИДАТА

Эти группы:

• уровень ошибок,
• ожидаемая точность,
• вариабельность веса,
• эффект проекта

не может автоматически считаться достаточной без учета.

19. ПЕРЕОТАБИРАНИЕ

У страны, языка или группы пользователей может быть больше наблюдений, чем доля их населения. Это называется переотабиранем. Его цели:

• повысить чувствительность подгруппы,
• сделать язык с низкими ресурсами заметным,
• изучить малую группу с высоким риском,
• расширить охват Country Observer,
• адекватно представить пользователей с ограниченными возможностями

возможны. Переотабирование не является ошибкой. Что является ошибкой:

Использовать долю выборки переотобранной группы, как если бы она была истинной долей населения.

20. ДОЛЯ НАСЕЛЕНИЯ И ДОЛЯ ВЫБОРКИ

Доля населения для слоя h:

W_h= N_h/ N

Доля выборки:

S_h= n_h/ n

находится в форме. В случае чисто пропорционального распределения:

S_h≈ W_h

хорошо. При избыточной выборке:

S_h> W_h

Это возможно. При небольшой выборке:

S_h< W_h

Это возможно. Глобальная оценка населения должна сохранять значения Wh вместо Sh.

21. ОСНОВНАЯ РАСЧЕТНАЯ НАГРУЗКА

В простом стратифицированном отборе можно считать базовый вес каждого наблюдения в слое h следующим образом:

d_i= N_h/ n_h

Нормализованный вес слоя можно записать как:

a_h= W_h/ S_h

Нормализованный вес на уровне наблюдения может быть:

w_i= W_h/ n_h

Обеспечено, что сумма равна единице:

Σ_i w_i= 1

Взвешенная оценка бинарного перехода может быть рассчитана как:

θ̂ = Σ_i w_iY_i

Здесь:

Yi=1: отклик, соответствующий критерию перехода

Yi=0: отклик, не соответствующий критерию

Это возможно. Финальная система NOMOS не обязательно должна использовать только бинарные результаты. Та же логика взвешивания может быть применена к многомерным оценкам откликов.

22. ПРИМЕР ИЗЛИШНЕЙ ВЫБОРОЧНОСТИ

СИНТЕТИЧЕСКИЙ ПРИМЕР

В подходящей популяции страны B:

• Язык X: 80 процентов
• Язык Y: 20 процентов

Так пусть будет. В панели популяции есть 250 наблюдений для страны B. Чистое распределение:

• Язык X: 200
• Язык Y: 50

Пусть 50 дополнительные наблюдения по справедливости языка будут собраны для Языка Y. Собранные наблюдения:

• Язык X: 200
• Язык Y: 100

Доля Языка Y в исходной выборке:

100/300 = 33.3%

Так оно и есть. Фактическая доля в населении составляет 20%. В учете мировой популяции Язык Y не может иметь вес 33.3%. Нормализованные веса внутри страт:

• Общий вес для Языка X: 80%
• Общий вес для Языка Y: 20%

сохраняется. Каждое из 100 наблюдений для Языка Y получает меньший индивидуальный вес, чем одно наблюдение для Языка X. В то же время все 100 наблюдений используются в отдельном диагностическом отчете для Языка Y. Этот подход: увеличивает видимость подгруппы, не искажает оценку мировой популяции.

23. РАСПРЕДЕЛЕНИЕ МНОГОЯЗЫЧНЫХ ПОЛЬЗОВАТЕЛЕЙ

Человек может подходить для более чем одной языковой ячейки. Один из предпочтительных подходов для основной панели населения заключается в назначении пользователю заранее определённого основного языка аудита. Основной язык аудита может определяться согласно следующим полям:

• Ежедневный язык использования ИИ
• Родной или домашний язык
• Рынок и локаль
• Компетенция в естественном использовании промпта
• Баланс панели

Если пользователь также будет тестироваться на других языках, эти наблюдения:

• составляют парную многоязычную панель,
• панель языковой справедливости

также обозначаются соответствующим образом. Одному и тому же человеку запрещено получать полное числовое представительство во всех языках.

24. РАСПРЕДЕЛЕНИЕ ЯЗЫКОВ В СТРАНЕ

Пусть подходящая популяция для языковых групп l в стране c равна: N_{c,l}. Если квота страны составляет: n_c, то исходная языковая квота:

q_{c,l}= n_c× N_{c,l}/ Σ_l N_{c,l}

можно рассчитать следующим образом. Однако, если языковые группы перекрываются:

Σ_l N_{c,l}> N_c

может быть возможным. В этом случае использование прямой доли создаёт двойной счёт. Варианты решения:

• классификация основного языка аудита,
• разделение человеческого веса,
• многоязычная общая модель,
• отдельная панель сопоставленных языков

может быть использована. Использованный метод следует зафиксировать.

25. РАСПРЕДЕЛЕНИЕ ПЛАНА И ИНТЕРФЕЙСА ВНУТРИ НАСЕЛЕНИЯ

Бесплатные и платные пользователи или веб- и мобильные платформы могут вести себя по-разному. Однако разделение каждой ячейки с учётом страны и языка отдельно на слои плана и интерфейса может чрезмерно фрагментировать выборку. Можно использовать три подхода.

25.1. Подраспределение пропорционально населению

Если известна фактическая распределение пользователей, распределение осуществляется согласно плану и долям интерфейса.

25.2. Сбалансированное экспериментальное распределение

Проба равного или большего объема проводится для сравнения различий между планом или интерфейсом. При глобальной оценке она перерассчитывается с учётом фактических долей использования.

25.3. Отдельные интерфейс продукта показатели

Бесплатные веб-продукты, платные веб-продукты и мобильные продукты отчётно рассматриваются как отдельные объекты аудита. Также можно получить объединённый результат. Метод, который будет использоваться, должен быть определён до проведения измерения.

26. НОМЕР ПРИГЛАШЕНИЯ И ЦЕЛЬ ДЕЙСТВИТЕЛЬНОГО НАБЛЮДЕНИЯ

Если действительной целью наблюдения для страты является nh, приглашение ровно nh человек обычно недостаточно. Потому что:

• некоторые люди не участвуют,
• некоторые не выполняют задание,
• некоторые записи остаются вне протокола,

некоторые пакеты доказательств становятся недействительными. Пусть ожидаемая норма завершения для стратума составляет rh, а ожидаемая норма действительности — vh. Целевая аудитория приглашения примерно:

m_h= ⌈n_h/ (r_h v_h)⌉

можно рассчитать следующим образом. Пример:

• Цель по валидным наблюдениям: 100
• Ожидаемая норма завершения: 80 процентов
• Ожидаемая норма действительности: 90 процентов

m_h= ⌈100/ (0.80× 0.90)⌉ = 139

человек можно пригласить. Это не является гарантией. По мере продвижения полевых работ можно использовать заранее определённую резервную систему.

27. ПРЕДЕЛ НАДУВАНИЯ ПРИГЛАШЕНИЙ

Приглашение большего числа людей само по себе проблему смещения выборки не решает. Ранние откликавшиеся могут систематически отличаться от поздних. Только взятие первых 1,000 завершивших:

• часовой пояс,
• интерес к технологии,
• качество соединения,
• график работы

может вызвать предвзятость с точки зрения. Порядок приглашения и отбора:

• должен быть рандомизирован,
• должен быть зарегистрирован в рамках страты,

должен управляться на протяжении всего периода работы в поле.

28. СИСТЕМА АЛЬТЕРНАТИВНЫХ УЧАСТНИКОВ

Для каждой страты перед просмотром результатов должен быть создан упорядоченный резервный список. Резервный участник может быть активирован только по следующим причинам:

• Отсутствие ответа на приглашение
• Невозможность завершить задание
• Техническая или этическая неприемлемость
• Нарушение протокола требований
• Недействительность пакета доказательств
• Повторная регистрация того же лица

Резервный пользователь не может вмешиваться по следующей причине:

Предыдущий ответ ИИ пользователя дал неправильный, отрицательный или нежелательный результат.

Неправильный ответ ИИ является допустимым системным результатом. Это не может быть причиной для замены участника.

29. СЛЕПОТА РЕЗУЛЬТАТОВ В РЕШЕНИИ О ДОПУСТИМОСТИ

Человек, принимающий решение о том, соответствует ли наблюдение протоколу максимально:

• должен оценивать ответ, не зная, правильный он или неправильный,
• или положителен он или отрицателен для бренда.

Сначала:

• Фиксация и проверка соответствия протоколу
• Затем должна быть проведена оценка по существу

в противном случае отрицательные ответы могут быть легче объявлены: «недопустимыми».

30. РЕЗЕРВНЫЙ ПОРЯДОК В СЛОЕ

Резервный участник должен быть, по возможности, из того же:

• страны,
• языка,
• интерфейс продукта,
• план,
• состояние панели

слой. Если резерва в том же слое не остаётся, применяется заранее определённая эскалация:

• Дополнительный случайный отбор в том же слое
• Заранее определённый пул верхнего слоя
• Оставление распределения незавершённым и предупреждение о масштабе
• Новая версия анализа

После получения результата привлечение пользователя из другой страны и закрытие разрыва не может быть выполнено тихо.

31. ЧТО ПРОИСХОДИТ, ЕСЛИ СЛОЙ СЛИШКОМ КОРОТКИЙ?

Он может опуститься ниже целевого показателя слоя. Пример:

• цель: 100
• допустимое наблюдение: 72

Правильные варианты:

• Расширить окно поля до заранее определённого размера
• Использовать резервный список
• Объединить ячейку с аналогичной и заранее определённой верхней ячейкой
• Сообщите результат с большой неопределенностью
• Не публикуйте результат ячейки
• Пересчитайте глобальный вес, используя подходящий метод

Неправильный вариант: полностью удалить слой с низкой оценкой из анализа.

32. ИЗМЕНЕНИЕ КВОТЫ ПОСЛЕ РЕЗУЛЬТАТА

Следующие изменения являются манипуляциями с образцами, ориентированными на результат:

• Снижение целевой квоты страны с низкой оценкой
• Увеличение квоты языка с высокой оценкой
• Аннулирование пользователей, предоставляющих отрицательные ответы
• Переопределение пула малых стран на основе результатов
• Исключение плана с критическими ошибками
• Добавление новых пользователей до достижения желаемого среднего

Каждое изменение квоты материала:

• новая версия распределения,
• обоснование,
• дата,
• лицо, принимающее решения
• Сохранение предыдущего результата

должно быть выполнено с помощью.

33. МНОГОЭТАПНАЯ ВЫБОРКА

Многоэтапная выборка может использоваться, когда прямой доступ ко всем индивидуумам невозможен. Пример:

• Выбор региона или пула стран
• Выбор страны
• Выбор панели или местного исследовательского партнера
• Выбор пользователя
• Назначение продукта AI или задачи

Общая вероятность выбора отдельного пользователя равна произведению условных вероятностей на каждом этапе:

π_i= π_r× π_{c|r}× π_{f|c}× π_{i|f}

Здесь:

• r: регион или небольшой пул стран
• c: страна
• f: рамка выборки или панель
• i: человек

Базовый проектный вес:

d_i= 1/π_i

Если вероятность выбора не может быть зафиксирована, проект не может быть представлен как полностью вероятностная выборка. [K04; K07]

34. РАСПРЕДЕЛЕНИЕ В ДОБРОВОЛЬНЫХ И НЕВЕРОЯТНОСТНЫХ ПАНЕЛЯХ

Настоящая вероятность-основанная мировая панель не всегда возможна. Можно использовать добровольную или профессиональную онлайн-панель. В этом случае квоты по странам и языкам все еще могут быть установлены в соответствии с населением, подходящим для продукта. Однако:

• Фактическая вероятность выбора участника может быть неизвестна,
• может происходить самовыбор,

весовые корректировки могут быть сделаны только на основе наблюдаемых переменных. Правильный статус:

Неверовятностная пользовательская панель, стратифицированная и откалиброванная по населению

может быть. Следующее утверждение использовать нельзя: «1,000 человек, выбранные полностью случайным образом из мировой популяции.»

35. АРХИТЕКТУРА ВЕСОВ

Конечный вес наблюдения может состоять из нескольких компонентов:

w_i= d_i× a_i^{NR}× g_i^{CAL}

Здесь:

• di: базовый вес дизайна
• aiNR: корректировка на неответ
• giCAL: коэффициент калибровки

35.1. Вес дизайна

Это обратное значение вероятности выбора участника в дизайне выборки.

35.2. Корректировка на неответ

Для выбранных лиц с похожими характеристиками:

• сколько ответили,
• сколько дали действительное наблюдение

может быть учтено. Для класса отклика выборки r:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

Здесь:

• Sr: выбранная подходящая выборка
• Rr: те, кто ответил или предоставил действительное наблюдение

может быть. Коррекция на неполные ответы: полностью не устраняет необнаруженные искажения, должна быть объяснена вместе с её предположениями.

35.3. Калибровочный вес

Выборка к известным общенациональным суммам:

• страны,
• языка,
• возраст,
• план,
• пользовательский интерфейс.

Калибровка может применяться по этим измерениям, но только там, где существуют надежные внешние данные.

36. НОРМАЛИЗАЦИЯ ВЕСОВ

Веса:

• к общей численности населения,
• к общему размеру выборки,
• к индивидуальному

может быть нормализован. Используемая нормализация в формуле оценки должна быть объяснена. Индивидуально нормализованные веса:

w̃_i= w_i/ Σ_j w_j

получаются. Взвешенная оценка:

θ̂ = Σ_i w̃_iY_i

вычисляется следующим образом.

37. ОГРАНИЧЕНИЕ ВЕСОВ

Некоторые участники могут получать очень высокие веса, потому что они представляют очень маленькие и недостаточно изученные группы. Эта ситуация:

• может увеличить оценочную дисперсию,
• влияние одного наблюдения,
• и волатильность показателей

может возрасти. Веса могут быть ограничены верхним пределом. Однако обрезка весов: может создать смещение в представлении населения, может вновь сделать маленькие группы невидимыми. Поэтому обрезка весов должна:

• быть определена до получения результатов,
• быть показана вместе с неограниченными результатами,

и сопровождаться анализом чувствительности.

38. ЭФФЕКТИВНЫЙ РАЗМЕР ВЫБОРКИ

Хотя сырое количество наблюдений равно n, если веса сильно различаются, фактическое количество информации может быть меньше. Эффективный размер выборки по Кишу:

n_eff= (Σ_i w_i)^2/ Σ_i w_i^2 [K08]

можно показать следующим образом. При равных весах:

neff≈n

получается. Если веса сильно дисбалансированы: neff<n. исследование GEO-1000:

• 1,000 действительных наблюдений,
• может иметь 620 эффективный размер выборки

. Для широкой аудитории: утверждение «Измерено 1,000 человек.» может выглядеть убедительно из-за точности. В основном отчете по меньшей мере:

• сырое количество действительных наблюдений,
• эффективный размер выборки,
• вариабельность весов

должны быть определены.

39. ЭФФЕКТ ДИЗАЙНА ВЕСА

Приблизительный эффект дизайна из-за весов:

DEFF_w≈ 1+ CV(w)^2

можно показать. Здесь:

CV(w) = sd(w) / mean(w)

Это коэффициент вариации весов и только приблизительное представление их эффекта. Общий эффект дизайна также может зависеть от:

• кластеризации,
• стратификации,
• повторных измерений,
• сопоставленных пользователей

Эти эффекты должны оцениваться отдельно.

40. КЛАСТЕРИЗАЦИЯ

То же самое:

• Из исследовательской панели,
• из страны,
• из языкового сообщества,
• с устройства или учреждения,
• от пользователя

Наблюдения могут быть похожи друг на друга. В этом случае 1,000 наблюдений не являются 1,000 полностью независимыми единицами информации. Кластеризация:

• в дизайне выборки,
• при расчете дисперсии,
• в эффективном размере выборки

должна учитываться.

41. ТЕСТИРОВАНИЕ НЕСКОЛЬКИХ ИИ-продуктОВ ОДНИМ ПОЛЬЗОВАТЕЛЕМ

Позволение пользователю тестировать несколько ИИ-продуктов позволяет измерить различия между моделями на одном и том же человеке. Преимущество: характеристики пользователя могут контролироваться, парное сравнение может быть усилено. Ограничение:

• наблюдения по продукту не являются независимыми,
• порядок выполнения задач может влиять на другие ответы,
• пользователь может перенести ответ, увиденный в первой системе, в следующую систему,

пользователи, которые могут получить доступ ко всем продуктам, могут отличаться от общей популяции. Следовательно, продукты:

• должны быть назначены в случайном порядке,
• предыдущий обмен ответами должен быть предотвращён,
• парный дизайн должен быть зафиксирован,

Анализ должен защищать зависимость. Каждый AI продукт снова должен иметь свою собственную цель 1,000 действительных наблюдений продукта. Если одни и те же 1,000 люди тестируют десять продуктов:

• 1,000 уникальных людей,
• 10,000 наблюдений продукта

можно сформировать. Эти два числа не одинаковы.

42. СБАЛАНСИРОВАННЫЙ ДИЗАЙН С ПРОПУЩЕННЫМИ БЛОКАМИ

Не всем пользователям нужно получать доступ ко всем AI продуктам. Например, если есть десять AI продуктов, каждому участнику можно назначить три продукта. Если назначения будут сделаны сбалансированным образом:

• каждому продукту 1,000 наблюдений,
• каждой паре продуктов достаточное количество совместных пользователей,
• широкое участие населения

можно достичь. В качестве кандидата для этого подхода:

Дизайн сбалансированных неполных блоков

может быть использован. Его преимущества:

• снижает нагрузку на участников,
• уменьшает риск выбора только активных пользователей ИИ,

обеспечивает сопоставимое сравнение между моделями. Точный дизайн будет подробно описан в Разделах 8 и 9.

43. Естественный охват РАСПРЕДЕЛЕНИЕ

Каждому продукту ИИ выделяется отдельное распределение в соответствии с его собственной Естественный охват популяцией. Следовательно, одна и та же страна:

• 200 для одного продукта,
• 0 для другого продукта,
• 50 для третьего продукта

можно наблюдать. Эта разница не является несправедливостью. Дело в том, что реальные доступные аудитории продуктов различаются. Поскольку оценки Естественный охват принадлежат различным популяциям, их не следует использовать отдельно для прямого ранжирования.

44. Общая опора сравнения РАСПРЕДЕЛЕНИЕ

Создается общая доступная аудитория для сравнения продуктов. Общая популяция:

U_CS= ⋂_{a∈A} U_a

можно рассматривать таким образом. Каждый продукт измеряется с использованием одинаковых весов популяции Общая опора сравнения. Этот подход:

• обеспечивает справедливое сравнение продуктов,
• одинаковый минимальный уровень по странам и языкам

гарантируется. Однако он не показывает естественные глобальные различия в доступе к продуктам. Поэтому результаты Естественный охват и Общая опора сравнения должны сообщаться вместе.

45. УПРАВЛЕНИЕ ОБРАЗЦОМ В РАЗЛИЧНЫХ ВОЛНАХ

Могут быть две различные цели в разных волнах измерений.

45.1. Результат текущего среза

В каждой волнe используется текущая рамка населения, подходящего для продукта. Этот показатель отвечает на вопрос: «Что происходит сейчас в реальной глобальной вселенной доступа?»

45.2. Результат тренда с фиксированной рамкой

Весовые коэффициенты населения из первоначальной волны сохраняются. Этот показатель отвечает на вопрос: «Как изменилось представление в той же эталонной популяции с течением времени?»

45.3. Разделение двух результатов

Когда продукт расширяется на новые страны, текущий показатель может снизиться. Это снижение:

• обусловлено ухудшением продукта,
• из-за включения новых и труднодоступных популяций

Это может быть объяснено. Тренд с фиксированной рамкой может одновременно показывать улучшение. Следовательно:

• Снимок текущей рамки
• Тренд с фиксированной рамкой

Они являются отдельными результатами.

46. ОБНОВЛЕНИЕ ПАНЕЛИ И ТРАНСФОРМАЦИЯ

Среди волн:

• те же пользователи,
• совершенно новые пользователи,
• частично обновленная панель

пригодна к использованию.

46.1. Полная панель секции

Новые пользователи выбираются в каждой волне. Это может быть сильным для оценки популяции. Не измеряет индивидуальные изменения.

46.2. Продольная панель

Те же пользователи измеряются снова. Показывает индивидуальные изменения пользователей и продуктов. Панель может создавать эффекты усталости и обучения.

46.3. Ротационная панель

Часть участников сохраняется, а часть обновляется. Обеспечивает как тенденции, так и представление новой популяции. Используемая структура панели должна быть видна на карточке результата.

47. ФИКСАЦИЯ ВЫБОРКИ

Следующие записи должны быть зафиксированы перед началом каждой волны:

• AI продукт
• пользовательский интерфейс
• Версия целевой популяции
• Естественный охват страны
• Общая опора сравнения страны
• Страты
• Небольшие страны-пулы
• Исходные квоты
• Целочисленные распределения
• Распределение по языкам
• План сверхвыборки
• Цели приглашений
• Резервные списки
• Метод выбора
• Формула весов
• Правило слепоты результатов
• Эскалация нехватки
• План анализа
• Метод декодирования
• Случайное зерно, если используется
• Ответственное одобрение человеком

Для этого файла:

NOMOS Фиксация распределения выборки

может быть дано имя.

48. ИЗМЕНЕНИЯ ДОПУСКАЮТСЯ ПОСЛЕ ЗАПЕРАНИЯ ОБРАЗЦА

Следующие события могут потребовать новую версию:

• Прекращение доступа к продукту в стране
• Серьезная проблема безопасности на практике
• Существенная ошибка в данных о населении
• Поставщик панели не может доставить в определенную страну
• Изменение требований к исследовательской этике
• Критическая ошибка в измерительном инструменте

Изменение:

• должно быть обосновано,
• датированная,
• утверждено,
• выполняться с сохранением старой версии.

Сила или слабость результатов не является основанием для изменения.

49. СТАТУСЫ КАЧЕСТВА ОБРАЗЦА

Волна образца может иметь один из следующих статусов:

SQ-0— НЕ ПРЕДНАЗНАЧЕН

Документированный образец дизайна отсутствует.

SQ-1— НАБЛЮДЕНИЕ ДЛЯ УДОБСТВА

Проводится наблюдение для удобства или добровольное наблюдение. Обобщение на население невозможно.

SQ-2— КВОТНО-КОНТРОЛИРУЕМОЕ

Существуют квоты по странам и языкам. Вероятности выбора полностью неизвестны.

SQ-3— ВЗВЕШЕННАЯ ПАНЕЛЬ

Существует стратифицированная панель и калибровка по населению. Ограничения по охвату и самовыбору сохраняются.

SQ-4— ОСНОВАННОЕ НА ВЕРОЯТНОСТИ ИЛИ ГИБРИДНОЕ

Известны вероятности выбора или существует надёжный гибридный дизайн.

SQ-5— РЕПЛИКИРОВАННОЕ И КАЛИБРОВАННОЕ

Дизайн был реплицирован в разных волнах и внешних приложениях; искажения и поведение дисперсии были откалиброваны. Эти статусы могут повлиять на класс доверия публичного рейтинга.

50. СИНТЕТИЧЕСКОЕ КОНЕЧНОЕ РАСПРЕДЕЛЕНИЕ GEO-1000

СИНТЕТИЧЕСКАЯ ДЕМОНСТРАЦИЯ МЕТОДОЛОГИИ / Следующие страны, население, языки, продукт ИИ и расчеты полностью вымышлены. Для продукта Synthetic Orion AI, пусть подходящее население для Естественный охват составляет 1 миллиардов человек. Цель Главной панели населения:

n=1,000

50.1. Распределение по странам и малым странам

50.2. Распределение языков в Стране B

Допустимое население в Стране B:

• Язык X: 80 процентов
• Язык Y: 20 процентов

Распределение по Панели населения:

• Язык X: 200
• Язык Y: 50

Дополнительное распределение по принципу языковой справедливости: Язык Y: 50 Целевой показатель в Стране B:

• Язык X: 200
• Язык Y: 100
• Итого: 300

Однако глобальные весовые коэффициенты населения Панели населения:

• Язык X: 80% страны B
• Язык Y: 20% страны B

остаются такими.

50.3. Приложение наблюдателя страны

Существуют два вероятностных наблюдения для H, I и J в малом пуле стран в Панели Населения. Панель наблюдателей страны также:

H: 1

I: 1

J: 1

может нацеливать наблюдения. Эти три наблюдения:

• увеличивают географическое охватывание,
• показывают события отдельных стран,

не создают оценку страны.

50.4. Дополнение по доступности

Если установлено, что основная панель недостаточно охватывает пользователей с ограниченными возможностями, можно провести дополнительные наблюдения 40. Эти пользователи: калибруются в соответствии с соответствующими группами населения, дают отдельный результат Панели по доступности.

50.5. Общий объем поля

Имя GEO-1000 по-прежнему действителен. Потому что:

1,000 является действительной целевой наблюдением для основной панели населения.

Дополнительные панели справедливости и охвата могут быть добавлены к этому.

50.6. Объем приглашений

На Панели населения в среднем:

• завершение: 82 процентов
• действительность: 92 процентов

пусть это будет ожидаемо. Требуется приглашение:

⌈1,000/ (0.82× 0.92)⌉ = 1,326

может быть. С дополнительными панелями общее количество приглашений может превысить 1,500. Поэтому:

GEO-1000— это не только метод отправки приглашений 1,000 людям.

50.7. Результат поля

На панели населения:

• 1,326 человек приглашено,
• 1,080 задач выполнено,
• 1,012 записей признано действительными с точки зрения протокола,
• первые 1,000 были включены в основной анализ согласно заранее определенному случайному/резервному порядку

Хорошо. Оставшиеся 12 действительных записей:

• резервная проверка,
• анализ чувствительности,
• повторная проверка

Это может быть сохранено. Нельзя определить, какой 1,000 будет выбран, глядя на результаты.

51. НОРМАТИВНЫЙ АЛГОРИТМ РАСПРЕДЕЛЕНИЯ

Последовательность операций по умолчанию для основной панели GEO-1000 выглядит следующим образом:

Шаг 1— Зафиксировать продукт и идентификатор волны

Определить, какой продукт ИИ, интерфейс и дата измеряются.

Шаг 2— Зафиксировать версию целевой популяции

Используется рамка популяции, допустимой для продукта, из раздела 5.

Шаг 3— Определить основную текущую целевую наблюдаемую величину

Целевой кандидат по умолчанию:

n=1,000

Шаг 4— Определить материальные слои

Определяются страны, язык и, при необходимости, слои плана/интерфейса.

Шаг 5— Настроить пулы для малых стран

Страны, которые будут получать почти нулевые квоты, включаются в соответствующие пулы.

Шаг 6— Рассчитать исходные пропорциональные квоты

qh=nWh

Шаг 7— Выполнить целочисленное распределение

Применяется метод наибольшего остатка или эквивалентный заранее объявленный метод.

Шаг 8— Добавить план сверхвыборки

Дополнения для наблюдателя страны, языковой справедливости и доступности сохраняются отдельно.

Шаг 9— Рассчитать количество приглашений и резервных номеров

Используются ожидаемые показатели завершения и действительности.

Шаг 10— Рандомизировать порядок выбора

Основные и резервные списки фиксируются.

Шаг 11— Сохранить формулу весов

Определяются проектные, ответные и калибровочные веса.

Шаг 12— Подтвердить блокировку выборки

Запись версии и целостности создается перед просмотром ответов ИИ.

52. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH06-N01

Распределение образцов GEO-1000 должно быть создано и версионировано перед просмотром ответов ИИ.

CH06-N02

Основной целевой показатель Панели Населения должен быть определен как не менее 1,000 действительных наблюдений для каждого продукта ИИ и основной волны измерений; если используется другой показатель, необходимо объяснить обоснование.

CH06-N03

Приглашённое лицо, лицо, выполняющее задачу, и действительные номера наблюдений должны быть различимы друг от друга.

CH06-N04

Основное распределение должно основываться на населении, соответствующем продукту, определённом в Разделе 5.

CH06-N05

Квоты по странам или языкам должны рассчитываться на основе доли соответствующего населения, имеющего право на продукт, а не общей численности населения.

CH06-N06

Метод преобразования дробных квот в целые числа должен быть определен заранее.

CH06-N07

Разрешение неоднозначностей при округлении должно быть независимым от результатов.

CH06-N08

Небольшие страны с положительной целевой популяцией не следует оставлять в качестве отдельных детерминированных страт с нулевой вероятностью; следует использовать соответствующий метод объединения или вероятностного отбора.

CH06-N09

Небольшие государственные пулы должны быть обоснованы с точки зрения доступа к продукту и финансовых характеристик населения.

CH06-N10

Наблюдения странового наблюдателя также должны быть зафиксированы без изменения основного веса населения.

CH06-N11

Наблюдение странового наблюдателя не может быть представлено в виде оценки страны.

CH06-N12

Страны, языки или группы пользователей с избыточной выборкой должны быть возвращены к истинным весам целевой популяции при глобальной оценке.

CH06-N13

Выборочная пропорция не может использоваться так же, как и пропорция в популяции.

CH06-N14

Один и тот же человек не может быть дублирован в глобальном человеческом населении из-за множества языков, учетных записей, сессий или продуктов.

CH06-N15

Недопустимые наблюдения следует классифицировать, не основывая причину недопустимости на содержании результатов.

CH06-N16

Некорректные, отрицательные, отвергающие или критические ответы ИИ не могут быть причиной замены участника.

CH06-N17

Резервные списки участников должны быть созданы внутри страты до того, как будут видны результаты.

CH06-N18

Разрывы между уровнями не могут быть тихо закрыты другой страной или языком.

CH06-N19

Изменения квоты после результатов, уровня, пула маленькой страны или веса требуют новой версии анализа.

CH06-N20

Все компоненты весов и метод нормализации должны быть опубликованы.

CH06-N21

Предположения корректировки на неотклик должны быть объяснены.

CH06-N22

Если используется усечение веса, необходимо сохранить неусечённый результат и анализ чувствительности.

CH06-N23

В основном отчёте следует показывать соответствующий эффективный размер выборки вместе с количеством наблюдений.

CH06-N24

При расчёте дисперсии следует учитывать кластеризацию, повторение и зависимости между парными пользователями.

CH06-N25

Дизайн, при котором один и тот же человек тестирует несколько продуктов ИИ, не может быть представлен как полностью независимая выборка пользователей.

CH06-N26

Каждый продукт ИИ должен отдельно достигнуть своей цели в 1,000 действительных наблюдений продукта.

CH06-N27

Распределения Естественный охват и Общая опора сравнения должны содержать отдельные записи выборки.

CH06-N28

Текущие и фиксированные результаты по волнам не могут быть объединены без пояснения.

CH06-N29

Если выборка недостаточна для подгруппы, правильный статус должен быть НЕДОСТАТОЧНАЯ ВЫБОРКА, ЭКСПЕРИМЕНТАЛЬНО либо НЕ ОЦЕНЕНО.

CH06-N30

Размер исходной выборки не может использоваться как окончательный показатель точности, игнорируя веса и эффект дизайна.

CH06-N31

Весовые коэффициенты дизайна не могут применяться в добровольной или непроизвольной панели так, как если бы известны были вероятности отбора.

CH06-N32

Выборка не может быть изменена постфактум для исключения групп с низкими показателями или для увеличения групп с высокими показателями.

CH06-N33

Наблюдения из основной панели населения и дополнительных панелей должны быть отдельно обозначены по назначению и весу.

CH06-N34

Фиксация выборки должна иметь ответственного человека или институционального владельца.

53. ФОРМЫ ОШИБОК

CH06-F01— УСТАНОВИТЬ КВОТУ ПОСЛЕ РЕЗУЛЬТАТА

Количество стран и языков определяется после просмотра ответов ИИ.

CH06-F02— ИСПОЛЬЗОВАТЬ РЕЗЕРВНУЮ ВЕРСИЮ ДО ЛУЧШЕГО ОТВЕТА

Отрицательные ответы заменяются новым пользователем, даже если они действительны.

CH06-F03— СЧИТАТЬ 1,000 ПРИГЛАШЕНИЯ КАК 1,000 ДЕЙСТВИТЕЛЬНЫЕ НАБЛЮДЕНИЯ

Недозавершенность и недействительность скрыты.

CH06-F04— СБРОСИТЬ СТРАНУ ДО НУЛЯ С ЧИСТОЙ ОКРУГЛЕНИЕМ

Вероятность выбора страны с положительной целевой популяцией остается равной нулю.

CH06-F05— ДАТЬ ОДНОМУ ЧЕЛОВЕКУ В КАЖДУЮ СТРАНУ И НАЗВАТЬ ЭТО ПРОПОРЦИЕЙ НАСЕЛЕНИЯ

Несоразмерность, вызванная минимальной квотой, скрыта.

CH06-F06— УЧИТЫВАЯ НАБЛЮДЕНИЯ СТРАНЫ-КОРРЕСПОНДЕНТА КАК НАБЛЮДЕНИЯ ЗА НАСЕЛЕНИЕМ

Дополнительное наблюдение за небольшой страной получает полный вес в основной панели людей 1,000.

CH06-F07— СОЗДАНИЕ ПУЛА МАЛЫХ СТРАН НА ОСНОВЕ РЕЗУЛЬТАТОВ

Страна с низкими показателями переносится в другой пул или исключается из охвата.

CH06-F08— ОБЪЕДИНЕНИЕ НЕСОВМЕСТИМЫХ СТРАН В ОДИН ПУЛ

Страны, которые различаются по доступу к продукту, языку или юрисдикции, объединяются исключительно из-за того, что они маленькие.

CH06-F09— ПРЕУВЕЛИЧЕНИЕ ВЕСА ЧРЕЗМЕРНЫХ ВЫБОРОК

Определяет глобальный результат с долей выборки выше, чем доля населения по языку или стране.

CH06-F10— УМНОЖЕНИЕ МНОГОЯЗЫЧНЫХ ЛИЦ

Человек считается отдельной единицей населения в каждой языковой ячейке.

CH06-F11— РАССМОТРЕНИЕ ДОЛИ ВЫБОРКИ КАК ДОЛИ НАСЕЛЕНИЯ

Сырые числа ответов прямым образом преобразуются в глобальный балл.

CH06-F12— УПОРЯДОЧИВАНИЕ ПРИГЛАШЕНИЙ ПО ПОРЯДКУ УДОБСТВА

Пользователи, которые отвечают первыми и быстро определяют панель.

CH06-F13— ИСПОЛЬЗОВАНИЕ РЕЗЕРВОВ STRATUM-OUT

Отсутствующие наблюдения по стране или языку тихо дополняются участниками из другой группы.

CH06-F14— СВЯЗЬ НЕПРАВИЛЬНОСТИ С СОДЕРЖАНИЕМ ОТВЕТА

Некорректный ответ ИИ технически объявляется недействительным.

CH06-F15— ЗАМЕНА ОТКАЗОВ НОВЫМ ПОЛЬЗОВАТЕЛЕМ

Отказ системы удаляется из знаменателя, даже если это фактический результат пользователя.

CH06-F16— СКРЫТИЕ ФОРМУЛЫ ВЕСА

Общественный рейтинг не показывает, с какой популяцией и весами выборки он был получен.

CH06-F17— ОТРЕЗАНИЕ ВЕСОВ ДЛЯ УДАЛЕНИЯ МАЛЫХ ГРУПП

Малые группы с высокими весами обрезаются, потому что результат выглядит плохо.

CH06-F18— СКРЫТИЕ ЭФФЕКТИВНОЙ ВЫБОРКИ

Даже если исходные записи 1,000 уменьшаются до 500–600 точек данных из-за весов, это представляется как «точность на 1,000 человек».

CH06-F19— РАСЧИТЫВАНИЕ КЛАСТЕРИЗАЦИИ КАК НЕЗАВИСИМОСТИ

Наблюдения от одной панели, учреждения или пользователя считаются полностью независимыми.

CH06-F20— РАСЧИТЫВАНИЕ ОДНИХ И ТЕХ ЖЕ 1,000 ЛЮДЕЙ КАК ДЕСЯТИ ТЫСЯЧАМ НЕЗАВИСИМЫХ ЛЮДЕЙ

Десять наблюдений за продуктом ИИ описываются так, как если бы популяция была в десять раз больше.

CH06-F21— РАСЧИТЫВАНИЕ Общая опора сравнения КАК Естественный охват

Обычная выборка для сравнения представлена так, как если бы это была фактическая глобальная аудитория продукта.

CH06-F22— ПРЯМОЕ РАНЖИРОВАНИЕ Естественный охват РЕЗУЛЬТАТОВ

Результаты продукта в различных целевых аудиториях сравниваются так, как если бы они были из одной и той же вселенной.

CH06-F23— СКРЫТИЕ ИЗМЕНЕНИЙ В АУДИТОРИИ В ЦИКЛАХ

Несмотря на то, что новые страны или группы пользователей включаются в результаты, тренд интерпретируется только как изменение качества продукта.

CH06-F24— ПОЛУЧЕНИЕ ОПРЕДЕЛЕННЫХ ОЦЕНОК ИЗ НЕДОСТАТОЧНЫХ ВЫБОРК ДЛЯ ПОДГРУППЫ

Несколько десятков наблюдений публикуются как определенные оценки для страны или языка.

CH06-F25— БЕСШУМНОЕ ИЗМЕНЕНИЕ ЗАФИКСИРОВАННОЙ ВЫБОРКИ

Определения квот, веса или пула обновляются без записи версии.

CH06-F26— СЛЕПОЕ УМНОЖЕНИЕ КОЭФФИЦИЕНТОВ ОТБОРУ

Расчеты по правомочной популяции и квотам игнорируют характеристики зависимой популяции.

CH06-F27— ЗАМЕНА ОСНОВНОЙ ПАНЕЛИ ДОПОЛНИТЕЛЬНОЙ ПАНЕЛЬЮ

Наблюдения за языковой справедливостью или наблюдения Страны используются для уменьшения основной целевой популяции 1,000.

CH06-F28— УДАЛЕНИЕ ЯЧЕЕК С НИЗКИМ БАЛЛОМ, КОГДА ПАНЕЛЬ МАЛА

Неполные образцы исключаются, поскольку они неблагоприятны с точки зрения результатов.

CH06-F29— ИСПОЛЬЗОВАНИЕ ВЕСОВ КАК НАУЧНОЙ ИЗЫСКАННОСТИ

Утверждается, что проблема представления решается только добавлением веса без объяснения смещения при отборе и охвате.

CH06-F30— ПОЛАГАНИЕ, ЧТО GEO-1000 ДОЛЖЕН БЫТЬ СПРОШЕН ТОЧНО У 1,000 ЛЮДЕЙ

Игнорируются приглашения, дополнительные панели, недействительность, повторение и структура эффективной выборки.

54. ПРОЦЕДУРА АУДИТА

Шаг 1— Записать Цель Выборки

Глобальная оценка численности населения делится на диагноз подгруппы, охват стран, языковую справедливость, доступность и цели сравнения продукта.

Шаг 2— Проверить Версию Целевой Популяции

Файл населения и запись даты в разделе 5 проверяются.

Шаг 3— Определить основную текущую целевую наблюдаемую величину

Записывается целевой показатель по умолчанию GEO-1000 или обоснованная альтернатива.

Шаг 4— Установить Страты

Определяются различия в стране, языке и материале пользовательский интерфейс.

Шаг 5— Выделить Бассейны Малых Стран

Для каждого бассейна:

• стран,
• население,
• обоснование сходства,
• внутренний метод отбора

записываются.

Шаг 6— Рассчитать Исходные Квоты

qh=nWh

Используется формула или обоснованная альтернатива.

Шаг 7— Применить целочисленное назначение

Правила округления и разрешения ничьих зарегистрированы.

Шаг 8— Добавить дополнительную сверхвыборку

Цели Наблюдателя страны, Языковой справедливости и Доступности определяются отдельно.

Шаг 9— Рассчитать объем приглашений и резерва

Используются ожидания завершения и действительности.

Шаг 10— Заморозить выбор и порядок резерва

Участники выбираются или упорядочиваются до того, как результаты станут известны.

Шаг 11— Рассчитать проектные веса

Вероятности выбора и веса слоев зарегистрированы.

Шаг 12— Определить процедуру для молчания и неотвечания

Ранее объявленный ответ записывается в разрыв слоя.

Шаг 13— Создайте образец замка

Добавляются идентификатор документа, версия, дата и запись целостности.

Шаг 14— Пересмотреть процесс валидности после полевых действий

Проверено, что решения о достоверности даются независимо от точности ответов.

Шаг 15— Генерируйте окончательные веса

Конструкция разделена на компоненты отклика и калибровки.

Шаг 16— Рассчитать эффективный размер выборки

Разница между исходным числом и объёмом информации сообщается.

Шаг 17— Сравните распределение и фактические данные

Планируемые и фактические показатели наблюдений отображаются постепенно по клетке.

Шаг 18— Пересмотр изменений после результатов

Проверяются изменения квот, пула, веса и объема.

55. ТРЕБУЕМАЯ ДОКАЗАТЕЛЬСТВО

Идентичность ИИ-продукта; волна измерений; версия целевой популяции; цель Популяционной панели; цель Наблюдателя страны; цель Языковой справедливости; цель Панели доступности; список страт; популяции страт; веса популяции; необработанные квоты; метод округления; записи дробного распределения и остатка; правило разрешения равенства; пулы малых стран; вероятности выбора внутри пула; распределение по странам и языкам; распределение по плану и интерфейсу; обоснования сверхвыборки; цели приглашений; предположения о завершении; предположения о валидности; основные и резервные списки участников; запись выбора или рандомизации; записи неполного ответа; причины недействительных наблюдений; даты решения о валидности; проектные веса; корректировки на отсутствие ответа; калибровочные коэффициенты; политика обрезки весов; исходные и эффективные размеры выборки; кластеризация и записи сопоставленных пользователей; распределение Естественный охват; и распределение Общая опора сравнения.

Фиксированные и текущие веса кадров Сравнение планового и фактического распределения Фиксация образца Журнал изменений Ответственное лицо или учреждение

56. ЧЕК-ЛИСТ АУДИТА

Основная цель наблюдения открыта? Является ли цель 1,000 пригласительной или действительным наблюдением? Была ли выборка заморожена до того, как были получены ответы ИИ? Какая рамка популяции использовалась? На каком основании были установлены страты? Показаны ли необработанные квоты по странам и языкам? Понятен ли метод преобразования долей в целые числа? Было ли правило прерывания определено заранее? Равна ли вероятность выбора для малых стран нулю? Логически ли согласованы пула малых стран? Были ли наблюдения Country Observer включены в основным вес популяции? Был ли составлен оценочный показатель страны на основе наблюдения Country Observer? Если группы по языку и доступности были перепредставлены, были ли они повторно взвешены? Учтена ли одна и та же персона более чем как одна единица популяции? Приведены ли отдельно количество приглашений, завершивших и действительных наблюдений?

Были ли заранее созданы резервные списки? Был ли участник заменён из-за неправильного или отрицательного ответа ИИ? Было ли принято решение о достоверности до оценки точности материала? Был ли разрыв вкладок тихо закрыт из другой страны? Изменилась ли квота или пул после получения результатов? Можно ли воспроизвести весовые коэффициенты дизайна? Явны ли предположения о настройках отсутствующих ответов? Было ли проведено усечение весов и показан ли его эффект? Предоставляются ли вместе исходные и эффективные размеры выборки? Тестировал ли один и тот же пользователь более одного продукта ИИ? Сохранена ли эта зависимость в анализе? Достиг ли каждый продукт ИИ отдельно продукта-наблюдений 1,000? Были ли образцы Естественный охват и Общая опора сравнения разделены? Изменилась ли рамка популяции между волнами?

Были ли отделены фиксированные и текущие оформленные тенденции? Были ли недостаточные подгруппы опубликованы как окончательные результаты? Правильный ли статус качества выборки? Были ли дополняющие панели заменены основной панелью? Есть ли четко определенный ответственный за регистрацию выборки?

57. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Почему бы нам не давать каждой стране людей напрямую в соответствии с пропорцией населения?»

Это сильное допущение для стран с большим и средним населением. В очень маленьких странах исходная квота может быть меньше одного человека. В этом случае:

• пул маленьких стран,
• вероятностный отбор стран,
• отдельная панель наблюдателей

может быть более точной.

Возражение 2— «Разве справедливее не было бы дать каждой стране хотя бы одного человека?»

Это может быть полезно с точки зрения географического охвата. Но это несоразмерно с точки зрения оценки численности населения. Правильное решение — отдельно обозначить этого одного человека как наблюдателя от страны.

Возражение 3— «Разве то, что страна не получает ни одного человека на основной панели, полностью её исключает?»

Это может быть проблемой, если страна получает нулевую квоту как отдельный детерминированный слой. Положительная вероятность отбора может быть предоставлена в пуле малых стран. Кроме того, Панель наблюдателей может поддерживать наблюдательную видимость страны.

Возражение 4— «Стирает ли объединение малых стран культурные различия?»

Это может быть удалено, если используется для генерации оценки страны. Для основной глобальной оценки пул управляет вероятностью выбора. Идентификатор страны сохраняется в записи наблюдения. Можно проводить отдельную выборку для Наблюдателей и конкретной страны.

Возражение 5— «Почему мы не включаем пользователей Наблюдателя в 1,000?»

Их можно включить. Но тогда выборка людей 1,000 больше не будет пропорциональна чистой популяции. Потребуется взвешивание, и эффективный размер выборки основного показателя может уменьшиться. В исходной архитектуре наблюдения 1,000 распределяются по Панели населения; наблюдения Страны-наблюдателя добавляются к этому.

Возражение 6— «Разве общая стоимость полевых работ не станет очень высокой?»

Может быть. Стандарт не должен создавать искусственную точность, скрывая стоимость. При меньшем бюджете:

• меньше ИИ-продуктов,
• меньше языков,
• меньше пилотного проекта,
• большая неопределённость

может использоваться. Правильный статус должен быть четко указан.

Возражение 7— «Почему мы собираем 1,093 или больше наблюдений, когда существует имя GEO-1000?»

1,000 является допустимой целью наблюдения для основной панели населения. Панели справедливости и охвата могут быть добавлены к основной цели. Это не нарушает название стандарта. Это делает видимым фактический общий объем поля измерения.

Возражение 8— «Почему чрезмерная выборка одного языка искажает глобальный результат?»

Чрезмерно выбранный язык выглядит большим, потому что он представлен в необработанных ответах. При возврате к весу населения глобальный результат не искажается. Отдельный результат по языку становится более точным.

Возражение 9— «Веса очень сложные; разве необработанное среднее не проще понять?»

Необработанное среднее может быть значимым, если оно пропорционально выборке населения. Чрезмерная выборка, ненадежные ответы или различия в охвате могут привести к тому, что необработанное среднее отвечает не на тот вопрос. Сложность нельзя скрыть, если она возникает из дизайна выборки.

Возражение 10— «Если существует 1,000 действительных наблюдений, почему эффективная выборка должна быть меньше?»

Потому что некоторые наблюдения могут иметь очень высокий вес, в то время как другие могут иметь очень низкий вес. Записи от одной и той же панели или пользователя могут быть похожи друг на друга. Сырой показатель — это количество физических записей. Эффективная выборка приближается к объему статистической информации.

Возражение 11— «Разве не будет справедливее, если одни и те же люди протестируют все ИИ-продукты?»

Снижает разницу между пользователями. Однако:

• это может сузить доступность продукта,
• это может увеличить нагрузку на задачи,

это может создать перекрестное влияние между ответами. Это можно контролировать с помощью сопоставленного или сбалансированного дизайна неполных блоков.

Возражение 12— «Если слой не достигает цели, может ли глобальный рейтинг никогда не публиковаться?»

Не в каждом случае. Недостаток оценивается с точки зрения:

• население вес,
• риск,
• причина недостаточности,
• остающееся покрытие

учтено. Балл:

• с узким покрытием,
• с большой неопределенностью,
• С предупреждением НЕДОСТАТОЧНОЕ ПОКРЫТИЕ

его можно публиковать. Недостаток нельзя скрыть.

Апелляция 13— «Если данные по населению изменятся, нужно ли обновлять все квоты в каждой волне?»

Обновление может быть необходимо для текущего мгновенного балла. Фиксированные начальные веса также могут поддерживаться для сравнения тенденций. Оба результата должны публиковаться отдельно.

Апелляция 14— «Если мы не можем создать вероятностную мировую панель, можно ли не применять NOMOS?»

Это применимо. Однако статус качества образца должен быть правильно зафиксирован. Панель добровольцев, калиброванная относительно населения, может быть ценным инструментом. Ее нельзя представлять как полностью вероятностную выборку.

ОБЩЕЕ ПОЛОЖЕНИЕ ГЛАВЫ 60

Мощь GEO-1000 не возникает только из числа 1,000. Из 1,000 человек:

• из какой они были популяции,
• с какой вероятностью они были выбраны,
• какая страна и язык они представляли,
• сколько раз один и тот же человек учитывался,
• какие наблюдения считались действительными,
• как обрабатывались маленькие страны,
• как взвешивались группы с повышенной выборкой,
• сколько человек не завершили задание,
• кто был заменен на основе результатов

Авторитет образца возникает из этих проектных решений. Дефектный образец может давать ответы 100,000 и при этом говорить о неправильной популяции. Надежный образец может содержать меньше ответов, но поддерживать более достоверный вывод в пределах ясно обозначенных ограничений. Население большой страны должно иметь значительный вес в глобальном человеческом опыте, но пользователей нельзя выдумывать там, где продукт недоступен. Глобальный вес маленькой страны должен оставаться небольшим, но страна не обязана быть невидимой. Язык может составлять небольшую долю мирового населения и при этом иметь существенную измеримую ошибку. Один человек может использовать три языка и пять продуктов; это не создает пятнадцать человек. Ответ ИИ может быть неверным, не делая участника недействительным. Неверный ответ — это то, что аудит пытается измерить.

Замена его на нового пользователя не очищает измерение. Это стирает реальность. Взвешивание чудесным образом не превращает неправильную панель в мировое население. Однако правильно разработанный оверсемплинг может сделать подгруппы видимыми без искажения глобальной оценки. Поэтому шестой закон измерения NOMOS таков:

Выборка должна создаваться не для того, чтобы получить результат, а для того, чтобы наблюдать результат честно.

Его седьмой закон таков:

Видимость маленькой страны не должна увеличивать вес её населения.

Его восьмой закон таков:

Чрезмерное наблюдение не означает чрезмерный вес населения.

Девятый закон звучит следующим образом:

Неправильный ответ ИИ не является дефектом данных; если он наблюдается по действующему протоколу, это вопрос надзора.

Десятый закон таков:

Уверенность в тысяче наблюдений не возникает из числа тысяча; она возникает из воспроизводимости отбора и взвешивания.

Порядок главы 6 NOMOS

Не просто говори мне: «Мы опросили 1,000 человек.»

Покажите, из какого миллиарда людей были выбраны эти 1,000 и с какой вероятностью.

Не игнорируйте страну только потому, что она составляет половину человека. / Но также не утверждайте, что измерили всю страну, только потому что опробовали одного человека.

Выбирайте маленькие страны вероятностно в соответствующем пуле. / Если требуется видимость, создайте отдельную панель наблюдателя.

Вы можете делать оверсэмплинг языков с низким ресурсом. / Но не делайте их больше в общем балле, чем их население.

Не размножайте человека так же, как аккаунты, языки, сессии и продукты ИИ.

Используйте резервный вариант, когда участник не отвечает. / Не меняйте своего пользователя, когда ИИ дает неправильный ответ.

Определите правильность, не видя правильности вашего ответа.

Если квота отсутствует, объясните это. / Не привлекайте человека из другой страны, чтобы закрыть пробел.

Не изменяйте долю, вес, пула стран или целевую выборку после того, как увидели результат.

Показывайте сырое число. / Показывайте эффективную выборку. / Показывайте, кто получил большой вес, а кто — малый.

Сначала заблокируйте население. / Затем настройте слои. / Затем рассчитайте квоты. / Затем выберите резервные варианты. / Затем запишите веса. / И только после этого отправляйте первый запрос.

Заключительное предложение главы

GEO-1000— это не метод компиляции тысячи ответов; это протокол, позволяющий сделать измеримым представление каждого человека в целевой популяции с учетом вероятности отбора и корректного взвешивания.

Нормативное ядро

Для каждого продукта ИИ и основной волны измерений Панели населения GEO-1000 СЛЕДУЕТ стремиться к охвату как минимум 1,000 действительных наблюдений продукта, если явно не обоснована другая цель. Распределение выборки ДОЛЖНО быть спроектировано, версионировано и зафиксировано до того, как будут получены ответы ИИ. Основное распределение ДОЛЖНО основываться на целевой популяции, соответствующей продукту, а не на общей численности жителей, количестве приглашений, учетных записях, сессиях или доступности по удобству. Дробные распределения ДОЛЖНЫ быть преобразованы в целочисленные квоты с использованием заранее объявленного, воспроизводимого метода, слепого к результатам. Популяциям с положительной массой НЕЛЬЗЯ детерминированно присваивать нулевую вероятность отбора, когда аудит утверждает выводы для всей целевой популяции. Малые популяции МОГУТ быть представлены через обоснованные объединённые страты и выборку с вероятностью, пропорциональной размеру. Наблюдения Country Observer, языковой справедливостью и доступностью МОГУТ дополнять основную панель, но ДОЛЖНЫ оставаться отдельно маркированными и соответственно перенормированными. Избыточно представленным группам НЕЛЬЗЯ назначать их исходную долю выборки в качестве веса популяции. Замена участников ДОЛЖНА основываться только на заранее объявленных условиях набора или условиях допустимости протокола. Некорректные, отрицательные, отказавшиеся или критические результаты ИИ НЕЛЬЗЯ использовать для инициирования замены. Лица, учетные записи, сеансы, языки и наблюдения за продуктами ИИ ДОЛЖНЫ оставаться отдельными единицами. Дизайн-веса, корректировки на неответы, калибровка, усечение, кластеризация, парные наблюдения и эффективный размер выборки ДОЛЖНЫ быть задокументированы. Любое изменение квот, страт, пулов, весов, исключений или целей выборки после получения результатов ДОЛЖНО создавать новую версию анализа и сохранять исходную запись.