Отбор и взвешивание участников и смещение выборки

Граница главы

Глава 5 определила целевую пользовательскую аудиторию. Глава 6 преобразовала эту аудиторию в выборочный план, распределённый по странам, языкам и пользовательским интерфейсам. Глава 7 установила дополнительные системы наблюдения для малых стран и языков с ограниченными ресурсами, которые основная панель населения могла бы оставить незамеченными. Теперь числа в плане выборки должны превратиться в реальных людей:

Где будут найдены эти участники, как они будут отобраны, на каких условиях их допустят в панель и с какими искажениями они войдут в GEO-оценку?

Из онлайн-панели исследовательской организации? Через открытый призыв в социальных сетях? Из университетов? Из собственного списка пользователей клиента? От местных исследовательских партнёров? Только от людей, которые часто пользуются продуктами ИИ? От тех, кто использует продукт впервые? От клиентов бренда? От сотрудников конкурентов? От подписчиков платного плана? Как будет проверяться, действительно ли человек живёт в этой стране? Сколько раз один и тот же человек будет учитываться, если у него несколько аккаунтов? Сколько будет оплачено участнику? Будет ли оплата стимулировать быстрое выполнение задания или предоставление конкретного результата? Будет ли наблюдение сохранено, если участник загрузит неправильный ответ ИИ? Или его заменят новым пользователем, сказав: «Задача выполнена неправильно»? Могло быть собрано тысяча действительных скриншотов. Но участники:

• 60%— активные пользователи ИИ,
• 20% являются студентами технологического факультета,
• 10% являются клиентами проверяемого бренда,
• 5% являются сотрудниками компании,
• остальные — обычные пользователи

Какое население, тогда, будет представлять результат? Может ли демографическое взвешивание полностью исправить разницу? Сопоставление возрастных, гендерных, страновых и языковых показателей не обязательно исправляет немеряемые различия в интересе к технологиям, осведомленности о брендах, доступе к платным планам или схемах использования ИИ. Взвешивание ценно, но оно не может устранить все дефекты в выборе участников. Эта глава применяет ранее указанное требование — чтобы каждый контроль аудита можно было проверить по модели, дате, стране, языку, набору запросов, количеству повторений и записи измерений — к выбору фактических участников. Она также сохраняет центральный требователь NOMOS: доказательства, границы, контекст и время. Эта глава:

• источники отбора участников
• различие между вероятностными и не-вероятностными панелями,
• проверка права на участие и удостоверение личности
• контроль доступа по стране, языку и продукту,
• уникальность участников,
• вознаграждение и риск перенаправления,
• кондиционирование панели,
• назначение заданий,
• недоответ и уход с панели,
• мошенническое или автоматизированное участие,
• смещение при выборе и покрытии,
• влияние и ограничения взвешивания,
• статусы качества выборки

определяет. В этой главе пока не рассматривается:

• все технические области реестра ИИ-продуктов,
• полная система перевода и версий промптов,
• подробная архитектура инфраструктуры NOMOS Capture,
• атомарное рассмотрение утверждений,
• формула окончательного балла

не полностью определена. Ключевой вопрос раздела 8 заключается в:

Когда мы собираем тысячу действительных записей, как мы доказываем, кому из реальных людей принадлежат эти записи и какую человеческую популяцию они могут представлять?

NOMOS Вызов

Вы покупаете 1,000 человек у онлайн-панели для исследований. Провайдер панели сообщает вам: «1,000 участников готовы согласно вашим квотам по стране и возрасту». Участники выполняют задание. Они загружают скриншоты. Исходные результаты:

90 процентов точного представления.

В вашем отчете вы пишете: «90% пользователей по всему миру точно представлены». Однако фактическое распределение участников следующее:

Активные пользователи ИИ:

• лучшие привычки к формулировке запросов,
• больше оплаченных аккаунтов,
• новые интерфейсы продукта,
• знания о персонализации,
• большая знакомость с технологиями

может быть. Даже если используется тот же зафиксированный запрос:

• план аккаунта,
• интерфейс,
• предыдущие использования,
• доступ к продукту

могут быть разными. Пусть пропуски синтетической группы будут следующими:

Исходный результат панели:

0.10(72)+0.30(84)+0.60(96)=90

то есть:

90 процентов

С учётом весов целевой популяции, однако, результат следующий:

0.50(72)+0.30(84)+0.20(96)=80.4

Те же ответы 1,000, следовательно, дают два разных результата:

• Исходный результат панели: 90 процентов
• Результат целевой популяции: 80.4 процентов

Теперь представьте, что вы применили взвешивание. Каждый из 100 человек в группе с низким использованием получает высокий вес. Каждый из 600 человек в группе с высоким использованием получает низкий вес. Исходный размер выборки по-прежнему составляет 1,000. Однако эффективный размер выборки снижается примерно до 349. Таким образом, вы могли собрать 1,000 файлов. Статистически, у вас может не быть объема информации, эквивалентного 1,000 равным и независимым людям. Теперь более сложный вопрос: в группе с низким использованием люди, которые никогда не были включены в панель:

• слабо подключенные,
• использующие вспомогательные технологии,
• живущие в маленьком городе,
• не имеющие конкретного устройства

Если есть люди, может ли взвешивание вернуть их? Нет. Наблюдение за человеком, который вообще не находится в выборочной совокупности, нельзя получить с помощью взвешивания. Теперь аудиторская компания отправляет приглашения своим клиентам: «Пожалуйста, участвуйте в опросе». Лояльные клиенты компании участвуют в опросе с высокой частотой. Люди, которые знают конкурентов, но не пользуются услугами компании, участвуют реже. Веса по возрасту и стране могут быть корректными. Смещение, связанное с лояльностью к бренду, может сохраняться. Теперь другая проблема: участнику говорят: «Вы получите бонус, если загрузите правильный и качественный ответ ИИ». Участник исправляет ответ. Он выбирает лучший результат. Он обрезает скриншот. Это больше не является естественной реакцией продукта ИИ. Это выбранная реакция, созданная системой вознаграждений. Первое правило этого раздела:

Количество участников не является представительной силой участников.

Второе положение гласит:

Случайное назначение не является случайным выбором популяции.

Её третье положение гласит:

Взвешивание может уменьшить наблюдаемый дисбаланс; оно не может создать ненаблюдаемого человека.

Четвертая статья гласит:

Включение участника в панель, его удержание в задании или замена не могут зависеть от содержания ответа ИИ.

Пятая его статья гласит:

Награда должна выдаваться за честное выполнение протокола, а не за выбор положительного или желаемого ответа.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — сделать всю цепочку отбора от целевой популяции до фактического наблюдения за пользователем видимой, беспристрастной и проверяемой. В разделе нормативно различается:

• Целевая популяция и рамки выборки
• Рамка выборки против источника участников
• Выбранное лицо против приглашенного лица
• Приглашенное лицо и лицо, которое соглашается участвовать
• Участник и человек, выполняющий задачу
• Человек, который выполняет задачу, и действительное наблюдение
• Человек и аккаунт
• Человек и устройство
• Человек и сессия
• Вероятностная панель и панель добровольцев
• Случайный отбор внутри панели и случайный отбор из популяции
• Соблюдение квоты и истинное представление
• Демографический баланс и поведенческий баланс
• Личное знакомство и пригодность для целевой популяции
• Клиент, сотрудник и обычный пользователь
• Вознаграждение участника и стимул к результату
• Скорость выполнения задания и целостность задания
• Недействительное наблюдение с отсутствием ответа
• Изменение популяции с потерей панели
• Фальшивый участник и реальное наблюдение низкого качества
• Мошенничество с данными и неправильный ответ ИИ
• Коррекция смещения с помощью взвешивания
• Производство доказательств с калибровкой
• Сырая выборка против эффективной выборки
• Конфиденциальность участников и аудиторские доказательства
• Панель общей популяции и панель экспертов или клиентов

В конце этого раздела каждая проверка GEO-1000 должна быть способна ответить на следующие вопросы:

Из какого источника и по какому правилу были выбраны участники?

У кого не было шансов присоединиться к панели?

Кто с большей вероятностью участвовал и почему?

Какие известные различия корректируют веса и какие они не корректируют?

Было ли принято недействительное или поддельное решение о участии без просмотра содержимого ответа ИИ?

Влияла ли награда участников на их поведение и выбор ответов?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Каждое наблюдение GEO-1000 должно иметь отслеживаемую цепочку выбора участников от целевой популяции до действительной аналитической записи; решения о выборе, приглашении, принятии, назначении заданий, выполнении, проверке, исключении и взвешивании должны быть независимы от положительного или отрицательного содержания ответа ИИ. [K04–K06] Панель участников только:

• страны,
• не подразумевает никакой пригодности в отношении возраста,
• язык

Не может считаться подходящей для представления популяции, даже если соблюдаются квоты. Панель также должна содержать следующую информацию в соответствующей мере:

• Источник участников
• Механизм выбора
• Метод участия в панели
• Критерии допустимости
• Уникальная проверка человека
• Проверка страны и языка
• Проверка доступа к продукту ИИ
• Информация об аккаунте и плане
• Устройство и интерфейс
• Частота использования ИИ
• Знакомство с брендом
• Отношения с проверяемой организацией
• Система стимулов
• Метод назначения заданий
• Отсутствие ответов
• Недействительность
• Повторение и панельная подготовка
• Взвешивание
• Отсутствие охвата
• Конфиденциальность и согласие

Измерение некоторой информации может повлиять на участника. Поэтому порядок сбора данных также является частью протокола.

3. ЦЕПОЧКА ВЫБОРА УЧАСТНИКОВ

Цепочка от целевой популяции до окончательного наблюдения состоит из следующих этапов:

U→F→S→I→E→A→C→V

Здесь:

• U: целевая пользовательская популяция
• F: лица, включенные в выборочную рамку
• S: выбранные люди
• I: приглашенные лица
• E: лица, чья правомочность была подтверждена и которые были включены в исследование
• A: люди, назначенные на задание
• C: люди, выполняющие задание
• V: люди, создающие корректные аналитические наблюдения

На каждом этапе перехода люди могут теряться или может появляться новый источник смещения. Например:

• Люди в целевой популяции, которые не находятся в панели
• Люди в панели, которые не были приглашены
• Приглашенные люди, которые не согласились
• Те, кто согласился, но не завершил задание
• Те, кто завершил, но создал некорректные записи

— это не одни и те же люди. Поэтому можно сообщать только о последних 1,000 корректных наблюдениях. Воронка отбора должна быть полностью видимой.

4. ИСТОЧНИКИ УЧАСТНИКОВ

GEO-1000 не обязательно должен быть привязан к единственному источнику участников. Каждый источник имеет свои собственные предвзятости и охват.

4.1. Панель вероятностной выборки населения

У участников есть известная и ненулевая вероятность быть отобранными из определенной популяции. Источники:

• домохозяйство,
• адрес,
• население или действительная запись,
• вероятностный телефон или многоступенчатый отбор

может быть. Преимущества:

• можно установить вес дизайна,
• выводы о популяции становятся более достоверными,

процесс отбора может быть более прозрачным. Ограничения:

• может быть дорогостоящим в глобальном масштабе,
• в некоторых странах может не быть подходящей рамки,
• также может понадобиться найти подгруппу населения с доступом к продуктам ИИ

Снова будет отсутствие ответа. Вероятностный выбор не является автоматически идеальным представлением.

4.2. Профессиональная панель добровольцев для исследований

Участники ранее добровольно зарегистрировались в исследовательской панели. Преимущества:

• это быстро,
• можно получить доступ к нескольким странам,
• можно предоставить профиль и знание языков,

можно проводить повторные измерения. Ограничения:

• участники склонны к исследованиям,
• уровень использования технологий может быть высоким,
• могут присутствовать активные пользователи панели,
• вероятности попадания в популяцию могут быть неизвестны,

один и тот же человек может быть зарегистрирован более чем на одной панели. Эта панель:

не может быть представлена как вероятностная выборка мирового населения

Это не должно рассматриваться как вероятностная выборка мировой популяции.

4.3. Открытый онлайн-призыв

Участие осуществляется через социальные сети, веб-сайт или открытую регистрационную форму. Преимущества:

• широкая видимость,
• низкая стоимость,
• доступ к небольшим странам и языковым сообществам

может быть обеспечено. Ограничения:

• сильная самоотборка,
• концентрация фанатов или критиков бренда,
• фальшивое и повторное участие,
• чрезмерное представление энтузиастов технологий

может возникнуть. Открытый призыв может быть гораздо более подходящим, чем основная Панель Населения для:

• обнаружение,
• Наблюдатель страны,
• Языковой справедливости,
• задачи репликации

Эти источники могут быть лучше приспособлены для этих целей.

4.4. Панель, связанная с университетом или учреждением

Участники:

• выбираются через университеты,
• государственным учреждением,
• исследовательские центры,
• профессиональные организации

Преимущества:

• местный доступ,
• языковая экспертиза,
• этический контроль,
• достижение сообществ с ограниченными ресурсами

может быть обеспечено. Ограничения:

• интенсивность студентов или профессионалов,
• эффект учреждения,
• возрастной и образовательный перекос,
• давление участия со стороны корпораций

может создавать.

4.5. Список клиентов или пользователей

Выбираются фактические клиенты или пользователи проверяемого учреждения. Этот источник:

• опыт клиента,
• пригодность для обслуживания,
• узнаваемость бренда

Ценен для измерений. Это не панель общей популяции. Клиенты:

• может лучше познакомиться с брендом,
• может получить более положительный или более отрицательный опыт,

может быть более склонен задать соответствующий запрос. Панель клиентов должна быть определена отдельно.

4.6. Участники, предложенные проверяемой организацией

Компания:

• сотрудник,
• клиент,
• партнер,
• подписчик

может предлагать. Эти пользователи не могут быть включены в основную независимую популяционную панель без объяснения. Отдельно:

ПАНЕЛЬ, НОМИНИРОВАННАЯ СУБЪЕКТОМ

должна быть помечена. Если организация выбирает участников, результат не является независимым измерением популяции.

4.7. Гибридная панель из нескольких источников

Это комбинация нескольких источников. Пример:

• национальная панель на основе вероятности,
• профессиональная онлайн-панель,
• местный партнер в небольшой стране,
• Сообщество языковой справедливости

может использоваться совместно. Гибридная панель может увеличить охват. Однако среди ресурсов:

• повторение индивидуумов,
• вероятности выбора,
• стимулы,
• опыт выполнения заданий,
• профиль пользователя

также должны быть смоделированы.

5. СТАТУСЫ ЦЕЛОСТНОСТИ ВЫБОРА УЧАСТНИКОВ

Качество выбора участников в панели может быть классифицировано следующими статусами.

PSI-0— ВЫБОР НЕИЗВЕСТЕН

Недостаточно известно, где и как были выбраны участники. Обобщение на популяцию невозможно.

PSI-1— УДОБНАЯ ИЛИ ОТКРЫТАЯ ВОЛОНТЕРСКАЯ ПОДПИСКА

Это удобная или открытая выборка добровольцев. Может использоваться для исследований и выявления событий.

PSI-2— УЧАСТИЕ С КОНТРОЛЕМ КВОТ

Существуют квоты по стране, языку или демографии. Вероятность попадания в популяцию неизвестна.

PSI-3— КАЛИБРОВАННАЯ ПАНЕЛЬ С МНОЖЕСТВОМ ИСТОЧНИКОВ

Существуют несколько источников, предопределенные квоты и калибровка популяции. Незмеренный систематический сдвиг при отборе может сохраняться.

PSI-4— ВЕРОЯТНОСТНЫЙ ИЛИ СИЛЬНЫЙ ГИБРИДНЫЙ ДИЗАЙН

Существует известная вероятность выбора или сильный гибридный дизайн с вероятностной и невероятностной выборкой.

PSI-5— РЕПЛИКИРОВАННЫЙ И ПРОВЕРЕННЫЙ С ВНЕШНИМ АУДИТОМ ОТБОР

Дизайн отбора:

• с разными поставщиками,
• в разные волны,
• под независимым аудитом

повторяющееся и предвзятое поведение было изучено. Эти статусы не гарантируют точность оценки. Они указывают на уровень уверенности, возникающий при отборе участников.

6. СЛУЧАЙНЫЙ ОТБОР ВНУТРИ ПАНЕЛИ И СЛУЧАЙНЫЙ ОТБОР ИЗ НАСЕЛЕНИЯ

В панеле добровольцев может быть 100,000 зарегистрированных пользователей. Из этой панели можно случайным образом выбрать 1,000 человек. Отбор:

осуществляется случайным образом внутри панели.

Однако сама панель не формируется случайным образом из мировой популяции. Следовательно, нельзя сказать: «1,000 человек случайным образом из мировой популяции». Правильное выражение:

«1,000 участников, случайным образом выбранных внутри предварительно зарегистрированной панели добровольцев и калиброванных по целевой популяции.»

Случайность должна ограничиваться этапом, на котором она применяется.

7. ЗАПИСЬ ОТНОСИТЕЛЬНО ПРАВОМОЧИЯ УЧАСТНИКА

Каждый участник должен соответствовать следующим условиям в той степени, в какой это уместно, прежде чем быть включенным в основной панель:

• Возрастная возможность участия
• Согласие добровольца
• Соответствие стране и местности
• Владение языком
• Доступ к продукту ИИ
• Правильный план или пользовательский интерфейс
• Необходимое устройство и технический доступ
• Уникальный человеческий статус
• Независимость выполнения задач
• Декларация о заинтересованности или взаимоотношениях
• Безопасность исследования
• Согласие на сбор данных и доказательств

Решение о соответствии не может быть изменено задним числом после того, как сгенерирован ответ ИИ.

8. ВЕРИФИКАЦИЯ СТРАНЫ

Вопрос «К какой стране относится участник?» не имеет однозначного ответа. Следующие поля должны быть разделены:

• Обычная страна проживания
• Физическая страна на момент измерения
• Страна или рыночный регион аккаунта ИИ
• Страна оплаты или плана
• Гражданство
• Целевая страна запроса
• Локаль

Гражданство может не быть основной переменной для большинства географических измерений. Что важно в большинстве случаев:

Это фактическое географическое и продуктовое состояние, в котором пользователь взаимодействует с продуктом.

8.1. Путешествующий пользователь

Участник может находиться в стране, отличной от его обычной страны проживания. Этот человек:

• население по месту проживания,
• место измерения,
• путешествующий пользователь

должен иметь отдельный статус как.

8.2. VPN или смена местоположения

Использование VPN:

• конфиденциальность
• сетевая инфраструктура учреждения,
• обычные привычки пользователей

могут быть причиной. Это не следует рассматривать как автоматическое мошенничество. Тем не менее, это затрудняет проверку уровня страны. В основной панели контролируемой страны может быть правило отключать или регистрировать использование VPN. Изменения местоположения, используемые для обхода ограничений, не подходят для основной панели Естественный охват.

8.3. Уровни проверки страны

GV-0— Непроверенный

Доступна только декларация от пользователя.

GV-1— Подтверждено панелью

У провайдера панели уже есть регистрация страны.

GV-2— Последовательность сеансов

Декларация, локаль и сигналы сеанса последовательны.

GV-3— Многофакторное подтверждение

Защита конфиденциальности совместима с несколькими сигналами.

GV-4— Независимо проверено

Метод проверки страны прошёл внешнюю проверку качества. Сбор точного адреса или чувствительных координат не является обязательным требованием. Проверка страны должна проводиться с минимизацией данных.

9. ВЛАДЕНИЕ ЯЗЫКОМ И ЕГО ЕСТЕСТВЕННОЕ ИСПОЛЬЗОВАНИЕ

Знание языка участником может основываться исключительно на утверждении: «Да, я знаю». Это может быть низкорисковая первоначальная регистрация. В панели с высоким уровнем безопасности языка дополнительно:

• заявление о естественном использовании,
• короткая проверка понимания,
• история панели,
• оценка местным экспертом,
• нейтральное испытание перед заданием

может быть использовано. Языковой тест не должен превращаться в тяжёлый академический экзамен, отбирающий только высокообразованных людей. Цель:

Чтобы участник понимал промпт и ответ как настоящий пользователь.

10. ПРОВЕРКА ДОСТУПА К ПРОДУКТУ ИИ

Участник:

• должен иметь возможность получить доступ к правильному продукту ИИ,
• правильный пользовательский интерфейс
• к правильному плану или состоянию учётной записи

должен иметь возможность доступа. Следующие ситуации должны фиксироваться отдельно:

• Бесплатный план
• Платный индивидуальный план
• Корпоративный план
• План обучения
• Веб
• Мобильный
• Настольный
• Встроенный продукт
• Видимая модель
• Веб/функция поиска

Участник не может использовать чужую учетную запись. Нельзя запрашивать совместное использование пароля. Доступ к продукту должен быть подтвержден без публичного раскрытия идентификатора учетной записи.

11. ОТНОШЕНИЯ МЕЖДУ УЧАСТНИКОМ И АУДИРУЕМОЙ ОРГАНИЗАЦИЕЙ

Отношение участника к контролируемой организации может влиять на поведение при ответах или знакомство с брендом. Статусы отношений:

ОБЩАЯ ПУБЛИКА

ТЕКУЩИЙ КЛИЕНТ

БЫВШИЙ КЛИЕНТ

ПЕРСПЕКТИВНЫЙ КЛИЕНТ

СОТРУДНИК

БЫВШИЙ СОТРУДНИК

КОНТРАКТОР

ПАРТНЕР

ИНВЕСТОР

КОНКУРЕНТ / АФФИЛИАТ

АФФИЛИАТ ПОСТАВЩИКА ИИ

ИССЛЕДОВАТЕЛЬ

НЕИЗВЕСТНО

Прямые связи с сотрудниками и лицами, принимающими решения, в основной панели общей популяции:

• могут быть исключены,
• могут быть помещены в отдельный слой,

может быть защищен с помощью низкого истинного весового коэффициента популяции. Автоматическое исключение всех связанных лиц также может быть неверным. Если они являются частью фактической клиентской или сотруднической популяции, их можно измерить отдельно и явно.

12. ЗНАКОМСТВО С БРЕНДОМ

Аудируемый участник:

• никогда о нем не слышал,
• знает название,
• знает продукт,
• является клиентом,
• может иметь сильное положительное или отрицательное мнение.

Эта информация:

• может влиять на поведение участника,
• Панель пользователей в естественных условиях,
• требуется немедленный ответ

желаем. Если знакомство измеряется перед запросом, это может подготовить пользователя к бренду. Следовательно, порядок предпочтений:

• Ранее существующая информация панели
• Отдельный вопрос после задания
• При необходимости нейтральное предварительное измерение, которое не направляет бренд

может быть проведено. Знакомство должно быть видно в основной выборке; его не следует выбирать в качестве весового переменного после того, как будут получены результаты.

13. ЗНАКОМСТВО С ИСПОЛЬЗОВАНИЕМ ИИ

Участники:

• первый раз пользователь
• редкий пользователь,
• обычный пользователь,
• интенсивный или профессиональный пользователь

люди могут быть. Частота использования ИИ:

• доступ к продукту,
• тип плана,
• знания интерфейса
• персонализация,
• вероятность правильного выполнения задачи

может быть затронуто. Тем не менее, выборку только опытных пользователей ИИ может снизить ошибки протокола. Но это может исказить оценку естественной популяции. Правильное решение:

• измерять уровень использования,
• сравните это с целевой популяцией,
• стратифицировать или взвешивать при необходимости,

и сохранять достоверный реальный опыт неопытного пользователя.

14. УНИКАЛЬНОЕ ПРАВИЛО ДЛЯ ЧЕЛОВЕКА

Единицей популяции GEO-1000 является человек. Один и тот же человек:

• в нескольких панелях,
• с несколькими учетными записями электронной почты,
• с несколькими учетными записями ИИ,
• с разных устройств

может участвовать. Проверка уникальности должна выполняться с сохранением конфиденциальности. Могут использоваться следующие сигналы:

• Анонимная идентификация участника
• Криптографическая или хеш-основанная повторная проверка
• Соответствие устройству и сессии
• Запись о платеже или вознаграждении
• Время и шаблон задания
• Один и тот же скриншот или файл ответа
• Безопасная повторная проверка через нескольких поставщиков панелей

Ни один отдельный сигнал не должен быть достаточным для автоматического исключения. В частности:

• Семьи, использующие одно общее устройство,
• сетевая инфраструктура учреждения,
• Инструменты доступности,
• Пользователи общих устройств с низким доходом

могут быть ошибочно признаны поддельными. Подозрительные записи должны проходить проверку человеком и процесс апелляции.

15. НАГРАДА УЧАСТНИКА

Оплата или вознаграждение, предоставляемое участнику, может влиять на их поведение относительно данных.

15.1. Оплата независимо от результата

Предпочтительный метод:

Фиксированная и заранее объявленная оплата за выполнение задания согласно протоколу.

Оплата:

• не может зависеть от того, является ли ответ положительным,
• не может быть вынуждено к категориям истинно,
• длинным,
• благоприятным для бренда,
• или сопровождаться цитатами.

Отбор должен оставаться независимым от всех таких исходов.

15.2. Бонус за качество

Если используется бонус за качество, только:

• полные доказательства,
• правильный запрос,
• правильный продукт,
• своевременная поставка,
• очистка персональных данных

может быть связана с условиями протокола. Она не может быть привязана к содержанию ответа ИИ.

15.3. Стимул за скорость

Бонус исключительно за скорость:

• торопливость,
• неполное захватывание,
• неправильный продукт,
• сокращение ответа

может повысить риск. В пределах установленного времени следует предоставлять разумный срок.

15.4. Оплата по странам

Оплата может варьироваться в зависимости от местных сборов и условий жизни. Эта ситуация:

• может повлиять на вероятность участия,
• состав панели

и должна быть зафиксирована вместе с подходом к оплате и различиями между странами.

15.5. Принуждение и чрезмерное стимулирование

Вознаграждение не должно создавать давления, от которого человек не может разумно отказаться. В частности:

• низкий доход,
• студент,
• зависимые сотрудники,
• уязвимые группы

должны иметь защищённое право на добровольность.

16. ТЕКСТ ПРИГЛАШЕНИЯ И ПРЕДВАРИТЕЛЬНАЯ ОРИЕНТАЦИЯ

Приглашая участника, цель исследования может подготовить его к определённому результату. Неправильное приглашение: «Мы тестируем, как AI-системы неправильно интерпретируют Apple». Это заявление может заставить участника искать ошибки. Ещё одно неправильное приглашение: «Помогите нам доказать успех нашего бренда с помощью AI». Это заявление создаёт ожидание положительного результата. Предпочтительное нейтральное приглашение: «Изучение стандартизированного пользовательского опыта и наблюдение за представлением в конкретных ИИ-продуктах». Аудируемый объект может стать видимым позднее из-за характера задачи. Тем не менее, желаемый результат не должен раскрываться.

17. НАЗНАЧЕНИЕ ЗАДАЧИ

Участники:

• Продукт ИИ,
• запрос,
• языка,
• волне,
• условие сессии,
• порядок выполнения задач

должны быть назначены заранее с использованием заранее определённого метода. Участник:

• любимый ИИ-продукт,
• план, который он/она знает лучше всего,
• язык с высокой вероятностью получения положительного отклика

если разрешено выбирать самостоятельно, может возникнуть смещение при назначении.

17.1. Случайное назначение в пределах слоя

После проверки страны, языка и доступа к продукту задачи могут быть назначены случайным образом внутри слоя.

17.2. Блочное назначение

Блоки могут использоваться для балансировки бесплатных/платных планов, мобильных/веб, или частоты использования ИИ.

17.3. Порядок продуктов

Если человек тестирует более одного продукта, порядок должен быть случайным. Ответ на первый продукт может повлиять на оценку следующего ответа или поведение при выполнении задачи.

17.4. Порядок промптов

Если участник получает более одной промпта:

• обучение,
• приобретение новой информации о бренде,
• перенос предыдущего ответа на следующий вопрос

возникает риск. Порядок промптов должен быть зафиксирован и при необходимости сбалансирован.

18. КОНДИЦИОНИРОВАНИЕ ПАНЕЛИ

Пользователи, которые часто участвуют в исследовательских панелях, могут узнать ожидания задания. Человек, который участвует в одном и том же тесте неоднократно:

• может запомнить правильный ответ,
• может более тщательно выбирать снимок экрана,
• может заранее просмотреть сайт проверяемого объекта,

можно узнать, какие ошибки ищутся. Эта ситуация называется:

Кондиционирование панели

Кондиционирование панели может изменять реальный естественный пользовательский опыт.

18.1. Источники кондиционирования

Предыдущие волны GEO Повторное измерение того же объекта Банк тех же промптов Тренировка по отзывам коллег Обмен заданиями в сообществах участников Предыдущие выплаты и обратная связь по качеству

18.2. Контроль кондиционирования

Статус нового и повторного участника Дата первого участия Предыдущее взаимодействие с тем же объектом Предыдущее взаимодействие с той же семейством промптов Ротационная панель Случайность порядка заданий Указанный период отдыха Подвыборка новых пользователей Сравнение результатов обученных и новых пользователей Повторное использование одного и того же участника не запрещено. Это ценно для продольного измерения. Не может быть представлено как естественная поперечная панель.

19. КОНТАМИНАЦИЯ ЗАДАНИЙ И ОБЩЕНИЕ УЧАСТНИКОВ

Участники:

• промпты,
• ответы,
• скриншоты,
• ожидаемые результаты

могут быть переданы друг другу. Эта ситуация может нарушить независимые наблюдения. Контрольные меры:

• Ограничение продолжительности волны
• Случайный порядок заданий
• Обязанность не делиться результатами с участниками
• Поиск повторяющихся ответов и изображений
• Анализ необычных текстовых и временных совпадений
• Мониторинг предупреждений от поставщиков сообществ или панелей

Общение с участниками не является автоматически мошенничеством. Следует изучить его материальное влияние.

20. ВИДЫ НЕОТВЕТОВ

Неотвечание не является единичным событием.

20.1. Неответ на приглашения

Участник вовсе не отвечает на приглашение к исследованию.

20.2. Отказ от участия

Человек видит приглашение и решает не участвовать.

20.3. Не начало задания после квалификации

Человек признан подходящим, но не начинает задание.

20.4. Прерывание задания

Участник прекращает задание на полпути.

20.5. Не загрузка доказательств

Возможен ответ ИИ, но требуемая запись не загружена.

20.6. Неверное выполнение

Задача выполнена, но:

• неправильный запрос,
• неправильный продукт,
• выбранный ответ,
• отсутствует скриншот

являются причинами недействительности. Соотношения этих этапов должны сообщаться отдельно.

21. ВОРОНКА ОТВЕТОВ

Для слоя h:

• nhsel: выбранный человек
• nhinv: приглашенный человек
• nhcon: человек, согласившийся участвовать
• nhsta: человек, начавший задачу
• nhcom: человек, завершивший
• nhval: действительное наблюдение

Давайте посмотрим. Основные коэффициенты:

RR_h^invite= n_h^con/n_h^inv; RR_h^complete= n_h^com/n_h^sta; RR_h^valid= n_h^val/n_h^com

Это можно показать как. Каждый из этих показателей указывает на разную проблему. Указание только окончательного правильного значения скрывает смещение поля.

22. СМЕЩЕНИЕ ИЗ-ЗА ОТСУТСТВИЯ ОТВЕТОВ

Люди, которые не отвечают, могут отличаться от тех, кто отвечает. Пример: пользователь с медленным интернетом не может выполнить задачу. Пользователь с бесплатным тарифом не имеет доступа к продукту. Неподготовленный пользователь находит инструкции сложными. Активный пользователь ИИ выполняет задачу быстрее. В некоторых странах уровень оплаты остается низким. Пользователь с негативным опытом взаимодействия с брендом может быть более склонным к участию. Даже если уровень неответов высок, смещение может быть низким. Даже если уровень неответов низок, небольшая группа отсутствующих может иметь значительное финансовое значение. Поэтому важно учитывать не только сам уровень:

Какие характеристики отличаются между респондентами и нереспондентами

должно быть исследовано.

23. ВЕСЫ НЕОТВЕТА

Если будет использоваться настройка без ответа, классы следует определить до того, как будут получены результаты. Потенциальные переменные:

• Страна
• Язык
• Возраст
• Частота использования ИИ
• План
• Интерфейс
• Источник панели
• Доступность
• Знакомство с брендом

Коэффициент неответа:

a_r^{NR}= (Σ_{j∈S_r} d_j)/ (Σ_{i∈R_r} d_i)

может быть рассчитан как. Однако эта корректировка опирается только на предположение внутри одного класса: что респонденты достаточно репрезентативны для неотвечающих. Это не решает проблему неучтенных различий.

24. МЕХАНИЗМЫ ОТСУТСТВИЯ ДАННЫХ

Отсутствие данных концептуально можно рассматривать в трех классах.

24.1. СЛУЧАЙНОЕ ОТСУТСТВИЕ ДАННЫХ

Отсутствие данных не связано существенно с результатом и характеристиками пользователей. На практике это может быть редкостью.

24.2. ОТСУТСТВИЕ ДАННЫХ, ОБЪЯСНЯЕМОЕ НАБЛЮДАЕМЫМИ ОСОБЕННОСТЯМИ

Дефицит:

• страны,
• не подразумевает никакой пригодности в отношении возраста,
• план,
• язык

связан с хорошо известными областями, такими как. Взвешивание может частично помочь.

24.3. ДЕФИЦИТ, СВЯЗАННЫЙ С НЕСОБСТВЕННЫМИ ОСОБЕННОСТЯМИ

Например:

• Недоверие к ИИ-продукту,
• низкие цифровые навыки,
• противопоставление бренду,
• опасения по поводу конфиденциальности

если не измерять, взвешивание не может полностью исправить недостаток. В этом случае необходим анализ чувствительности.

25. ПОТЕРЯ ПАНЕЛИ И РАЗДЕЛЕНИЕ МЕЖДУ ВОЛНАМИ

В продольных или вращающихся панелях, где одни и те же пользователи измеряются снова, некоторые участники не принимают участие в следующей волне. Это потеря панели. Оставшиеся в панели:

• более дисциплинированы,
• более мотивированы наградами,
• более опытны,
• более привыкли к исследованиям

могут быть. Изменение оценки со временем может частично происходить из-за состава панели.

25.1. Запись об оттоке панели

В каждой волне:

• повторно приглашён,
• участвовал,
• вышел из участия,
• ново добавлен

должно отображаться количество пользователей.

25.2. Вес сокращения панели

Оставшиеся участники могут быть взвешены в соответствии с вероятностью выхода. Этот метод не полностью устраняет смещённость из-за необнаруженного выхода из панели.

25.3. Обновить панель

Новых пользователей можно добавить для замены потерянных. Результаты для новых и возвращающихся пользователей должны быть представлены отдельно.

26. МОШЕННИЧЕСТВО И АВТОМАТИЗАЦИЯ УЧАСТНИКОВ

Существует риск мошенничества, когда GEO-1000 является стимулируемой и глобальной панелью. Возможные действия:

• Человек, участвующий с несколькими аккаунтами
• Использование автоматических ботов
• Загрузка скриншота другого человека
• Редактирование изображений
• Загрузка одного и того же ответа от имени разных пользователей
• Указание неправильной страны или языка
• Совместное использование учетной записи
• Выполнение задания другим человеком
• Повторное присоединение среди поставщиков панелей
• Создание массовых ферм заданий

Этот риск не позволяет считать всех участников с низким доходом или быстрых участников подозрительными. Обнаружение мошенничества:

• обсуждения,
• множественные сигналы,
• соразмерная проверка человеком

должны быть основаны на этом.

27. СТАТУСЫ МОШЕННИЧЕСТВА И ИНТЕГРИТЕТА

FI-0— НЕ ОЦЕНЕНО

Запись не была оценена с точки зрения целостности.

FI-1— МАТЕРИАЛЬНЫХ АНОМАЛИЙ НЕТ

Явных признаков мошенничества не выявлено. Это не является абсолютной гарантией точности.

FI-2— ТРЕБУЕТСЯ ПРОВЕРКА

Обнаружен один или несколько подозрительных сигналов.

FI-3— ПОДОЗРЕНИЕ НА ДУБЛИКАТ ИЛИ СТРАХОВКУ

Есть подозрение на повторяющегося человека, визуальный, ответный или координационный сигнал.

FI-4— ПОДТВЕРЖДЕНА МАНИПУЛЯЦИЯ ПРОТОКОЛОМ

Участник намеренно изменил протокол.

FI-5— ПОДТВЕРЖДЕНО ИСПЫТОВОЕ НАБЛЮДЕНИЕ

Наблюдение не является подлинным опытом пользователя ИИ. FI-2 не является автоматическим исключением. Требуется проверка.

28. МОШЕННИЧЕСКИЕ СИГНАЛЫ

Одинаковый хэш скриншота Одинаковый редкий файловый след Невозможное время выполнения Многократное повторение идентичностей с одного и того же устройства или сеанса Конфликт материалов по стране, региону и доступу к продукту Несоответствие между текстом ответа и изображением Следы редактирования изображения Один и тот же человек в основном и резервном списках Один и тот же анонимный человек у нескольких поставщиков панелей Серийное и механическое выполнение задач Одинаковая необычная ошибка Одиночный сигнал может не быть убедительным доказательством мошенничества.

29. СПРАВЕДЛИВОСТЬ В ОБНАРУЖЕНИИ МОШЕННИЧЕСТВА

Следующие пользователи могут быть ошибочно отмечены как мошенники:

• Семьи, использующие общее устройство
• Сотрудники, использующие корпоративную сеть
• Участники университетских лабораторий
• Люди, заботящиеся о конфиденциальности, использующие VPN
• Пользователи с ограниченными возможностями, использующие экранные читалки или вспомогательные технологии
• Те, кто загружает похожие сжатые изображения из-за низкой пропускной способности

Таким образом:

• автоматическая маркировка,
• человеческая проверка,
• описание участника при необходимости,
• апелляция

должны работать совместно.

30. ВАЛИДНОСТЬ УЧАСТНИКА ДОЛЖНА БЫТЬ ОТДЕЛЬНА ОТ ТОЧНОСТИ ОТВЕТА ИИ

Запись участника может соответствовать протоколу. Ответ ИИ может быть неверным. Это действительное наблюдение. Ответ ИИ другого участника может быть верным. Однако пользователь:

• обновил ответ три раза,
• загрузил только лучший ответ,
• возможно, изменил запрос

Это недействительное наблюдение. Следовательно:

Правильный ответ ИИ не означает действительные данные. / Неправильный ответ ИИ не означает недействительные данные.

Оценка валидности должна проводиться до основной оценки и быть максимально слепой.

31. КОНФЛИКТ ИНТЕРЕСОВ И ИСТОЧНИК УЧАСТНИКА

Участник или поставщик панели могут извлечь выгоду из следующих исходов:

• Аудитируемая компания получает высокий балл
• ИИ-продукт выглядит лучше
• Конкурент получает низкий балл
• Продажа большего количества аудиторских заданий
• Награда или трудовые отношения

Таким образом:

• отношения с участниками,
• соглашение с поставщиком панели,
• оплата труда, не зависящая от результатов,
• Вмешательство клиента

должно быть объяснено. Аудитируемое учреждение:

• кого из пользователей приглашать,
• кто будет считаться недействительным,
• Кого заменят резервным участником

не может решать.

32. ЭФФЕКТ ПОСТАВЩИКА ПАНЕЛИ

Пользователи двух поставщиков панелей в одной и той же стране могут различаться. Поставщик:

• Энтузиасты технологий,
• студенты,
• участники интенсивных исследований

могут иметь более высокий уровень вовлеченности. Поставщик панели должен учитываться как кластерная или исходная переменная в анализе. Если возможно:

• результаты по поставщикам,
• эффект источника,
• сравнение поставщиков в рамках одной страны

должны быть исследованы. Глобальная панель с одним поставщиком не может представляться как мировое население.

33. ПОВТОРИТЬ ЛИЦО В МНОГОИСТОЧНИКОВОЙ ПАНЕЛИ

Один и тот же человек:

• две профессиональные панели,
• в открытом наборе,
• в списке университета

можно найти. Многоисточниковая панель может увеличить количество записей без увеличения уникальности. Проверка на дублирование между источниками:

• сохранение конфиденциальности,
• не требующая раскрытия центральной идентификации,
• позволяющая возражать против несоответствий

должна быть установлена соответствующим образом.

34. КАРТА СМЕЩЕНИЯ ВЫБОРКИ

GEO-1000 следует отдельно отслеживать следующие виды смещения.

SB-1— Смещение охвата

Некоторые сегменты целевой популяции отсутствуют в рамке выборки.

SB-2— Смещение отбора

Вероятность выбора отдельных лиц из рамки для участия в панели не соответствует запланированному дизайну.

SB-3— Смещение самовыбора

Добровольцы для исследования систематически отличаются от популяции.

SB-4— Смещение из-за приглашения и инструкций

Текст приглашения или источник привлекает людей с определенной точкой зрения.

SB-5— Смещение из-за отсутствия ответа

Люди, которые не участвуют или не завершают участие, отличаются по результатам.

SB-6— Смещение оттока участников панели

Пользователи, остающиеся между волнами, отличаются от тех, кто выпадает.

SB-7— Смещение из-за вознаграждения

Оплата или награда влияет на скорость, поведение при выборе или ответы участника.

SB-8— Панельное кондиционирование

Участник усваивает ожидаемое поведение из предыдущих исследований.

SB-9— Смещение при назначении заданий

Участники сами выбирают продукт, язык или промпты или назначаются неравномерно.

SB-10— Смещение классификации по стране и языку

Участнику назначена неправильная страна или языковая группа.

SB-11— Смещение продукта, плана и интерфейса

Только определенные пользователи плана или устройства определяют панель.

SB-12— Смещение по знанию бренда

Клиенты, фанаты, критики или сотрудники представлены в избытке.

SB-13— Смещение из-за мошенничества и повторного участия

Один и тот же человек или автоматическое участие получает слишком большое влияние на результат.

SB-14— Смещение из-за исключения по валидности

Отрицательные ответы ИИ чаще считаются недействительными.

SB-15— Смещение при взвешивании

После результата выбранные переменные или чрезмерное изменение веса модели направляются в желаемое направление.

SB-16— Смещение оставшейся выборки

Представлены только пользователи, которые могут успешно выполнить задачу, как в реальной популяции продукта.

35. ЦЕЛЬ ВЗВЕШИВАНИЯ

Взвешивание может служить следующим целям:

• Корректировка неравных вероятностей отбора
• Приведение избыточной выборки к фактической пропорции в популяции
• Снижение различий в уровне откликов
• Калибровка выборки по известным целевым суммам
• Объединение нескольких источников панелей

Взвешивание не может служить следующим целям:

• Создание человека, которого нет в выборочной совокупности
• Точная корректировка неизмеренных переменных
• Превращение ложного или ошибочного наблюдения в реальное
• Получение желаемого результата после его появления
• Преобразование одной малой ячейки в надежный показатель по стране
• Автоматическое превращение непараметрической панели в вероятностьную выборку

36. ТЯЖЁЛАЯ АРХИТЕКТУРА

Окончательный вес можно представить следующим образом:

w_i= d_i× a_i^{NR}× g_i^{CAL}× p_i^{SRC}

Здесь:

• di: базовый дизайн или начальный вес
• aiNR: настройка ответа
• giCAL: калибровка популяции
• piSRC: источник панели или корректировка маловероятной выборки

В вероятностной панели:

d_i= 1/π_i

Это возможно. Истинное πi неизвестно в непредставительной панели. В этом случае используемый вес не является весом дизайна, а является весом на основе модели или калибровочным весом. Это различие следует сохранить в отчете.

37. ВЕСЫ НЕ МОГУТ ЗАВИСЕТЬ ОТ РЕЗУЛЬТАТА

Следующие переменные нельзя использовать для создания весов:

• Является ли ответ AI правильным или нет
• Упоминается ли бренд или нет
• Есть ли ссылка
• Дается ли рекомендация
• Произошла ли критическая ошибка
• Нравится ли результат проверяемой организации

Взвешивающие переменные:

• До того, как будет виден результат,
• Потому что это связано с целевой популяцией и механизмом отбора

Она должна быть выбрана. Если результат ответа определяет вес, балл формируется сам собой.

38. ПЕРЕМЕННЫЕ КАЛИБРОВКИ

Возможные области калибровки:

• Страна
• Регион
• Язык
• Возраст
• Пол, если необходимо и этично
• Образование
• Городское/сельское поселение
• Тип интернет-доступа
• Устройство
• Частота использования ИИ
• Бесплатный/платный план
• Интерфейс
• Статус доступности

Надежные целевые показатели могут быть недоступны для каждой переменной. Слишком много переменных калибровки:

• может создавать чрезмерное разнообразие весов,
• низкую эффективную выборку
• переобучение модели

Её следует заморозить до того, как будут получены результаты калибровочного набора.

39. ВЗВЕШИВАНИЕ И СБАЛАНСИРОВАННОСТЬ

Образец до и после взвешивания следует сравнить с целевой популяцией. Для каждого поля:

• целевая доля
• доля сырого образца
• взвешенная доля
• оставшаяся разница

должны быть показаны. Взвешивание применяется только к количеству результатов, и таблица баланса не может быть сохранена.

40. ВЕСОВЫЕ ДИАГНОЗЫ

Основной отчет должен включать следующие поля, если они имеют отношение:

• Минимальный вес
• Максимальный вес
• Медианный вес
• Коэффициент вариации веса
• Соотношение весов
• Количество обрезанных весов
• Размер исходной выборки
• Эффективный размер выборки
• Эффект дизайна
• Невзвешенный результат
• Основной взвешенный результат
• Альтернативные результаты с разумными весами

Взвешенное числовое значение не является полной контрольной записью без идентификаторов веса.

41. ОТОБРАЖЕНИЕ СИНТЕТИЧЕСКОГО ВЕСА

ОТОБРАЖЕНИЕ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Участники, показатели и оценки ниже гипотетические. Целевая популяция и распределение по панелям:

Синтетические показатели прохождения:

Исходный результат:

900/1000=90%

41.1. Калибровочные коэффициенты

Низкое использование:

0.50/0.10=5

Среднее использование:

0.30/0.30=1

Высокое использование:

0.20/0.60 = 1/3

Взвешенный ответ:

72(5) + 252(1) + 576(1/3) = 804

Сумма весов:

100(5) + 300(1) + 600(1/3) = 1,000

Взвешенный результат:

804/1000=80.4%

41.2. Эффективный размер выборки

n_eff= [100(5)+300(1)+600(1/3)]² / [100(5 ²)+300(1 ²)+600(1/3)²] ≈ 349

Карта результатов:

• Число действительных наблюдений: 1,000
• Исходный балл: 90 процентов
• Взвешенный балл: 80.4 процентов
• Эффективная выборка: приблизительно 349
• Основная причина: чрезмерное представительство активных пользователей ИИ

Правильная интерпретация:

В панели содержится 1,000 действительных наблюдений; однако в результате калибровки целевой популяции оценка снизилась до 80.4%, а из-за изменчивости весов эффективный размер выборки стал приблизительно 349.

Неверный комментарий: «Глобальная точность была доказана на уровне 90% с участием 1,000 человек.»

42. ЧТО НЕ МОЖЕТ ИСПРАВИТЬ ВЗВЕШИВАНИЕ?

Следующие группы вообще не должны присутствовать в синтетической панели:

• Люди, использующие программы чтения с экрана
• Пользователи из сельских районов с низкой пропускной способностью
• Люди, использующие продукт AI впервые
• Малые языковые сообщества

Взвешивание только изменяет вес пользователей в панели. Не наблюдаемой группы:

• AI ваш ответ,
• выявить проблемы с доступом,
• распределение ошибок

не может быть получено. Поэтому:

Нулевая охватность означает отсутствие информации.

Взвешенный результат: это может быть предсказание, более близкое к целевой популяции, а не полное наблюдение за целевой популяцией.

43. АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ

Необходимо изучить зависимость взвешенного результата от одной модели веса. Возможные результаты:

• Необработанный невзвешенный результат
• Результат, ориентированный на дизайн
• Результат, откалиброванный по демографии
• Калибровка с учётом использования ИИ
• Результат с усечённым весом
• Результат с учётом влияния поставщика панели

Если результаты изменяются существенно:

Предупреждение о чувствительности к весам

должно быть выдано. Нельзя представить один «правильный» результат с весом как абсолютную истину.

44. КОРРЕКТИРОВКА СКЛОННОСТИ В НЕВЕРОЯТНОСТНОЙ ПАНЕЛИ

Склонность участников невероятностной панели присоединяться к панели может быть смоделирована в соответствии с целевой популяцией. Вероятность того, что человек будет в панели:

p̂_i= Pr(i ∈ panel | X_i)

может быть оценено. Кандидат на обратный вес склонности:

w_i^P= 1/p̂_i

может быть использован. Этот метод:

• использует только измеренные переменные Xi,
• подвержен влиянию некорректно заданной модели,
• не решает проблему необнаруженного отбора,

требует достоверных эталонных данных. Поэтому результат:

должен быть обозначен как:

Модельно-калиброванная оценка непараметрической панели

45. ОЦЕНКИ МАЛЫХ ОБЛАСТЕЙ И НА ОСНОВЕ МОДЕЛИ

Прямое выборочное обследование может быть недостаточным в некоторых странах или языковых ячейках. Методы, основанные на моделировании, могут заимствовать информацию у соседних или схожих групп. Это означает, что результат:

• непосредственно наблюдаемый показатель по стране,
• сырой пользовательский рейтинг

не является таковым. Правильный статус:

ОЦЕНКА С ПОДДЕРЖКОЙ МОДЕЛИ

ОЦЕНКА МАЛЫХ ТЕРРИТОРИЙ

НЕ НАПРЯМУЮ НАБЛЮДАЕМОЕ

обязательно. Прогноз на основе модели не превращает страну без наблюдения Country Observer в наблюдаемую страну.

46. КОНФИДЕНЦИАЛЬНОСТЬ И ВОЗМОЖНОСТЬ ПРОВЕРКИ УЧАСТНИКА

GEO-1000 требует доказательства для каждого наблюдения. Это не означает, что личность участника будет разглашена публично. Снимок экрана может включать следующую информацию:

• Имя
• Электронная почта
• Изображение профиля
• Предыдущий чат
• План учетной записи
• Название учреждения
• Конфиденциальная личная информация

NOMOS Система захвата или аналогичная система:

• не должна захватывать ненужные персональные поля,
• должна выполнять автоматическое или контролируемое редактирование,
• исходные доказательства должны храниться в защищенном хранилище

только анонимные и проверяемые записи должны быть представлены общественности.

46.1. Манифест общественных доказательств

Общественная запись:

• ID наблюдателя,
• ячейка страна/язык,
• Продукт ИИ,
• время,
• хеш доказательства,
• статус проверки

может быть перенесен. Полный скриншот:

• отредактирован,
• доступ ограничен,
• открыт для независимого аудитора

может быть. Наличие тысячи доказательств не требует публичного раскрытия личности тысячи людей.

46.2. Риск чувствительных маленьких стран

Если в маленькой стране только один участник:

• устройство,
• время,
• языка,
• план

Когда данные собираются вместе, может стать легче повторно идентифицировать человека. Уровень детализации в публичных отчетах должен быть снижен. Целостность доказательств может поддерживаться в системе с контролем доступа.

47. СОГЛАСИЕ УЧАСТНИКА

Участник должен как минимум знать следующее:

• Какое задание он будет выполнять
• Какие данные и снимки экрана будут собраны
• Какая личная информация не будет собрана
• Как долго данные будут храниться
• Кто будет иметь доступ
• Как будут опубликованы результаты
• Как будет выдаваться вознаграждение
• Что участие является добровольным
• Право на отзыв или возражение
• Пароль от аккаунта запрашиваться не будет
• Не ожидается нарушение условий использования продуктов AI

Согласие не должно скрываться в длинном и непонятном тексте. [K06; K22]

48. БЕЗОПАСНОСТЬ УЧАСТНИКА

От участника:

• предоставлять личную медицинскую, юридическую или финансовую информацию ИИ,
• использовать реальные данные клиентов,
• делиться конфиденциальной информацией работодателя,
• ослаблять безопасность аккаунта,
• превышать лимиты использования,
• нарушать законы или условия использования продукта

не могут быть запрошены. Тестовые промпты должны максимально иметь публичный и неперсональный контекст.

49. УЧАСТНИК ПРЕДСТАВЛЯЕТ ЧЕЛОВЕЧЕСКОЕ РАЗНООБРАЗИЕ, А НЕ КАЧЕСТВО

Неопытный пользователь:

• может выполнять задачу медленнее,
• труднее,
• с большим количеством поддержки

Этот человек не является автоматически участником низкого качества. Они являются реальной частью целевой популяции. Если исследовательский дизайн настолько сложен, что его могут пройти только люди с высокими цифровыми навыками: проблема может быть не в участнике, а в инструменте измерения. Протокол:

• должен быть понятным,
• доступным,
• лингвистически естественным,
• техническая нагрузка ограничена

должен быть.

50. ОБЩЕСТВЕННАЯ КАРТА РЕЗУЛЬТАТОВ ВЫБОРА УЧАСТНИКА

Кандидатский общественный отчет должен включать следующие области:

Ресурсы панели

Доля панели по вероятности Доля профессиональной добровольной панели Доля открытого набора Доля университета/организации Доля клиентской или аффилированной панели

Воронка участия

Человек в кадре Выбран Приглашен Принял Начал Завершил Дает валидное наблюдение

Право на участие и честность

Уровни проверки страны Уровни проверки языка Частота повторного участия Подозрительная частота регистрации Проверенная частота мошенничества Частота недействительных наблюдений

Состав панели

Частота использования ИИ План и интерфейс Знание бренда Отношения с клиентами/сотрудниками Новые и возвращающиеся пользователи панели Покрытие доступности

Вес Диагнозы

Следующее может публиковаться без раскрытия идентичности участников: исходные и взвешенные показатели; минимальные и максимальные веса; коэффициент вариации весов; эффективный размер выборки; чувствительность к взвешиванию; и предупреждения о покрытии.

51. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH08-N01

Каждое действительное наблюдение GEO-1000 должно иметь прослеживаемую цепочку выбора участников от целевой популяции до аналитической записи.

CH08-N02

Случайный выбор внутри панели не может быть представлен как случайный выбор из целевой мировой популяции.

CH08-N03

Источник участников, метод отбора и статус панели должны быть объяснены в публичной записи метода.

CH08-N04

Не может быть определено как маловероятная или добровольная панельная выборка населения.

CH08-N05

Участники, предложенные проверяемой организацией, не могут быть включены в основную независимую панель населения без объяснения.

CH08-N06

Отношения с клиентами, сотрудниками, партнерами, конкурентами и поставщиками ИИ должны записываться отдельно.

CH08-N07

Критерии участия участников должны быть проверены до того, как будет увиден ответ ИИ.

CH08-N08

Страна, язык, продукт, план и интерфейс должны быть определены до назначения соответствующей задачи.

CH08-N09

Один и тот же человек не может дублироваться как единица населения из-за нескольких аккаунтов, устройств, языков, панелей или продуктов ИИ.

CH08-N10

Проверка уникальности личности должна проводиться в соответствии с принципами минимизации данных и конфиденциальности.

CH08-N11

Один технический сигнал сам по себе не может считаться достаточным для автоматического окончательного решения о том, что участник фиктивный.

CH08-N12

Вознаграждение участника не может быть связано с тем, является ли ответ ИИ положительным, правильным, длинным, содержащим ссылки или полезным для бренда.

CH08-N13

Бонус за качество может быть связан только с заранее определённой целостностью протокола.

CH08-N14

Текст приглашения и информация не могут направлять участника на получение положительного или отрицательного результата.

CH08-N15

Продукт ИИ должен быть назначен или рандомизирован до того, как будет виден результат последовательности промптов и задач.

CH08-N16

Выбор продукта и промпта на основе предпочтений участника не может использоваться необъяснённо в основной панели населения.

CH08-N17

Необходимо фиксировать условие панели, предыдущий опыт тестирования и повторное участие.

CH08-N18

Результаты новых и подготовленных участников должны анализироваться отдельно, когда это необходимо.

CH08-N19

Включение участника в панель, его сохранение, исключение или замена резервным участником не могут основываться на содержании ответа ИИ.

CH08-N20

Некорректные, отрицательные, отклоненные или критические ответы ИИ должны быть сохранены в соответствии с действующим протоколом.

CH08-N21

Действительность участника следует оценивать максимально слепым способом и до проверки фактической точности ответа.

CH08-N22

Уровни приглашений, принятия, начала, завершения и численно действительных наблюдений должны сообщаться отдельно.

CH08-N23

Настройка ответа должна основываться только на заранее определенных и релевантных переменных.

CH08-N24

Взвешивание не может представлять пользователей, которые отсутствуют в выборочной совокупности.

CH08-N25

Весовые переменные не могут зависеть от результата ответа ИИ, оценки или коммерческого интереса регулируемого учреждения.

CH08-N26

Весовые коэффициенты непараметрической панели не могут представляться как проектные веса.

CH08-N27

Калибровочные переменные и целевые итоги должны быть опубликованы до того, как будут видны результаты.

CH08-N28

Невзвешенные и основные взвешенные результаты должны храниться вместе.

CH08-N29

Диагностика взвешивания и эффективный размер выборки должны быть видны в основном отчёте.

CH08-N30

Если используется усечение веса, необходимо сохранить неусечённый результат и анализ чувствительности.

CH08-N31

Эффекты поставщика панели и источника участников должны храниться как отдельные переменные.

CH08-N32

В панели с несколькими источниками следует проводить проверки повторяющихся лиц между источниками.

CH08-N33

Обнаружение мошенничества должно включать множественные сигналы, пропорциональный человеческий контроль и процедуру апелляции.

CH08-N34

Использование VPN, общего устройства, сетей организаций или вспомогательных технологий не должно автоматически считаться мошенничеством.

CH08-N35

Модельная оценка малых областей не может быть представлена напрямую, как наблюдаемая оценка по стране или языку.

CH08-N36

Скриншоты участников и доказательства должны содержать минимизацию персональных данных, их редактирование и контроль доступа.

CH08-N37

Ни один участник не может быть запрошен предоставить пароли от аккаунта, историю личных чатов или ненужную конфиденциальную информацию.

CH08-N38

Участников нельзя просить обойти ограничения продукта, возраста, личности, страны или аккаунта.

CH08-N39

Дети или пользователи, нуждающиеся в особой защите, не могут быть зарегистрированы в панели без отдельных этических и безопасностных протоколов.

CH08-N40

Записи о выборе и взвешивании участников должны иметь ответственного человека или организацию.

52. ФОРМЫ ОШИБОК

CH08-F01— РАСЧЕТ СЛУЧАЙНЫХ УЧАСТНИКОВ В ПАНЕЛИ КАК СЛУЧАЙНЫХ ЛЮДЕЙ В МИРЕ

Случайный выбор внутри добровольной панели представлен так, как будто это случайный выбор из мировой популяции.

CH08-F02— РАСЧЕТ СООТВЕТСТВИЯ КВОТ КАК ПРЕДСТАВИТЕЛЬНОСТИ

Утверждается, что все поведенческие и технологические смещения устранены, поскольку соблюдены возрастные и страновые квоты.

CH08-F03— РАСЧЕТ КЛИЕНТОВ КАК ОБЩЕЙ ПОПУЛЯЦИИ

Список пользователей контролируемого учреждения используется так, как если бы это была мировая панель пользователей.

CH08-F04— СКРЫТИЕ СОТРУДНИКОВ И ПАРТНЕРОВ

Пользователи, связанные с учреждением, отображаются как независимые общие участники.

CH08-F05— ПРИСЧИТЫВАНИЕ ОДНОГО ПОСТАВЩИКА ПАНЕЛИ К ГЛОБАЛЬНОМУ

Эффект поставщика и поведение зарегистрированной панели не исследуются.

CH08-F06— ПРИСЧИТЫВАНИЕ ОТКРЫТОГО ПРИГЛАШЕНИЯ К ВЕРОЯТНОЙ ВЫБОРКЕ

Самоотбор сохраняется.

CH08-F07— ОПРЕДЕЛЕНИЕ СТРАНЫ ТОЛЬКО ПО IP

Различия, связанные с поездками, VPN, сетями учреждений и регионом учетной записи, игнорируются.

CH08-F08— ПРИСЧИТЫВАНИЕ ГРАЖДАНСТВА К СТРАНЕ ИСПОЛЬЗОВАНИЯ

Фактическое географическое положение опыта использования продукта неверно классифицировано.

CH08-F09— ПРИСЧИТЫВАНИЕ ЗАЯВЛЕННОГО ЯЗЫКА К КОНЕЧНОМУ, БЕЗ ТЕСТИРОВАНИЯ

Участник остаётся в языковой ячейке, даже если он не понимает промпт или ответ.

CH08-F10— ПРЕВРАЩЕНИЕ ЯЗЫКОВОГО ТЕСТА В ЭЛИТНЫЙ ОТБОР

На панели остаются только высокообразованные люди.

CH08-F11— ПОДСЧЁТ КОЛИЧЕСТВА АККАУНТОВ КАК ЛЮДЕЙ

Один человек увеличивает вес населения с помощью нескольких аккаунтов.

CH08-F12— ПОДСЧЁТ ОБЩЕГО АККАУНТА КАК ОДНОГО ЧЕЛОВЕКА

Аккаунт, используемый несколькими людьми, интерпретируется как один пользователь.

CH08-F13— ОПЛАТА В ЗАВИСИМОСТИ ОТ РЕЗУЛЬТАТА

Бонус выдается за положительный, правильный или ссылающийся ответ.

CH08-F14— НАРУШЕНИЕ ПРОТОКОЛА С ПРИЕМOM БОНУСА ЗА СКОРОСТЬ

Участник делает скриншот или спешит через задание до завершения ответа.

CH08-F15— ОБЪЯСНЕНИЕ РЕЗУЛЬТАТА В ПРИГЛАШЕНИИ

Участнику предлагается найти ошибку или успех.

CH08-F16— ПОЗВОЛЕНИЕ УЧАСТНИКУ ВЫБИРАТЬ ПРОДУКТ

Пользователи, которые выбирают только продукт ИИ, к которому имеют доступ или который им нравится, определяют панель.

CH08-F17— СКРЫТИЕ ВЛИЯНИЯ ПОРЯДКА промптов

Предыдущие ответы влияют на последующие задачи.

CH08-F18— РАССМОТРЕНИЕ КОНДИЦИОНИРОВАНИЯ ПАНЕЛИ КАК ЕСТЕСТВЕННОГО ИСПОЛЬЗОВАНИЯ

Пользователь, который видит один и тот же тест несколько раз, представляется как новый пользователь.

CH08-F19— ИГНОРИРОВАНИЕ РАССЫЛКИ РЕЗУЛЬТАТОВ

Участники передавали задачи и ответы друг другу.

CH08-F20— УЧЁТ НЕОТВЕЧЕННЫХ ВОПРОСОВ КАК НЕДОСТАЮЩИХ ДАННЫХ

Систематическая разница между не участвующими не изучается.

CH08-F21— УЧЁТ ПОТЕРИ ПАНЕЛИ КАК УЛУЧШЕНИЕ РЕЗУЛЬТАТОВ

Оценки растут, потому что слабые или неопытные пользователи выпадают на последующих волнах.

CH08-F22— ОТМЕНА ОТРИЦАТЕЛЬНЫХ ОТВЕТОВ

Участник заменяется, потому что ИИ дал неправильный ответ.

CH08-F23— ПОДТВЕРЖДЕНИЕ ПРАВИЛЬНОГО ОТВЕТА

Даже если участник обновил ответ, запись сохраняется, потому что результат правильный.

CH08-F24— ИГНОРИРОВАНИЕ БОТОВ И ПОВТОРНОГО УЧАСТИЯ

Один и тот же человек или автоматизация создают большое количество наблюдений.

CH08-F25— МАССОВОЕ ИСКЛЮЧЕНИЕ С ПОМОЩЬЮ ОДНОГО СИГНАЛА

VPN, устройство или скорость делают так, что настоящие пользователи считаются фейковыми.

CH08-F26— ПРОВЕДЕНИЕ ПЕРЕВЕРКИ МОШЕННИЧЕСТВА НА ОСНОВЕ РЕЗУЛЬТАТОВ

Записи с низкими оценками проверяются чаще.

CH08-F27— СОЗДАНИЕ СИЛЬНО НЕВИЗУАЛИЗИРОВАННОЙ ГРУППЫ

Утверждается, что пользователи, отсутствующие в выборке, представлены.

CH08-F28— ВЫБОР КАЛИБРОВКИ ПОСЛЕ РЕЗУЛЬТАТА

Переменные веса, которые дают наиболее подходящую оценку, выбираются позже.

CH08-F29— ПОДСЧЕТ СЫРОЙ ДОЛИ ПАНЕЛИ КАК ДОЛИ НАСЕЛЕНИЯ

Активные пользователи ИИ определяют глобальный результат по сырым числам.

CH08-F30— ПОДСЧЕТ НЕОБЫЧНОГО ВЕСА КАК КОНСТРУКЦИОННОГО ВЕСА

Точное определение популяции выполняется, даже если истинная вероятность выбора неизвестна.

CH08-F31— СКРЫТИЕ НЕВЗВЕШЕННОГО РЕЗУЛЬТАТА

Эффект модели веса не виден.

CH08-F32— СКРЫТИЕ ЭФФЕКТИВНОЙ ВЫБОРКИ

Хотя сырые записи 1,000 содержат 300–400 единиц информации, заявлена полная точность.

CH08-F33— УДАЛЕНИЕ СЛАБЫХ ГРУПП ПО ВЕСОВОМУ ОТРЕЗАНИЮ

Малые группы с высоким весом отсеиваются, потому что они снижают результат.

CH08-F34— ПОДСЧЕТ ОЦЕНОК, ОСНОВАННЫХ НА МОДЕЛИ

Стране без примера присваивается определенная оценка.

CH08-F35— РАСКРЫТИЕ ЛИЧНОСТИ ДЛЯ ДОКАЗАТЕЛЬСТВ

Скриншоты публикуются с личной информацией.

CH08-F36— СДЕЛАТЬ УЧАСТНИКА ИЗ МАЛОЙ СТРАНЫ ПЕРЕИЗВЕСТНЫМ

Информация о стране, времени, устройстве и плане позволяет идентифицировать одного человека.

CH08-F37— ЗАПРОС ПАРОЛЯ ИЛИ ЛИЧНОГО ЧАТА У УЧАСТНИКА

Сбор доказательств нарушает безопасность аккаунта.

CH08-F38— ОТНОСИТЬ НИЗКИЕ ЦИФРОВЫЕ НАВЫКИ К НЕПОДХОДЯЩЕСТВУ

Фактические целевые пользователи удаляются из панели.

CH08-F39— НАРУШЕНИЕ ДОБРОВОЛЬНОСТИ С ПОМОЩЬЮ НАГРАДЫ

Участник находится под давлением, от которого он разумно не может отказаться.

CH08-F40— ОСТАВЬТЕ ВЫБОР УЧАСТНИКА ЗА КЛИЕНТОМ

Аудируемая организация выбирает людей, которые могут определять результат панели.

53. ПРОЦЕДУРА АУДИТА

Шаг 1— Карта источников участников

Каждая панель записывается отдельно для партнера, открытого набора и источника клиента.

Шаг 2— Назначение статуса выбора

Для каждого источника определяется соответствующий статус между PSI-0 и PSI-5.

Шаг 3— Сравните охват с целевой аудиторией

Определите, какие целевые пользователи отсутствуют на панели.

Шаг 4— Сохранение вероятности выбора участника или модели

Известная вероятность, квота или добровольный выбор объясняется.

Шаг 5— Заморозить правила соответствия

Возраст, страна, язык, продукт, план, интерфейс, уникальность, условия извлечения отношений версионированы.

Шаг 6— Просмотреть текст приглашения

Оценивается, присутствует ли положительное или отрицательное руководство.

Шаг 7— Изучить структуру вознаграждений

Подтверждается, что вознаграждение полностью независимо от результата.

Шаг 8— Проверить страну участника, язык и доступ к продукту

Назначаются уровни проверки с защитой конфиденциальности.

Шаг 9— Выполнить проверку уникальности человека

Проверяются повторения внутри источника и между источниками.

Шаг 10— Записать области отношений и знакомости

Определяется знакомство с клиентами, сотрудниками, конкурентами, поставщиками ИИ и брендами.

Шаг 11— Распределение задач согласно плану назначения

Проверяются назначения продукта, запроса, очереди и волны.

Шаг 12— Регистрация кондиционирования панели

Новые, повторяющиеся и ранее участвовавшие пользователи в одном и том же тесте разделяются.

Шаг 13— Настройка воронки участия

Подсчитываются приглашения, согласия, начало, завершение и показатели валидности.

Шаг 14— Сокрытие проверки валидности

Валидность протокола определяется без просмотра оценки AI-ответа настолько, насколько это возможно.

Шаг 15— Проверка сигналов мошенничества

Используются несколько сигналов и человеческая оценка.

Шаг 16— Анализ моего не ответа и потерь панели

Сравниваются известные характеристики участников и тех, кто не участвует.

Шаг 17— Генерация проектных и калибровочных весов

Вероятностные и неп概率стические источники обрабатываются отдельными методами.

Шаг 18— Расчет диагностик веса

Рассчитаны распределение веса, эффект дизайна, эффективная выборка, эффект обрезки.

Шаг 19— Выполнение анализа чувствительности

Сравниваются исходные, основные значительные и альтернативные разумные результаты.

Шаг 20— Создание манифеста конфиденциальности и доказательств

Полные доказательства находятся в защищенном хранилище; анонимные идентификаторы доказательств сохраняются в публичной записи.

Шаг 21— Публикация публичной избирательной карточки

Источники панели, воронка участия, смещения и эффект взвешивания становятся видимыми.

54. ТРЕБУЕМАЯ ДОКАЗАТЕЛЬСТВО

Запись целевой аудитории; рамки выборки; поставщики панелей; источники участников; статус отбора; класс панели с вероятностной или непредвзятой выборкой; метод регистрации в панели; текст промпта; правила допуска участников; проверка страны участника; запись о владении языком; запись о доступе к продукту ИИ; план и пользовательский интерфейс; проверка на уникальность личности; проверка дублирования по различным источникам; знакомство с брендом; частота использования ИИ; связь с проверяемой организацией; связь с поставщиком ИИ; компенсация участнику; условия бонусов; метод назначения задач; запись о рандомизации и блокировке; порядок продуктов и промптов; подготовка панели; участие в предыдущем пилотном исследовании; количество приглашённых; количество согласившихся; количество начавших задачу; количество завершивших задачу; количество действительных наблюдений; причины отсутствия ответа; отток панели; причины недействительности; и индикаторы мошенничества.

Записи обзоров и возражений Дизайнерские веса Настройки отсутствующих ответов Переменные калибровки Модель склонности, если есть Запись об усечении весов Эффективный размер выборки Результаты чувствительности Эффект поставщика панели Невзвешенные и взвешенные показатели Запись согласия Политика хранения и доступа к данным Правила редактирования Публичный реестр доказательств Ответственное лицо или организация

55. ЧЕК-ЛИСТ АУДИТА

Из каких источников пришли участники? Был ли каждый источник вероятностным, добровольным или открытым призывом? Была ли случайность внутри панели представлена как случайность мировой популяции? Вмешивалась ли контролирующая организация в выбор участников? Являются ли участники-клиенты и участники-сотрудники отдельными? Были ли задокументированы взаимоотношения с поставщиком ИИ или конкурентами? Как проверялась допустимость страны участника? Соответствует ли уровень владения языком фактическому использованию? Использовался ли правильный продукт ИИ, план и интерфейс? Сколько учетных записей или панелей использовал один и тот же человек? Проводилась ли перекрестная проверка между источниками? Влиял ли текст промпта на результат? Зависит ли награда от содержания ответа ИИ? Снизили ли стимулы за скорость качество протокола? Было ли назначение задач случайным или основанным на заранее заданных правилах? Выбирал ли участник продукт или задавал себе запрос самостоятельно?

Был ли продукт и порядок подачи сбалансированным? Было ли зарегистрировано кондиционирование панели? Делились ли участники результатами заданий? Видна ли воронка промпт–принятие–начало–завершение–валидность? Отличаются ли неоткликнувшиеся участники по известным характеристикам? Влияет ли отток панели на временной тренд? Было ли решение о валидности принято до оценки ответа ИИ? Считались ли отрицательные или критические ответы чаще недействительными? Несет ли обнаружение мошенничества несколько сигналов? Вызывали ли VPN или общие устройства автоматическое исключение? Был ли предоставлен участнику путь для апелляции? Были ли переменные весов определены до получения результата? Были ли неправдоподобные веса панели корректно маркированы? Надежны ли целевые итоги? Результаты без взвешивания и с взвешиванием представлены вместе? Ясна ли эффективная выборка? Показано ли влияние обрезки весов?

Показаны ли группы, которые никогда не наблюдались, как преимущественно представленные? Были ли предсказания на основе моделей представлены так, как если бы это были прямые наблюдения? Есть ли личные данные на скриншотах участников? Можно ли повторно идентифицировать пользователей из маленьких стран? Запрашивались ли пароли от аккаунтов или приватные чаты? Является ли согласие участников ясным и понятным? Есть ли явно ответственный владелец за выбор участников и учет их записей?

56. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Если мы используем профессиональную исследовательскую панель, почему мы все еще говорим о предвзятости?»

Профессиональная панель может повысить качество данных и управление на местах. Члены панели также:

• добровольный
• привыкший к исследованиям,
• различающийся в использовании технологий

Это возможно. Профессионализм не устраняет предвзятость. Он делает измерение и управление легче.

Возражение 2— «Если соблюдаются квоты по возрасту и стране, почему панель не может считаться репрезентативной?»

Участники:

• Частота использования ИИ,
• устройство,
• план,
• осведомленность о бренде,
• цифровые навыки

Это может различаться с точки зрения обслуживания. Квоты балансируют только те области, которые они охватывают.

Возражение 3— «Разве взвешивание не может скорректировать эти различия?»

Оно может частично скорректировать различия, для которых существуют измеренные и надежные целевые показатели. Оно не может окончательно исправить различия, которые никогда не наблюдаются или не измеряются.

Возражение 4— «Клиенты учреждения — это реальные пользователи; почему их не следует включать в основную панель?»

Их можно включить. Однако их следует включать с фактической долей и статусом отношений, которые они имеют в общей популяции. Весь список клиентов не является панелью общей популяции.

Возражение 5— «Почему это будет проблемой, если участник знает бренд?»

Это не обязательно должно быть проблемой. Они являются частью естественной пользовательской популяции. Если знакомство неравномерно, результат может варьироваться. Поэтому это фиксируется и анализируется при необходимости.

Возражение 6— «Пользователи с интенсивным использованием ИИ выполняют задачу более точно; не лучше ли их выбрать?»

Это может быть проще для тестирования протокола. Однако, если мы хотим измерить реальный опыт пользователей, неопытные пользователи также важны. Если задача слишком сложная, инструмент измерения должен быть исправлен. Популяция не должна быть упрощена.

Возражение 7— «Если участник неправильно понял ответ, почему мы должны сохранять это наблюдение?»

Задача участника не оценивать ответ, а правильно зафиксировать его. Если протокол фиксации применяется правильно, ответ ИИ сохраняется. Оценка материала является обязанностью судей.

Возражение 8— «Разве не следует использовать строгий автоматический фильтр, чтобы предотвратить фальшивое участие?»

Автоматическая фильтрация полезна. Если она становится единственным окончательным решением, это может несправедливо исключать реальных пользователей. Необходимы множественные сигналы и пропорциональный человеческий обзор.

Возражение 9— 'Если мы не опубликуем тысячу скриншотов, можно ли считать метод доказанным?'

Изображения на полный экран:

• личная информация,
• безопасность аккаунта,
• переопределение

может нести риск. Для публики:

• отредактированные примеры,
• манифест наблюдений,
• контрольные суммы целостности,
• доступ к независимому аудиту

может быть предоставлен. Доказуемость не равна раскрытию личности.

Возражение 10— “Если взвешенный балл сильно отличается от исходного, какой из них правильный?”

Два результата отвечают на разные вопросы. Сырой балл — это результат участников панели. Взвешенный балл — это оценка целевой популяции. Большая разница указывает на то, что состав панели имеет значение. Оба значения следует публиковать.

Возражение 11— «Если эффективная выборка сократилась до 349, было ли сбор 1,000 наблюдений напрасным?»

Переизбыточно выбранные группы могли усилить анализ подгрупп. Однако чувствительность глобального прогноза может быть ниже, чем сырое количество 1,000. Этот факт не следует скрывать.

Возражение 12— «Можно ли вообще не использовать панель без вероятностного отбора?»

Можно использовать. В частности:

• пилот,
• язык с ограниченными ресурсами,
• маленькая страна,
• Быстрое исследование

Это ценно для. Его следует публиковать с правильным статусом и ограничениями.

Возражение 13— «Разве не надежнее выбирать всех участников из новых людей?»

Это может быть сильным показателем для поперечной оценки населения. Повторные пользователи ценны для измерения продольных изменений. Новые и повторные участники панели должны оставаться отдельными.

Возражение 14— «Разве сбор данных у такого большого числа участников не увеличивает риск для конфиденциальности?»

Может. Поэтому:

• минимизация данных,
• анонимная идентификация,
• редактирование,
• контроль доступа,
• срок хранения

являются обязательными частями протокола. Ненужная информация не должна собираться.

ОБЩАЯ ПОЛОЖЕНИЕ РАЗДЕЛА 59

Самое простое число в GEO-исследовании:

1,000

Это возможно. Самый трудный вопрос таков:

Какой 1,000?

Две панели с одинаковыми странами и возрастными квотами могут дать совершенно разные результаты. В одной:

• активные пользователи ИИ,
• подписчики платного плана,
• работники в сфере технологий

составляют большинство. В другой:

• редко использующие,
• мобильные пользователи,
• люди с низкими цифровыми навыками

Это более заметно. Оба человека являются 1,000. Это не одно и то же население. Если вы скрываете, откуда участники, и публикуете только взвешенный результат, вы превращаете взвешивание в занавес доверия, а не в метод контроля. Вы не можете взвесить человека, который не присутствует в выборке. Вы не можете изменить ответ пользователя только потому, что он неправильный. Неправильный ответ — это не провал исследования. Это событие, которое исследование пытается измерить. Если участник неправильно следовал протоколу, несмотря на правильный ответ, вы не можете сохранить запись. Правильный ответ не делает ложное наблюдение истинным. Вы можете платить одному человеку больше. Но не для того, чтобы получить нужный вам ответ. Вы можете платить в соответствии с условиями жизни в стране. Но вы не можете купить готовность участника. Тысяча скриншотов может служить доказательством. Вы не обязаны раскрывать личность тысячи человек публике.

Целостность доказательств и конфиденциальность личности могут быть защищены вместе. Следовательно, восьмой закон измерений NOMOS следующий:

Мощность выборки определяется не только количеством людей, которые в нее входят, но и тем, почему и как были выбраны эти люди.

Девятый закон звучит следующим образом:

Взвешивание уравновешивает наблюдаемую популяцию; оно не создает ненаблюдаемого человека.

Десятый закон таков:

Некорректный ответ ИИ может быть действительными данными; правильный ответ ИИ может быть недействительными данными.

Одиннадцатый закон звучит следующим образом:

Награду участнику следует давать не за нахождение желаемого результата, а за доказательство наблюдаемого результата без его изменения.

Двенадцатый закон звучит следующим образом:

Доказуемость не требует от участника отказа от приватности.

Заповедь главы NOMOS 8

Не приводите ко мне тысячу людей в одиночку. / Покажите мне, из какого мира пришли эти тысяча людей.

Не рассматривайте панель добровольцев как случайную выборку населения, список клиентов как общественность или сотрудника как независимого пользователя.

Не думайте, что все различия, которые вы не измеряли, улучшились только потому, что были соблюдены квоты по стране и возрасту.

Не умножайте одного человека на количество его аккаунтов, устройств, языков или участий в панелях.

Не помещайте тех, кто любит бренд, тех, кто ненавидит бренд, и тех, кто вообще не знает бренд, в одну невидимую коробку.

Платите участнику не за то, чтобы найти правильный ответ, а за то, чтобы сохранить первый подходящий ответ, который они увидели, не меняя его.

Не меняйте пользователя, когда ИИ дал неправильный ответ. / Не проверяйте правильность ответа, когда пользователь нарушает протокол.

Не заставляйте человека, который не состоит в панели, появляться с весом, как будто он существует.

Не скрывайте необработанный результат. / Не объявляйте истиной только взвешенный результат. / Показывайте эффективную выборку. / Показывайте её чувствительность.

Не объявляйте кого-либо использующего VPN поддельным, кого-либо использующего общий девайс - ботом, или кого-либо использующего вспомогательные технологии - автоматизированной системой.

Расследуйте мошенничество. / Но не превращайте само расследование в новый предвзятый отказ.

Сделайте скриншот. / Защитите имя человека, аккаунт и личную жизнь.

Сначала определите популяцию. / Затем покажите структуру. / Затем объясните, кого вы выбрали, кто не пришёл, кто не смог завершить, и почему кого-то исключили. / И только после этого решите, насколько ваш результат может говорить о человечестве.

Заключительное предложение главы

В GEO-1000 участник — это не просто человек, предоставляющий ответ. Участник — это человеческая единица выборки, способность которой представлять других в целевой популяции должна быть обоснована через путь выбора, вес, независимость и меры защиты приватности.

Нормативное ядро

Каждое наблюдение GEO-1000 ДОЛЖНО сохранять поддающийся аудиту путь выбора участников от целевой популяции и выборки до этапов отбора, приглашения, согласия, распределения, завершения, проверки протокола, исключения и окончательного взвешивания. Случайный отбор внутри панели НЕ ДОЛЖЕН представляться как случайный отбор из глобальной целевой популяции, если механизм включения всей популяции не поддерживает это утверждение. Набор участников, распределение, компенсация, проверка, замена, исключение и взвешивание ДОЛЖНЫ оставаться независимыми от того, является ли ответ ИИ положительным, отрицательным, правильным, неправильным, отклонённым, критическим или коммерчески благоприятным. Лица, аккаунты, устройства, сессии, языки, членства в панелях и наблюдения за продуктами ИИ ДОЛЖНЫ оставаться отдельными единицами. Источники участников с вероятностью участия, с добровольным присоединением, с открытым приглашением, предоставленные клиентом, институциональные и гибридные ДОЛЖНЫ быть идентифицированы отдельно. Взвешивание МОЖЕТ уменьшать наблюдаемый дисбаланс, но НЕ ДОЛЖНО представляться как создание наблюдений для популяций, отсутствующих в выборочной рамке, или как исправление неизмеренного отбора с уверенностью. Невзвешенные результаты, взвешенные результаты, диагностика весов, пропуски покрытия, неответы, эффективный размер выборки и анализ чувствительности ДОЛЖНЫ оставаться видимыми. Решения о мошенничестве и дублировании ДОЛЖНЫ использовать пропорциональный обзор с несколькими сигналами и НЕ ДОЛЖНЫ автоматически рассматривать использование VPN, совместные устройства, корпоративные сети или средства доступности как подделку. Доказательства участников ДОЛЖНЫ оставаться проверяемыми без излишнего раскрытия личности, учетных данных, частных разговоров или точного местоположения. Каждое решение о выборе участников и взвешивании ДОЛЖНО иметь версию и быть приписано ответственному человеку или организации.