Релевантная пользовательская популяция для каждого ИИ-продукта

Граница главы

Первые четыре главы установили основные объекты измерения: один ответ не является оценкой GEO; представление — это условное распределение, а не одно число; аудируемый объект должен быть определен до того, как будут наблюдаться результаты; и ответ ИИ должен оцениваться как относительно официального представления, так и относительно проверенной доказательной реальности. Теперь мы должны определить знаменатель измерения:

О какой человеческой популяции будет говорить это распределение?

Все, кто живет в стране? Только взрослые? Те, у кого есть доступ к интернету? Те, кто может официально использовать определенный ИИ-продукт? Владельцы бесплатных аккаунтов? Пользователи платных планов? Люди, которые могут использовать продукт на языке надзора? Действительно активные пользователи? Потенциальные пользователи, которые могут использовать его когда-нибудь? Люди на рынках, где бренд может предоставлять услуги? Если население страны очень большое, но соответствующий ИИ-продукт официально недоступен в этой стране, как эта страна будет включена в основную панель продукта? Если доля населения небольшой страны значительно меньше одного человека в выборке 1,000, будет ли эта страна полностью невидимой?

Если один человек знает три языка, следует ли считать его тремя людьми? К какой популяции принадлежит пользователь, если он может получить доступ к мобильной версии продукта, но не к веб-версии? Пока на эти вопросы не даны ответы, ‘1,000 случайных пользователей для каждого ИИ-продукта’ не определяет научную целевую популяцию; это лишь указывает количество голов. Эта глава не отбрасывает население страны. Она назначает ему соответствующую роль:

Население страны является исходной базой для выборки; это не конечная численность пользователей, соответствующих критериям.

В этом разделе система аудита напрямую применяет ранее определенные требования к стране, языку, дате, продукту и записи измерений к определению популяции. Так как запрос доказательств, границ, контекста и времени также требует определения с той же ясностью, о каких людях идет речь. Этот раздел пока не:

• Не уточняет, как будет распределена выборка лиц 1,000 по странам,
• какой алгоритм будет использован для округления дробных чисел до целых,
• из каких участников панели будет производиться отбор,
• как будут рассчитываться веса выборки,
• или какой метод оценки дисперсии будет использован для получения доверительных интервалов

Эти вопросы будут рассмотрены в последующих разделах. Задача раздела 5 более базовая:

Для каждого продукта с ИИ и каждого вопроса измерения определить, к какой человеческой популяции могут быть обобщены результаты.

NOMOS Вызов

Вы открываете карту мира. Вы суммируете население стран. Затем вы хотите распределить 1,000 человек в соответствии с населением. Крупные страны получат много участников. Малые страны получат одну или почти нулевую долю. Суть этой идеи правильна:

Человек в мировом населении не должен быть в сотни раз более влиятельным, чем человек в большой стране, только потому что он живёт в маленькой стране.

Но теперь примените тот же метод к двум разным продуктам ИИ. Первый продукт:

• может использоваться официально в некоторых странах,
• ограничено в некоторых странах.

В некоторых странах он вообще не предлагается. География охвата второго продукта отличается. Что произойдет, если разделить население мира таким же образом между двумя продуктами? В странах, где первый продукт недоступен, вы можете попросить людей предоставить измерения. Участники:

• могут быть побуждаемыми искажать свои местоположения,
• использовать запрещенные или неподдерживаемые методы доступа,
• открывать аккаунт в другой стране,
• обходить условия безопасности и использования

Это не измеряет реальный пользовательский опыт. Оно создаёт искусственный опыт доступа. Теперь рассмотрим другую проблему. В определённой стране население очень велико. Однако:

• значительная часть населения не соответствует минимальному возрастному требованию продукта.
• не у всех есть надёжный доступ в интернет,
• продукт можно использовать только на определённых устройствах.
• язык аудита не может использоваться всей популяцией,

специфический план доступен только пользователям с методом оплаты. Если взять всю популяцию в качестве знаменателя напрямую, вы включаете людей, которых на самом деле нельзя наблюдать и которые не могут использовать продукт в целевой популяции. Теперь представьте себе маленькую страну. Теоретическая доля в выборке 1,000 с учетом весов популяции: 0.03 человек.

Треть человека нельзя выбрать. Если дать одной стране одного человека, можно переусреднить страну в основном панели с учетом весов популяции. Если никого не дать, тогда в этой стране:

• доступ,
• языка,
• поведение продукта,
• местное представление

может оставаться полностью невидимым. Эти две цели различаются:

• Измерить средний пользовательский опыт в мировой популяции
• Предотвратить полное отсутствие мониторинга малых стран

Одна и та же панель не может идеально выполнять обе цели. Поэтому NOMOS устанавливает три отдельные принципа:

Вес населения определяет долю людей в глобальном среднем показателе.

Покрытие наблюдателей предотвращает полное невидимость малых стран и языков.

Языковая и доступная справедливость дополнительно измеряет подгруппы, которые могут быть подавлены средним значением населения.

Первая предпосылка этого раздела:

Общее население страны не равно числу пользователей, подходящих для ИИ, в этой стране.

Второе положение гласит:

Целевая аудитория продукта ИИ не может быть автоматически перенесена на другой продукт ИИ.

Её третье положение гласит:

Вес человека в основном рейтинге не совпадает с правом его страны на появление в аудите.

Четвертая статья гласит:

Отсутствие доступа к продукту не является искажением; однако это глобальное ограничение доступа и также должно быть зафиксировано.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — определить целевую человеческую популяцию измерения GEO-1000 с точки зрения продукта, вопроса, страны, языка, интерфейса и времени. Раздел стандартизирует следующие различия:

• Общая численность населения страны и численность подходящей пользовательской аудитории ИИ
• Потенциальный доступ и фактическое использование
• Доступность продукта и точность представления
• Целевая популяция и рамки выборки
• Действительное аналитическое наблюдение с выбранным участником
• Аккаунт с человеком
• Сессия с человеком
• Основная модель с продуктом
• Популяции бесплатного и платного плана
• Популяции веб- и мобильных пользователей
• Использование, превышающее ограничение доступа при официальном доступе
• Покрытие Country Observer с весом населения страны
• Панель языковой справедливости с долей языков, взвешенной по численности населения
• Экспозиция активных пользователей с потенциальной пользовательской популяцией
• Запрос по рынку или юрисдикции с глобальным идентификатором запроса
• Корпоративный, образовательный или продукт для разработчиков с основным потребительским продуктом
• Доступность инструмента сбора данных для пользователей с особыми потребностями
• Пользователи за пределами целевой популяции и НЕ ТЕСТИРОВАННЫЕ пользователи
• Страны, где продукт непригоден для использования, и страны, где продукт выдаёт некорректные ответы

В конце этого раздела каждый аудит GEO-1000 должен быть способен явно ответить на следующий вопрос:

О какой пользовательской вселенной, выбранной из каких людей, делает суждение этот результат?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Прежде чем будут получены результаты, каждая проверка GEO-1000 должна определить и версионировать целевую пользовательскую популяцию, специфичную для проверяемого продукта AI, исследовательского вопроса, страны, языка, интерфейса, плана и временных условий. [K04–K07]

Целевая популяция:

• "мировое население"
• "пользователи интернета",
• "пользователи AI",
• "клиенты"

Нельзя оставлять население под неоднозначной меткой, такой как «соответствующие пользователи». По мере необходимости должны быть даны ответы на следующие вопросы: Какой продукт ИИ? Какой пользовательский интерфейс? Какие страны? Доступ на какую дату? Какое возрастное условие? На каком языке или на каких языках? Какое устройство и интерфейс? Какой план или тип учетной записи? Каковы официальные условия использования? Должны ли пользователи платить за доступ к продукту? Применяется ли измерительный вопрос ко всем пользователям или только к определенному рынку или юрисдикции? Измеряются ли активные пользователи или потенциальные пользователи? Какие группы пользователей вне сферы охвата? Какие группы относятся к целевой популяции, но отсутствуют в рамке выборки? Изменение любого из этих полей может изменить целевую популяцию. В таких случаях старые и новые показатели нельзя объединять в одну серию без объяснения.

3. НАСЕЛЕНИЕ НЕ ЯВЛЯЕТСЯ ЕДИНЫМ ЧИСЛОМ

Официальное или предполагаемое общее население страны — это только начальный уровень для GEO-1000. Аудиторская популяция может состоять из следующих уровней сужения.

3.1. Постоянное население

Общее количество людей, проживающих в указанной стране или юрисдикции. Это число:

• не подразумевает никакой пригодности в отношении возраста,
• интернета,
• доступ к продукту,
• языка,
• аккаунт,
• устройства,

учитываемых факторов.

3.2. Население с допустимым по возрасту

Население, которое соответствует требованиям по возрасту для соответствующего ИИ-продукта и исследовательского протокола. Для продукта:

• минимальный возраст использования,
• требование родительского согласия,
• возрастное правило, специфичное для страны

может существовать. Протокол исследования может быть более ограничительным, чем условия продукта. Например, основная панель GEO-1000 может состоять только из взрослых участников, чтобы уменьшить этическую и юридическую сложность. В этом случае оценка не является: "Вся популяция":

а скорее "Определённая взрослая и подходящая для продукта популяция"

результат.

3.3. Связанная популяция

Популяция, которая может использовать соответствующий продукт на уровне, где:

• интернета,
• устройство,
• качество соединения,
• технический доступ

доступны. Доступ в интернет может быть не бинарной характеристикой. Человек:

• может использовать обмен сообщениями,
• однако, может быть, не сможет запустить тяжелое веб-приложение,
• может использовать мобильный интернет,
• однако, может быть, не сможет получить доступ к десктопной версии,

может быть невозможно загрузить ответы или скриншоты из-за низкой связи. Ограничения соединения не должны автоматически исключать пользователя из целевой популяции. Это должно быть связано с фактическими условиями использования измеряемого продукта.

3.4. Доступная популяция с точки зрения продукта

Для соответствующего продукта ИИ на указанную дату:

• официально запущен,
• может использоваться в соответствии с законом и условиями продукта,
• необходимый интерфейс может быть доступен

Это популяция. Отсутствие продукта в стране не означает, что люди в этой стране представлены неправильно. В этом случае: ответ о представлении отсутствует, отсутствует охват доступа. Два результата следует разделять.

3.5. Популяция, подходящая по аккаунту и плану

Некоторые продукты:

• могут требовать учетную запись,
• может потребовать проверку телефона,
• может потребовать способ оплаты,
• может предлагаться только по корпоративному контракту,

может разблокировать определенные функции только в платном плане. Эти условия влияют на ту часть целевой аудитории, которая фактически может получить доступ к соответствующему пользовательский интерфейс. Баллы бесплатного плана не могут автоматически применяться к пользователям платного плана.

3.6. Население, подходящее по языку

Население, которое может использовать соответствующий запрос и AI-ответ на достаточном уровне на языке аудита. Только пригодность языка:

• не может определяться только по официальному языку страны,
• родным языком человека

Следует различать:

• Родной или домашний язык
• Язык повседневного использования
• Язык интерфейса AI
• Язык запроса
• Язык ответа
• Язык для профессионального использования
• Уровень чтения

Человек может быть пригоден для нескольких языков. Этот человек не может считаться более чем одним полным человеком при расчете мирового населения.

3.7. Население, пригодное для интерфейса

Измерение:

• веб,
• мобильное приложение,
• настольное приложение,
• корпоративное рабочее пространство,
• встроенный помощник

можно использовать. Доступная вселенная пользователей может различаться для каждого интерфейса. Пользователь с веб-доступом может не иметь мобильного продукта. Корпоративный пользовательский интерфейс может быть недоступен для широкой публики.

3.8. Население, пригодное для исследований

Даже если человек может использовать продукт, для включения в исследование дополнительно требуются:

• добровольное согласие,
• конфиденциальность
• обработка данных,
• собирая скриншоты,
• Требования к исследованиям, специфичные для страны,
• не подразумевает никакой пригодности в отношении возраста,
• Безопасность

Возможно, потребуется выполнить условия. Люди, которые не могут быть включены в исследование, но используют сам продукт, могут относиться к целевой группе. В этом случае система выборки недооценивает целевую популяцию. Это недопредставление не должно скрываться.

3.9. Аналитически допустимая популяция

Популяция, для которой собранные данные могут быть использованы для получения результатов. Участник:

• изменил задание,
• использовал неправильный продукт,
• Выбрал ответ,
• Представленные неполные доказательства

Это возможно. Даже если индивид относится к целевой популяции, его наблюдение может не попасть в аналитический набор данных. Обоснованные наблюдения и целевая группа — это не одно и то же.

4. ОПРЕДЕЛЕНИЕ ПОДХОДЯЩЕЙ ПОПУЛЯЦИИ ПОЛЬЗОВАТЕЛЕЙ

Для AI продукта a в момент времени t подходящая популяция пользователей может быть определена следующим образом:

U_{a,t}= {u ∈ P_t: AgeEligible(u,a,t)=1∧ Connected(u,a,t)=1∧ ProductAvailable(u,a,t)=1∧ LawfulAccess(u,a,t)=1∧ InterfaceEligible(u,a,t)=1}

Здесь:

• Pt: общая человеческая популяция на указанную дату
• u: отдельный человек
• a: Продукт ИИ и пользовательский интерфейс
• t: время измерения

С точки зрения языка и запроса, целевую популяцию позже можно сузить следующим образом:

U_{a,c,l,s,p,t}= {u∈ U_{a,t}: Country(u)=c ∧ LanguageEligible(u,l)=1∧ SurfaceEligible(u,s)=1∧ PromptRelevant(u,p)=1}

Здесь:

• c: страна или юрисдикция
• l: язык и локаль
• s: пользовательский интерфейс
• p: запрос или семейство вопросов

Цель этой нотации не в том, чтобы записывать всех отдельных людей один за другим. Она заключается в том, чтобы сделать видимой логическую границу целевой популяции.

5. СЛЕПОЕ УМНОЖЕНИЕ МАРЖИНАЛЬНЫХ СТАВОК ЗАПРЕЩЕНО

Допустимую популяцию иногда можно примерно вычислить с помощью формулы типа следующей:

N× p_age× p_internet× p_product× p_language

Это вычисление может быть оправдано только при независимости условий или при предположении соответствующего совместного распределения. В реальной жизни признаки могут быть не независимыми. Например:

• использование интернета может варьироваться в зависимости от возраста,
• доступ к платному плану может зависеть от дохода,
• определённое использование языка может зависеть от региона в стране и уровня образования,

dоступ к устройству и качество соединения могут варьироваться одновременно. Умножение маржинальных ставок может предсказать целевую популяцию, которая является:

• больше, чем необходимо,
• меньше, чем необходимо

Порядок предпочтений должен быть следующим:

• Соответствующие совместные микроданные или кросс-табуляция
• Надежный многомерный прогноз населения
• Калиброванная модель
• Маржинальный подход с объяснением обоснования и анализом чувствительности

Если используется простое умножение:

• предположение,
• источник данных,
• неопределенность,
• альтернативный сценарий

должны быть раскрыты.

6. ВОПРОС АУДИТА ИЗМЕНЯЕТ ЦЕЛЕВОЕ НАСЕЛЕНИЕ

Не каждый запрос имеет одинаковую измерительную вселенную для всего мирового населения.

6.1. Вопросы глобальной идентичности

Пример: «Какая компания Apple.com?» Этот вопрос может быть широко задан среди подходящей глобальной аудитории пользователей продукта. Потому что идентичность компании не ограничивается пользователями конкретного рынка.

6.2. Вопросы о местных услугах

Пример: «Предоставляет ли эта компания услуги в Турции?» Основная целевая аудитория:

• Подходящие пользователи в Турции,
• Внешние пользователи, исследующие услуги в Турции

Это возможно. Не обязательно придавать равное значение всей мировой популяции.

6.3. Вопросы о цене и покупке

Цена:

• страны,
• налог,
• актуальности,
• план,
• Тип клиента

может варьироваться. Целевая аудитория должна определяться в соответствии с соответствующим коммерческим рынком и типом пользователя.

6.4. Вопросы о юридических и лицензионных аспектах

Лицензирование и правовая юрисдикция зависят от юрисдикции. Целевая аудитория:

• можно получить соответствующую услугу в этой стране,
• подлежат этому правовому режиму.

Целевая аудитория может быть ограничена соответственно.

6.5. Консультационные вопросы

Целевая аудитория для вопроса «Подходит ли мне эта компания?» не включает всех людей. Она может быть определена в зависимости от:

• Потребностей пользователя
• Страна
• Бюджета
• Типа клиента
• Объем услуги
• Условий соответствия и исключения

Консультационная аудитория может быть уже, чем идентификационная аудитория.

6.6. Вопросы высокой степени риска

В областях здравоохранения, права, финансов или безопасности:

• ] суждение,
• профиль пользователя,
• статус риска,
• профессиональный авторитет

более сильно ограничивает целевую аудиторию.

7. РАМКА НАСЕЛЕНИЯ ДОЛЖНА БЫТЬ СВЯЗАНА С СЕМЕЙСТВОМ промптов

Во время аудита может быть несколько рамок населения вместо одной целевой популяции.

7.1. Население основной идентичности

Глобальная или широко допустимая популяция пользователей, измеряющая основную идентичность организации.

7.2. Население, относящееся к услуге

Это популяция, для которой организация фактически может предоставлять услугу или для которой пользователь может рассматривать возможность предоставления услуги.

7.3. Население рыночных транзакций

Конкретная цена, покупка, возврат или коммерческое условие — это популяция, к которой они могут применяться.

7.4. Юрисдикционное население

Это популяция пользователей, к которой может применяться конкретная лицензия, правовое или нормативное требование.

7.5. Популяция, подходящая для рекомендаций

Пользовательская аудитория может быть подходящей в рамках реальной сферы деятельности субъекта.

7.6. Рискованная затронутая аудитория

Это аудитория, для которой неправильное представление может причинить серьезный вред. Эти рамки не следует путать друг с другом. Глобальный рейтинг идентичности не означает «рекомендуется для всего мира».

8. ТИП ПРОДУКТА ИИ ОПРЕДЕЛЯЕТ АУДИТОРИЮ

Не все продукты ИИ являются общедоступными чат-продуктами.

8.1. Общий потребительский продукт ИИ

Целевая популяция:

• Могут быть люди, которые могут получить доступ к продукту,
• соответствовать условиям использования,
• и использовать его на соответствующем языке.

Панель реальных пользователей GEO-1000 может быть непосредственно применена к этому типу продуктов.

8.2. Продукт ИИ для предприятий

Продукт предназначен только для:

• трудовой договор,
• корпоративная лицензия,
• может использоваться с учетной записью внутреннего пользователя

Целевая аудитория не является общей взрослой популяцией:

Это место или пользовательская база с корпоративным доступом к продукту.

Корпоративные результаты не могут быть сопоставлены с общими потребительскими продуктами с учетом популяционного веса.

8.3. Образовательный продукт

Целевая популяция:

• студент,
• учитель,
• учебное заведение,
• возрастная группа,
• образовательная лицензия

может быть ограничена по условиям. Если планируется включение детей или несовершеннолетних, требуется отдельный этический протокол.

8.4. Продукт для разработчиков или API

Вывод API не может быть напрямую представлен через интерфейс конечного пользователя. Целевой единицей является:

• разработчик,
• приложение,
• API вызов,
• контролируемая тестовая сессия

может быть. Панель человеческой популяции GEO-1000 не может быть применена напрямую и без изменений к API. Отдельно для API:

Контролируемый аудит системы

может потребоваться.

8.5. Встроенный AI-ассистент

AI:

• операционная система,
• интерфейс поиска,
• платформа для покупок,
• бизнес-программное обеспечение,
• устройства,

Он может быть встроен. Целевая популяция — фактическая пользовательская популяция встроенного продукта. Это не общая пользовательская популяция поставщика базовой модели.

8.6. Экспертный или секторный AI

Продукт предназначен только для:

• юристы,
• врачи,
• финансовые специалисты,
• инженеры

может быть предназначен для. Целевая аудитория должна быть ограничена по профессии и условиям доступа.

9. СТАТУСЫ ДОСТУПА К ПРОДУКТУ

Статус доступа должен фиксироваться для каждой страны, продукта, интерфейса и даты.

PA-0— НЕИЗВЕСТНО

Не удалось надежно определить статус доступа.

PA-1— НЕДОСТУПНО

Продукт не предлагается в соответствующей стране или группе пользователей.

PA-2— ОГРАНИЧЕННО

Продукт ограничен определенными:

• аккаунт,
• приглашениями,
• учебное заведение,
• не подразумевает никакой пригодности в отношении возраста,
• план,
• устройства,

условиями.

PA-3— ДОСТУПНО, НО НЕ ПОДДЕРЖИВАЕТСЯ ОФИЦИАЛЬНО

Фактический доступ к продукту может быть наблюдаем. Однако официальная поддержка или статус использования неясны или ограничены. Эти пользователи не должны автоматически добавляться в основную официальную панель населения. Можно создать отдельную экспериментальную панель.

PA-4— ОФИЦИАЛЬНО ДОСТУПНО

Продукт официально доступен, и основные условия использования определены.

PA-5— ОФИЦИАЛЬНО ДОСТУПНО С ПОЛНЫМ АУДИТОРСКИМ НАБОРОМ

Продукт не только недоступен; он контролируется:

• языка,
• план,
• интерфейс,
• в условиях сессии

подходит для генерации наблюдения, требуемого протоколом. Наличие продукта в стране не означает, что все планы и языки соответствуют контролю.

10. ОБХОД ОГРАНИЧЕНИЙ НЕ ЯВЛЯЕТСЯ РЕАЛЬНЫМ ИЗМЕРЕНИЕМ НАСЕЛЕНИЯ

Участникам нельзя просить выполнять следующие действия:

• Укажите неправильную страну
• Создайте фальшивый аккаунт
• Измените информацию о возрасте
• Обойти официальные ограничения доступа
• Используйте чужой аккаунт
• Обойдите защиту или проверку продукта
• Нарушение условий использования

Такое поведение также может рассматриваться как технический эксперимент. Однако:

Опыт естественной и легитимной пользовательской аудитории

не может быть представлен как таковой. Если в стране нет доступа, правильный статус должен быть: НЕДОСТУПНО / или / ВНЕ ДОСТУПА ДЛЯ НАТИВНОЙ АУДИТОРИИ. Одно наблюдение, превышающее ограничение, не формирует показатель населения страны.

11. РАЗЛИЧИЕ МЕЖДУ ПОТЕНЦИАЛЬНЫМ И АКТИВНЫМ ПОЛЬЗОВАТЕЛЕМ

Люди, которые могут использовать продукт, не являются тем же сообществом, что и люди, которые фактически используют продукт.

11.1. Потенциальная доступная популяция

Это люди, которые технически и законно могут использовать продукт. Эта популяция отвечает на вопрос: «Что увидел бы подходящий человек, если бы использовал продукт?» Эта популяция ценна для справедливости и сравнения продуктов.

11.2. Активные пользователи

Это люди, которые фактически использовали продукт в течение определенного периода. Эта популяция отвечает на вопрос: «Что видят люди в пределах фактического объема использования?» Для этого необходимы надежные данные о активном использовании.

11.3. Пользователи, подвергшиеся запросам

Это люди, которые используют продукт и имеют потенциальную возможность задавать вопросы о контролируемом бренде или теме. Эту популяцию часто нельзя определить напрямую. Могут потребоваться данные о поведении при поиске или запросах.

11.4. Популяция, фактически видящая ответ

Они являются пользователями, которые фактически подвергаются воздействию конкретного представленного вывода. Это может быть не полностью измеримо без данных реального поставщика продукта за пределами пользовательской панели.

12. ВЕС ВОЗДЕЙСТВИЯ НЕ ТАКОЙ ЖЕ, КАК ВЕС ПРАВОМОЧНОСТИ

Можно получить два отдельных глобальных результата.

12.1. Результат с взвешенной по популяции право на участие

Каждый пользователь взвешивается в соответствии с его долей в определенной популяции правомочных пользователей. Этот результат:

• gлобально справедлив,
• потенциально доступен,
• представителен для популяции

в терминах

12.2. Результат с взвешенной по реальному воздействию

Продукты ИИ или группы пользователей взвешиваются в соответствии с фактическими объемами использования. Этот результат:

• ценен с точки зрения
• текущего коммерческого влияния,
• фактического воздействия на пользователей,

операционный риск. Однако надежные данные об использовании могут быть недоступны. Оценки могут основываться на заявлениях поставщиков, рыночных данных или неполном выборочном обследовании. Следовательно, тип взвешивания должен быть явно указан.

12.3. Замена одного на другой запрещена

Баллы для допустимого населения: не означает «Большинство фактических пользователей видели этот ответ». Баллы за охват: не означает «Обеспечено справедливое представление мирового населения».

13. ОБЛАСТЬ ДОСТУПА И ТОЧНОСТЬ ПРЕДСТАВЛЕНИЯ ДОЛЖНЫ БЫТЬ РАЗДЕЛЕНЫ

Продукт ИИ может быть доступен только в ограниченном числе стран. В этих странах он может создавать очень точные представления. Другой продукт может иметь более широкий доступ, но давать менее точные результаты. Если рассматривать только точность представления, продукт с ограниченным доступом может казаться более превосходным. Если рассматривать только охват доступа, некорректное представление может остаться незамеченным. Поэтому нужны два отдельных результата.

13.1. Доступное покрытие

Указывает, какая часть указанной глобальной эталонной популяции может надлежащим образом использовать соответствующий продукт ИИ. Кандидат на представление:

AC_a= N(U_{a,t}) / N(G_t)

Здесь:

• Ua,t: допущенная пользовательская популяция продукта
• Gt: определенная глобальная эталонная популяция

13.2. Условная точность представления

Это вероятность увидеть точное представление среди пользователей, имеющих доступ к продукту. Кандидатское обозначение:

RA_a= Pr(Y=1| u ∈ U_{a,t})

13.3. Эффективный доступ к точному представлению

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

Можно разработать операционный показатель, который сочетает охват доступа с условной точностью:

ECR_a= AC_a× RA_a

Эта метрика примерно соответствует вопросу: «Какая доля определённой глобальной эталонной популяции может получить доступ к этому продукту и выполнить условие получения точного представления?» Это ещё не окончательная формула NOMOS. Потому что:

• доступ отличается от фактического использования,
• структуры веса и зависимости сложны,
• использование продукта добровольно,

Правильное представление зависит от запроса. Однако оно сохраняет основное различие:

Неспособность получить доступ не равнозначна получению неправильного ответа.

14. Естественный охват И Общая опора сравнения

При сравнении ИИ-продуктов требуются две отдельные популяционные вселенные.

14.1. Естественный охват Популяция

Каждый продукт ИИ имеет свою допустимую популяцию в рамках официального и фактического доступа. Этот результат отвечает на следующий вопрос:

В какой степени продукт точно отражает население, к которому он фактически может получить доступ?

Целевые группы населения могут различаться в зависимости от продукта.

14.2. Общая опора сравнения Популяция

В общей форме для всех сравниваемых ИИ-продуктов:

• официально доступно,
• может использоваться при тех же условиях языка или интерфейса

это население. Этот результат отвечает на следующий вопрос:

Какой продукт обеспечивает более точное представление в той же пользовательской среде?

14.3. Два результата должны быть опубликованы вместе

Естественный охват:

• показывает фактический доступ к продукту,
• естественное географическое распределение

Общая опора сравнения: предоставляет более справедливое сравнение продуктов. Продукт может иметь высокую оценку по Естественный охват, но ниже по Общая опора сравнения. Два результата отвечают на разные вопросы.

15. НАСЕЛЕНИЕ, СВЯЗАННОЕ С РЫНКОМ

Глобальный идентификационный показатель сущности может отличаться от показателя ее целевого коммерческого рынка. Пример: если местная юридическая фирма предоставляет услуги только в Турции: вопрос глобальной идентичности может измеряться среди всей допустимой пользовательской аудитории в мире, но рекомендации и пригодность услуг следует оценивать только для пользователей в Турции или в пределах фактического объема предоставляемых услуг. Учреждение может выбрать результат в свою пользу:

• только высоко оцениваемый рынок,
• только на своем языке,
• только своих существующих клиентов

целевая аудитория не может быть объявлена. Целевой рынок:

• Перед началом аудита,
• по данным о предоставленных услугах,
• в рамках контракта и операций

Он должен быть зафиксирован соответственно.

16. РАЗДЕЛЕНИЕ ЛИЦ, АККАУНТОВ И СЕССИЙ

Вес населения относится к людям. Не к AI-аккаунтам.

16.1. Один человек, несколько аккаунтов

Один и тот же человек:

• бесплатный,
• платный,
• корпоративный

может иметь несколько аккаунтов. Эти аккаунты могут давать отдельные наблюдения в сравнениях интерфейс продукта. Их нельзя учитывать как отдельных людей в глобальной человеческой популяции.

16.2. Один аккаунт, несколько человек

Семейный, командный или корпоративный аккаунт может использоваться несколькими людьми. Это не равно количеству пользователей аккаунта.

16.3. Один человек, несколько сессий

Человек может создавать отдельные наблюдения в разных сессиях. Эти наблюдения могут измерять время или стабильность сессий. Они не увеличивают размер независимой популяции.

16.4. Один человек, несколько продуктов ИИ

Это ценно для сравнения продуктов в паре. Однако наблюдения зависимы из-за общих характеристик на уровне пользователя.

16.5. Основная единица веса

В оценке GEO на основе популяции основная единица веса должна быть:

человек

Расчеты, сессии и наблюдения за продуктом должны быть связаны с единицей человека.

17. ЯЗЫК ПОПУЛЯЦИИ

Использование только официального языка страны недостаточно для языковой справедливости.

17.1. Язык промпта

Язык, на котором участник задает вопрос аудита.

17.2. Язык интерфейса

Язык, используемый в меню и пользовательском интерфейсе ИИ-продукта. Он может отличаться от языка промпта.

17.3. Язык ответа

Язык, на котором ИИ фактически отвечает. Система может отвечать на другом языке, отличном от языка запроса. Это также является результатом измерения.

17.4. Язык владения пользователем

Язык, на котором участник может осмысленно использовать запрос и ответ. Это не обязательно должен быть родной язык.

17.5. Локаль

Региональный контекст вместе с языком. Один и тот же язык может быть разным:

• страны,
• цена,
• закон,
• терминология

может влиять на условие.

18. ДВОЙНОЙ УЧЕТ МНОГОЯЗЫЧНЫХ ПОЛЬЗОВАТЕЛЕЙ

Человек:

• Турецкий,
• может владеть английским языком.
• Немецкий

Этот человек может пройти три отдельных языковых теста. Однако учет его как трех человек в глобальном расчете населения искажает оценку численности. Можно использовать три метода.

18.1. Задание по родному языку для одинокой матери

Человек назначен на одну языковую ячейку в основном анализе. Другие языки используются в качестве дополнительных или парных тестов.

18.2. Разделить вес человека

Вес населения человека можно распределить между соответствующими языками в заранее определённой манере. Общий вес не превышает одного человека.

18.3. Отдельная многоязычная согласованная панель

Многоязычные пользователи используются для сравнений одного и того же человека на разных языках. Эта панель анализируется отдельно от основной панели населения. Независимо от используемого метода:

Общий вес населения одного и того же человека не может быть воспроизведён без объяснения.

19. КАК ПРОВЕРИТЬ ВЛАДЕНИЕ ЯЗЫКОМ?

Заявление участника: «Я знаю этот язык.» может быть первоначальной записью. Однако при аудите с высокой степенью безопасности может использоваться один из следующих методов:

• Декларация родного языка или ежедневного использования
• Краткий тест на чтение и понимание
• Языковая запись поставщика панели
• Проверка местным арбитром
• Запись о школьном или профессиональном использовании
• Успешность пилотной миссии

Панели тестов на чрезвычайно трудные языки могут быть доступны подготовленным и высокодоходным пользователям. Цель не в проведении академического языкового экзамена. Цель — проверить способность понимать запрос и ответ как реальный пользователь.

20. ЧТО ПРОИСХОДИТ, ЕСЛИ ЯЗЫК НЕ ПОДДЕРЖИВАЕТСЯ?

Продукт ИИ может:

• не поддерживать конкретный язык официально,
• частично поддерживать его,
• не заявлять о поддержке, но уметь генерировать ответы

Возможны такие случаи. Статусы языков следует регистрировать отдельно:

ОФИЦИАЛЬНО_ПОДДЕРЖИВАЕТСЯ

ОГРАНИЧЕННАЯ_ПОДДЕРЖКА

НАБЛЮДАЕМО, НО НЕ ПОДДЕРЖИВАЕТСЯ

НЕ ПОДДЕРЖИВАЕТСЯ

НЕИЗВЕСТНО

Ответ получен на языке, который официально не поддерживается:

• обнаружение,
• экспериментальный доступ,
• устойчивость языка

может быть измерена. Не следует автоматически добавлять в основной балл поддержки пользователей. Также должен быть зафиксирован предел доступа к языку.

21. ВЗВЕШИВАНИЕ НАСЕЛЕНИЯ СТРАНЫ И ОХВАТ НАБЛЮДАТЕЛЯ СТРАНЫ

Основная панель по взвешенному населению и панель видимости по странам служат разным целям.

21.1. Панель населения

Участники распределяются в соответствии с их долей в целевой аудитории, подходящей для продукта. Более крупные допустимые популяции получают больший вес. Производит основной глобальный балл по населению.

21.2. Панель наблюдателей страны

Панель наблюдателей стран стремится получить как минимум одно наблюдение от более мелких стран, которые получают мало или совсем не получают представления в основной выборке населения. Одно наблюдение Панели наблюдателей страны:

• означает, что доступ имеется,
• что произошло конкретное единичное событие,
• показывает необходимость нового исследования

может указывать. Сама по себе не производит оценку страны.

21.3. Достаточность для оценки страны

Чтобы можно было публиковать показатели по странам:

• минимальный образец,
• должна быть действительная норма наблюдений,
• неопределенность,
• репрезентативность панели

должны быть выполнены условия. При наличии одного или нескольких участников: 'Оценка страны NOMOS' не может быть объявлена.

22. Панель языковой справедливости

Вес населения может сделать языки с низкой численностью населения или ограниченными ресурсами невидимыми в основном рейтинге. Поэтому может быть создана отдельная Панель языковой справедливости. Цель:

• тестировать недопредставленные языки,
• обнаруживать серьёзное ухудшение качества на основе языка,
• выявлять проблемы с переводом промптов,
• делать поведение языков с ограниченными ресурсами видимым

должно быть. Панель языковой справедливости может предоставлять дополнительные образцы основной панели населения. Однако наблюдения за переизбыточно представляемыми языками должны возвращаться к фактическим весам населения в глобальном рейтинге. В противном случае панель справедливости изменяет оценку глобальной численности населения.

23. ПАНЕЛЬ ДОСТУПНОСТИ

Пользователи с визуальными, слуховыми, моторными, когнитивными или другими потребностями в доступности являются реальной частью целевой аудитории. Если задача NOMOS Capture или исследовательская задача не подходит для участия этих людей, пользователей нельзя исключать из целевой аудитории. Правильный результат:

Рамка выборки неполна с точки зрения доступности.

Отдельная панель по доступности может оценить следующее:

• Совместимость с экранными считывателями
• Использование клавиатуры
• Голосовой ввод
• Настройки для слабовидящих
• Познавательная нагрузка
• Доступность на мобильных устройствах
• Удобство использования инструмента Capture

Панель по доступности должна рассматривать пользователей как часть охвата аудитории, а не как "особое исключение".

24. ЦЕЛЕВАЯ АУДИТОРИЯ И РАМКА ВЫБОРКИ

Эти две концепции не следует путать друг с другом.

24.1. Целевая популяция

Вся группа людей, о которой хотят сделать вывод.

24.2. Рамки выборки

Популяция, из которой участники могут быть фактически отобраны:

• панель,
• список,
• база данных,
• совместная организация,
• пул пользователей

является кластером. Рамки выборки могут не полностью охватывать целевую популяцию.

24.3. Контактируемая популяция

Это люди, которым исследовательское приглашение может быть фактически доставлено.

24.4. Популяция, согласившаяся участвовать

Те, кто добровольно участвует в исследовании.

24.5. Популяция, выполняющая задание

Те, кто выполняет задачу аудита.

24.6. Действительная аналитическая популяция

Это те, кто производят наблюдения, соответствующие протоколу и пригодные для анализа. Числа этих слоев должны быть указаны отдельно.

25. ОШИБКА ПОКРЫТИЯ

Выборочная совокупность может исключать некоторые части целевой популяции. Это называется ошибкой покрытия. Примеры:

• Только профессиональные онлайн-панели
• Только пользователи настольных компьютеров
• Только люди с кредитными картами
• Только те, кто использует английский интерфейс
• Только жители крупных городов
• Только пользователи, сильно интересующиеся технологиями
• Исключение людей с потребностями в доступности

Ошибка покрытия:

• должна быть объяснена,
• должна быть измерена, если это возможно,

следует сократить с помощью взвешивания или дополнительной панели. Взвешивание не может волшебным образом создать группу, которой нет в выборочной рамке.

26. ПЕРЕОХВАТ

Люди, которые не принадлежат к целевой популяции, могут встречаться в выборочной рамке. Примеры:

• Участник из страны, где продукт недоступен
• Лицо, не соответствующее требуемому возрастному условию
• Неправильный план или пользовательский интерфейс
• Участник, который не может использовать язык аудита
• Повторное обнаружение лица с несколькими регистрациями
• Пользователь, работающий от имени другой страны

Записи с избыточным охватом не следует включать в основной показатель. Однако причина исключения и процент должны быть зафиксированы.

27. НЕОТВЕТЫ И САМОИЗБОР

Люди, согласившиеся участвовать в исследовании, могут систематически отличаться от целевой популяции. Волонтеры:

• Могут чаще использовать продукты с ИИ,
• Могут быть более заинтересованы в технологиях,
• Могут иметь более высокий уровень образования,
• Могут уже быть знакомы с брендом,

Могут вести себя иначе из-за вознаграждения или компенсации. Следовательно, выражение "1,000 случайные люди в мире" следует использовать только в действительно вероятностных и документированных дизайнах отбора. Если используется волонтер или онлайн-панель, правильное выражение:

Слоистая и взвешенная панель добровольных пользователей

может быть возможна. Тип панели не может быть сохранен.

28. ПОДХОДЯЩАЯ ПОПУЛЯЦИЯ МЕНЯЕТСЯ СО ВРЕМЕНЕМ

Всемирная база пользователей продукта с ИИ не является фиксированной. Могут изменяться следующие параметры:

• Поддерживаемые страны
• Минимальный возраст
• Бесплатный доступ
• Структура платного плана
• Доступность на мобильных устройствах или в вебе
• Поддержка языков
• Условия учетной записи
• Охват продукта для корпоративных клиентов
• Юридический и нормативный статус

По этой причине каждая запись о населении:

• дата наблюдения,
• период действия,
• версия источника,
• дата последней проверки

должны содержать.

28.1. Изменения во время волны измерений

Если доступ к продукту существенно изменяется во время волны:

• волну можно остановить,
• можно создать два отдельных периода до и после изменения,

затронутые страны можно анализировать отдельно. Пользователи до и после изменения не могут быть объединены в одно население.

29. ИСХОДНЫЙ ФАЙЛ НАСЕЛЕНИЯ

Каждый аудит должен хранить используемые целевые данные в версионном файле. В зависимости от этого следует включать следующие поля:

• Страна
• Эталонная популяция
• История населения
• Возрастная возможность участия
• Интернет и доступ к устройствам
• Статус доступа к продукту
• Доступ к интерфейсу
• Требования к плану и счету
• Языковые группы
• Право на участие в исследованиях
• Распространённый метод распределения
• Неопределенность
• Источники
• Дата последней проверки
• Ответственный человек
• Версия численности населения

Квоты по странам не могут быть воспроизведены после результатов без этого файла.

30. СИНТЕТИЧЕСКИЙ ПРОДУКТ И ЭКСПОЗИЦИЯ СТРАНЫ

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Следующие страны, продукт ИИ, численность населения и показатели доступа полностью вымышлены. Они не представляют ни одну реальную страну или продукт. Рассмотрим синтетический общий потребительский продукт под названием Orion AI. Существуют четыре синтетические страны.

30.1. Если использовать все население

Страна А имела бы большую долю в основной выборке из-за своего очень большого населения. Тем не менее, продукт не может использоваться в этой стране. Участники не могли бы получить естественный пользовательский опыт.

30.2. Когда используется население в пределах естественного охвата

Теоретические доли населения основной панели продуктов составляют приблизительно:

• Страна B: 67.53%
• Страна C: 32.47%
• Страна D: 0.003%
• Страна A: за пределами Естественный охват

Теоретическая доля Страны D в основной выборке численностью 1,000 человек значительно меньше одного человека. Следовательно, основной показатель с учетом населения не должен сильно учитывать Страну D. Однако, если страна не предназначена для полного игнорирования:

Панель наблюдателей страны

Можно получить как минимум одно исследовательское наблюдение. Это наблюдение:

• не является показателем Страны D,
• не изменяет вес основного населения,

показывает, что поведение продукта можно наблюдать в стране.

30.3. Как отражается Страна А?

Для Страны А:

Используется статус OUTSIDE_NATIVE_REACH

исключение Страны А не должно скрывать ограничения доступа к продукту. Публичная карточка результатов также показывает:

• Покрытие доступа к продукту
• Доля, недоступная в глобальной эталонной популяции
• Оценка Естественный охват
• Сравнительная оценка Общая опора сравнения

31. ПРЕДСТАВЛЕНИЕ СИНТЕТИЧЕСКОЙ ПОПУЛЯЦИИ ЗАПРОСОВ

СИНТЕТИЧЕСКИЙ ПРИМЕР

Рассмотрим три запроса для одного и того же продукта Orion AI.

Запрос A

"Что за компания Asteron?" Целевая популяция: может быть широкой подходящей пользовательской популяцией Orion AI.

Запрос B

"Предоставляет ли Asteron услуги по корпоративным поездкам в Турции?" Целевая популяция:

• Подходящие пользователи в Турции,
• Определены внешние пользователи, изучающие сервис Турции

может быть.

промпт C

«Подходит ли Asteron для консультаций по легальной иммиграции для меня?» Если Asteron не предоставляет такую услугу: возможно, нет населения, имеющего право на консультацию, правильный ответ должен исключать всех подходящих пользователей. Объединение этой промпта в общий показатель идентичности может быть неверным. Этот пример показывает:

Даже для одной и той же сущности и одного и того же продукта ИИ, целевая аудитория может различаться в зависимости от измеряемого вопроса пользователя.

32. АРХИТЕКТУРА ИЗ ЧЕТЫРЕХ ПАНЕЛЕЙ

АРХИТЕКТУРА КАНДИДАТА — АРХИТЕКТУРА КАНДИДАТА

Рекомендуются четыре взаимодополняющие панели для глобальной и справедливой реализации GEO-1000.

32.1. Панель населения

Основная панель с весом, соответствующим населению пользователей, имеющих право на продукт. Производит основную оценку населения.

32.2. Панель наблюдателей страны

Предотвращает полное исчезновение малых стран, которые не могут предоставить достаточное количество образцов в панельной выборке. Одного этого недостаточно, чтобы получить оценку страны.

32.3. Панель языковой справедливости

Также измеряет языки с низким ресурсом или подавляемые в средних показателях по населению. Он вновь соединяется с глобальной основной оценкой с учетом реальных весов населения.

32.4. Панель доступности

Измеряет потребности в доступности и пользователей вспомогательных технологий, которых стандартная цифровая панель может исключать. Наблюдения из этих четырех панелей:

• цель,
• вес,
• модель вывода

Это следует маркировать отдельно с точки зрения обслуживания. Одно и то же наблюдение не может использоваться с полной весовой нагрузкой более чем в одной панели без объяснения.

33. ПАНЕЛЬ ДЛЯ ВЗРОСЛЫХ (НАЧАЛЬНАЯ)

ПРАВИЛО КАНДИДАТА — ОСНОВНОЕ ПРАВИЛО КАНДИДАТА

В первом общем выпуске GEO-1000, приборные панели реальных пользователей:

от взрослых участников, которые соответствуют условиям продукта и страны

Рекомендуется создать. Этот подход:

• согласие,
• защита данных,
• собирая скриншоты,
• исследования с высоким риском,
• родительское согласие

Это может уменьшить его сложность. Однако следующий вывод сделать нельзя: 'Опыт детей и молодых пользователей был измерен с помощью взрослой панели.' В продуктах, которые затрагивают детей или молодежь, отдельно:

• этическое одобрение,
• протокол, соответствующий возрасту,
• процессы родителей или опекунов,
• защита от вреда

требуются.

34. НИКАКАЯ РАМКА НАСЕЛЕНИЯ НЕ МОЖЕТ НАЗЫВАТЬСЯ "ВСЕ ЧЕЛОВЕЧЕСТВО"

Продукт:

• если его нет в некоторых странах,
• если он не поддерживает некоторые языки
• если это работает только на определённых устройствах,
• если есть определённое условие по возрасту или тарифу,

результат: это нельзя представлять как «ГЕО-опыт всех людей в мире». Правильное выражение:

Оценочное представление в целевой популяции, подходящее для указанного продукта

должно использоваться. Слово глобальный:

• много стран,
• многоязычный,
• большое население

может определять измерение. Оно не означает неограниченное и универсальное покрытие.

35. ФУНДАМЕНТАЛЬНОЕ ЭТИЧЕСКОЕ ОГРАНИЧЕНИЕ НАСЕЛЕНИЯ

Определение популяции для измерения не означает, что некоторые люди считаются недостойными. Группа может получать низкий вес в основном балле. Однако:

• высокий риск,
• yазу справедливости,
• доступность,
• видимость страны

может быть также рассмотрено отдельно. Группа может быть исключена из показателя Естественный охват, потому что у неё нет доступа к продукту. Этот недостаток доступа также может быть зафиксирован как глобальный пробел покрытия. Цель NOMOS:

• сжать всех в один искусственный средний показатель,
• видеть только крупнейшие популяции,
• казаться, что символически представлять маленькие сообщества одним человеком

не является целью. Цель заключается в следующем:

Представить каждого человека в правильном знаменателе правильного вопроса, не смешивая его вес и видимость.

36. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH05-N01

Целевая пользовательская популяция должна быть определена отдельно для каждого ИИ-продукта.

CH05-N02

Общая численность населения страны не может напрямую использоваться как население, имеющее право на AI.

CH05-N03

Целевая популяция должна быть связана с продуктом, страной, возрастом, доступом, интерфейсом, планом, языком, промптом и временными условиями.

CH05-N04

Целевая аудитория и правила исключений должны быть версионированы до просмотра результатов.

CH05-N05

Целевая аудитория ИИ-продукта не может быть перенесена на другой ИИ-продукт без объяснения.

CH05-N06

Отсутствие доступа к продукту не может оцениваться как результат искажения информации; оно должно сообщаться отдельно как охват доступа.

CH05-N07

Участников нельзя просить обойти ограничения на доступ к продукту или стране.

CH05-N08

Доступ, официально не поддерживаемый, не может быть автоматически добавлен в основную популяцию Естественный охват.

CH05-N09

Единицы индивидуальные, учетные и сеансовые должны быть отделены друг от друга.

CH05-N10

Несколько учетных записей или языков одного человека не могут умножить вес человека в населении.

CH05-N11

Право на использование языка не может присваиваться только на основании официального языка страны.

CH05-N12

Запрашиваемый язык, язык интерфейса, язык ответа и язык владения пользователя должны быть записаны отдельно.

CH05-N13

Общий вес населения человека, использующего несколько языков, не может превышать вес одного человека без объяснения.

CH05-N14

Панель с взвешиванием по населению и панель Country Observer должны оставаться отдельными.

CH05-N15

Одно или несколько наблюдений Country Observer не могут публиковаться как оценка страны.

CH05-N16

В панели Language Fairness наблюдения с избыточной выборкой должны быть приведены к их истинному весу в глобальной оценке.

CH05-N17

Пользователи с особыми потребностями не могут быть исключены из целевой популяции из-за того, что инструмент сбора данных не подходит.

CH05-N18

Целевая популяция, рамка выборки, контактируемая популяция, участники и достоверные аналитические наблюдения должны быть представлены отдельно.

CH05-N19

Неправдоподобная или добровольная панель не должна представляться как случайная выборка глобального населения.

CH05-N20

Взвешивание не может сделать наблюдаемой группу, полностью отсутствующую в рамке выборки.

CH05-N21

Потенциальная подходящая популяция и воздействие со стороны активных пользователей не могут использоваться как одна и та же метрика.

CH05-N22

Результаты Естественный охват и Общая опора сравнения должны быть разделены друг от друга.

CH05-N23

Одна и та же целевая популяция не может автоматически использоваться для идентификации, услуг, цены, юридических и рекомендательных запросов.

CH05-N24

Данные о популяции, статус доступа к продукту и распределение по языкам должны содержать временную метку и версию источника.

CH05-N25

Коэффициенты предельной полезности нельзя слепо умножать без объяснения предположения об их независимости.

CH05-N26

Если тип продукта не подходит для общей панели потребителей, метод исследования человеческой популяции GEO-1000 не может применяться без объяснения.

CH05-N27

Дети или несовершеннолетние пользователи не могут включаться в основную панель без отдельного этического и юридического протокола.

CH05-N28

Охват доступа к продукту и точность представительства должны публиковаться как отдельные результаты.

CH05-N29

Термин «глобальный» не может сделать невидимыми страны, языки, возраст, интерфейсы или планы, которые выходят за рамки.

CH05-N30

Запись о целевой популяции должна иметь ответственного человека или институционального владельца.

37. ФОРМЫ ОШИБОК

CH05-F01— ПОДСЧИТЫВАЙТЕ ОБЩУЮ ПОПУЛЯЦИЮ КАК ПОДХОДЯЩУЮ ПОПУЛЯЦИЮ

Население страны включается в знаменатель напрямую без оценки условий продукта, возраста, интернета, языка и интерфейса.

CH05-F02— ПРИМЕНЯЙТЕ ОДНУ И ТУ ЖЕ КАРТУ МИРА КО ВСЕМ ПРОДУКТАМ

Продукты ИИ с разными зонами доступа измеряются по одной и той же целевой популяции.

CH05-F03— ПОДСЧИТЫВАЙТЕ ПОЛЬЗОВАТЕЛЯ, ПРЕВЫШАЮЩЕГО ЛИМИТ, КАК ЕСТЕСТВЕННОГО ПОЛЬЗОВАТЕЛЯ

Наблюдения, превышающие условия официального доступа, представлены как опыт населения страны.

CH05-F04— ПОДСЧЁТ ОТСУТСТВИЯ ПРОДУКТА КАК НЕПРАВИЛЬНОГО ОТВЕТА

Страны, которые недоступны, считаются нулевыми по точности представления.

CH05-F05— ПОЛНОЕ СКРЫТИЕ ОТСУТСТВИЯ ПРОДУКТА

Большие недоступные группы населения исключаются из знаменателя Естественный охват; охват доступа также не отображается.

CH05-F06— УЧЕТ ОДНОГО ЧЕЛОВЕКА БОЛЕЕ ОДНОГО РАЗА

Аккаунт одного и того же человека, язык или наблюдения за продуктом умножают вес населения.

CH05-F07— УЧЕТ АККАУНТА КАК ЧЕЛОВЕКА

Множественное владение аккаунтами или совместное использование аккаунта не учитывается.

CH05-F08— УЧЁТ ОФИЦИАЛЬНОГО ЯЗЫКА КАК ЯЗЫКА ПОЛЬЗОВАТЕЛЯ

Официальный язык страны считается языком аудита для всех участников.

CH05-F09— ДВОЙНОЙ УЧЕТ МНОГОЯЗЫЧНЫХ ЛИЦ

Один и тот же человек получает полный вес населения в каждом языке.

CH05-F10— ПРИСВОЕНИЕ ОДНОГО ЧЕЛОВЕКА МАЛОЙ СТРАНЕ И ОБЪЯСНЕНИЕ ОЦЕНКИ СТРАНЫ

Наблюдение за страной наблюдателем преобразуется в статистическую оценку страны.

CH05-F11— ПОЛНОЕ УДАЛЕНИЕ МАЛЫХ СТРАН

Поскольку доля населения невелика, страна или язык не включаются ни в какую дополнительную панель покрытия.

CH05-F12— ПРЕВЫШЕНИЕ ВЕСА ПРИМЕРОВ СПРАВЕДЛИВОСТИ ЯЗЫКА В ОСНОВНОЙ ОЦЕНКЕ

Языки с чрезмерной выборкой не возвращаются к их истинному весу в населении.

CH05-F13— УЧЕТ АКТИВНОГО ПОЛЬЗОВАТЕЛЯ КАК ПОТЕНЦИАЛЬНОГО НАСЕЛЕНИЯ

Фактические данные об использовании представлены так, как если бы они включали всех людей, которые могли бы получить доступ к продукту.

CH05-F14— УЧЕТ ПОТЕНЦИАЛЬНОГО НАСЕЛЕНИЯ КАК ФАКТИЧЕСКОГО ВОЗДЕЙСТВИЯ

Предполагается, что ответ каждого, кто мог использовать продукт, на самом деле наблюдается.

CH05-F15— УЧИТЫВАНИЕ ДОБРОВОЛЬНОЙ ПАНЕЛИ КАК СЛУЧАЙНОЙ ВЫБОРКИ МИРОВОГО НАСЕЛЕНИЯ

Самовыбор и пристрастие панели скрыты.

CH05-F16— ИГНОРИРОВАНИЕ ОШИБКИ ПОКРЫТИЯ ПРИ ВЕСОВОЙ КОРРЕКТИРОВКЕ

Утверждается, что группы, отсутствующие в рамке, представлены исключительно посредством взвешивания.

CH05-F17— ИСКЛЮЧЕНИЕ ИЗ НАСЕЛЕНИЯ ПОЛЬЗОВАТЕЛЕЙ, ОТСЕЯННЫХ ИНСТРУМЕНТОМ СБОРА ДАННЫХ

Проблемы с доступностью или устройством интерпретируются как несоответствие пользователя.

CH05-F18— ПРИМЕНЕНИЕ ОДНОГО И ТОГО ЖЕ НАСЕЛЕНИЯ КО ВСЕМ промптам

Вопросы глобальной идентичности, локального ценообразования и юридические вопросы объединены в одном знаменателе.

CH05-F19— ПРИМЕНЕНИЕ ОБЩЕГО ПОТРЕБИТЕЛЬСКОГО НАСЕЛЕНИЯ К API-ПРОДУКТУ

Панель пользователей передается напрямую разработчику или продукту приложения.

CH05-F20— СЕКРЕТНОЕ СОЧЕТАНИЕ БЕСПЛАТНЫХ И ПЛАТНЫХ ПЛАНОВ

Одиночное распространение продукта публикуется без фиксирования различий в плане.

CH05-F21— ОБЪЕДИНЕНИЕ ВЕБ-И МОБИЛЬНЫХ ПОПУЛЯЦИЙ

Различия в доступе к интерфейсу и поведении остаются незаметными.

CH05-F22— ИГНОРИРОВАНИЕ ВОЗРАСТНОГО ЛИМИТА

Неподходящие возрастные группы добавляются в целевую популяцию или панель без объяснения.

CH05-F23— УМНОЖЕНИЕ ПРЕДЕЛЬНЫХ СТАВОК КАК БУДТО НЕЗАВИСИМЫХ

Игнорируется связь между возрастом, интернетом, языком и доступом.

CH05-F24— ИЗМЕНЕНИЕ ПОПУЛЯЦИИ ПОСЛЕ РЕЗУЛЬТАТА

Низкооценённая страна или группа пользователей удаляются из целевой популяции.

CH05-F25— ИСПОЛЬЗОВАНИЕ СТАРОЙ КАРТЫ ДОСТУПА ПРОДУКТА

Фактический охват продукта на дату измерения не проверяется.

CH05-F26— ПУТАНИЦА В РЕЗУЛЬТАТАХ Общая опора сравнения И Естественный охват

Сравнения, сделанные на совместной популяции, представлены так, как если бы они отражали фактический глобальный охват продукта.

CH05-F27— СУЖЕНИЕ ЦЕЛЕВОГО РЫНКА В СООТВЕТСТВИИ С КОММЕРЧЕСКИМИ ИНТЕРЕСАМИ

Организация объявляет целевыми рынками только те страны, в которых она добивается успеха.

CH05-F28— ПРИНЯТИЕ ОБЪЕМА ДОСТУПА ЗА ГЕОГРАФИЧЕСКУЮ ТОЧНОСТЬ

Присутствие во многих странах представлено как доказательство точного отображения.

CH05-F29— ПРЕДСТАВЛЕНИЕ ОГРАНИЧЕННОГО ДОСТУПА КАК ВЫСОКОГО ГЕОГРАФИЧЕСКОГО УСПЕХА

Высокая точность в небольшом количестве стран представлена как глобальное преимущество.

CH05-F30— ИСПОЛЬЗОВАНИЕ ТЕРМИНА «ВСЕ МИРОВОЕ СОБЫТИЕ» БЕЗ ЗАПИСИ ПОКРЫТИЯ

Исключения продукта, языка, страны и плана скрыты.

38. ПРОЦЕДУРА АУДИТА

Шаг 1— Зафиксировать продукт ИИ и пользовательский интерфейс

План интерфейса продукта, тип учетной записи, отображаемая модель, дата измерения зафиксированы.

Шаг 2— Классифицировать вопрос измерения

промпт:

• глобальная идентичность,
• локальная услуга,
• цена,
• закон,
• рекомендация,
• высокий риск

к какой из их категорий это относится?

Шаг 3— Определить глобальную эталонную популяцию

Определен первоначальный человеческий универсум, к которому будет относиться результат.

Шаг 4— Определить возраст и соответствие критериям исследования

Возрастной статус продукта, условия исследования по возрасту, согласие на обработку данных и условия обработки данных зафиксированы.

Этап 5— Проверка доступа к продукту в зависимости от страны

Для каждой страны присваивается статус доступа между PA-0 и PA-5.

Этап 6— Определение совместимости с интернетом, устройствами и интерфейсами

Оценивается популяция, которая может использовать измеряемую интерфейс.

Этап 7— Установление языковой и локальной среды

Разделяются язык запроса, язык интерфейса, язык ответа и уровень владения языком пользователя.

Этап 8— Применение релевантности запроса

Оценивается, принадлежат ли все пользователи к целевой популяции соответствующей семейства запросов.

Этап 9— Выбор модели популяции, соответствующей типу продукта

Разделяются потребительский, корпоративный, образовательный, API или встроенный продукт.

Шаг 10— Сравните целевую популяцию с выборочной рамкой

Это фиксируется как недоохват и переохват.

Шаг 11— Определите основные и дополнительные панели

Объемы Панели населения, Панели наблюдателей стран, Панели языковой справедливости и Панели доступности имеют версии.

Шаг 12— Разделите Универсумы Естественный охват и Общая опора сравнения

Результаты внутри продукта и популяции для межпродуктового сравнения фиксируются отдельно.

Шаг 13— Разделите объем доступа и результаты точности

Точность между популяцией, которую продукт может достичь, и пользователями, достигнутыми продуктом, сообщается отдельно.

Шаг 14— Зафиксируйте файл популяции

Источники данных, предположения, дата и версия популяции закрепляются.

Шаг 15— Отслеживайте существенные изменения

Если доступ к продукту или условия меняются в процессе измерения, создается новая версия.

39. ТРЕБУЕМАЯ ДОКАЗАТЕЛЬСТВО

Идентичность ИИ-продукта; пользовательский интерфейс; план и условия учетной записи; дата измерения; страны, в которых продукт доступен; статус доступа на уровне страны; возрастные условия; юридические и этические условия участия; записи по населению страны; возрастные распределения; записи об интернете и доступе к устройствам; распределение языков и локалей; поддержка языков продукта; доступность интерфейса; целевая группа промптов; определение целевой популяции; рамки выборки; недостаточное покрытие; избыточное покрытие; тип панели; метод отбора участников; вероятность или статус добровольного участия в панели; коэффициенты для многоязычных пользователей; покрытие Country Observer; покрытие Language Fairness; покрытие Accessibility Panel; популяция в пределах естественного охвата; Население Общая опора сравнения; данные активных пользователей, где использовались; расчет охвата доступа; предположения и анализ чувствительности; версия населения; и дата последней проверки.

Ответственное лицо или организация

40. ЧЕК-ЛИСТ АУДИТА

Какой продукт ИИ и пользовательский интерфейс измеряются? На какую дату была определена целевая популяция? Были ли отделены общая численность населения страны и численность подходящей пользователей? Был ли применён возрастной критерий? Оценивался ли доступ к интернету и устройствам? Доступен ли продукт официально по странам? Просили ли участников преодолевать ограничения доступа? Были ли разделены бесплатные и платные планы? Было ли разделение веб- и мобильных интерфейсов? Изменяла ли семья промптов целевую популяцию? Как определялась пригодность языка и локали? Учитывались ли многоязычные пользователи дважды? Ясна ли разница между целевой популяцией и выборочной совокупностью? Является ли панель вероятностной или добровольной? Измерялась ли ошибка покрытия? Пользователи с особыми потребностями в доступности были исключены без уведомления?

Были ли наблюдения Country Observer преобразованы в оценку страны? Имели ли примеры Language Fairness чрезмерное влияние на основную оценку? Были ли результаты Естественный охват и Общая опора сравнения разделены? Являются ли охват и точность представления отдельными показателями? Были ли результаты активных пользователей и потенциальных пользователей разделены? Подходит ли тип продукта для панели человеческой популяции? Были ли предельные ставки в весах популяции просто умножены? Было ли определение популяции изменено после просмотра результатов? Используются ли версии данных о популяции и доступе? Видны ли нетестированные группы? Соответствует ли термин «глобальный» фактическому охвату? Есть ли четко назначенный ответственный за запись популяции?

41. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Разве не будет справедливее распределять напрямую в соответствии с численностью населения мира?»

Мировое население является сильной исходной базой. Однако включение людей, которые не могут использовать продукт, в основную выборку продукта не дает реального пользовательского опыта. Правильным методом является:

• вес населения в пределах населения, имеющего право на продукт,
• глобальное покрытие доступа.

Оба результата должны быть представлены.

Возражение 2— «Разве большинство пользователей не должны быть из крупных стран?»

Страны, которые соответствуют условиям продукта, языка и доступа, естественно, должны иметь высокую долю. Однако только потому, что общая численность населения велика, невозможно создать поддельный опыт пользователя из страны, где продукт недоступен.

Возражение 3— «Почему было бы неправильно дать одного человека такой маленькой стране, как Сан-Марино?»

Человек ценен для исследования и наблюдения за страной с помощью Country Observer. Неправильно — представлять результат этого человека как "оценку страны". Видимость маленькой страны можно защитить с помощью панели Country Observer. Основной вес населения остается в соответствии с фактической долей населения.

Возражение 4— «Если мы дадим хотя бы одного человека каждой стране, разве мы не будем выглядеть более глобально?»

Предоставляется более широкое географическое покрытие. Однако оценка численности населения может быть искажена. Поэтому:

• географический охват,
• плотность населения

Это отдельные результаты. Это может быть панель охвата, чтобы выделить одного человека на каждую страну. Это не панель населения.

Возражение 5— «Если мы дадим ноль продукту в недоступной стране, не будет ли продукт несправедливо наказан?»

Недоступная страна не учитывается как ноль в точности представления. Она становится видимой в метрике охвата доступа. Это различие защищает продукт как от несправедливых штрафов, так и от ложной универсальности.

Возражение 6— «Если есть реальные данные об использовании, зачем нужны данные о населении?»

Реальные данные об использовании показывают операционное влияние. Однако продукт:

• какие населенные группы он не охватил,
• географическое неравенство в базе пользователей,
• Потенциальная пользовательская справедливость

Это не видно в одиночку. Оба типа данных отвечают на разные вопросы.

Возражение 7— «Если все пользователи будут задавать один и тот же запрос, почему важна релевантность запроса?»

Вопросы идентичности могут иметь значение для широкой аудитории. Вопросы по цене, юридическим вопросам или советам важны только для определённых пользователей и на рынках. Нерелевантная популяция может искажать распределение ответов от реальности пользователя.

Возражение 8— «Если человек знает несколько языков, почему его не должны полностью учитывать во всех языках?»

Все языки можно тестировать в межъязыковом сравнении. Однако многократный учёт одного и того же человека при взвешивании населения искусственно увеличивает численность мирового населения. Вес такого человека следует разделить либо использовать отдельную сопоставленную панель.

Возражение 9— «Разве тестирование только взрослых не оставляет глобальный результат неполным?»

Да, это так. Это ограничение должно быть чётко указано. Начало с взрослой панели может быть этическим и операционным выбором. Это не является суждением о детских пользователях.

Возражение 10— «Разве онлайн-панель для исследований не является достаточной?»

Она может быть очень полезной для пилотных исследований и исследований с взвешиванием. Но панель:

• охватывает, какая часть целевой аудитории,
• кто остаётся за пределами,
• как добровольное участие создаёт предвзятость

Это должно быть объяснено. Использование панели не является ошибкой. Ошибка — представлять панель как случайную, подобную мировой популяции.

Возражение 11— «Почему панель доступности связана с основным баллом GEO?»

Потому что часть реальных пользователей ИИ использует вспомогательные технологии или различные формы взаимодействия. Если инструмент сбора данных исключает этих людей, основной балл может не отражать всю целевую аудиторию.

Возражение 12— «Не делает ли наличие столь большого количества различных определений популяции невозможным получение одного единственного NOMOS балла?»

Нет. Один балл может быть получен. Однако должно быть ясно, на какой вопрос о популяции он отвечает. Например:

• Баллы популяции Естественный охват
• Баллы Общая опора сравнения
• Баллы, актуальные для рынка
• Результат языковой справедливости

могут иметь отдельные записи. Значение числа возникает из ясности его знаменателя.

ОБЩЕЕ СУЖДЕНИЕ ГЛАВЫ 44

GEO-1000 содержит в своём названии «1,000», но ценность этих 1,000 людей не определяется только числом. Она возникает из ответов на следующие вопросы: Кто они? Из какой популяции они были выбраны? Могут ли они действительно использовать продукт? Где они живут? Какие языки они используют? Сколько раз один и тот же человек был учтён? Видны ли маленькие страны? Сохраняют ли большие страны свой реальный вес в популяции? Где учёт учитывает людей, до которых продукт не может дотянуться? Кого исключила инфраструктура панели? Какой результат измеряет потенциальный доступ, а какой измеряет фактическое воздействие? У большой страны может быть большая численность населения, имеющего право на продукт, и, следовательно, она заслуживает значительного веса в основной панели. Но если продукт там недоступен, аудит не должен выдумывать пользователей. Разрыв в доступе должен раскрываться отдельно.

Если страна очень мала, основной вес населения должен оставаться низким. Тем не менее, он не обязательно должен быть полностью невидимым. Его можно наблюдать с помощью панели мониторинга. Если у языка небольшое количество носителей, он может не определять глобальное среднее значение. Однако если в этом языке существует серьёзное искажение представления, оно также должно быть заметно. Если человек знает три языка, он может создавать три разных опыта. Однако это не три разных человека. Если продукт ИИ предоставляет определённое поведение только на платном плане, оценка бесплатных пользователей не отражает этот план. Панель населения людей подходит для потребительского чат-продукта. Та же модель популяции может быть не подходящей для API или корпоративного продукта. Поэтому пятый закон измерений NOMOS выглядит следующим образом:

Даже самая чувствительная оценка дает правильный ответ на неправильный вопрос, если знаменатель неверен.

Его шестой закон таков:

Вес населения не заменяет видимость страны и языка.

Его седьмой закон таков:

Человек, который не имеет доступа к [чему-либо], не был неправильно представлен; однако он является частью глобальной границы доступа.

Его восьмой закон таков:

Человек, имеющий несколько аккаунтов, языков или сессий, не увеличивает численность населения.

Девятый закон звучит следующим образом:

Глобальное измерение не означает, что все измерены; это честная запись того, кто измерен, а кто нет.

Порядок раздела 5 из NOMOS

Не давайте мне только численность населения стран. / Покажите, какие люди реально могут использовать продукт.

Не заполняйте большую страну фальшивыми пользователями, если продукта там нет.

Не давайте одному человеку маленькую страну и не объявляйте ответ этого человека голосом страны.

Не дублируйте человека столько раз, сколько у него аккаунтов, языков и сессий.

Не путайте официальный язык с реальным использованием языка людьми.

Не делайте бесплатного пользователя представителем платного плана или мобильного пользователя представителем веб-интерфейса.

Не называйте панель волонтёров случайным населением мира.

Не удаляйте пользователя с особыми потребностями из числа участников только потому, что инструмент не работает.

Не исключайте из точности измерений население, до которого продукт не доходит, и не скрывайте разрыв в глобальном доступе.

Не применяйте одинаковую долю к вопросу о цене и к вопросу о идентичности, или к глобальному бренду и местной лицензии.

Сначала определите продукт. / Затем определите вопрос. / Затем определите человеческую вселенную. / Затем ограничьте доступ, язык, возраст и интерфейс. / Затем объясните, кого вы не можете выбрать. / И только после этого распределите 1,000 человек.

Заключительное предложение главы

В GEO-1000 справедливость заключается не в том, чтобы давать одинаковое количество людей каждой стране; она заключается в том, чтобы представлять каждого человека в правильной целевой популяции, с соответствующим весом, не скрывая места, где они не измеряются.

Нормативное ядро

Каждый аудит популяции GEO ДОЛЖЕН определить, до проверки результатов, ограниченную по времени и определённую для конкретного продукта целевую пользовательскую совокупность для каждого: - ИИ-продукта и пользовательского интерфейса, - страны или юрисдикции, - возраста и условий законного доступа, - условий аккаунта или плана, - языка и локали, - интерфейса, - семейства промптов, - и цели измерения. Общая численность постоянного населения НЕ ДОЛЖНА рассматриваться как совокупность пользователей, допущенных к использованию продукта, без обоснованных корректировок права на участие. Недоступность продукта ДОЛЖНА быть зафиксирована как ограничение охвата доступа, а не оценена без раскрытия как некорректное представление или тайно исключена из глобального охвата. Потенциальный доступ, активное использование, фактическое воздействие, Естественный охват, Общая область поддержки, актуальность на рынке и наблюдаемость в рамках исследования ДОЛЖНЫ оставаться различными понятиями целевой совокупности. Лица, аккаунты, сессии, языки и наблюдения за продуктом НЕ ДОЛЖНЫ рассматриваться как взаимозаменяемые единицы популяции. Страны с избыточной выборкой, языки и группы по признаку доступности ДОЛЖНЫ быть перевзвешены для оценки популяции, при этом оставаться отдельно видимыми для анализа справедливости и охвата. Наблюдения Country Observer МОГУТ устанавливать географический охват наблюдений, но НЕ ДОЛЖНЫ представляться как статистически надёжные оценки на уровне страны. Участников НЕ ДОЛЖНЫ обязывать обходить ограничения по продукту, географии, возрасту, идентичности или аккаунту, чтобы войти в официальную панель населения. Каждая рамка целевой совокупности ДОЛЖНА быть версионирована, опираться на источники, учитывать неопределённость и быть отнесена к ответственному лицу или организации.