Контролируемая панель в стандартизированных условиях и панель пользователей в естественных условиях

Граница главы

Глава 9 показала, что измеряемый объект ИИ не может быть определен исключительно по провайдеру или названию модели. Глава 10 установила, что не каждый вопрос, содержащий одно и то же название сущности, является одинаковым запросом; запрос — это экспериментальный инструмент, который определяет само измерение. Теперь нам нужно рассмотреть третью переменную между системой и запросом:

Каково состояние учётной записи, сессии и истории пользователя при использовании ИИ-продукта?

Пользователь:

• новый чат,
• память выключена,
• нет специальных инструкций,
• нет предыдущего контекста,
• стандартизированные настройки продукта

может отправлять промпт ниже. Другой пользователь может отправить ту же промпт:

• с аккаунта, который они используют уже много лет,
• память включена,
• с включёнными специальными инструкциями,
• с прошлыми разговорами,
• на их реальном плане и устройстве

Они могут использовать тот же ИИ-продукт, на том же языке, в той же стране, в тот же временной период и с той же промптом. Тем не менее, они могут видеть разные ответы. Эта разница:

• происходит из случайной изменчивости продукта,
• из плана аккаунта,
• из памяти,
• из специальных инструкций,
• из прошлых разговоров,
• из персонализации,
• из статуса веб или инструментов,
• из корпоративного рабочего пространства,
• из пользовательский интерфейс и локальных настроек

Разница может возникать из-за персонализации, состояния веб-сайта или инструмента, организационного рабочего пространства, пользовательский интерфейс или локали. Не существует единого «ИИ»: слои поиска, извлечения, перебалансировки, языковой модели, цитирования и безопасности могут вести себя по-разному. Следовательно, надежное измерение должно фиксировать продукт или модель ИИ, дату, страну, язык, набор запросов, количество повторений и наблюдение. Эта глава добавляет к этой цепочке состояние пользователя и сессии. Основной спрос NOMOS остается прежним: доказательства, границы, контекст и время. Однако сам контекст можно измерять двумя способами. Первый минимизирует внешние различия между пользователями и сравнивает продукты ИИ в стандартизированных начальных условиях. Это:

Контролируемая панель в стандартизированных условиях

Второй подход измеряет то, что люди видят через свои реальные аккаунты, планы, персонализацию и обычные шаблоны использования. Это:

Панель пользователей в естественных условиях

называется. Контролируемая панель в стандартизированных условиях отвечает на вопрос:

Как продукт представляет объект в максимально стандартизированном исходном состоянии?

С другой стороны, Панель пользователей в естественных условиях задает вопрос:

Что реальные люди видят о сущности в реальных пользовательских ситуациях?

Одна панель не является более «реальной», чем другая. Они измеряют две разные реальности. Контролируемая панель усиливает сопоставимость. Естественная панель делает человеческий опыт видимым. Контролируемая панель уменьшает персонализацию и различия в контексте. Естественная панель измеряет влияние этих различий на реальную популяцию. Этот раздел:

• Определение Контролируемая панель в стандартизированных условиях,
• Определение Панель пользователей в естественных условиях,
• Целевые популяции двух панелей и оцениваемые ими величины,
• Что означает чистая сессия,
• Уровни проверки чистоты,
• Статус естественного аккаунта и контекст естественного разговора,
• Память, специальные инструкции, предыдущий разговор и записи о персонализации,
• Различия аккаунта, плана, устройства, интерфейса и локали,
• связанные и независимые панели с одним и тем же пользователем,
• эффекты порядка, переноса и контаминации,
• метрики различий между чистым и естественным,
• конфиденциальность и цепочка доказательств,
• как две панели будут разделены в публичном отчёте

определяет. В этой главе пока не рассматривается:

• полная техническая архитектура NOMOS Capture,
• все поля файлов скриншотов и метаданных,
• атомарное рассмотрение утверждений,
• пороги окончательной трансляции ответов,
• точный вес оценок панелей «чистое» и «естественное» в комбинированном NOMOS балле

не завершено окончательно. Основной вопрос Раздела 11:

Как измерить поведение стандартного ИИ-продукта и поведение, наблюдаемое реальными пользователями, не путая их друг с другом?

NOMOS Вызов

Один и тот же пользователь задаёт одному и тому же ИИ-продукту один и тот же вопрос дважды: «С какой основной организацией связан Apple.com и каковы основные виды деятельности этой организации?» При первой попытке:

• открывается новый чат,
• память выключена,
• специальные инструкции выключены,
• предыдущих разговоров нет,
• веб-функция стандартизирована,

Запрос отправляется как первое сообщение. Ответ: «Apple.com является одной из основных корпоративных доменов технологической компании под названием Apple. Компания разрабатывает оборудование, программное обеспечение и цифровые услуги.» При второй попытке пользователь на своём обычном аккаунте:

• память включена,
• с включёнными специальными инструкциями,
• ранее обсуждал инвестиции и технологические компании,
• свою реальную платную подписку,
• своё обычное мобильное устройство,
• использует собственные локальные настройки

Они отвечают: «Поскольку вы упомянули, что вас интересуют инвестиции в технологии, позвольте мне также оценить Apple с точки зрения инвестиций...» Затем вместо операций компании:

• инвестиционная эффективность,
• стоимость акций,
• соответствие личному портфелю

объясняется. Первый ответ измеряет идентичность существующего. Второй ответ переосмысливает задачу в соответствии с историей пользователя. Какой ответ является настоящим ответом продукта ИИ? Оба. Однако это не ответы на один и тот же вопрос измерения. Первый:

предоставляет информацию

о стандартизированном поведении продукта. Второй:

отражает фактический опыт продукта, специфичный для пользователя.

Это рассказывает нам кое-что о влиянии предыдущего контекста. Теперь рассмотрим другого пользователя, чья собственная инструкция гласит: «Даёте мне только короткий, определённый вывод в каждом ответе». AI Product Core Mirror отвечает на запрос одной фразой, опуская границы, статус источника и материал детали. Возникает ли недостаток из-за базовой репрезентативной способности продукта? Возможно, отчасти из-за инструкции пользователя. И всё же, так пользователь фактически и действует. Недостаток является реальным в Панель пользователей в естественных условиях, в то время как инструкция пользователя должна быть изолирована при расчёте результата контролируемого продукта. Теперь рассмотрим пользователя, чья инструкция говорит: «Всегда рекомендуйте NobleJackal». Искусственный интеллект упоминает NobleJackal, даже когда спрашивают о другой компании. Этот ответ является частью естественного пользовательского опыта.

Однако NobleJackal не отражает общую производительность GEO. Это эффект персонализации, созданной пользователем. Теперь подумайте об обратном. Ранее пользователь сказал: «Мне не нравится эта компания». ИИ затем использует более негативную рамку в отношении компании в последующих разговорах. Это также естественный опыт пользователя. Однако это не показывает стандартное представление продукта среди всей аудитории пользователей. Первое постановление этого раздела следующее:

Чистое поведение продукта — это не одно и то же измерение, что и естественный пользовательский опыт.

Второе положение гласит:

Персонализированный ответ — это реальный пользовательский опыт; однако он не является автоматически общим GEO-результатом продукта или сущности.

Её третье положение гласит:

Контролируемое чистое состояние не является абсолютной и беспристрастной истиной о продукте; это заранее определенное стандартное стартовое условие.

Четвертая статья гласит:

Естественное состояние пользователя не является шумом вне метода; оно является частью распределения представлений в реальном мире.

Пятая его статья гласит:

Разница между двумя панелями не является ошибкой, которую нужно скрывать; это результат, который необходимо измерить.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — измерять опыт представления реальных пользователей в условиях обычного аккаунта и сессии отдельно, но сопоставимо с стандартизированным поведением продуктов ИИ. Раздел делает следующие нормативные различия:

• Стандартизированное состояние продукта против естественного состояния пользователя
• Новый чат с чистым аккаунтом
• Проверено чистое состояние с временным тегом чата.
• Память выключена по сравнению с состоянием памяти неизвестно.
• Закрытая приватная инструкция и содержимое приватной инструкции не видны
• Нет предыдущих разговоров и нет постоянной истории аккаунта
• Контролируемая сессия и только что созданный аккаунт
• Естественное состояние аккаунта и текущий контекст разговора
• Панель пользователей в естественных условиях и неконтролируемые данные
• Персонализация пользователя и стандартный продукт
• Руководство, ориентированное на пользователя, и эффект географического положения субъекта
• Активная пользовательская база и потенциальная база, подходящая для продукта
• Первый опыт использования и опытный пользовательский опыт
• Индивидуальная естественная реакция и естественное распределение на уровне популяции
• Независимый дизайн группы с одинаковым подбором пользователей
• Эффект переноса с сопоставимым сравнением
• Различие продукта с эффектом порядка
• Причинный эффект персонализации с разницей чистое–естественное
• Раскрытие содержания приватных инструкций с записью конфиденциальности
• Сбор приватных разговоров с сохранением естественного контекста
• Результат стандартного продукта с результатом чистой панели
• Общий результат для всех пользователей с результатом естественной панели
• Эффект персонализации с пользовательским планом
• Контролируемое среднее со штатной очередью ошибок
• Одинаковый ответ для каждого пользователя с учетом справедливости персонализации
• Естественная реальность пользователя и повторяемость теста

В конце этого раздела каждая проверка GEO-1000 должна быть способна ответить на следующие вопросы:

Какие результаты были получены от Контролируемая панель в стандартизированных условиях, а какие от Панель пользователей в естественных условиях?

Какие ситуации были фактически стандартизированы в чистой панели?

Какие реальные различия пользователей были сохранены в естественной панели?

Как записывались память, специальные инструкции, прошлые разговоры, планы и состояния интерфейса?

Сколько различий, выявленных между двумя панелями, можно надежно связать с персонализацией?

Как была продемонстрирована наличие естественного контекста при сохранении конфиденциальности пользователей?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Каждый аудит GEO-1000 должен определять стандартизированное поведение продукта и естественный пользовательский опыт как отдельные объекты прогнозирования; нельзя объединять результаты Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях в один образец, знаменатель или оценку без объяснения. В той мере, в какой это актуально, Контролируемая панель в стандартизированных условиях стремится стандартизировать следующие условия:

• Новый и отдельный разговор
• Отсутствие контекста предыдущего разговора
• Состояние постоянной памяти выключено или отключено
• Особые инструкции выключены или отключены
• Определенное состояние веба, поиска и инструментов
• Определенный план и пользовательский интерфейс
• Зафиксированный запрос
• Стандартный язык и локаль
• Волна измерений и временное окно

Если это Панель пользователей в естественных условиях, он сохраняет следующие реальные различия в той мере, в какой это актуально:

• Реальная учетная запись пользователя
• Реальный план
• Реальный пользовательский интерфейс
• Реальное состояние памяти
• Реальное состояние специальной инструкции
• Реальный возраст аккаунта и история использования
• Реальное устройство
• Реальная локализация и условия доступа
• Обычный способ использования продукта

Однако натуральная панель также не лишена протокола. Следующие элементы вновь зафиксированы:

• Версия промпта
• Способ доставки
• Время измерения
• Первое соответствующее правило вывода
• Пакет доказательств
• Участник и право на продукт
• Не изменяйте ответ
• Не отправляйте сообщения с отклонением от темы
• Защита персональных данных

3. ДВА ОТДЕЛЬНЫХ ОБЪЕКТА ОЦЕНКИ

Контролируемые и натуральные панели не предсказывают одинаковую вероятность.

3.1. Контролируемая вероятность чистого представления

В частности:

• Продукт ИИ,
• план,
• интерфейс,
• запрос,
• страны,
• языка,
• время

это вероятность увидеть допустимое представление в рамках стандартизированной чистой сессии для:

θ^C_{E,A,P,U,t}= Pr(Y=1| CleanState=1)

Целевая группа здесь — это результат, который люди, подходящие для использования соответствующего продукта, увидят в стандартизированных условиях продукта.

3.2. Вероятность естественного представления пользователя

Это вероятность увидеть допустимое представление в реальной активной или определённой естественной пользовательской популяции, при сохранении обычных условий учётной записи и персонализации пользователей.

θ^N_{E,A,P,U,t}= Pr(Y=1| NaturalState=1)

Целевая группа здесь:

• не охватывает всех людей, имеющих право на продукт,
• а реально или естественно использующих продукт пользователей в определённый период

может быть. Эти две популяции могут не совпадать.

3.3. Два результата не могут использоваться взаимозаменяемо

Контролируемый показатель: не означает «Большинство реальных пользователей это видели». Натуральный показатель: не означает «Продукт ведет себя так по умолчанию».

4. ЧТО ТАКОЕ Контролируемая панель в стандартизированных условиях?

Контролируемая панель в стандартизированных условиях— это панель, которая измеряет поведение ИИ-продукта при определенных начальных условиях, минимизируя материальные различия, вызванные аккаунтами и сессиями пользователей. Цель Контролируемая панель в стандартизированных условиях заключается в следующем:

• увеличить сопоставимость между продуктами,
• снизить влияние памяти и специальных инструкций,
• предотвратить утечку информации из предыдущих разговоров,
• сделать запрос начальными и независимыми задачами,

чтобы создать эталонную точку, более близкую к фундаментальному поведению продукта системы. Контролируемая панель:

• абсолютные возможности модели,
• реальный опыт всех пользователей,
• полностью свободный от контекста и необъективный ответ AI

не претендует на это. Только:

Предопределённое и проверенное чистое начальное состояние.

создаётся.

5. ЧТО ЗНАЧИТ «ЧИСТОЕ»?

Чистое состояние может быть невозможно создать с использованием одного и того же технического процесса для каждого продукта. Продукт:

• постоянная память,
• специальные инструкции,
• профиль пользователя,
• предыдущие беседы,
• корпоративное рабочее пространство,
• персонализация на основе учётной записи

могут использоваться. Другие продукты могут не иметь некоторых из этих функций. Функциональное определение чистого состояния следующее:

Исходное состояние, при котором вероятность того, что фактическая информация, специфичная для пользователя, и контекст беседы повлияют на ответ до проверки, снижается настолько, насколько это допускается продуктом, и оставшиеся неизвестные явно фиксируются.

Чистое состояние:

• просто открытие нового чата,
• обновление браузера,
• закрытие и повторное открытие приложения

не считается происходящим автоматически.

6. СЛОИ ЧИСТОТЫ

Следующие слои должны оцениваться отдельно в панели управления.

6.1. Чистота разговоров

В текущем чате не должно быть предыдущих сообщений от пользователя или системы. промпт должна быть первым сообщением пользователя.

6.2. Очистка постоянной памяти

Память, которую продукт сохраняет о пользователе между сессиями:

• выключено,
• отключено,
• не используется в этой сессии

так должно быть. Если полная проверка невозможна, записывается неизвестное состояние.

6.3. Очистка пользовательских инструкций

Специальные инструкции пользователя, определённые для стиля ответа, предпочтений или поведения при консультировании:

• выключено,
• временно неактивно,
• отсутствует

должен быть.

6.4. Очистка корпоративного контекста

Корпоративное рабочее пространство:

• личные документы,
• политики компании,
• инструкции руководства,
• личные базы знаний

если используются, должны быть отделены от контролируемой общей панели продукта.

6.5. Очистка инструментов и информации

Условия работы с вебом, извлечением, цитированием и инструментами должны быть настроены одинаково во всех сравниваемых наблюдениях. Чистый статус не означает, что инструменты выключены. Быть чистым означает, что статус инструмента предопределён и сопоставим.

6.6. Очистка промптов

промпт:

• начальное сообщение,
• полная версия,
• без изменений,
• без скрытых инструкций

должен быть.

6.7. Чистота измерений

Участник:

• не следует обновлять ответ,
• не следует отправлять последующий вопрос,
• не следует выбирать результат,

не следует переносить другой ответ ИИ в ту же сессию.

7. УРОВНИ УВЕРЕННОСТИ В ЧИСТОТЕ СОСТОЯНИЯ

CSC-0— НЕИЗВЕСТНАЯ ЧИСТОТА

Чистоту сессии и аккаунта нельзя надежно определить. Не может быть включено в основной анализ контролируемой панели.

CSC-1— ТОЛЬКО НОВАЯ БЕСЕДА

Проверяется только новый разговор. Постоянная память и статус специальных инструкций неизвестны.

CSC-2— ЧИСТАЯ СЕССИЯ

Было проверено, что нет новой беседы и контекста предыдущей беседы. Постоянная персонализация может быть не полностью контролируема.

CSC-3— ПЕРСОНАЛИЗАЦИЯ-КОНТРОЛИРУЕМАЯ

Новый разговор, память, специальные инструкции и настройки по умолчанию для пользователя были проверены и установлены в определённое состояние.

CSC-4— ИНСТРУМЕНТИРОВАННОЕ ЧИСТОЕ СОСТОЯНИЕ

Настройки продукта, пользовательский интерфейс, инструменты и состояние персонализации были проверены в пакете доказательств.

CSC-5— ВОСПРОИЗВЕДЁННАЯ ЧИСТАЯ КОНФИГУРАЦИЯ

Чистое состояние:

• разные пользователи,
• разные циклы,
• независимая проверка

Это было воспроизводимо. Основной Контролируемая панель в стандартизированных условиях должен как минимум:

CSC-3

уровень. Если продукт не позволяет это, ограничение должно быть видно.

8. НОВЫЙ ЧАТ НЕ ЯВЛЯЕТСЯ ЧИСТЫМ АККАУНТОМ

Когда начинается новый разговор: текущий контекст чата может быть сброшен. Однако:

• постоянная память,
• пользовательские инструкции,
• план аккаунта,
• профиль пользователя,
• страна и локаль,
• корпоративные настройки

могут сохраняться. Поэтому:

Новый чат только означает очистку беседы.

Это не подтверждение полного состояния чистоты.

9. ОГРАНИЧЕНИЕ «ВРЕМЕННОГО» ИЛИ «ПРИВАТНОГО» метка сессии

Сессия продукта ИИ:

• временный,
• приватная,
• эфемерная,
• конфиденциальная,
• без памяти

можно назвать. Фактическую функцию этой метки следует отдельно проверить в соответствии с продуктом и версией. Метка автоматически не доказывает, что она охватывает все следующие области:

• Особые инструкции
• Корпоративные настройки
• Региональная политика
• Настройки инструмента
• План пользователя
• Экспериментальные функции продукта

Правильная запись должна быть: «Использовался временный режим сессии продукта; статус следующих областей персонализации был проверен отдельно.»

10. ТИП УЧЕТНОЙ ЗАПИСИ НА ЧИСТОЙ ПАНЕЛИ

Не все пользователи контролируемой панели могут использовать один и тот же план. Существует три подхода.

10.1. План-фиксированная чистая панель

Все пользователи оцениваются по одному и тому же плану и пользовательский интерфейс. Это важно для сравнения продукта. План может не отражать фактическое распределение населения.

10.2. План-слоёная чистая панель

Бесплатные, платные и другие планы измеряются как отдельные чистые ячейки. Для каждого плана создается отдельный показатель. Суммарный показатель может быть взвешен в соответствии с фактическим распределением планов.

10.3. Основная общедоступная интерфейс продукта

основной интерфейс продукта, который общедоступен и имеет наинизший порог доступа, может быть выбран в качестве стандартного эталона. Этот результат не представляет всех платных или корпоративных пользователей. Подход, который будет использоваться, должен быть зафиксирован до проведения аудита.

11. НОВЫЙ АККАУНТ НЕ ТРЕБУЕТСЯ НА ЧИСТОЙ ПАНЕЛИ

Использование нового аккаунта может уменьшить некоторые эффекты персонализации. Однако:

• условия продукта,
• требование телефона или оплаты,
• смещение при создании аккаунта,
• опыт только нового пользователя,
• политика использования нескольких аккаунтов

могут вызвать проблемы. Цель Контролируемая панель в стандартизированных условиях не состоит в создании новых аккаунтов:

снизить материал специфического для пользователя контекста контролируемым образом.

Если в существующем аккаунте можно надежно установить чистое состояние, новый аккаунт не обязателен. Если продукт этого не позволяет, можно использовать отдельный контролируемый тестовый аккаунт или среду исследования, поддерживаемую провайдером. Участников нельзя просить создавать аккаунт, который нарушал бы условия использования.

12. ОСТАЮЩИЕСЯ РАЗЛИЧИЯ ПОЛЬЗОВАТЕЛЕЙ В ЧИСТОЙ ПАНЕЛИ

Контролируемое чистое состояние не устраняет всех различий между пользователями. Следующее может сохраняться:

• Страна
• Локаль
• План
• Устройство
• Интерфейс
• Развертывание продукта
• Возраст аккаунта
• Сегментация, невидимая для провайдера
• Маршрутизация трафика
• A/B-тест

Эти различия:

• должны быть наложены,
• должны быть зафиксированы,

Если неизвестно, это следует сохранять как неопределенность. Метка «Чисто» не означает «Все пользователи технически были абсолютно одинаковыми.»

13. ЧТО ТАКОЕ Панель пользователей в естественных условиях?

Панель пользователей в естественных условиях— это панель, которая измеряет, что видят пользователи по сравнению с тем же зафиксированным запросом, при этом сохраняя реальные условия учетной записи, плана, устройства, персонализации и обычного использования продукта. Цель естественной панели заключается в следующем:

• реальное воздействие на пользователя,
• вариации из-за персонализации,
• влияние истории учетной записи,
• различия в плане и пользовательский интерфейс,
• естественные ошибки и распределение рекомендаций

Это делается для того, чтобы это было видно. Естественная панель:

• полностью свободное поведение пользователя,
• неограниченные последующие вопросы,
• изменение запроса участником,
• выбор наилучшего ответа

не означает. Естественное — это:

состояние пользователя

сохраняется. Протокол запроса и доказательств по-прежнему контролируется.

14. ДВА ОСНОВНЫХ НАПРАВЛЕНИЯ НАТУРАЛЬНОЙ ПАНЕЛИ

14.1. Трек состояния учетной записи

Пользователя:

• реальная учетная запись,
• реальный план,
• реальная память и состояние личных инструкций,
• реальный пользовательский интерфейс

сохраняются. Однако открывается новый разговор. промпт отправляется в качестве первого сообщения. Эта трассировка отвечает на следующий вопрос:

Что видит пользователь на новой теме, если персонализация реальной учетной записи сохранена?

Это основной сопоставимый подход натуралной панели.

14.2. Трек состояния естественного разговора

промпт отправляется в текущем или обычном контексте разговора пользователя. Эта трассировка:

• измеряет непрерывность настоящего чата,
• эффект предыдущей темы,
• накопление отношений пользователь–ИИ

Однако контексты разговоров между пользователями различаются. Поэтому:

• диагностический,
• на основе случая,
• должны сообщаться как отдельное распределение

и не должны напрямую добавляться в основной рейтинг продукта.

15. ЕСТЕСТВЕННЫЕ ПОДГРУППЫ ПОЛЬЗОВАТЕЛЕЙ

Естественная панель не состоит из однородных пользователей. В той мере, в какой это имеет значение, можно выделить следующие подгруппы:

• Пользователь впервые
• Пользователь с новым аккаунтом
• Редкий пользователь
• Регулярный пользователь
• Активный пользователь
• Бесплатный план
• Платный план
• Корпоративный пользователь
• Память включена
• Память выключена
• Особая инструкция включена
• Особая инструкция выключена
• С предыдущим обсуждением бренда
• Без предыдущего обсуждения бренда
• Клиент
• Общая публика
• Высокая узнаваемость бренда
• Низкая узнаваемость бренда

Эти группы не могут быть придуманы после получения результатов. Основной план подгрупп должен быть сформирован до сбора данных.

16. УРОВНИ УВЕРЕННОСТИ В ЕСТЕСТВЕННОМ СОСТОЯНИИ

NSF-0— СОСТОЯНИЕ ПРИРОДЫ НЕИЗВЕСТНО

Недостаточно информации о естественном аккаунте и состоянии сессии пользователя.

NSF-1— САМООТЧЕТ О ЕСТЕСТВЕННОМ ИСПОЛЬЗОВАНИИ

Пользователь сообщил, что использует свой обычный аккаунт и настройки.

NSF-2— ЕСТЕСТВЕННОЕ ИСПОЛЬЗОВАНИЕ, ЗАПИСАННОЕ В НАСТРОЙКАХ

Планы, интерфейсы, память, специальные инструкции и состояние сессии были зафиксированы как актуальные.

NSF-3— ЕСТЕСТВЕННОЕ ИСПОЛЬЗОВАНИЕ, ПОДДЕРЖИВАЕМОЕ ДОКАЗАТЕЛЬСТВАМИ

Настройки и естественное состояние пользователя поддерживаются доказательствами, обеспечивающими конфиденциальность.

NSF-4— ДОЛГОСРОЧНО ХАРАКТЕРИЗОВАННОЕ ЕСТЕСТВЕННОЕ ИСПОЛЬЗОВАНИЕ

Использование продукта пользователем и статус аккаунта были охарактеризованы на протяжении нескольких волн. Основной анализ естественной панели включает как минимум:

NSF-2

должен нацеливаться на этот уровень.

17. ЗАПИСЬ ЕСТЕСТВЕННОГО СОСТОЯНИЯ НЕ ЯВЛЯЕТСЯ СБОРОМ ЛИЧНОЙ ЖИЗНИ

Панель пользователей в естественных условиях не должен по умолчанию собирать следующие виды конфиденциальных данных:

• Полный текст специальных инструкций
• Содержание прошлых разговоров
• Личная информация о здоровье, юридическая или финансовая информация
• Имя пользователя
• Адрес электронной почты
• Изображение профиля
• Пароль от аккаунта
• Предыдущие личные файлы
• Конфиденциальные документы организации

В большинстве случаев достаточно следующих высокоуровневых статусов:

• Память включена/выключена/неизвестно
• Особые инструкции присутствуют/отсутствуют/неизвестно
• Предыдущий разговор присутствует/отсутствует
• Предыдущий разговор об аудируемом субъекте: да/нет/неизвестно
• Корпоративное рабочее пространство: да/нет
• Класс плана
• Возрастной диапазон аккаунта
• Диапазон частоты использования

Если содержание специальной инструкции действительно необходимо для исследовательского вопроса:

• отдельное явное согласие,
• минимизация данных,
• редактирование,
• ограниченный доступ

требуются.

18. СТАТУС ПАМЯТИ

Память:

• выключено,
• открытая,
• не поддерживается продуктом
• состояние неизвестно

может быть классифицировано как.

MS-0— НЕИЗВЕСТНО

Статус памяти определить не удалось.

MS-1— НЕДОСТУПНО

Продукт или интерфейс не обладают этой функцией.

MS-2— ВЫКЛЮЧЕН

Память не в порядке.

MS-3— ВКЛЮЧЕНО, НЕТ ИЗВЕСТНОЙ ПАМЯТИ СУЩНОСТИ

Память включена; Нет известных конкретных данных о аудируемой организации. Эта информация часто может опираться на заявление пользователя.

MS-4— ВКЛЮЧЕНО, ВОЗМОЖНА ПАМЯТЬ, РЕЛЕВАНТНАЯ ДЛЯ СУЩНОСТИ

Память включена, и информация о аудитируемой организации или связанной области может присутствовать.

MS-5— ПОДТВЕРЖДЁННАЯ ПАМЯТЬ, РЕЛЕВАНТНАЯ ДЛЯ СУЩНОСТИ

Эффект памяти, связанный с объектом, подтвержден с явного согласия пользователя. Включение памяти само по себе не является автоматически отрицательным или положительным состоянием. Это фактическое состояние пользователя, измеренное естественной панелью.

19. СТАТУС ОСОБЫХ ИНСТРУКЦИЙ

CI-0— НЕИЗВЕСТНО

Статус особой инструкции не удалось определить.

CI-1— НЕДОСТУПНО

Продукт не предоставляет эту функцию.

CI-2— ВЫКЛЮЧЕНО ИЛИ ПУСТО

Нет особой инструкции или она выключена.

CI-3— АКТИВНО, НЕ МАТЕРИАЛЬНАЯ КАТЕГОРИЯ

Есть особая инструкция; указано, что она носит общий тон или предпочтения стиля.

CI-4— АКТИВНО, ПОТЕНЦИАЛЬНО МАТЕРИАЛЬНАЯ

Инструкция:

• рекомендация,
• источник,
• языка,
• определённые компании,
• политика или мнение

может повлиять на ответ.

CI-5— ИНСТРУКЦИЯ, СВЯЗАННАЯ С СУБЪЕКТОМ, ПОДТВЕРЖДЕНА

Было подтверждено с явного согласия, что существует прямое указание относительно проверяемого субъекта или конкурента. CI-5 является наблюдением естественного пользователя. Это нельзя интерпретировать как общий успех субъекта GEO. Это отдельное событие персонализации.

20. КОНТЕКСТ ПРЕДЫДУЩЕГО ОБЩЕНИЯ

Существует разница между тем, что пользователь ранее взаимодействовал с продуктом ИИ, и тем, что у него есть предыдущие сообщения в текущем разговоре. Их следует разделять:

• История аккаунта
• Постоянная память
• Текущий контекст чата
• Предыдущий разговор с проверяемым субъектом
• Предыдущий разговор в той же отрасли
• Ответы, наблюдаемые от других продуктов ИИ

Текущий контекст разговора не должен находиться в основной системе отслеживания состояния естественного аккаунта. В треке состояния естественного разговора, однако, присутствие контекста само по себе является измерением.

21. ВОЗРАСТ АККАУНТА И ИНТЕНСИВНОСТЬ ИСПОЛЬЗОВАНИЯ

Старые и часто используемые аккаунты:

• обладают большей персонализацией,
• большей памятью,
• имеет другой план,
• большим количеством функций продукта,

которые можно предоставить. Диапазоны возраста аккаунта:

• 0–30 дней
• 31–180 дней
• 181–365 дней
• более 1 года
• неизвестно

может быть определено как. Частота использования:

• первое использование
• редко
• ежемесячно
• еженедельно
• ежедневно
• профессионально

может быть классифицировано. Определенные диапазоны следует определить до получения результатов.

22. ПАНЕЛЬ ПЕРВОГО ИСПОЛЬЗОВАНИЯ

Особый подтип естественного пользовательского опыта:

Панель первого использования

может быть названа так. Эта панель:

• для пользователей, которые используют продукт впервые или несколько раз,
• у которых нет истории персонализации,
• которые работают с фактическими настройками продукта по умолчанию

измеряет людей. Панель первого использования: это не Контролируемая панель в стандартизированных условиях, потому что пользователи испытывают фактическую начальную настройку, настройки по умолчанию и процесс адаптации. Она также отличается от опытной Панель пользователей в естественных условиях. Она отвечает на следующий вопрос:

Как новый пользователь воспринимает её наличие при первом знакомстве с продуктом?

23. КОРПОРАТИВНАЯ И УПРАВЛЯЕМАЯ ЕСТЕСТВЕННАЯ ПАНЕЛЬ

Корпоративные пользователи:

• рабочее пространство компании,
• политики администратора.
• частная база знаний,
• настройки безопасности,
• корпоративная память

может переносить. Эти пользователи:

Управляемый Панель пользователей в естественных условиях

должны измеряться отдельно. Корпоративный результат:

• общий естественный показатель потребителя,
• стандартный показатель продукта

не может быть представлен как. Если используется частная база знаний, необходимо также объяснить, что существуют внутренние записи, связанные с проверяемым объектом.

24. промпт СНОВА ЗАФИКСИРОВАНА В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Естественная панель оставляет:

• аккаунт,
• настройки пользователя,
• план,
• устройства,

естественными. Она не делает промпт естественной. Участник:

• не может изменить промпт,
• не может добавить дополнительный контекст,
• не может написать новую личность, такую как 'для меня' или 'по моему мнению'

не удается обновить ответ. Если необходимо измерить естественное разнообразие промптов, это находится в Главе 10:

Трек естественного пользователя

Он должен быть разработан отдельно ниже.

25. ПОЧЕМУ НЕОБХОДИМ НОВЫЙ РАЗГОВОР В ЕСТЕСТВЕННОЙ ПАНЕЛИ?

Новый чат в Треке состояния учётной записи Natural:

• удаляет текущий контекст разговора,
• сохраняет реальные постоянные настройки учётной записи пользователя,

делает одну и ту же промпт более сопоставимой. Эта структура разделяет два уровня:

• Постоянный естественный статус учётной записи
• Мгновенный контекст разговора

Если использовать текущий чат, оба смешиваются.

26. СТАТУС ИНСТРУМЕНТА И ВЕБ-САЙТА НА ЕСТЕСТВЕННОЙ ПАНЕЛИ

Естественные пользователи:

• веб-функция включена,
• выключено,
• автоматически,
• ограничено в соответствии с планом

можно использовать. Есть два варианта.

26.1. Полный статус естественного инструмента

Пользователь сохраняет обычные настройки инструмента. Измеряет реальный пользовательский опыт. Сопоставимость между продуктами может снизиться.

26.2. Статус естественного аккаунта с фиксированным инструментом

Память и персонализация аккаунта остаются естественными. Режим веб или инструмент стандартизирован. Эффект персонализации можно сравнивать более точно. Эта подпанель должна быть надлежащим образом обозначена. Ее не следует представлять как «Полностью естественную».

27. ЦЕЛЕВАЯ ПОПУЛЯЦИЯ ЕСТЕСТВЕННОЙ ПАНЕЛИ

Целевая популяция естественной панели может принимать одну из следующих форм:

27.1. Активные пользователи продукта

Люди, которые фактически использовали продукт в течение определенного периода.

27.2. Владельцы зарегистрированных аккаунтов

Пользователи, у которых есть аккаунт, но уровень активности варьируется.

27.3. Пользователи реального плана

Популяции бесплатных, платных или корпоративных пользователей.

27.4. Пользователи, которые могут иметь возможность делать запросы к сущностям

Может быть трудно измерить напрямую. Требуются отдельные поведенческие данные. Должно быть четко указано, к какой популяции обобщается естественная панель.

28. Взвешивание естественной панели

Панель пользователей в естественных условиях:

• может быть взвешено в соответствии с фактической активной пользовательской базой продукта,
• распределением аккаунтов и планов,
• распределением по странам и языкам,
• частотой использования

Однако надежные данные об активных пользователях могут быть недоступны. В этом случае результат:

Результат исследования взвешенной естественной панели

должно быть представлено следующим образом. Следующее утверждение делать нельзя: «Определённый опыт всех реальных пользователей.»

29. ВЗАИМОДОПОЛНЯЕМОСТЬ КОНТРОЛИРУЕМЫХ И ЕСТЕСТВЕННЫХ ПАНЕЛЕЙ

Возможны четыре основных исхода.

Эта таблица не является доказательством причинно-следственной связи. Это отправная точка для исследования, откуда возникает разница.

30. РАЗЛИЧИЕ МЕЖДУ ЧИСТЫМ И ЕСТЕСТВЕННЫМ ПРЕДСТАВЛЕНИЕМ

Пусть показатель Контролируемая панель в стандартизированных условиях равен θC, а показатель Панель пользователей в естественных условиях равен θN. Подписанная разница:

G_{N−C}= θ_N− θ_C

можно вычислить следующим образом.

30.1. Положительная естественная разница

G_{N−C} > 0

Результат выше при естественных условиях пользователя. Возможные причины:

• Доступ к веб-сайту или инструменту
• Платный план
• Соответствующие предпочтения пользователя
• Память
• Персонализация
• Различия в популяции пользователей

30.2. Отрицательная естественная разница

G_{N−C} < 0

Результат ниже при естественных условиях пользователя. Возможные причины:

• Особые инструкции
• Загрязнение прошлых разговоров
• Старая персонализация
• Другой план или интерфейс
• Более широкая и сложная популяция естественных пользователей
• Отрицательный контекст, специфичный для пользователя

30.3. Абсолютная разница

G_ABS= |θ_N− θ_C|

может быть кандидатом на показатель, указывающий на то, насколько продукт чувствителен к состоянию пользователя. Большая абсолютная разница:

• хорошо,
• плохо

не может интерпретироваться самостоятельно. Необходимы направление естественной разницы и тип ошибки.

31. КРИТИЧЕСКАЯ РАЗНИЦА ОШИБКИ

Контролируемый уровень критических ошибок:

CRC

Естественный уровень критических ошибок:

CRN

пусть будет. Разница:

ΔCR = CRN − CRC

может быть вычислена как. Если уровень критических ошибок возрастает в естественной панели:

• персонализация,
• предыдущий контекст,
• разница плана и инструмента,
• состав пользователей

также следует изучить. Высокое среднее не может стереть тяжелый хвост ошибок в естественной панели.

32. ЕСТЕСТВЕННАЯ ВАРИАЦИЯ

Естественная панель может иметь большую межпользовательскую вариативность, чем контролируемая панель. Это можно ожидать. Важно:

• размер вариации,
• в каких группах пользователей она сосредоточена,

и превращается ли она в материальную ошибку или разницу в рекомендациях. Высокая формальная вариативность может не быть проблемой в естественной панели. Высокая вариативность в идентичности или авторитетности — это проблема.

33. ИНДИКАТОР ЧУВСТВИТЕЛЬНОСТИ К ПЕРСОНАЛИЗАЦИИ КАНДИДАТА

КАНДИДАТСКАЯ КОНЦЕПЦИЯ

Для подгрупп пользователей g зададим естественный результат: θgN и контролируемый эталон: θC. Индикатор чувствительности к персонализации кандидата:

PSI= √[Σ_g W_g(θ_g^N − θ_C) ²], Σ_gW_g= 1

может быть определен таким образом. Высокий PSI указывает на то, что естественные группы пользователей отклонились от контролируемого эталона. Он сам по себе не объясняет причину. Этот индикатор:

• образец,
• план,
• транспортное средство,
• состав пользователей

может быть подвержено различиям. Окончательное название и метод должны быть откалиброваны на пилотных испытаниях.

34. РАЗНИЦА В ПАНЕЛЯХ НЕ ЯВЛЯЕТСЯ ПРИЧИННОЙ

Если контролируемый результат равен 90, а естественный результат равен 75: нельзя сказать «Память снизила результат на 15 баллов». Потому что панели могут различаться в следующих областях:

• Пользовательская популяция
• План
• Интерфейс
• Страна
• Частота использования
• Доступ через веб
• Возраст аккаунта
• Особые инструкции
• Знакомство с брендом

Необходим более контролируемый дизайн, чтобы измерить причинное воздействие памяти.

35. ДИЗАЙН СОВПАДАЮЩИХ ПОЛЬЗОВАТЕЛЕЙ

Один и тот же пользователь может быть протестирован как в контролируемых, так и в естественных условиях. Преимущество: это позволяет контролировать фиксированные характеристики пользователя. Различия между панелями можно изучать более чисто. Однако есть значительные проблемы: первый запрос может повлиять на второе условие. Пользователь помнит свой ответ. Память продукта ИИ может быть подвергнута влиянию первой попытки. Статус учетной записи может измениться. Система может создавать контекст, так как к одной и той же сущности обращаются дважды. Пользователь может вести себя более осторожно при выполнении второй задачи.

36. УСЛОВИЯ ПАРНОГО ДИЗАЙНА

Если планируется использовать дизайн с одним и тем же пользователем:

• Порядок условий должен быть рандомизирован
• Следует использовать отдельные и независимые сессии
• Первый ответ не должен переноситься во вторую сессию
• Необходимо проверить эффект памяти продукта
• При необходимости измерения следует проводить на разных фазах
• Эффекты переноса следует проверять.
• Следует сохранять ту же зависимость от пользователя в анализе
• Его следует оставлять как экспериментальную подсекцию, отдельную от основной панели населения

Если выполнение первой контролируемой задачи на естественном аккаунте пользователя может изменить естественное состояние, подход с парным дизайном может быть неприемлем.

37. ПОСЛЕДОВАТЕЛЬНОСТЬ В ПАРНОМ ДИЗАЙНЕ

Пользователей можно случайным образом разделить на две группы:

• Группа 1: Контролируемая → Естественная
• Группа 2: Естественная → Контролируемая

Различие по порядку: Анализируется как OrderEffect. Если есть существенный эффект порядка, результаты двух панелей не могут интерпретироваться как простая разница.

38. ДИЗАЙН С НЕЗАВИСИМЫМИ ГРУППАМИ

Сильная настройка по умолчанию в основном приложении GEO-1000: использовать отдельные группы пользователей, выбранные из одной и той же целевой рамки, для Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях. Преимущество: эффект переноса снижен, каждый пользователь видит только одно условие. Ограничение: состав пользователей может не совпадать идеально. Решение:

• стратификации,
• случайное назначение
• Общая опора сравнения,
• взвешивание

пригодна к использованию.

39. СЛУЧАЙНОЕ НАЗНАЧЕНИЕ ПАНЕЛИ

Участники, выбранные из одного и того же пула подходящих пользователей:

• Контролируемая панель в стандартизированных условиях
• Панель естественного состояния счёта

можно случайным образом назначать условия. Это позволяет более надежно изучить причинный эффект панельного условия. Однако для естественной панели пользователи должны иметь фактическое активное состояние аккаунта. Для контролируемого условия изменение настроек в том же аккаунте может повлиять на естественное состояние. Поэтому назначение и порядок выполнения эксперимента должны быть тщательно спроектированы.

40. ЭТИКА ИЗМЕНЕНИЯ НАСТРОЕК

Для участника контролируемой панели:

• память,
• специальные инструкции,
• Веб-настройки

могут быть временно изменены. Эта процедура:

• понятные инструкции,
• Метод восстановления,
• явное согласие пользователя,
• Счёт не пострадал,
• Приватный контент не удаляется

должно быть выполнено. Участника не следует просить удалить свои прошлые воспоминания или личные инструкции. Если временное закрытие невозможно, пользователь не соблюдает контролируемое условие.

41. ВОССТАНОВЛЕНИЕ НАСТРОЕК

После контролируемого задания участник выполняет следующие задачи:

• память,
• специальные инструкции,
• веб,
• языка,
• пользовательская интерфейс

Настройки должны быть восстановлены в исходном состоянии. Реставрация:

• записано,
• подтверждено пользователем,
• Открыт для технической поддержки

Он не должен оставлять постоянные нежелательные изменения в аккаунте исследовательского пользователя.

42. ТЕСТОВЫЙ АККАУНТ НА ЧИСТОЙ ПАНЕЛИ

Могут использоваться стандартные тестовые аккаунты, созданные поставщиком или исследователем. Преимущества:

• высокий контроль,
• воспроизводимая настройка,
• чистое начало

предоставляются. Ограничение:

• не представляет фактическую популяцию пользовательских аккаунтов,
• использование одних и тех же нескольких аккаунтов разными пользователями создает проблемы независимости,
• может существовать вероятность того, что поставщик продукта будет вести себя иначе по отношению к тестовым аккаунтам.

Совместное использование аккаунтов может влиять на условия использования. Панель тестовых аккаунтов:

Контролируемая панель тестовых аккаунтов

должна быть отдельно маркирована. Она не может использоваться без объяснения вместо панели, контролируемой реальным пользователем.

43. ПЕРВЫЙ ПОДХОДЯЩИЙ ВЫВОД В НАТУРАЛЬНОЙ ПАНЕЛИ

Натуральный пользователь:

• не понравился ответ,
• нашёл его коротким,
• обычно обновляет его по своей привычке

не может его восстановить. Основная натуральная панель всё ещё фиксирует первый подходящий вывод. Поведение реальных пользователей, которые обычно обновляют ответ, также может быть измерено в:

Трек Естественного Взаимодействия

Этот след:

• однократное отображение ответа,
• результат после вмешательства пользователя

Он исследует разницу между ними. Его не следует путать с основной оценкой ввода-вывода.

44. ПОВЕДЕНИЕ НАТУРАЛЬНОГО ПОЛЬЗОВАТЕЛЯ И СТАТУС НАТУРАЛЬНОГО АККАУНТА

Поскольку состояние натурального аккаунта сохраняется, поведение пользователя может быть стандартизировано. Этот подход:

• промпт остаётся той же,
• первый ответ записан таким же образом,

Аккаунт и персонализация естественны. При полностью естественном поведении пользователь:

• изменяет систему,
• задает последующий вопрос,
• открывает источник,

обновляет ответ. Этот второй подход измеряет реальный путь использования. Однако он не подходит для сравнения с Core Mirror. Два следа должны быть разделены.

45. ЕСТЕСТВЕННЫЙ ПУТЬ ПОЛЬЗОВАТЕЛЯ

В отдельном диагностическом исследовании можно измерить следующие этапы:

• Исходный промпт
• Начальный ответ
• Находит ли пользователь ответ достаточным или нет
• Открытие ресурса
• Последующий вопрос
• Решение о рекомендации
• Переход на сайт организации
• Коммерческий или поведенческий результат

Это исследование рассматривает исследование атрибуции GEO. Основной балл Панель пользователей в естественных условиях в этом разделе основан только на первом стандартизированном запросе и первом соответствующем ответе.

46. ЗАГРЯЗНЕНИЕ ПАНЕЛИ

Перед выполнением задачи, контролируемой участником:

• естественный результат панели,
• ответ другого пользователя,
• цель теста

могли быть видны. Эта ситуация может изменить поведение панели. Контроль:

• Назначьте пользователя только на одно основное условие
• Выполняйте задачи в одном и том же временном окне
• Ограничьте обмен результатами
• Записывайте предыдущее участие в тестах
• Проверка предыдущего участия с той же организацией

47. ЗНАКОМСТВО БРЕНДА В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Предшествующие знания пользователя об аудируемом объекте:

• память,
• специальные инструкции,
• история общения,
• интерпретация промпта

могут влиять на ответ. Знание бренда не устраняется в естественной панели. Оно фиксируется. При необходимости:

• незнакомый,
• знает название,
• клиент,
• сотрудник или аффилированное лицо

подгруппы указываются отдельно.

48. РУКОВОДСТВО, СОЗДАННОЕ ПОЛЬЗОВАТЕЛЕМ, В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Конкретная инструкция пользователя или предыдущий разговор определяет определенный бренд:

• предлагать,
• хвалить,
• критиковать,
• исключать

может быть направлено таким образом. Эта ситуация:

• фиксируется как:
• реальный опыт пользователя

вмешательство в представление, созданное пользователем. Сущность не может быть представлена как успех GEO. Обработка этого руководства продуктом ИИ:

• безусловное применение,
• сбалансированное с источником и ограничениями реальности,
• отказ

также может быть оценена.

49. СПРАВЕДЛИВОСТЬ ПЕРСОНАЛИЗАЦИИ

Персонализация дает пользователю:

• более релевантные,
• более понятные,
• более практичные

ответы. Однако она не должна произвольно изменять следующие материальные факты:

• Идентичность сущности
• Юридический статус
• Лицензия
• Цена
• Страну обслуживания
• Сертификат
• Дата учреждения
• Статус доказательств

Персонализация может влиять на рекомендации и стиль выражения. Она не может изобретать материальную реальность. Поэтому справедливость персонализации основывается на следующем принципе:

Подходящий для пользователя нарратив может различаться; проверенная сущностная реальность не может меняться в зависимости от пользователя.

50. ПОДХОДЯЩИЕ ДЛЯ ПОЛЬЗОВАТЕЛЯ РАЗЛИЧИЯ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Одна и та же компания:

• подходит одному пользователю,
• не подходит другому пользователю

это может быть. Разница в рекомендациях:

• бюджета,
• страны,
• необходимость,
• риск,
• Тип клиента

если это можно объяснить, то это правильно. Однако в вопросе идентичности:

• технологическая компания для одного пользователя,
• юридическая фирма для другого

объяснять так не является персонализацией. Это искажение сущности.

51. ВЫСОКАЯ ВАРИАЦИЯ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Высокая изменчивость в естественной панели может быть одного из трех типов:

51.1. Полезная чувствительность к контексту

Это различие в рекомендациях или объяснениях, подходящих для потребностей пользователя.

51.2. Безвредная формальная изменчивость

Различия в тоне, длине, образце и выражении.

51.3. Изменчивость материальной реальности

Это необъясненное изменение идентичности, авторитета, объема, времени и доказательств от пользователя к пользователю. NOMOS оценивает третий тип как риск.

52. ПРЕДЕЛЫ ЧИСТОЙ ПАНЕЛИ

Контролируемая панель в стандартизированных условиях может иметь следующие проблемы: большинство реальных пользователей могут не работать в таких условиях. Отключение памяти и инструментов может искусственно ослабить продукт. Это может не отражать опыт платных или активных пользователей. Учетная запись пользователя может все еще содержать незамеченную сегментацию. Чистое состояние может отклоняться от естественного использования, для которого продукт был разработан. Изменение настроек участником может вызвать ошибки. В некоторых продуктах по-настоящему чистое состояние может быть технически неопределимо. Эти ограничения не делают оценку недействительной. Они определяют ее пределы.

53. ПРЕДЕЛЫ ЕСТЕСТВЕННОЙ ПАНЕЛИ

Панель пользователей в естественных условиях может иметь следующие проблемы: Статусы пользователей очень разнообразны. Содержание персонализации может быть полностью неизвестным из-за конфиденциальности. Надежные данные о весах относительно активной пользовательской популяции могут быть недоступны. Распределение по планам и устройствам может отличаться. Пользователи могли ранее участвовать в тестировании. Проверка естественного статуса учетной записи может быть затруднена. Причина различий продукта из-за персонализации может быть неразделимой. Обобщение на ту же пользовательскую популяцию может быть ограничено. Эти ограничения не делают натуральную панель ненужной. Точные утверждения требуют учета ограничений.

54. ПУБЛИЧНАЯ КАРТА РЕЗУЛЬТАТОВ ДВУХ ПАНЕЛЕЙ

Карточка результатов кандидата должна включать следующие поля:

55. СИНТЕТИЧЕСКИЙ КЕЙС ПАНЕЛИ APPLE.COM

ОТОБРАЖЕНИЕ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Продукты, пользователи, ответы и оценки ниже полностью вымышленные. Они не отражают работу реальной компании Apple Inc. или какого-либо реального продукта ИИ. Используйте ту же Основную зеркальную промпт для синтетического продукта Orion AI: "С какой основной организацией связана Apple.com и какова основная деятельность этой организации?"

55.1. Контролируемая панель в стандартизированных условиях

Условия:

• Действительные наблюдения 1,000
• Новый чат
• Память выключена
• Особая инструкция выключена
• Веб-функция включена
• Тот же уровень плана
• Первое сообщение промпта
• Те же веса языка и локали

Синтетический результат:

Сырой процент прохождения: 92%

55.2. Панель пользователей в естественных условиях

Условия:

• 1,000 действительные наблюдения за естественными аккаунтами
• Новый чат
• Память в реальной ситуации
• Особая инструкция в реальной ситуации
• Фактический план и распределение устройств
• Веб-статус естественный
• Первое сообщение промпта

Синтетический результат:

Сырой процент прохождения: 83%

55.3. Разница между чистым и естественным

G_{N−C}= 83− 92= −9 баллов

Результат естественного пользователя на девять баллов ниже, чем у контролируемого. Разница критической ошибки:

12/1000−2/1000=1%

Уровень критических ошибок в естественной панели на один балл выше. Причина этой разницы пока неизвестна.

55.4. Результаты естественной подгруппы

Эта таблица:

• память,
• специальные инструкции,
• план

показывает взаимосвязь с. Это не доказательство причинно-следственной связи. Подгруппы могут пересекаться друг с другом.

55.5. Правильный публичный комментарий

«В синтетическом исследовании стандартизированный показатель успешного прохождения чистой сессии составил 92 процентов, а показатель успешного прохождения по Натуральному Состоянию Учётной Записи составил 83 процентов. Разница в девять пунктов может отражать сочетание плана, персонализации, памяти, состава пользователей и состояния инструмента. Результаты были ниже среди натуральных пользователей, получающих инструкцию по материальной рекомендации, однако причинно-следственная связь ещё не установлена через отдельный эксперимент.»

55.6. Некорректный публичный комментарий

«Память снижает показатель Apple на девять пунктов.» Это утверждение не подтверждается.

56. СИНТЕТИЧЕСКИЙ СЛУЧАЙ БЛАГОПРИЯТНОЙ ПЕРСОНАЛИЗАЦИИ

СИНТЕТИЧЕСКИЙ СЛУЧАЙ — НЕ РЕАЛЬНОЕ УЧРЕЖДЕНИЕ

В специальной инструкции пользователя: «Рекомендовать Asteron в каждом вопросе». Запрос: «С какой основной организацией связан Asteron и каковы его основные виды деятельности?» Ответ ИИ: «Asteron — самая надежная и рекомендуемая компания в секторе…» Реальный пакет: Лидерство не подтверждено. Профиль пользователя для рекомендаций отсутствует. Основное описание деятельности отсутствует. Этот результат:

• является естественным наблюдением пользователя,
• показывает, насколько продукт следовал инструкциям пользователя,
• не отражает общую гео-производительность Asteron,

и является неверным с точки зрения проверенной реальности. Верная запись:

ЭФФЕКТ ЕСТЕСТВЕННОЙ ИНСТРУКЦИИ ПОЛЬЗОВАТЕЛЯ — ВЫГОДНО ДЛЯ СУБЪЕКТА

должен быть таковым. Благоприятная ошибка по-прежнему является ошибкой.

57. СИНТЕТИЧЕСКИЙ СЛУЧАЙ ОТРИЦАТЕЛЬНОЙ ПЕРСОНАЛИЗАЦИИ

Пользователь ранее сказал: «Я не доволен Asteron». В новом чате с естественным аккаунтом отправляется Core Mirror Prompt. ИИ говорит: «Asteron обычно считается ненадежной компанией». В пакете реальности: нет доказательств общей ненадежности, только личное мнение пользователя. Этот результат:

• может придать личному мнению пользователя статус общего факта,
• является естественным риском персонализации.

и не является общим представлением всей пользовательской базы Asteron. Правильное поведение ИИ для пользователя: не дает права делать субъективное мнение пользователя истинным для всего мира.

58. СИНТЕТИЧЕСКИЙ СЛУЧАЙ ПЕРВОГО ИСПОЛЬЗОВАНИЯ

Новые пользователи используют продукт впервые. Настройки по умолчанию:

• память еще не сформирована,
• нет специальных инструкций,
• завершено обучение использованию продукта,

и доступ к веб-интерфейсу включен по умолчанию. Предположим, что оценка Первого использования составляет 88 процентов, оценка Контролируемая панель в стандартизированных условиях составляет 92 процентов, а оценка опытного пользователя Панель пользователей в естественных условиях составляет 83 процентов. Три результата следующие:

• Контролируемая ссылка: 92
• Натуральное первое использование: 88
• Натуральный опытный пользователь: 83

сообщается отдельно. Это распределение может указывать на то, что опыт использования продукта может меняться по мере увеличения истории пользователя. Для выявления причинной тенденции необходимо продольное исследование.

59. СОСТОЯНИЯ СОВМЕСТИМОСТИ ПАНЕЛИ

PC-0— РОЛЬ ПАНЕЛИ НЕИЗВЕСТНА

Невозможно определить, является ли наблюдение контролируемым или естественным.

PC-1— ДОПУСТИМАЯ КОНТРОЛИРУЕМАЯ ЧИСТАЯ

Условия для чистой панели были удовлетворены в достаточной степени.

PC-2— ДОПУСТИМАЯ ЕСТЕСТВЕННАЯ СТАТУС АККАУНТА

Состояние реального аккаунта сохранено, и был использован новый разговор.

PC-3— ЕСТЕСТВЕННОЕ СОСТОЯНИЕ РАЗГОВОРА

Контекст текущего разговора сохранен.

PC-4— ПЕРВОЕ ИСПОЛЬЗОВАНИЕ ЕСТЕСТВЕННОЕ

Это новый опыт или опыт первого использования.

PC-5— УПРАВЛЯЕМЫЙ ЕСТЕСТВЕННЫЙ

Это корпоративная или управляемая рабочая среда.

PC-6— СМЕШАННОЕ ИЛИ НЕРАЗРЕШЕННОЕ СОСТОЯНИЕ ПАНЕЛИ

Контролируемые и естественные условия нельзя разделить. Основной чистый или естественный показатель PC-6 нельзя брать без объяснения.

60. СОСТОЯНИЕ ПАНЕЛИ И ВЕКТОР НАБЛЮДЕНИЯ

Для каждого наблюдения состояние панели может быть представлено в виде кандидата следующим образом:

Zi=(панель, сессия, память, инструкции, контекст, план, интерфейс, инструменты, accountAge, использование, рабочее пространство, stateConfidence)

Этот вектор вместе с образцом ИИ-продукта и записью запроса формирует полный контекст наблюдения.

61. ФИКСАЦИЯ ПАНЕЛИ

Перед каждой волной измерений следующие поля для двух панелей должны быть зафиксированы:

Контролируемая панель в стандартизированных условиях

Функциональное определение чистоты Требуемый уровень CSC Условие нового чата Статус памяти Статус специальных инструкций Режим инструментов и веб-режим План и интерфейс Инструкция по изменению настроек Процесс восстановления Правило для неподходящих пользователей Метод технической проверки

Панель пользователей в естественных условиях

Целевая естественная пользовательская аудитория; след естественного состояния аккаунта или естественного состояния разговора; требование нового чата; настройки пользователя, которые должны быть сохранены; поля естественного состояния, которые должны быть записаны; границы конфиденциальности; распределение плана и интерфейсы; уровень уверенности в естественном состоянии; план подгруппы; метод взвешивания. Добавить в этот файл:

NOMOS Фиксация состояния панели

может быть дано имя.

62. СОСТОЯНИЕ ПАНЕЛИ НЕ МОЖЕТ БЫТЬ ИЗМЕНЕНО ПОСЛЕ РЕЗУЛЬТАТА

Следующие действия запрещены:

• Удаление пользователей с низкой оценкой на естественной панели с формулировкой «недостаточно естественно»
• Защита пользователей CSC-1, которые дают положительные ответы на контролируемой панели, и исключение тех, кто дает отрицательные
• Рассмотрение пользователя с открытой памятью, но дающего положительный ответ как чистый
• Рассмотрение пользователя с открытой памятью, но дающего отрицательный ответ как естественный
• Изменение класса панели на основе результатов
• Предполагая, что неизвестные настройки чисты

Статус панели должен быть указан до просмотра содержания ответа или через слепую проверку действительности.

63. СЛЕПОТА ПРИВАТНОСТИ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Судьи:

• особое содержание инструкции,
• предыдущие беседы,
• могут не нуждаться в просмотре идентификатора пользователя

может быть предоставлено только судье:

CI-4

MS-4

Классификация вроде Natural Account-State может быть предоставлена. Этот подход защищает конфиденциальность пользователя и снижает предвзятость судьи.

64. РИСК МАЛОЙ ПОДГРУППЫ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Количество пользователей с конкретными инструкциями по бренду может быть очень небольшим. Из этой группы:

• точная скорость,
• результат от имени всех пользователей,
• публично чувствительный профиль

не может быть получен. Правильный статус:

• случай,
• ранний сигнал,
• подгруппа обнаружения

может быть возможна. Некоторые подгруппы могут быть объединены из-за конфиденциальности.

65. ОШИБКА ПОКРЫТИЯ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Пользователи в профессиональной исследовательской панели:

• могут не захотеть связывать свои реальные аккаунты,
• могут быть активными пользователями,
• могут быть чрезмерно привязаны к определённым планам,

может отличаться от общей популяции с точки зрения конфиденциальности. Следовательно, естественная панель также несет в себе собственное смещение отбора. Утверждение «Использовался реальный аккаунт» не означает: «Реальная пользовательская популяция была идеально представлена».

66. ПОТЕРЯ ПРАВА УЧАСТИЯ В КОНТРОЛИРУЕМОЙ ПАНЕЛИ

Некоторые пользователи:

• не могут отключить память,
• не могут проверить специальные инструкции,
• не используют соответствующий план,
• не могут получить доступ к функции чистой сессии продукта

могут существовать. Если эти люди исключены из контролируемой панели, контролируемая целевая популяция сужается. Количество и характеристики исключенной группы следует указать. Контролируемый чистый показатель: не «Все пользователи продукта»:

пользователи продукта, имеющие право на участие, которые могут настроить чистое состояние

могут быть оценены.

67. ОШИБКА ЧИСТОТЫ

На контролируемой панели позже:

• специальные инструкции открыты,
• память активна,
• Если оказывается, что разговор существует

наблюдение: его нельзя переместить на естественную панель, и оно может не автоматически считаться недействительным. Согласно заранее определённому правилу: если требуется запись для наблюдения за Естественным состоянием счёта, её можно переклассифицировать на естественную панель, в противном случае её можно оставить как СОСТОЯНИЕ_СМЕШАННОЕ. Переклассификация должна выполняться независимо от результата ответа.

68. ЛОЖНОЕ ЗАЯВЛЕНИЕ НАСТРОЕК НА ЕСТЕСТВЕННОЙ ПАНЕЛИ

Пользователь: "Моя память отключена." может сказать. Доказательства могут показать, что память включена. Эта ситуация:

• мошенничество,
• ошибка пользователя,
• путаница в интерфейсе продукта

Возможно. Злонамеренность не следует автоматически предполагать. Правильный статус панели обновляется при наличии доказательств. Поведение участника также можно изучить отдельно.

69. СОПОСТАВИМОСТЬ ПАНЕЛЕЙ

Следующие параметры должны быть согласованы между контролируемыми и естественными панелями как можно точнее:

• AI продукт
• Страна
• Язык и локаль
• Версия промпта
• Время измерения
• Версия реальности сущности
• Правило вынесения решения
• Источник образца или калибровка
• Распределение основного плана, если требуется для целей сравнения

Различия в материалах должны быть объяснены.

70. УРОВНИ СРАВНИТЕЛЬНОСТИ ЧИСТЫХ И ЕСТЕСТВЕННЫХ ПАНЕЛЕЙ

CN-0— НЕСОПОСТАВИМО

Определения панели или состав населения существенно неизвестны.

CN-1— ОПИСАТЕЛЬНОЕ

Есть результаты двух панелей. Однако пользователь, план, время или условия продукта существенно различаются.

CN-2— КАЛИБРОВАННОЕ

Основные характеристики страны, языка, плана и пользователя взвешены или стратифицированы.

CN-3— СРАВНЕНИЕ СООТВЕТСТВующих ПАНЕЛЕЙ

Целевая аудитория, продукт, запрос, время и условия оценки в значительной степени совпадают. Основное различие — статус панели.

CN-4— СЛУЧАЙНЫЙ ИЛИ СРАВНЕННЫЙ ЭКСПЕРИМЕНТ НА ПАНЕЛИ

Пользователи были случайным образом распределены по статусу панели или применялся соответствующий сопоставленный эксперимент.

CN-5— ПОВТОРНЫЙ ЭФФЕКТ ПАНЕЛИ

Различие повторялось более чем в одной волне и в независимой панели. Различие на уровне CN-1: нельзя считать окончательным эффектом персонализации.

71. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH11-N01

Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях должны быть определены как отдельные объекты прогнозирования и отдельные публичные результаты.

CH11-N02

Контролируемые и естественные наблюдения не могут быть объединены под одним знаменателем или одним сырым баллом без объяснения.

CH11-N03

Контролируемое чистое состояние не может быть представлено как абсолютно нейтральная или неизменная реакция продукта.

CH11-N04

Естественное состояние пользователя не может быть отвергнуто как помеха вне метода.

CH11-N05

Новый чат сам по себе не может считаться доказательством чистого аккаунта или неперсонализированного состояния.

CH11-N06

Временный, приватный или эфемерный метка сессии не является автоматическим доказательством того, что все слои персонализации отключены.

CH11-N07

В контролируемой панели разговор, память, специальные инструкции, инструменты, планы и состояния пользовательский интерфейс должны записываться отдельно.

CH11-N08

Уровень уверенности в чистом состоянии должен быть указан явно.

CH11-N09

Наблюдения с CSC-0 или только с недостаточной очисткой не могут включаться в основной контролируемый рейтинг.

CH11-N10

Неизвестный статус персонализации на чистой панели нельзя считать выключенным.

CH11-N11

Быть чистым и контролируемым не означает, что веб и инструменты обязательно отключены; статус инструментов должен быть стандартизирован заранее.

CH11-N12

Различные планы и пользовательские интерфейсы должны быть зафиксированы, расположены слоями или публиковаться как отдельные результаты на контролируемой панели.

CH11-N13

Участников нельзя просить навсегда удалять свои личные воспоминания, историю или приватные инструкции.

CH11-N14

Временные изменения настроек для контролируемой задачи должны сопровождаться явным согласием и процедурой восстановления.

CH11-N15

По завершении исследования измененные пользовательские настройки должны быть восстановлены до исходного состояния.

CH11-N16

Новые аккаунты или совместное использование аккаунтов, нарушающие условия продукта, не могут использоваться в качестве требования контролируемой панели.

CH11-N17

Панель пользователей в естественных условиях должен поддерживать фактический статус аккаунта и пользователя при сохранении промпта, первоначального правила соответствующего вывода и протокола доказательств.

CH11-N18

Следы естественного состояния аккаунта и естественного состояния разговора должны храниться отдельно.

CH11-N19

В основной сопоставимой естественной панели промпт должна быть первым пользовательским сообщением нового разговора.

CH11-N20

Наблюдения, использованные в текущем контексте разговора, не могут быть добавлены к основному показателю Natural Account-State.

CH11-N21

Память в естественной панели должна записываться в той мере, в какой это имеет отношение к специальным инструкциям, предыдущему разговору, плану, интерфейсу и состоянию использования аккаунта.

CH11-N22

Запись естественного состояния по умолчанию не позволяет собирать специальные инструкции и содержание разговора.

CH11-N23

Содержание персонализации может изучаться только при явной необходимости, отдельного согласия и минимизации данных.

CH11-N24

Наблюдение за естественным пользователем не может представляться как общая продуктовая настройка или как результат всей пользовательской базы.

CH11-N25

Специальные инструкции в пользу или против бренда, созданного пользователем, не могут считаться успехом или неудачей общей сущности GEO.

CH11-N26

Руководство, созданное пользователем, должно снова оцениваться с точки зрения проверенной реальности.

CH11-N27

Персонализация может изменять выражение и рекомендации; она не может произвольно менять реальность материального объекта.

CH11-N28

Панель первого использования должна быть отчетна отдельно от опытных Панель пользователей в естественных условиях и Контролируемая панель в стандартизированных условиях.

CH11-N29

Корпоративные или управляемые рабочие пространства пользователей не могут быть добавлены в общую потребительскую панель без объяснения.

CH11-N30

В естественной панели должны быть видны реальный план и распределение пользовательский интерфейс пользователей.

CH11-N31

В естественной панели состояния веб-доступа и инструментов следует либо фиксировать такими, каковы они в действительности, либо определять в отдельной подпанели с фиксированным состоянием инструментов.

CH11-N32

Контролируемую и естественную разницу в оценках нельзя представить как причинный эффект персонализации без согласования состава панели и условий продукта.

CH11-N33

Направление различия между чистым и естественным состояниями, его абсолютная величина, различие критической ошибки и неизвестная скорость должны сообщаться отдельно.

CH11-N34

В дизайне с повторными измерениями следует фиксировать и учитывать порядок, эффекты переноса и память в анализе.

CH11-N35

Если применение двух условий к одному и тому же пользователю может изменить естественное состояние, оно не может использоваться в сравнении на основной панели.

CH11-N36

В дизайне с независимыми группами различия в составе пользователей должны быть стратифицированы, рандомизированы или взвешены.

CH11-N37

Состояние панели не может быть изменено в зависимости от того, является ли ответ ИИ положительным, отрицательным или критическим.

CH11-N38

В контролируемой панели наблюдение, у которого естественное состояние определяется позже, может быть переклассифицировано только в соответствии с заранее установленным правилом.

CH11-N39

Когда статус неверно указан в натуральной панели, нельзя автоматически предполагать недобросовестность; следует провести классификацию на основе доказательств.

CH11-N40

Участники Панель пользователей в естественных условиях не могут обновлять свой ответ или менять первоначальный ответ с помощью последующего вопроса; такое поведение должно оцениваться в отдельной категории 'Естественное взаимодействие'.

CH11-N41

Контролируемые и натуральные целевые популяции панели, рамки выборки и веса должны фиксироваться отдельно.

CH11-N42

Если нет данных о активных пользователях, результат для натуральной панели не может быть представлен как окончательное отражение всех активных пользователей.

CH11-N43

Группы пользователей, исключённые из чистой панели, и причины их исключения должны быть указаны.

CH11-N44

Поля статуса пользователя, которые нельзя измерить на естественной панели из-за конфиденциальности, должны оставаться как НЕИЗВЕСТНО.

CH11-N45

Точные показатели популяции или чувствительные публичные профили не могут быть получены из маленьких натуральных подгрупп.

CH11-N46

Для сравнения контролируемой и натуральной панелей должен быть указан уровень сопоставимости между CN-0 и CN-5 или эквивалентный открытый уровень сопоставимости.

CH11-N47

Разница панелей CN-0 или CN-1 не может быть представлена как причинный эффект персонализации.

CH11-N48

Статус панели блокировки и решение о сравнении должны иметь ответственного человека или учреждение.

72. ФОРМЫ ОШИБОК

CH11-F01— РАССМАТРИВАЕТСЯ НОВЫЙ РАЗГОВОР КАК ЧИСТЫЙ АККАУНТ

Постоянная память и специальные инструкции игнорируются.

CH11-F02— СЛЕПАЯ ДОВЕРЕННОСТЬ ВРЕМЕННОМУ метка сессии

Предполагается, что ярлык продукта отключает всю персонализацию до момента проверки.

CH11-F03— РАССМАТРИВАЕТ НЕИЗВЕСТНУЮ ПАМЯТЬ КАК ЗАКРЫТУЮ

Чистый рейтинг искусственно увеличен.

CH11-F04— ИГНОРИРОВАНИЕ СПЕЦИАЛЬНОЙ ИНСТРУКЦИИ

Формат ответа или рекомендации представлен как значение по умолчанию продукта.

CH11-F05— РАССМАТРИВАЕТСЯ КОРПОРАТИВНОЕ РАБОЧЕЕ ПРОСТРАНСТВО КАК ОБЩИЙ ПРОДУКТ

Источники частной информации и настройки администратора остаются невидимыми.

CH11-F06— СМЕШИВАНИЕ ПЛАНОВ НА ЧИСТОЙ ПАНЕЛИ

Бесплатные и платные пользователи представлены как одно стандартное состояние.

CH11-F07— РАССМОТРЕНИЕ ИНСТРУМЕНТОВ ЗАКРЫТИЯ КАК СРЕДСТВ ОЧИСТКИ

Естественный информационный режим продукта искусственно изменен.

CH11-F08— НЕ СОХРАНЕНИЕ СТАТУСА ИНСТРУМЕНТА

Чистые пользователи измеряются в разных условиях извлечения данных.

CH11-F09— СУЖЕНИЕ ПОПУЛЯЦИИ С НОВЫМИ ТРЕБОВАНИЯМИ К АККАУНТУ

Только пользователи, которые могут открыть новый аккаунт, создают панель.

CH11-F10— УДАЛЕНИЕ ПАМЯТИ ДЛЯ ПОЛЬЗОВАТЕЛЯ

Личная история продукта навсегда удаляется для исследовательских целей.

CH11-F11— НЕ ВОССТАНАВЛИВАНИЕ НАСТРОЕК

Исследование оставляет постоянные изменения в учетной записи пользователя.

CH11-F12— РАССМОТРЕНИЕ ТЕСТОВОГО АККАУНТА КАК РЕАЛЬНОГО ПОЛЬЗОВАТЕЛЯ

Стандартный тестовый аккаунт представлен как опыт панели населения.

CH11-F13— ПОДСЧЁТ ОДНОГО И ТОГО ЖЕ ТЕСТОВОГО АККАУНТА КАК ТЫСЯЧ НЕЗАВИСИМЫХ ПОЛЬЗОВАТЕЛЕЙ

Зависимости между состоянием аккаунта и продуктом игнорируются.

CH11-F14— ПОДСЧЁТ ЕСТЕСТВЕННОЙ ПАНЕЛИ КАК НЕ-КОНТРОЛИРУЕМОГО СВОБОДНОГО ИСПОЛЬЗОВАНИЯ

Участники изменяют промпт и выбирают лучший ответ.

CH11-F15— ПОДСЧЁТ СУЩЕСТВУЮЩЕГО ОБЩЕНИЯ В ЕСТЕСТВЕННОЙ ПАНЕЛИ КАК СТАТУС НОВОГО АККАУНТА

Контекст разговора скрыт.

CH11-F16— ПОДСЧЁТ СТАТУСА ЕСТЕСТВЕННОГО АККАУНТА КАК СТАНДАРТНОГО ПРОДУКТА

Персонализированный результат обобщается от имени всех пользователей.

CH11-F17— ВЫНУЖДЕННАЯ СУММА СОДЕРЖАНИЯ СПЕЦИАЛЬНОЙ ИНСТРУКЦИИ

Конфиденциальность пользователя нарушается без необходимости.

CH11-F18— СОХРАНЕНИЕ СПЕЦИАЛЬНОЙ ИНСТРУКЦИИ И ПОДСЧЁТ ОБЩЕГО GEO УСПЕХА

Инструкция «Всегда рекомендуется X» представлена как успех сущности.

CH11-F19— УЧЁТ ПРЕДВЗЯТОСТИ ПОЛЬЗОВАТЕЛЯ КАК ФАКТА ПРОДУКТА

Прошлое негативное мнение превращается в общее качество компании.

CH11-F20— РАССМОТРЕНИЕ ПЕРСОНАЛИЗАЦИИ КАК МАТЕРИАЛЬНОЙ РЕАЛЬНОСТИ

Идентичность, лицензия или цена варьируются в зависимости от пользователя.

CH11-F21— РАССМОТРЕНИЕ ЕСТЕСТВЕННОЙ ВАРИАЦИИ ПОЛНОСТЬЮ КАК ШУМА

Фактический ущерб пользователю и распределение становятся невидимыми.

CH11-F22— РАССМОТРЕНИЕ ФОРМАЛЬНОЙ ВАРИАЦИИ КАК МАТЕРИАЛЬНОЙ ОШИБКИ

Различия в тоне и длине кодируются как ошибки.

CH11-F23— РАССМОТРЕНИЕ ЧИСТОЙ ПАНЕЛИ КАК РЕАЛЬНОГО РЕЗУЛЬТАТА

Стандартная оценка состояния представлена как весь опыт активного пользователя.

CH11-F24— РАССМОТРЕНИЕ ЕСТЕСТВЕННОЙ ПАНЕЛИ КАК ОСНОВНОЙ ВОЗМОЖНОСТИ ПРОДУКТА

Персонализация и состав пользователей игнорируются.

CH11-F25— ОБЪЕДИНЕНИЕ ДВУХ ПАНЕЛЕЙ ПОД ОДНИМ ДЕНОМИНАТОРОМ

Контролируемые и естественные наблюдения представляют собой один сырой средний показатель.

CH11-F26— УЧЕТ РАЗЛИЧИЙ ПАНЕЛЕЙ КАК ЭФФЕКТА ПАМЯТИ

Причинность заявляется без изучения различий в плане, популяции и транспортных средствах.

CH11-F27— СОЗДАНИЕ ЕСТЕСТВЕННОЙ ПОДГРУППЫ ПОСЛЕ РЕЗУЛЬТАТА

Изобретена новая категория для объяснения низкой или высокой оценки.

CH11-F28— ИГНОРИРОВАНИЕ ЭФФЕКТА ПЕРЕНОСА У ТОГО ЖЕ ПОЛЬЗОВАТЕЛЯ

Первая задача влияет на второй ответ.

CH11-F29— СКРЫТИЕ СЛУЧАЙНОСТИ ПОСЛЕДОВАТЕЛЬНОСТИ

Все пользователи сначала видят чистое условие, затем естественное.

CH11-F30— НАРУШЕНИЕ ЕСТЕСТВЕННОГО СОСТОЯНИЯ КОНТРОЛИРУЕМЫМ ЗАДАНИЕМ

Изменение настроек или Исходный промпт изменяет последующее состояние аккаунта.

CH11-F31— РАССМАТРИВАЙТЕ РАЗНЫЕ ГРУППЫ ПОЛЬЗОВАТЕЛЕЙ КАК СООТВЕТСТВУЮЩИЕ

Натуральные и контролируемые панели имеют разный план и состав стран.

CH11-F32— РАССМАТРИВАЙТЕ ПАНЕЛЬ ПРИ ПЕРВОМ ИСПОЛЬЗОВАНИИ КАК ЧИСТУЮ ПАНЕЛЬ

Предполагается, что настройки первоначального обучения и продукта отмечены.

CH11-F33— РАССМАТРИВАЙТЕ ОПЫТНОГО НАТУРАЛЬНОГО ПОЛЬЗОВАТЕЛЯ КАК ПЕРВОГО ПОЛЬЗОВАТЕЛЯ

История учетной записи и персонализация становятся невидимыми.

CH11-F34— РАССМАТРИВАЙТЕ КОРПОРАТИВНЫЙ НАТУРАЛЬНЫЙ РЕЗУЛЬТАТ КАК ОБЩЕГО ПОТРЕБИТЕЛЯ

Приватная база знаний добавляется к общей производительности продукта.

CH11-F35— ОБНОВИТЕ ОТВЕТ НА НАТУРАЛЬНОЙ ПАНЕЛИ

Любимый ответ пользователя становится основным наблюдением.

CH11-F36— ВСТАВКА ЕСТЕСТВЕННОГО ПОЛЬЗОВАТЕЛЬСКОГО ПУТИ В ПЕРВЫЙ РЕЙТИНГ ОТВЕТА

Ответ, сформированный после последующих вопросов и открытия ресурсов, представлен так, как будто это первый контакт.

CH11-F37— ИЗМЕНЕНИЕ СТАТУСА ПАНЕЛИ В СООТВЕТСТВИИ С ОТВЕТОМ

Положительные наблюдения объявляются чистыми, отрицательные наблюдения объявляются естественными.

CH11-F38— ТИХО ПЕРЕНЕСЕНИЕ ОШИБОК ОЧИСТКИ В ЕСТЕСТВЕННОЕ

Наблюдение переклассифицируется без необходимой записи о естественном статусе.

CH11-F39— РАССМАТРИВАЕТ НЕИЗВЕСТНОЕ КАК ЛИЧНОЕ ДЛЯ КОНФИДЕНЦИАЛЬНОСТИ

Немеренная персонализация считается положительной.

CH11-F40— ДЕЛАНИЕ НЕБОЛЬШОЙ ПОДГРУППЫ ОПРЕДЕЛИМОЙ В ПУБЛИЧНОМ ДОСТУПЕ

Редкие специальные инструкции или пользователь из маленькой страны раскрываются.

CH11-F41— СКРЫТИЕ СМЕЩЕНИЯ ПО ПОКРЫТИЮ В ЕСТЕСТВЕННОЙ ПАНЕЛИ

Пользователи, готовые поделиться своим реальным аккаунтом, учитываются как вся активная население.

CH11-F42— СКРЫТИЕ ИСКЛЮЧЕНИЯ ЧИСТОЙ ПАНЕЛИ

Пользователи, которые не могут изменить свои настройки, становятся невидимыми.

CH11-F43— СЧЕТ АКТИВНОГО НАСЕЛЕНИЯ БЕЗ ДАННЫХ АКТИВНЫХ ПОЛЬЗОВАТЕЛЕЙ

Исследовательская панель представлена так, как будто это фактическое распределение активных пользователей.

CH11-F44— CN-1 ПРИЧИННОСТЬ ОТ РАЗЛИЧИЯ

Публикуются два описательных показателя как эффект персонализации.

CH11-F45— СОХРАНЕНИЕ КРИТИЧЕСКОГО ХВОСТА РАЗЛИЧИЙ ПАНЕЛИ

Показано только среднее различие.

CH11-F46— УДАЛЕНИЕ НЕИЗВЕСТНОЙ МАССЫ ЕСТЕСТВЕННОЙ ПАНЕЛИ

Пользователи, у которых статус настроек или персонализации неизвестен, считаются не представляющими проблем.

CH11-F47— СОХРАНЕНИЕ БЛАГОПРИЯТНОЙ ЕСТЕСТВЕННОЙ ПРИСТРАСТНОСТИ

Коррекция не проводится, если инструкция пользователя показывает её как большую.

CH11-F48— ОБОБЩЕНИЕ ЕСТЕСТВЕННОЙ ОТРИЦАТЕЛЬНОЙ ПРИСТРАСТНОСТИ

Прошлое мнение одного пользователя представлено как ИИ-представление всего населения.

73. ПРОЦЕДУРА АУДИТА

Шаг 1— Разделите исследовательские вопросы двух панелей

Напишите, какое количество будет прогнозировать контролируемая и естественная панели.

Шаг 2— Определите целевые популяции

Разделите контролируемую продуктово-пригодную популяцию от естественной активной или идентифицированной пользовательской популяции.

Шаг 3— Определите контролируемое чистое условие

Сессия, память, специальные инструкции, инструменты, план, интерфейс, условия локали версионируются.

Шаг 4— Определите требуемый уровень CSC

Напишите минимальный уровень уверенности в чистоте, который будет принят для основного анализа.

Шаг 5— Определить трассировку естественной панели

Определяется, какая из ролей Natural Account-State, Natural Conversation-State, First-Use Managed будет использована.

Шаг 6— Определить требуемый уровень NSF

Указывается, какими доказательствами будет принят естественный статус.

Шаг 7— Настроить дизайн панели распределения

Выбирается независимая группа, случайное распределение, сопоставленный пользователь, вращающаяся панель.

Шаг 8— Написать процедуру изменения и восстановления настроек

Подготавливается безопасный процесс для участников контролируемой панели.

Шаг 9— Зафиксировать границу конфиденциальности

Какие естественные пользовательские ситуации:

• только статус,
• ограниченные метаданные,
• открытое содержание

определено, что оно будет сохранено как.

Шаг 10— Зафиксировать промпт и правило первоначального вывода

Тот же протокол промпта и первоначального соответствующего вывода применяется в обеих панелях.

Шаг 11— Сохранить инструмент и веб-режим

Контролируемые и естественные различия панелей становятся видимыми.

Шаг 12— Проверить статус панели перед полем

Подходит ли для роли панели участника?

Шаг 13— Сохранить вектор панели на уровне наблюдения

Сохраняются память, инструкция, план, интерфейс, контекст и статус использования.

Шаг 14— Действительность протокола слепого обзора

Решение о статусе панели принимается без просмотра того, правильный ли ответ или нет.

Шаг 15— Управление ошибочной классификацией с помощью заранее определённого правила

Переход от чистого состояния к естественному или смешанному состоянию осуществляется только в том случае, если запись достаточна.

Шаг 16— Генерация весов панели

Отдельные веса вычисляются в соответствии с различными целевыми популяциями двух панелей.

Шаг 17— Вычисление основных оценок

Контролируемое представление Естественное представление Критическая ошибка

НЕИЗВЕСТНО

Отказ и неопределенность генерируются отдельно.

Шаг 18— Вычисление разницы между чистым и естественным состоянием

Берется знаковая и абсолютная разница.

Шаг 19— Анализ подгрупп

Оцениваются заранее определенные группы, такие как память, инструкции, план, возраст аккаунта, частота использования, первый раз использования.

Шаг 20— Установка лимита причинности

Назначается уровень CN. Записывается, какие утверждения могут быть установлены.

Шаг 21— Проверка конфиденциальности и контроля малых ячеек

Результаты с риском раскрытия личности объединяются или ограничиваются.

Шаг 22— Создание общедоступной панели оценок

Две панели публикуются вместе с их охватом и ограничениями.

74. НЕОБХОДИМЫЕ ДОКАЗАТЕЛЬСТВА

Вопрос исследования контролируемой панели; Вопрос исследования естественной панели; целевые популяции обеих панелей; метод распределения по панелям; Определение контролируемого чистого состояния; минимальный уровень CSC; запись нового чата; состояние памяти; состояние пользовательской инструкции; состояние предыдущего разговора; состояние корпоративного рабочего пространства; режимы инструментов и веб; план; пользовательский интерфейс; язык и локализация; инструкции по изменению настроек; согласие участника; запись восстановления настроек; использование тестового аккаунта, если имеется; след естественной панели; минимальный уровень NSF; возрастная группа аккаунта; частота использования; статус первого использования; знакомство с брендом; статус предыдущего разговора относительно проверяемого объекта; состояние инструмента Natural; различие между Естественным состоянием учетной записи и Естественным состоянием разговора; идентификатор запроса и версия; проверка первого допустимого результата; вектор состояния панели; и статус действительности состояния панели.

Проверка действительности Переклассификация записей Исключения контролируемой панели Пробелы в охвате естественной панели Веса панели Исходная и эффективная выборка Контролируемый балл Естественный балл Разница подписанной панели Абсолютная разница панели Разница критических ошибок Разница НЕИЗВЕСТНЫХ и неявных результатов Предопределенные результаты подгруппы Записи сопоставленного дизайна Эффект порядка и переноса Уровень сопоставимости CN Запись о конфиденциальности и редактировании Защита малых ячеек Публичная карточка результатов панели Версия панели и запись изменений Ответственное лицо или учреждение

75. СПИСОК КОНТРОЛЯ АУДИТА

Вопросы исследования для контролируемой и естественной панелей разделены? Их целевые группы одинаковы или различны? Было ли ясно определено состояние контролируемой чистоты? Помимо нового чата, какие условия чистоты были подтверждены? Действительно ли память выключена, или это неизвестно? Был ли зафиксирован статус специальной инструкции? Есть ли эффект корпоративного рабочего пространства? Являются ли режимы веб и инструмент стандартными? План и пользовательский интерфейс фиксированы или многослойны? Указан ли уровень доверия для состояния чистоты? Использовались ли наблюдения CSC-1 как полностью чистые? Просили ли участника стереть память или историю? Были ли настройки восстановлены в конце задания? Был ли использован новый аккаунт или тестовый аккаунт? Представлялся ли тестовый аккаунт как настоящая пользовательская панель?

Какой трассировки использует естественная панель? Был ли открыт новый чат в Состоянии Натурального Аккаунта? Повлиял ли текущий контекст разговора на основной натуральный балл? Был указан уровень уверенности натурального состояния? Были ли излишне собраны содержимое памяти и пользовательские инструкции? Были ли записаны фактический план пользователя и данные об интерфейсе? Разделяются ли пользователи при первом использовании? Разделяются ли корпоративные пользователи? Было ли записано состояние натурального инструмента? Использовали ли две панели одинаковую версию промпта? Был ли первый подходящий вывод сохранен в обеих панелях? Обновился ли ответ натурального пользователя? Был ли статус панели изменен в соответствии с содержанием ответа ИИ? Как обрабатывались записи с обнаруженными натуральными состояниями в чистой панели? Использовался ли один и тот же пользователь в двух панелях? Был ли порядок случайным?

Был ли оценен эффект переноса и памяти? В дизайне с независимой группой совпадает ли состав пользователей? Разделены ли контролируемые и естественные веса? Можно ли действительно обобщить естественный результат на активное население пользователей? Был ли разрыв между чистыми и естественными результатами чрезмерно интерпретирован как эффект персонализации? Видна ли разница в критических ошибках? Видна ли разница для РЕЗУЛЬТАТОВ UNKNOWN и null? Были ли подгруппы определены до получения результатов? Можно ли заново определить маленькие подгруппы? Были ли инструкции от пользователей за или против преобразованы в общий GEO? Изменила ли персонализация материальную реальность? Был ли предоставлен уровень сопоставимости CN? Ясно ли, кто является ответственным владельцем карточки результатов панели?

76. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Если реальные пользователи используют учетные записи памяти, зачем нужен чистый панель?»

Потому что источник различий нельзя понять без общего исходного условия между продуктами, странами и языками. Чистая панель не заменяет настоящую пользовательскую панель. Она предоставляет эталон для сравнения.

Возражение 2— «Разве контролируемая панель не является искусственной, если есть естественная панель?»

Она контролируемая. Это сделано намеренно. Цель лабораторного условия — не в том, чтобы быть всей реальной жизнью, а в том, чтобы изолировать определённые переменные.

Возражение 3— «Если у контролируемой панели более высокий результат, можем ли мы сделать его основным GEO-результатом?»

Вы не можете сделать это в одиночку. Высокий результат контролируемой панели не может стереть факт, что реальные пользователи видят более низкие результаты. Два результата должны отображаться отдельно.

Возражение 4— «Низка ли научная ценность, если естественная панель очень разрознена?»

Гетерогенность не обязательно является дефектом естественной панели. Это особенность реального опыта пользователя. Гетерогенность:

• записано,
• многослойна,
• взвешена,

сообщается с неопределённостью.

Возражение 5— «Разве открытие нового чата не нарушает естественное состояние пользователя?»

Текущий контекст разговора удален. Постоянное состояние аккаунта, плана, памяти и пользовательских инструкций сохраняется. Это делает состояние аккаунта сопоставимым. Текущий опыт разговора также измерим.

Возражение 6— «Как мы будем измерять его эффект, не зная содержания пользовательских инструкций?»

Знание содержания не требуется для основной естественной оценки. Его наличие:

• существует,
• не существует,
• может быть материал

мы можем классифицировать это как таковое. Для анализа причинного содержания требуется отдельная и согласованная работа.

Возражение 7— «Если память ясна, но ничего не помнится о компании, зачем отдельная группа?»

Эффект памяти может быть неизвестен. Статус «не связан с объектом» может быть присвоен на основе заявления пользователя. Это по-прежнему не имеет той же степени уверенности, что и закрытое состояние памяти.

Возражение 8— «Разве инструкция пользователя «всегда предлагать X» не является реальным пользовательским опытом?»

Это реальный опыт. Однако это не общая геопроизводительность X. Это руководство, основанное на данных пользователей. Оно должно быть записано отдельно.

Возражение 9— «Если персонализация даёт пользователю более подходящий ответ, в чём проблема?»

Это не обязательно должно быть проблемой. Рекомендации могут различаться в зависимости от потребностей пользователя. Проблемы возникают, если идентичность, лицензия, цена и доказательный статус изменяются произвольно.

Возражение 10— «Разве использование одного и того же пользователя в двух панелях не является самым правильным методом?»

Это может быть сильно для некоторых причинно-следственных сравнений. Первая задача может повлиять на вторую ситуацию. Поэтому необходимы контроль порядка, переноса и памяти. Независимые группы могут быть безопаснее в основных популяционных панелях.

Возражение 11— «Если обновление ответа в Панель пользователей в естественных условиях является нормальным поведением, почему оно запрещено?»

Регенерация запрещена при измерении воздействия на первую реакцию. Регенерация и последующее поведение могут измеряться отдельно в рамках трека естественного взаимодействия.

Возражение 12— «Что мы будем делать с пользователем, который не может отключить память и инструкции для чистой панели?»

Их нельзя помещать в контролируемую панель или держать в отдельной камере с более низким уровнем CSC. Их можно оценивать в естественной панели. Уровень исключения должен быть зафиксирован.

Возражение 13— «Разве тестовые аккаунты не более надежны?»

Они могут быть надежными с точки зрения контроля. Они ограничены с точки зрения фактической пользовательской базы. Контролируемые тестовые аккаунты и реальные пользовательские панели дают разные результаты.

Возражение 14— «Разве сохранение пользовательских настроек на естественной панели не является нарушением конфиденциальности?»

Это может произойти, если собирается ненужный контент. Конфиденциальность можно сохранить с помощью высокоуровневых открытых/закрытых статусов, анонимной регистрации и редактирования.

Апелляция 15— «Разве мы не собираемся объединить оценки двух панелей в одну оценку NOMOS?»

Роли двух панелей могут быть определены в финальной архитектуре оценки. Однако исходные и промежуточные результаты всегда должны оставаться видимыми отдельно. Они не могут заменить распределение комбинированных оценок.

Апелляция 16— «В чем вина компании, если естественная панель оценивает низко?»

Это не всегда вина компании. Источник:

• инструкция пользователя,
• персонализация ИИ,
• различие в планах,
• дефект официального источника,
• поведение продукта

это возможно. Аудит сначала показывает результат, затем выделяет путь ответственности.

ОБЩЕЕ ПРАВИЛО ГЛАВЫ 81

Продукт ИИ не имеет единственного ответа. Даже один и тот же запрос может иметь разные ответы для:

• чистый аккаунт,
• естественный аккаунт,
• пользователь с памятью,
• пользователь со специальными инструкциями,
• первый раз пользователь
• корпоративное рабочее пространство,
• пользователь с предыдущей беседой

Вы не можете объяснить все эти различия, говоря: «модель ведет себя случайно». Вы также не можете объяснить все их, говоря: «ошибка персонализации». Сначала необходимо измерить две отдельные реальности. Контролируемая панель в стандартизированных условиях:

Показывает представление в стандартизированном исходном состоянии системы.

Панель пользователей в естественных условиях:

Показывает распределение представлений, с которыми сталкиваются реальные люди в своей собственной жизни с продуктом.

Контролируемая панель может быть высокой, натуральная панель может быть низкой. В этом случае лабораторное поведение продукта сильное; распределение настоящих пользователей может быть слабым. Натуральная панель может быть высокой, контролируемая панель может быть низкой. Планирование, инструменты или персонализация некоторых пользователей могут улучшать представление. Обе панели могут быть высокими. Продукт может быть устойчивым при разных условиях пользователей. Обе могут быть низкими. Основная проблема представления может быть шире. Однако сопоставление двух показателей бок о бок не доказывает причины. Причинно-следственная связь:

• та же популяция,
• тот же продукт,
• тот же запрос,
• одно и то же время,
• контролируемое задание
• анализ последовательности и транспорта

требуется. Если пользователь указал: «Всегда предлагать X.», естественным образом будет появляться X. X не является глобальным географическим успехом. Если пользователь говорит: «Не доверяйте X.», отрицательная реакция является естественным опытом. X не является общим представлением в мировой популяции. Персонализация должна понимать пользователя. Она не должна изобретать истину в соответствии с пользователем. Следовательно, одиннадцатый закон измерений NOMOS заключается в:

Чистое поведение и естественный опыт — это разные реальности.

Двенадцатый закон звучит следующим образом:

Новый чат не является чистым аккаунтом.

Тринадцатый закон выглядит следующим образом:

Естественная персонализация не является глобальным успехом GEO.

Четырнадцатый закон выглядит следующим образом:

Соответствующий ответ для пользователя может различаться; реальность проверенного объекта не может измениться.

Пятнадцатый закон звучит следующим образом:

Разница между контролируемым и естественным результатом — это вывод, который нужно объяснить; сам по себе он не является причиной.

Его шестнадцатый закон следующий:

Измерение реального пользовательского опыта не заключается в удалении конфиденциальности, а только в доказательстве необходимого контекста и сохранении остального.

Порядок раздела 11 из NOMOS

Не просто говорите мне, что вы открыли новый чат. / Покажите статус памяти, специальные указания, план и инструменты.

Не предполагаете, что вся персонализация исчезла, только потому что вы видите пометку «Временная сессия».

Чистая панель — это вся реальная жизнь; не превращайте естественную панель в неконтролируемый шум.

Стандартизируйте контролируемый аккаунт. / Оставьте естественный аккаунт как есть. / Не помещайте оба в один и тот же блок.

Не делайте специальные инструкции пользователя мировым успехом для организации.

Не делайте негатив пользователя взглядом всего населения.

Не считайте персонализацию лицензией на изменение истины.

Вы можете дать пользователю подходящий совет. / Но не переписывайте идентичность компании, лицензию, цену и доказательства от пользователя к пользователю.

Не собирайте сведения о личной жизни в естественной панели. / Если память включена, инструкции присутствуют, контекст доступен — записывайте только то, что необходимо.

Не заставляйте участника стирать свою память. / Восстановите настройки, если вы временно их изменили.

Если вы тестировали одного и того же пользователя на двух панелях, помните, что первый ответ может повлиять на второй.

Покажите разницу между чистым баллом и естественным баллом. / Покажите критическую разницу. / Покажите неизвестное. / Но не называйте причину без доказательств.

Сначала решите, какую реальность пользователя вы хотите измерить. / Затем отдельно зафиксируйте чистые и естественные условия. / Затем оставьте промпт одинаковой. / Затем зафиксируйте первый ответ, не меняя его. / Затем посчитайте два распределения отдельно. / И только после этого объясните расстояние между тем, что продукт делает в стандартных условиях, и тем, что реально испытывают пользователи.

Заключительное предложение главы

Истинное представление о продукте ИИ в GEO-1000— это не ответ, который он может дать в чистой сессии; это ясная и доказанная связь между его поведением в стандартных условиях и ответами, которые он фактически предоставляет людям с разным пользовательским опытом.

Нормативное ядро

Наблюдения Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях ДОЛЖНЫ оставаться отдельными популяциями измерений, состояниями панели, знаменателями и публичными результатами. Контролируемая панель в стандартизированных условиях ДОЛЖНА определить и проверить, по мере необходимости: - новый и отдельный диалог, - отсутствие контекста предыдущего диалога, - состояние постоянной памяти, - состояние пользовательских инструкций, - состояние корпоративного или управляемого рабочего пространства, - конфигурацию веб-сервисов, поиска и инструментов, - план, - пользовательский интерфейс, - версию промпта, - и уверенность в чистом состоянии. Метка нового диалога или временной сессии НЕ ДОЛЖНА, сама по себе, рассматриваться как доказательство того, что вся постоянная персонализация была отключена. Панель пользователей в естественных условиях ДОЛЖНА сохранять подлинный аккаунт участника, план, интерфейс, память, пользовательскую инструкцию и состояние использования, при этом сохраняя зафиксированный запрос, правило первого допустимого ответа, требования к доказательствам и правило запрета повторной генерации. Состояние подлинного аккаунта, состояние подлинного разговора, первое использование и управляемые наблюдения подлинного состояния ДОЛЖНЫ оставаться отдельно идентифицированными. Документация подлинного состояния ДОЛЖНА минимизировать сбор личных данных. Текст личной инструкции, история разговоров, идентификация, учетные данные и конфиденциальный личный контент НЕ ДОЛЖНЫ собираться, если это не является отдельно необходимым, собираться с согласия, в минимальном объёме и с контролем доступа. Инструкции, благоприятные или неблагоприятные для сущности и созданные пользователем, МОГУТ рассматриваться как эффекты естественной персонализации, но НЕ ДОЛЖНЫ представляться как общий успех, неудача или стандартное поведение продукта для сущности. Персонализация МОЖЕТ изменять релевантность, презентацию и рекомендации, если это оправдано контекстом пользователя. Она НЕ ДОЛЖНА произвольно изменять проверенные данные о сущности, лицензию, юридический статус, цену, объем, доказательства или время. Различия между Контролируемой и Естественной панелями НЕ ДОЛЖНЫ представляться как причинные эффекты персонализации, если условия по населению, продукту, запросу, времени, интерфейсу, плану, инструментам, назначению, порядку и переносу не поддерживают такое заключение. Оценки контролируемой и естественной панелей, показатели критических ошибок, показатели неизвестных результатов, охват, эффективные размеры выборки, а также подписанные и абсолютные разрывы панели ДОЛЖНЫ оставаться видимыми отдельно. Право панели на состояние, реклассификация, исключение и взвешивание ДОЛЖНЫ оставаться независимыми от того, является ли вывод ИИ положительным, отрицательным, правильным, неправильным, отвергнутым, критическим или коммерчески выгодным. Каждое определение состояния панели, процесс изменения настроек, решение о конфиденциальности, уровень сравнения и результат ДОЛЖНЫ иметь версии и быть приписаны ответственному человеку или организации.