Измерение делает больше, чем просто фиксирует реальность. Оно решает, что будет замечено, что будет считаться успехом и какие результаты исчезнут из поля зрения. Считайте только упоминания, и искажение может быть сообщено как прогресс. Считайте только цитаты, и нейтральное использование источника может быть ошибочно принято за одобрение. Сохраняйте только благоприятные ответы, и реальная вариативность системы исчезает. Опрашивайте только клиентов, завершивших покупку, и несовпадения никогда не попадают в коммерческий отчет. Публикуйте только один показатель, и слабые доказательства, небольшая выборка или критический этический провал могут просто потеряться внутри среднего значения.
Измерение, следовательно, не является отчетом, подготовленным в конце работы GEO. Это дисциплина, которая устанавливает начальное утверждение, фиксирует вмешательство, определяет измененный результат, ограничивает то, что может быть обоснованно приписано этому вмешательству, отслеживает реальный результат и проверяет, сохранялась ли какая-либо ценность. Защищаемая система измерений должна сохранять несколько границ:
- наблюдение и результат,
- упоминание и цитирование,
- цитирование и рекомендация,
- рекомендация и действия пользователя,
- действия пользователя и продажа,
- продажа и чистый вклад,
- чистый вклад и устойчивое значение,
- совместное движение и причинность,
- самостоятельная отчетность пользователя и проверенная атрибуция, и
- один ответ и повторяемое поведение системы.
В этой главе под атрибуцией понимается определение того, насколько результат может быть связан с конкретными точками взаимодействия, вмешательствами или источниками. Атрибуция — это не искусство составления убедительной истории. Это работа по объяснению цепочки вклада без выхода за пределы имеющихся доказательств. Клиент может увидеть ответ от ИИ, поискать бренд, обратиться к сайту с обзорами, проверить его социальные сети, спросить коллегу, поговорить с представителем отдела продаж и купить товар только после получения скидки. Присвоение всей продажи первому ответу ИИ стирает все последующие точки взаимодействия. Отрицание любого вклада ИИ стирает первый. Корректное измерение избегает обоих крайностей.
Основополагающее суждение этой главы таково:
Измерение может указывать только то, что оно фактически наблюдало. Наблюдение не может заменять результат, который оно не установило.
GEO-028
Заявлять об улучшении без исходного уровня
Основная категория: Сравнительное измерение<br>Вторичные теги: baseline, before-and-after, intervention effect, reconstructed baseline<br>Основание в GEO Framework: Измерение, вмешательство, время, аудит<br>Уровень серьёзности по умолчанию: Существенный
Голос сущности
Вы перестраиваете сайт, публикуете новые страницы с информацией о бренде, добавляете структурированные данные и удаляете устаревший материал. Затем вы задаёте мне десять вопросов. Я правильно описываю бренд в трёх ответах, и вы объявляете: «Наша результативность GEO улучшилась на 300 процентов». Улучшилась по сравнению с чем? Вы задавали те же вопросы до того, как началась работа? При той же системе, языке, стране и интерфейсе? Сколько повторов вы провели и сохранили ли вы предыдущие результаты? Сегодняшний результат может выглядеть хорошо и при этом быть хуже, чем вчерашний. Он может выглядеть плохо и всё же представлять собой реальное улучшение. Без раннего сопоставимого состояния вы можете описывать то, что наблюдаете сейчас. Вы не измеряли изменения. «Мы наблюдали три правильные репрезентации в текущем тесте» — это оправданное утверждение. «Мы улучшились втрое» — нет.
Что предполагает человек?
«Если после вмешательства появляется благоприятный результат, значит вмешательство было успешным». Это предположение рассматривает текущее состояние и улучшение как один и тот же факт.
Что может произойти на уровне системы?
Результат, наблюдаемый после вмешательства, мог существовать и ранее. Он также может отражать обновление модели или продукта, другой запрос, временный выбор источника, контекст сессии или условия, специфические для даты измерения. Без базового уровня направление и величина изменений — и их связь с вмешательством — остаются неизвестными.
Нормативное определение
Эта ошибка возникает, когда наблюдение после вмешательства представляется как улучшение, рост, повышение, трансформация или прирост эффективности без измерения до вмешательства в сопоставимых условиях. Сила базового уровня должна быть классифицирована:
B0 — Отсутствует эталонная запись: не существует сопоставимого состояния до вмешательства. Можно сообщать только о текущем состоянии.
B1 — Восстановленный эталон: архивы, ранние скриншоты, исторические записи или данные третьих лиц использовались для восстановления предыдущего состояния. Запись может быть полезной, но она должна быть помечена как восстановленная и с ограниченной степенью достоверности.
B2 — Наблюдаемый, но неконтролируемый эталон: измерение было проведено до вмешательства, но условия системы, языка, запроса или повторения не были достаточно зафиксированы. Сравнение имеет ограниченную достоверность.
B3 — Предопределённый сопоставимый эталон: набор запросов, система, язык, страна, интерфейс, период, повторения и метод оценки были определены заранее и применены до вмешательства. Это предпочтительный уровень для заявления об улучшении.
B4 — Эталон с контрольной или сравнительной группой: Сравнимые, невмешавшиеся зоны наблюдались вместе с вмешавшимися. Это обеспечивает более сильную поддержку для причинной оценки.
Эти уровни не имеют одинаковой доказательной силы.
Риск искажения представления
Неподтвержденное утверждение об улучшении может создать впечатление успешной работы, превратить естественные колебания в показатели эффективности, ввести в заблуждение при принятии инвестиционных решений, масштабировать неправильный метод, скрыть ухудшение и ослабить доверие к аудиту.
Как выявить ошибку?
Извлеките каждое утверждение о повышении, улучшении, росте или прогрессе. Для каждого из них найдите запись до вмешательства и сравните набор запросов, систему, язык, страну, интерфейс, количество повторений и метод оценки. Установите, была ли базовая линия наблюдаемой или восстановленной. Согласуйте даты вмешательства и измерений, зафиксируйте одновременные внешние изменения и проверьте, поддерживается ли сравнительный язык действительно сопоставимыми данными.
Необходимые доказательства
- План измерений до вмешательства и даты
- Версия набора запросов
- Система, продукт и, если доступно, модель или версия
- Язык, страна и интерфейс
- Количество повторений и исходные результаты
- Метод оценки
- Журнал вмешательств
- Измерение после вмешательства в сопоставимых условиях
- Внешние переменные материала
- Исходный класс и заявление о неопределенности
Надлежащий стандарт
Если исходных данных нет, укажите: «Текущее состояние было измерено после вмешательства; величину любого улучшения определить нельзя, так как исходного измерения не существует». Если раннее состояние было восстановлено, укажите это: «Сравнение основано на исходных данных, восстановленных из архивных записей, и вызывает ограниченную уверенность». Утверждение об улучшении должно опираться на измерения, которые достаточно сопоставимы по размеру и значению утверждения.
Случаи, не являющиеся нарушением
Первый аудит может измерять только текущее состояние. Это не является нарушением. Нарушение начинается, когда текущее состояние представляется как улучшение по сравнению с неизмеренным прошлым. Также отсутствие исходного уровня не должно задерживать срочное исправление серьёзного искажения; оно должно просто оставаться видимым при последующей оценке эффекта этого исправления.
Протокол исправления
Отозвать неподдерживаемые сравнительные утверждения. Зафиксировать текущее состояние как новый исходный уровень, зафиксировать набор запросов и метод оценки, классифицировать любой пригодный исторический материал как восстановленный исходный уровень, отделить журнал вмешательств от записи результатов и запланировать следующее сравнение в эквивалентных условиях. Переписать публичные и управленческие заявления в соответствии с уровнем доказательности.
Повторная валидация
Повторяйте замороженный набор запросов и метод оценки через определенные интервалы. Сообщайте о направлении, величине, изменчивости и масштабе изменений, а также о существенных отклонениях от исходных условий.
Влияние на соответствие
Заявление о существенном улучшении без исходной базы является крупным несоответствием. Намеренное ложное заявление, которое существенно влияет на решение об инвестициях, контракте или доходе, может быть критическим.
Вопрос аудита
Вопрос аудита: Какая реальная исходная запись показывает состояние, по отношению к которому измерялось заявленное улучшение?
Машиночитаемое правило
Машиночитаемое правило: Заявления об улучшении, увеличении, повышении или приросте производительности НЕ ДОЛЖНЫ делаться без сопоставимой исходной базы. Если исходная база отсутствует, можно сообщать ТОЛЬКО о текущем наблюдаемом состоянии.
Контролируемое машиночитаемое правило (английский): Improvement, increase, uplift, or performance-gain claims MUST NOT be made without a comparable baseline. Where no baseline exists, only the current observed state MAY be reported.
GEO-029
Считать упоминание, цитирование и рекомендацию одной метрикой
Основная категория: Классификация метрик<br>Вторичные теги: mention, citation, recommendation, metric collapse, reporting<br>Основание в GEO Framework: Основное, Доказательства, Измерение, Финальное тестирование<br>Уровень серьёзности по умолчанию: Существенный
Голос сущности
Мой первый ответ называет вас. Мой второй связывает с вашим сайтом как с источником. Мой третий сообщает пользователю, что ваша услуга может подойти ему. Вы помещаете все три в одну ячейку: «Видимость ИИ: 3». Это не одно и то же событие. Имя может присутствовать без утверждения о сущности. Сайт может поддерживать одно фактическое предложение без того, чтобы сущность была одобрена. Сервис может предлагаться как условная опция для конкретного пользователя. Их репрезентативное значение, коммерческая ценность и риски различны. Негативная ссылка всё равно остаётся упоминанием. Цитата может поддерживать предложение о конкуренте. Место в списке может быть условным, а не предпочтительным. Сверните эти события, и никто не сможет понять, что изменилось. Упоминания могут расти, пока цитаты падают. Рекомендации могут увеличиваться среди пользователей, для которых сущность не подходит. Один показатель «видимости» скрывает всё это.
Что предполагает человек?
«Каждое упоминание бренда в ответе ИИ является одним и тем же видом успешного события.»
Что может произойти на уровне системы?
В выводе сущность может быть просто названа, описана, использована в качестве примера, сравнена, подвергнута критике, упомянута исторически, процитирована как источник фактов или мнений, условно рекомендована, явно рекомендована или идентифицирована как что-то, чего следует избегать. Если эти роли относятся к одной категории измерений, точность представления и пригодность для пользователя не могут быть оценены.
Нормативное определение
Эта ошибка заключается в подсчете упоминаний, цитат и рекомендаций в рамках одной метрики «видимость ИИ», «GEO-оценка» или аналогичной без отдельных определений, полей данных и критериев оценки. Минимум, классы событий должны включать:
M0 — Отсутствует: сущность не появляется в выводе.
M1 — Упоминание: имя сущности или однозначная ссылка на личность появляется.
M2 — Описательное представление: система приписывает сущности одну или несколько характеристик.
C1 — Цитирование: источник цитируется для конкретного предложения или элемента информации.
C2 — Цитирование материала: цитата поддерживает существенное утверждение о сущности, её способности, доказательствах или пригодности.
R1 — Альтернативный список: сущность появляется среди вариантов без явной оценки предпочтения.
R2 — Условная рекомендация: сущность рекомендуется для определённого пользователя, бюджета, местоположения или потребности.
R3 — Явная рекомендация: система прямо советует пользователю выбрать, рассмотреть или отдать приоритет сущности.
R4 — Отрицательная рекомендация: система советует не использовать сущность или говорит, что она непригодна.
Каждый класс также должен оцениваться на точность, актуальность и пригодность для пользователя.
Риск искажения представления
Сведение метрик может сделать нейтральное упоминание похожим на одобрение, засчитать негативную видимость как успех, скрыть потерю цитирований за количеством упоминаний, рассматривать неподходящую рекомендацию как положительное достижение, затемнять, какое вмешательство повлияло на какое событие, и завышать ожидания коммерческого результата.
Как выявить ошибку?
Инвентаризируйте каждую метрику в отчете GEO. Разберите такие метки, как «видимость», «присутствие» и «доля голоса». Переклассифицируйте необработанные данные как упоминание, цитирование и рекомендацию; разделите положительный, нейтральный и отрицательный контекст; определите предложение, поддерживаемое каждой цитатой; различайте перечисление, условную рекомендацию и явную рекомендацию; проверьте на повторный учет; и укажите, как была построена любая составная величина.
Необходимые доказательства
- Необработанные данные и запрос
- Система, дата, язык и страна
- Позиция и контекст упоминания
- Позиция цитаты и поддерживаемое предложение
- Точная формулировка рекомендации
- Класс контекста
- Оценка точности и соответствия пользователю
- Руководство по классификации
- Согласованность между рецензентами, где это возможно
Надлежащий стандарт
Сохраняйте упоминание, цитирование и рекомендации как отдельные метрики. Панель управления может отдельно отображать частоту упоминаний, частоту точных упоминаний, частоту цитирования, частоту существенного цитирования, частоту условных и явных рекомендаций, частоту неправильных и отрицательных рекомендаций, а также долю неклассифицируемых или НЕИЗВЕСТНЫХ результатов. Сводная оценка может использоваться только при условии, что ее компоненты и веса остаются видимыми. Она не может заменять основные метрики событий.
Случаи, не являющиеся нарушением
Краткое изложение для руководства может разместить несколько показателей под одним визуальным заголовком. Нарушение возникает, когда их отдельные значения сливаются в одно число, и это число используется для представления всей цепочки представления.
Протокол исправления
Разделяйте объединенные записи на уровне событий. Публикуйте определения для упоминания, цитаты и рекомендации. Переклассифицируйте исторические результаты, где это возможно, различайте положительные, отрицательные и нейтральные контексты, обновляйте шаблоны отчетов, раскрывайте формулу и веса любого сохраненного комплекта, отзывайте ложные заявления об успехе и обучайте оценщиков на примерах.
Повторная валидация
Пусть как минимум два рецензента классифицируют один и тот же набор результатов. Проанализируйте разногласия для выявления неясных определений, неоднозначного контекста или низкого качества данных. Не заставляйте неклассифицируемое событие попадать в положительный класс; зафиксируйте его как НЕИЗВЕСТНОЕ.
Влияние на соответствие
Представление упоминания, цитаты и рекомендации как одного показателя является существенным несоответствием.
Вопрос аудита
Вопрос аудита: Может ли система измерения различать, является ли объект названным, используется как источник и действительно рекомендован?
Машиночитаемое правило
Машиночитаемое правило: Упоминание, цитата и рекомендация ДОЛЖНЫ фиксироваться как разные типы событий с отдельными определениями, полями для доказательств и интерпретацией результатов.
Контролируемое машиночитаемое правило (английский): Mention, citation, and recommendation MUST be recorded as distinct event types with separate definitions, evidence fields, and outcome interpretations.
GEO-030
Менять набор запросов после ознакомления с результатом
Основная категория: Целостность конструкции измерения<br>Вторичные теги: query set, prompt selection, post-selection, preregistration, cherry-picking<br>Основание в GEO Framework: Измерение, Аудит, Суждение<br>Уровень серьёзности по умолчанию: Существенный; критический при целенаправленной манипуляции
Голос сущности
Вы задаёте мне 500 вопросов, и бренд появляется в 34 ответах. Затем вы включаете только эти 34 вопроса в отчёт и пишете: «Мы присутствуем в 100 процентах запросов». При втором измерении бренд отсутствует, поэтому вы решаете — после того как увидели ответ — что эти запросы не относятся к целевой аудитории. Благоприятный запрос становится стратегическим. Неблагоприятный выходит за рамки. Набор запросов больше не измеряет эффективность; его изменяют до тех пор, пока он не подтверждает её. Какие вопросы учитываются, должно быть определено до того, как станут известны их ответы. В противном случае измерительная вселенная всегда может быть сокращена до желаемого результата.
Что предполагает человек?
«Запросы, которые не приводят к бренду, могут быть удалены впоследствии, если они не представляют реальную цель.» Трудность заключается в том, что «реальная цель» была переопределена после того, как был проанализирован результат.
Что может произойти на уровне системы?
Результаты могут различаться в зависимости от порядка слов, конкретики, намерений пользователя, географических терминов, бюджетных или отраслевых ограничений, а также контекста предыдущих разговоров. Если пробовать множество вариантов и сохранять только благоприятные, отчетные показатели будут систематически завышены.
Нормативное определение
Эта ошибка возникает, когда запросы, намерения пользователя, веса, правила включения или исключения выбираются, изменяются или перенастраиваются после того, как результаты стали известны, так, что производительность кажется более благоприятной. Четыре уровня набора запросов должны оставаться отдельными:
Набор открытий: используется для исследования формулировок и намерений и генерации гипотез. Его результаты не являются подтверждающими доказательствами производительности.
Канонический набор измерений: заморожены и имеют версионность до измерения. Это является основой для сопоставимого отчета.
Выборка для проверки: удерживалось от решений по оптимизации и использовалось позже для проверки обобщаемости.
Дополнительный набор на основе события: добавлено из-за нового продукта, кризиса, регулирования или изменения на рынке. Требуется новая версия и зафиксированное обоснование.
Запись запроса должна содержать как минимум идентификатор, точный текст, намерение пользователя, целевую сущность или категорию, язык, страну, профиль пользователя, бюджетные или масштабные ограничения, вес, обоснование включения, исходную версию, историю изменений и статус активной или устаревшей.
Риск искажения представления
Выбор после результата увеличивает видимость, скрывает неудачные намерения, разрушает сопоставимость, преувеличивает эффекты вмешательства, вводит в заблуждение при инвестиционных и контрактных решениях и препятствует воспроизводимому аудиту.
Как выявить ошибку?
Сравните время создания и изменения запросов с временем вывода. Проверьте удалённые запросы и изменённые веса. Проверьте, были ли разделены наборы discovery и canonical, предшествовали ли мотивы включения и исключения измерению, использовались ли в более ранних версиях отчёта разные наборы и выжили ли только благоприятные запросы. Проверьте датированную версию или запись целостности для канонического набора.
Необходимые доказательства
- Оригинальный инвентарь запросов
- История версий и изменений
- Даты создания и изменения
- Критерии включения и исключения
- Классификация намерений пользователя и веса
- Различие discovery/canonical
- Удалённые запросы и причины
- Полные исходные результаты
- Одобрение человеком и, по возможности, запись о целостности
Надлежащий стандарт
Определите и версионируйте канонический набор запросов до того, как будут проверены результаты. Запрос может быть позже снят с использования, но причина должна быть зафиксирована, предыдущая версия сохранена, исторические результаты оставлены нетронутыми, а новый отчет явно связан с новой версией. Результаты исследований должны описываться как экспериментальные. Их нельзя тихо объединять с каноническими результатами производительности.
Случаи, не являющиеся нарушением
Исправление опечатки до измерения не является нарушением. Прекращение обслуживания или открытие нового рынка может оправдать изменение набора, при условии, что изменение датировано, объяснено, версионировано и отделено от предыдущих периодов.
Протокол исправления
Восстановите каждый запрос и результат, различайте поисковые и подтверждающие запросы, восстановите исключения после получения результатов для проверки, создайте канонический набор, опубликуйте правила включения и исключения, создайте версию и запись целостности, пересчитайте исторические утверждения относительно реальной области запросов и, где возможно, введите удерживаемый набор.
Повторная валидация
Запустите замороженный набор запросов снова при тех же указанных условиях. Сообщите о каждом запросе, включая неудачные и результаты НЕИЗВЕСТНО.
Влияние на соответствие
Изменение набора запросов после того, как результаты известны, является серьезным несоблюдением. Подтвержденная намеренная манипуляция, направленная на завышение показателей, является критической.
Вопрос аудита
Вопрос аудита: Эти запросы были выбраны для измерения результата или объявлены «правильными запросами» только после появления желаемого результата?
Машиночитаемое правило
Машиночитаемое правило: Канонические наборы запросов, правила включения, исключения и веса ДОЛЖНЫ быть определены и версионированы до проверки результатов. Изменения после получения результата ДОЛЖНЫ создавать новую раскрытую версию измерения.
Контролируемое машиночитаемое правило (английский): Canonical query sets, inclusion rules, exclusions, and weights MUST be defined and versioned before outcome inspection. Post-result changes MUST create a new disclosed measurement version.
GEO-031
Выдавать один ответ за поведение системы
Основная категория: Повторяемость<br>Вторичные теги: single observation, variance, replication, stochastic output, prevalence<br>Основание в GEO Framework: Измерение, Время, Аудит<br>Уровень серьёзности по умолчанию: Существенный
Голос сущности
Вы задаёте один вопрос. Я рекомендую бренд. Вы сохраняете скриншот и публикуете: «Система всегда рекомендует нас». Другой человек задаёт тот же вопрос, и бренд отсутствует, поэтому вы отвергаете их запрос как неправильный. Один результат доказывает только одно: результат возник как минимум один раз при тех условиях. Это не устанавливает, как часто это происходит, произойдёт ли это в другой сессии, останется ли завтра, появится ли в другой стране или представляет типичный пользовательский опыт. Также один неправильный ответ не является бесполезным. Одна серьёзная ошибка может доказать, что ошибка возможна. В области здравоохранения или безопасности одно серьёзное событие может потребовать немедленных действий. Одно наблюдение может опровергнуть «этого никогда не происходит». Оно не может установить «это всегда происходит».
Что предполагает человек?
«Один скриншот устанавливает общее и повторяемое поведение системы.»
Что может произойти на уровне системы?
Одинаковый или похожий запрос может приводить к различным рейтингам, источникам, рекомендациям, уровням уверенности или выбранным объектам. Результат также может зависеть от незаписанных условий, таких как история сеансов и время. Поэтому два доказательных значения должны оставаться различными:
Доказательства существования: один результат может показывать, что утверждение произошло как минимум один раз при зафиксированных условиях.
Доказательства распространенности: частота, стабильность и условное распределение требуют повторного измерения с определённым знаменателем.
Одно не может быть преобразовано в другое.
Нормативное определение
Эта ошибка заключается в представлении одного результата генеративной системы как общего, постоянного, типичного или надёжного поведения системы без повторений, выборки, записей времени и сеансов, а также задокументированных условий.
Риск искажения представления
Он может сделать случайный положительный результат похожим на успех, чрезмерно обобщить одну ошибку на всю систему, поддерживать выбор промо-скриншотов, скрывать изменчивость, неверно указывать распространенность ошибок и создавать обещания, которые ни один рецензент не сможет воспроизвести.
Как выявить ошибку?
Определите, сколько результатов поддерживают утверждение, сколько раз был выполнен запрос, были ли сеансы независимыми, период измерения и наблюдаемое разнообразие. Проверьте знаменатель любой ставки успеха или ошибки. Ищите утверждения, такие как «всегда», «обычно», «постоянно» и «система рекомендует нас», и классифицируйте исходный запись как доказательство существования или распространенности.
Необходимые доказательства
- Точный запрос и полный результат
- Система, интерфейс, дата и время
- Язык и страна
- Состояние сеанса и предыдущий контекст
- Количество повторений и исходные результаты
- Классификация вариантов вывода
- Знаменатель успеха или ошибки
- Период выборки и метод оценки
- Дисперсия или утверждение о достоверности
Надлежащий стандарт
Сообщите о единственном выводе следующим образом: «Этот вывод наблюдался один раз при указанных условиях. Его распространенность и повторяемость не установлены.» Утверждение о поведении системы требует многократного повторения, определенного периода, относительно независимых сеансов, сохранения всех результатов и распределения результатов. Нет универсального количества повторов. Выборка должна соответствовать силе утверждения, ожидаемой вариативности системы, риску и последствиям принятого решения.
Случаи, не являющиеся нарушением
Один серьезный результат может служить основанием для расследования риска безопасности или репутационного риска. В отчете о инциденте может быть сказано: «Эта ошибка была зафиксирована один раз». Нарушение начинается, когда это наблюдение обобщается до повсеместного или постоянного поведения.
Протокол исправления
Уточняйте все обобщения, основанные на одном результате. Классифицируйте запись как доказательство существования или распространенности, определите протокол повторения, сохраняйте каждый результат, фиксируйте благоприятные и неблагоприятные вариации, исключите абсолютные формулировки, регистрируйте отдельно инциденты с высоким риском и повторяйте измерение с течением времени.
Повторная валидация
Запускайте запрос в относительно независимых сессиях, указанное количество раз и в течение определенного периода. Сообщайте распределение, а не выбранный скриншот.
Влияние на соответствие
Представление одного ответа как общего поведения системы является крупным несоответствием. Основывать критическое решение по безопасности или регулированию на одном непроверенном результате может быть критическим.
Вопрос аудита
Вопрос аудита: Показывает ли этот результат только то, что что-то может произойти, или измерение также установило, как часто и насколько надежно это происходит?
Машиночитаемое правило
Машиночитаемое правило: Один результат МОЖЕТ установить, что событие произошло хотя бы один раз, но его НЕЛЬЗЯ использовать для утверждения о распространенности, стабильности, типичности или устойчивом поведении системы без многократных измерений.
Контролируемое машиночитаемое правило (английский): A single output MAY establish that an event occurred at least once, but it MUST NOT be used to claim prevalence, stability, typicality, or persistent system behaviour without repeated measurement.
Примечание к источникам
Примечание к источникам: К02
GEO-032
Игнорировать различия между моделями, странами, языками и интерфейсами
Основная категория: Объем измерений и стратификация<br>Вторичные теги: model, language, country, interface, stratification, aggregation<br>Основание в GEO Framework: Измерение, Время, Аудит<br>Уровень серьёзности по умолчанию: Существенный
Голос сущности
Вы тестируете веб-интерфейс на английском языке, затем объявляете: «Наша глобальная видимость ИИ составляет 78 процентов». Вы не измеряли турецкий или немецкий язык, другую страну, мобильный интерфейс, корпоративный продукт или вторую систему. Сущность может быть правильно распознана на одном языке и описана под устаревшим названием на другом. В одной стране может быть получена правильная цена, а в другой — неверная валюта или условия обслуживания. В одном интерфейсе источники могут отображаться, а в другом — нет. Одна версия продукта может давать желаемый результат, а другая — нет. Если объединить их в один средний показатель, вы больше не знаете, какие пользователи фактически получили точное представление.
Что предполагает человек?
«Результат одной системы или языка представляет собой общую видимость ИИ бренда.»
Что может произойти на уровне системы?
Результаты могут различаться в зависимости от поставщика, продукта, модели или версии, доступа в интернет, интерфейса, страны, языка, локали, учетной записи, контекста сеанса, даты, устройства и поверхности приложения. Точный механизм не всегда может быть известен. Следовательно, возможность существенных различий не может быть устранена из измерения по предположению.
Нормативное определение
Эта ошибка возникает, когда результаты, полученные при разных условиях модели, продукта, интерфейса, языка, страны, локали или времени, объединяются без записи в качестве отдельных слоёв, или когда результат из одного слоя обобщается на неизмеренные условия. По возможности сохраняйте отдельные поля для системы, продукта и интерфейса, модели или версии, состояния веб-сайта или инструмента, языка, страны и локали, контекста пользователя и сессии, устройства, и времени. Недоступные поля записывайте как НЕИЗВЕСТНО; не придумывайте единообразие.
Риск искажения представления
Агрегация может скрывать локальные ошибки в глобальном среднем значении, позволять одному успешному языку маскировать другие, представлять производительность одной системы как универсальную, искажать опыт, который фактически получают пользователи, направлять вмешательство на неправильный рынок и поддерживать коммерческие обещания за пределами измеренной области.
Как выявить ошибку?
Проверьте заявление о сфере применения и поля исходных данных. Определите, какие системы, языки, страны и интерфейсы внесли вклад в агрегированный показатель; рассчитайте вариацию между слоями; проверьте, были ли неучтённые слои включены неявно; проверьте взвешивание по отношению к фактическому распределению пользователей или рынка; и определите популяцию, для которой обобщается результат.
Необходимые доказательства
- Измеряемые системы, продукты и интерфейсы
- Модель или версия, если доступно
- Язык, страна или локаль, и дата
- Условия пользователей и сессий
- Запросы и повторения по слою
- Результаты и вариация на уровне слоя
- Метод взвешивания и фактическое распределение пользователей или рынка
- Немеряемые условия и ограничения области применения
Надлежащий стандарт
Сначала представляйте результаты по стратам — например, турецкий / Турция / Система A; английский / Великобритания / Система A; немецкий / Германия / Система B. Если требуется агрегат, указывайте входящие в него страты, веса, немеряемые области и вариацию между стратами. Никогда не заполняйте немеряемую страту благоприятным результатом другой страты.
Случаи, не являющиеся нарушением
Пилотное исследование может законно измерять один язык или систему. Его область применения должна оставаться явной: «Эти выводы применимы только к турецкому веб-интерфейсу указанной системы в измеренных условиях в Турции.» Нарушением является представление этого пилота как глобальной или межсистемной производительности.
Протокол исправления
Добавьте поля страты к исходным записям. Разбейте исторические результаты по возможности, отметьте неизмеренные области, отображайте результаты по агрегатам и стратам вместе, публикуйте методику взвешивания, измеряйте приоритетные рынки и языки, сужайте слишком общие утверждения и реагируйте на существенные различия между стратами.
Повторная валидация
Измеряйте одинаковые намерения запросов по определённым системным, языковым, страновым и интерфейсным стратам. Сообщайте о общих шаблонах, различиях и неизмеренных условиях отдельно.
Влияние на соответствие
Игнорирование существенных измерительных страт является существенным несоответствием.
Вопрос аудита
Вопрос аудита: Чей опыт при каких системных условиях отражает этот результат — и чей не отражает?
Машиночитаемое правило
Машиночитаемое правило: Результаты ДОЛЖНЫ быть распределены по системе материала, продукту, интерфейсу, языку, стране, локали и временным условиям. Невымеренные страты НЕ ДОЛЖНЫ быть представлены результатами другой страты.
Контролируемое машиночитаемое правило (английский): Results MUST be stratified by material system, product, interface, language, country, locale, and time conditions. Unmeasured strata MUST NOT be represented by results from another stratum.
GEO-033
Напрямую приписывать продажи влиянию ИИ
Основная категория: Атрибуция коммерческого воздействия<br>Вторичные теги: AI influence, referral, conversion, causality, incremental value<br>Основание в GEO Framework: Измерение, Время, Итоговая проверка, Оценка<br>Уровень серьёзности по умолчанию: Существенный; критический, если вводит в существенное заблуждение
Голос сущности
Клиент покупает. Ваша форма спрашивает: «Откуда вы о нас узнали?» Ответ: «ChatGPT», поэтому вы присваиваете всю продажу доходу GEO. Возможно, клиент уже знал о бренде, видел его на мероприятии, получил рекомендацию, искал информацию в Google, отреагировал на скидку или был убеждён в ходе разговора с продавцом. Я мог быть первым контактом, последним контактом или просто напоминанием среди других вариантов. Я также мог внести реальный вклад. Ссылка клиента на меня имеет значение. Но то, что я был встречен, повлиял на решение, стал причиной визита, произошла продажа, и что продажа в противном случае не состоялась — это не одно и то же утверждение.
Что предполагает человек?
«Если клиент упоминает систему ИИ, вся стоимость продажи принадлежит GEO.»
Что может произойти на уровне системы?
Коммерческие решения могут сочетать предварительную осведомленность, органический и платный поиск, социальные сети, рекомендации, мероприятия, ответ AI, сервисы сравнения, контакт с продажами, цену, акции и предыдущий опыт клиента. Влияние AI может быть подлинным; его степень вклада все равно должна быть оценена.
Нормативное определение
Эта ошибка заключается в представлении результата AI, самостоятельно заявленного воздействия AI, отслеживаемого взаимодействия или рекомендации AI как прямой и полной причины продажи, дохода или прибыли без анализа других точек контакта, модели атрибуции, сравнительных доказательств и фактической цепочки результатов. Уровни атрибуции должны оставаться отдельными:
A0 — Наблюдается результат ИИ: бренд или источник появляется в результате; неизвестно, видел ли его пользователь.
A1 — Сообщено о воздействии ИИ: пользователь говорит, что видел ответ ИИ, без независимого подтверждения.
A2 — Взаимодействие, связанное с ИИ: отслеживаемое взаимодействие с интерфейсом ИИ или общий ответ ИИ достигает сайта или канала контакта.
A3 — Коммерческий контакт, обусловленный ИИ: существует разумная, документированная связь между взаимодействием с ИИ и коммерческим запросом; другие точки контакта могут оставаться.
A4 — Продажа с помощью ИИ: учетные записи пользователя и транзакции подтверждают вклад в решение о покупке, хотя его размер может оставаться неопределенным.
A5 — Атрибуция на основе правил ИИ: предопределенная модель назначает часть стоимости продажи точке контакта с ИИ. Это решение моделирования, а не чистая причинность.
A6 — Пошаговый эффект ИИ: эксперимент, контроль, естественный эксперимент или сильный причинный метод разумно оценивает результат, который иначе не произошел бы.
Ни один уровень не может быть заменен другим.
Риск искажения представления
Ошибка увеличивает показатели возврата GEO, удаляет вклад других каналов, искажает решения по бюджету и затратам на привлечение, создает неправильные стимулы между командами, превращает неконтролируемый результат в кажущееся гарантированным и преувеличивает устойчивую ценность.
Как выявить ошибку?
Определите «продажу с участием ИИ», «доход по GEO» и аналогичные термины. Установите, как был выявлен контакт с ИИ, восстановите другие контакты клиента и определите, использовались ли правила первого контакта, последнего контакта или многоканального взаимодействия и были ли они предопределены. Разграничьте продажу и чистый вклад, проверьте возвраты и непрерывность, найдите сравнительные доказательства того, что произошло бы без контакта с ИИ, предотвратите учет полной стоимости одной продажи несколькими каналами и обозначьте оценки модели как оценки.
Необходимые доказательства
- Записи о контактах с ИИ и отчетах пользователей
- Запись о реферере или взаимодействии, если доступно
- Хронология CRM и другие контакты
- Модель атрибуции, версия и правило распределения стоимости
- Запись о продаже и контракте
- Доход, затраты и чистый вклад
- Возвраты, отмены и последующий период
- Контроль или сравнение, если доступно
- Заявление о неопределенности
Надлежащий стандарт
Держите эти утверждения отдельно: было зафиксировано взаимодействие с ИИ; клиент сообщил о влиянии ИИ; произошло отслеживаемое взаимодействие, связанное с ИИ; был зарегистрирован лид, на который повлияло ИИ; заранее определённая модель с множественными касаниями частично приписала продажу ИИ; экспериментальный метод оценил дополнительный эффект продаж. Выражайтесь только на уровне, который подтверждается доказательствами.
Случаи, не являющиеся нарушением
Организация может использовать атрибуцию по первому касанию или по последнему касанию для внутреннего управления, если она определяет этот выбор как модель. Возможно сказать: «Наша модель первого касания назначает эту продажу каналу ИИ». «Эта продажа произошла только из-за ИИ» требует значительно более веских доказательств.
Протокол исправления
Пересмотрите каждое определение дохода от ИИ или GEO. Установите уровни атрибуции, отделите отчет пользователей, записи о рекомендациях и транзакциях, выявите другие точки взаимодействия в CRM, предопределите и версионируйте модель, предотвратите двойной учет, измеряйте чистый вклад и устойчивость отдельно, сужайте причинные утверждения и, где это возможно, проведите тест на инкрементальность.
Повторная валидация
Классифицируйте новые продажи отдельно как лиды, зарегистрированные ИИ, отслеживаемые ИИ-лиды, продажи с поддержкой ИИ, атрибуции на основе правил и инкрементные эффекты. Отчитывайтесь по каждому классу отдельно в конце указанного периода.
Влияние на соответствие
Представление влияния ИИ как прямой и полной причины продажи является существенным несоответствием. Преднамеренное использование этого для введения в заблуждение значимого клиента, инвестора, договора или инвестиционного решения может быть критическим.
Вопрос аудита
Вопрос аудита: Мы показываем, что существовал контакт с ИИ, моделируем его вклад или фактически демонстрируем, что продажа не состоялась бы без него?
Машиночитаемое правило
Машиночитаемое правило: Воздействие ИИ, рекомендации, влияние, приписываемая ценность и дополнительное причинное воздействие ДОЛЖНЫ сообщаться как отдельные уровни. Контактная точка, связанная с ИИ, НЕ ДОЛЖНА рассматриваться как единственная причина продажи без подтверждающих причинных доказательств.
Контролируемое машиночитаемое правило (английский): AI exposure, referral, influence, attributed value, and incremental causal impact MUST be reported as distinct levels. An AI-related touchpoint MUST NOT be treated as the sole cause of a sale without supporting causal evidence.
GEO-034
Считать самоотчёт пользователя подтверждённой атрибуцией
Основная категория: Качество доказательств атрибуции<br>Вторичные теги: self-report, recall bias, survey design, corroboration, AI-assisted lead<br>Основание в GEO Framework: Доказательства, измерение, аудит<br>Уровень серьёзности по умолчанию: Существенный
Голос сущности
Вы спрашиваете: «Нашли ли вы нас через ChatGPT?» Клиент отвечает «да», и вы фиксируете проверенное источник и приписывание. Вопрос мог повлиять на ответ. Клиент может путать AI-сводку поисковой системы с ChatGPT, помнить последний контакт как первый или использовать меня только на последнем этапе исследования. Они также могли уже знать бренд, использовать несколько систем или выбрать ответ поспешно. Они также могли впервые открыть вас через мой ответ. Аккаунт пользователя не является бесполезным. Он может раскрыть опыт принятия решений, который не виден ни одной технической записи. Тем не менее, он должен оставаться тем, чем является: самодекларацией, а не автоматически проверенной технической записью или причинным доказательством.
Что предполагает человек?
«Если клиент говорит, что использовал ИИ, источник и вклад были окончательно проверены.»
Что может произойти на уровне системы?
Самоотчеты могут быть неполными из-за ошибок памяти, путаницы с названиями платформ, объединения нескольких точек контакта в одну, навязчивого дизайна вопросов, социальной желательности, поспешных ответов или отсутствия знаний о технических каналах. Эти риски не делают пользователя нечестным. Они требуют, чтобы измерение точно классифицировало доказательства.
Нормативное определение
Эта ошибка возникает, когда отчет пользователя о том, что на него повлияло, его рекомендовали или представили системе ИИ, классифицируется как проверенный источник или причинная атрибуция без оценки дизайна вопросов, времени, других точек контакта и подтверждающих записей. Уровни самоотчета:
U0 — Спонтанная история: неподсказанный, неструктурированный, но потенциально ценный качественный отчет.
U1 — Запрошенный отчет: пользователь выбирает ИИ в форме или вопросе, содержащем указанные варианты; необходимо оценить дизайн вопроса.
U2 — Структурированный детальный отчет: пользователь определяет систему, приблизительную дату, запрос и характер воздействия.
U3 — Частично подтвержденный отчет: время, CRM, реферал, скриншот или другая запись частично соответствует учетной записи.
U4 — Сильно подтвержденный контакт: независимые технические или транзакционные записи достаточно подтверждают контакт. Даже этот уровень не обеспечивает автоматическое доказательство всей вклада или причинно-следственной связи.
Риск искажения представления
Ошибка увеличивает количество лидов ИИ, неправильно классифицирует платформы, неверно распределяет вклад каналов, упрощает путь пользователя, преувеличивает возврат и превращает анекдоты в окончательные коммерческие доказательства.
Как выявить ошибку?
Проверьте точный вопрос и его варианты ответов, включая «другое» и «не знаю». Проверьте наличие наводящих формулировок. Зафиксируйте, когда был получен ответ, определил ли пользователь систему и цель, какие другие точки взаимодействия присутствуют в записях опроса или CRM, а также имеются ли доказательства рекомендаций или сессий. Присвойте категории U0–U4, проверьте, не были ли неоднозначные ответы вынуждены к положительной атрибуции ИИ, и учитывайте не только покупателей, но и непокупателей.
Необходимые доказательства
- Точный вопрос опроса или формы и варианты ответов
- Дата ответа и объяснение в свободной форме
- Система и приблизительный запрос или цель, если известны
- Хронология CRM и другие контакты
- Запись о ссылке или перенаправлении
- Коммерческий результат
- Уровень самоотчета
- Условия конфиденциальности и обработки данных
- Запись неопределенности
Надлежащий стандарт
Оправданный отчет может содержать следующую формулировку: «В восемнадцати из 120 опрошенных покупателей в структурированном опросе сообщалось, что их решение было под влиянием ИИ-системы. Шесть сообщений частично подтверждались техническими или CRM-записями. Самоотчет не рассматривался как причинная атрибуция». Используйте нейтральные вопросы: «Где вы впервые встретили этот сервис?», «Выберите все источники, которые повлияли на ваше решение», и «Если вы использовали систему ИИ, какая именно и как она повлияла на ваше решение?» Избегайте формулировок типа «Вы нашли нас через ChatGPT, не так ли?»
Случаи, не являющиеся нарушением
Самоотчёт — важный тип доказательств и, возможно, единственный доступный сигнал от закрытого интерфейса. Нарушение заключается в том, чтобы представить его как проверенную и причинную атрибуцию без его ограничений.
Протокол исправления
Удалять наводящие вопросы, допускать несколько точек соприкосновения, добавлять «другое» и «не знаю», классифицировать отчёты от U0 до U4, устанавливать подтверждение через технические и CRM-записи, сузить исторические заявления о достоверности, включать неудачные и неподходящие лиды в рамках сферы действия и сохранять конфиденциальность и минимизацию данных.
Повторная валидация
Проведите пересмотренный опрос за определённый период и сравните показатели отчётов ИИ по старым и новым методам. Раскройте разницу, правдоподобно созданную ведущим дизайном.
Влияние на соответствие
Рассматривать самоотчёт пользователя как подтверждённую атрибуцию — это существенное несоответствие.
Вопрос аудита
Вопрос аудита: У нас есть проверенная контактная запись или мы превращаем ценную, но ограниченную пользовательскую учетную запись в окончательную атрибуцию?
Машиночитаемое правило
Машиночитаемое правило: Самоотчет пользователя МОЖЕТ предоставлять доказательства предполагаемого влияния ИИ, но не ДОЛЖЕН классифицироваться как проверенная или причинная атрибуция без соответствующего подтверждения и методов сбора информации, не влияющих на ответы.
Контролируемое машиночитаемое правило (английский): User self-report MAY provide evidence of perceived AI influence, but it MUST NOT be classified as verified or causal attribution without appropriate corroboration and non-leading collection methods.
GEO-035
Отбирать успехи и скрывать неудачи
Основная категория: Целостность результатов<br>Вторичные теги: cherry-picking, survivorship bias, negative evidence, complete reporting<br>Основание в GEO Framework: Измерение, аудит, возражение, суждение<br>Уровень серьёзности по умолчанию: Существенный; критический при умышленном сокрытии
Голос сущности
Вы собираете сто результатов. Пять из них точно и сильно рекомендуют бренд, поэтому вы публикуете эти пять скриншотов. Остальные девяносто пять остаются невидимыми. Некоторые пропускают название, неправильно классифицируют услугу, рекомендуют конкурента, используют устаревшую цену или делают неподтвержденное утверждение. Вы заявляете: «Системы ИИ рекомендуют нас точно». Важны пять точных рекомендаций. Но если девяносто пять результатов провалились или отличались, эти пять скриншотов не представляют типичное поведение. Неудача — это не корзина для отходов измерений. Неудача — это часть измерения. Стандарт должен проверять не только когда я вас понимаю, но и когда не понимаю.
Что предполагает человек?
«Положительных примеров достаточно, чтобы доказать успех; неудачи лишь усложняют отчет.»
Что может произойти на уровне системы?
Селективная отчетность может сохранять только выгодные запросы, успешные системы или языки, ответы, содержащие рекомендации, конвертирующие лиды, непрерывные периоды или завершенные продажи. Некорректные и НЕИЗВЕСТНЫЕ результаты, неудачные лиды, возвраты, отмены и регрессии после исправления исчезают. Распределение и профиль риска тогда перестают быть достоверными.
Нормативное определение
Эта ошибка заключается в пропуске, из определённого измерения GEO, аудиторского или коммерческого отчёта, результатов, попадающих в область охвата, которые являются отрицательными, некорректными, неопределёнными, неудачными или неподходящими, при этом избранные успешные результаты представлены как общая эффективность. Отрицательные записи включают отсутствие, неверную индивидуальность, категорию, характеристику, географию или рекомендацию, устаревшую информацию, неподтверждённые утверждения, неспособность ответить, НЕИЗВЕСТНО, неподходящее соответствие, связанный с ИИ лид, который не конвертировался, возврат или отмену, слабый чистый вклад и регрессию после исправления.
Риск искажения представления
Селективная отчётность делает поведение более стабильным, чем оно есть на самом деле, скрывает уровень ошибок и критические риски, вводит в заблуждение клиентов и инвесторов, делает неэффективное вмешательство успешным на вид, подавляет исправления и превращает стандарт в маркетинговый инструмент.
Как выявить ошибку?
Сравните ожидаемое и зарегистрированное количество записей. Получите все необработанные результаты и перечислите каждое исключение с обоснованием. Рассчитайте благоприятное, неблагоприятное и НЕИЗВЕСТНО распределение. Проверьте, были ли выбраны определённые системы, языки, периоды или случаи; найдите публичные скриншоты в полной выборке; включите неудачные звонки, возвраты и отмены; различайте «лучшие примеры» и «типичные результаты»; и исследуйте, следовали ли исключения правилу, определённому до публикации.
Необходимые доказательства
- Область измерения и ожидаемое количество наблюдений
- Полные необработанные результаты и идентификаторы записей
- Включённые и исключённые результаты с причинами
- Распределение положительных, отрицательных и НЕИЗВЕСТНО
- Системы, языки и страты стран
- Записи о лидах, продажах, возвратах и отменах
- Правило, используемое для выбора опубликованных примеров
- Журнал изменений и реестр отрицательных свидетельств
Надлежащий стандарт
В пределах определенного объема сообщайте об успехах, неудачах, искажениях, НЕИЗВЕСТНЫХ результатах и пробелах в измерениях. Положительный пример может использоваться в маркетинге, если его контекст остается ясным: «Это был один из пяти положительных результатов из 100 тестов» или «Этот выбранный случай не отражает общую степень успеха». Пример и распределение чисел не являются взаимозаменяемыми.
Случаи, не являющиеся нарушением
Исследование конкретного случая может подробно описывать один успех, не превращаясь в полный отчет о производительности. Если случай представлен как типичный, общий, гарантированный или систематический, необходимо раскрывать статус контрпримеров и неудач.
Протокол исправления
Восстановить исходные записи, найти пропавшие и исключённые результаты, установить положительные, отрицательные и НЕИЗВЕСТНЫЕ классы, пересчитать показатели, используя истинный знаменатель, добавить контекст к публичным примерам, создать реестр отрицательных доказательств, включить возвраты, отмены и неподходящие заявки, заранее определить правила исключений, опубликовать исправление в случае умышленного сокрытия и применять проверки полноты к последующим отчетам.
Повторная валидация
Независимый рецензент сравнивает общую сумму отчета, сумму исходных данных, исключения и распределение результатов. Каждое отличие должно иметь письменное и обоснованное объяснение.
Влияние на соответствие
Неполная или избирательная отчетность является существенным несоответствием. Умышленное сокрытие отрицательных результатов с целью искажения общей эффективности является критическим.
Вопрос аудита
Вопрос аудита: Показывает ли этот отчет измерение или только результаты, которые поддерживают историю, которую мы хотели рассказать?
Машиночитаемое правило
Машиночитаемое правило: Все положительные, отрицательные, неверные, неудачные и НЕИЗВЕСТНЫЕ результаты в рамках области применения ДОЛЖНЫ оставаться в записи измерений. Выбранные примеры НЕ ДОЛЖНЫ представляться как репрезентативные без контекста полного распределения.
Контролируемое машиночитаемое правило (английский): All in-scope positive, negative, incorrect, failed, and UNKNOWN results MUST remain in the measurement record. Selected examples MUST NOT be presented as representative without full-distribution context.
GEO-036
Скрывать неопределённость измерений за единым баллом
Основная категория: Представление результатов<br>Вторичные теги: composite score, uncertainty, coverage, confidence, non-compensatory failure<br>Основание в GEO Framework: Измерение, Аудит, Суждение<br>Уровень серьёзности по умолчанию: Существенный; критический, когда это скрывает критический вывод
Голос сущности
Вам дают одно число: «Ваш GEO-результат — 87/100». Это выглядит ободряюще. Но что значит 87? Сколько систем, запросов и языков было измерено? Были ли цитирование и рекомендации взвешены одинаково? Оценивались ли идентичность, достоверность доказательств и технический доступ? Были ли немеренные области оценены как ноль, помечены как неизвестные или тихо учтены как положительные? Каковы были выборка, дисперсия и неопределенность? Кто выбирал веса? Скомпенсировали ли высокие баллы за содержание одно критическое ложное утверждение о лицензировании? Одно число может скрывать каждый вопрос, на который оно, по сути, должно отвечать. Одна организация может получить 87, публикуя критическую ошибку, которая направляет людей к неподходящей медицинской услуге. Другая может получить 62, потому что её техническое покрытие неполное, хотя представление честное, ограниченное и достоверное. Какая из них соответствует требованиям? Только общее число не может это сказать.
Что предполагает человек?
«Сложную геопроизводительность можно точно и объективно представить с помощью одного простого показателя.»
Что может произойти на уровне системы?
Композитный показатель может объединять несвязанные метрики с произвольными весами, создавать впечатление точности на небольшой выборке, вознаграждать немеряемые области, позволять техническому успеху компенсировать этическую неудачу, терять различия системы и языка в среднем значении, создавать ложное чувство уверенности и представлять коммерческие предпочтения поставщика оценки как научный факт. Вычислимость не устанавливает значение.
Нормативное определение
Эта ошибка заключается в сведении точности представления, целостности доказательств, технического доступа, времени, удобства для пользователя, коммерческого результата, управления и других различных аспектов к одному баллу или проценту без раскрытия охвата, весов, неопределенности, качества данных и критических выводов. Один балл может скрывать по меньшей мере пять вещей:
Покрытие: что было измерено, а что — нет.
Доверие: качество и повторяемость доказательств.
Изменчивость: различия между системами, языками и запросами.
Критические выводы: этические или безопасностные ошибки, которые никакое среднее значение не сможет компенсировать.
Выбор весов: почему одна из областей была признана более важной, чем другая.
Вектор соответствия должен вместо этого раскрывать:
Статус решения: соответствующий, условно соответствующий, не соответствующий или недостаточно данных для принятия решения.
Размерные результаты: точность идентичности, категория и объем, целостность доказательств, временная достоверность, надежность измерений, технический доступ, многоязычная согласованность, риск манипуляции, управление, коммерческая атрибуция и устойчивое значение.
Серьезность вывода: Критический, Важный, Умеренный или Консультативный.
Достоверность доказательств: Высокий, Средний, Низкий или Неопределенный.
Объем: системы, языки, страны, запросы, период и непроверенные области.
Неопределенность: известные пробелы, НЕИЗВЕСТНО результаты, ограничения выборки, вариации и методологические ограничения.
Сложные оценки не запрещены. Для внутреннего отслеживания они могут быть полезны, при условии, что формула и компоненты опубликованы, веса обоснованы, охват и обработка НЕИЗВЕСТНОГО видны, показаны выборка и дисперсия, критические выводы не могут быть компенсированы, версии формулы зафиксированы, и оценка не заменяет аудитное заключение.
Риск искажения представления
Одна оценка создаёт вводящую в заблуждение простоту, ложную научную точность, знак, который кажется покупаемым, потерю критических неудач внутри среднего значения, скрытые пробелы в измерении, несправедливое сравнение и управленческую фиксацию на цифре вместо того, чтобы сосредоточиться на решении.
Как выявить ошибку?
Получите формулу, компоненты и веса. Определите отсутствующие данные и способы обработки UNKNOWN, проверьте, как критические и существенные несоответствия влияют на результат, исследуйте образец, повторения и вариации, сравните версии оценок и определите, оцениваются ли организации, измеренные в разных рамках, напрямую. Проверьте интерфейсы, которые показывают общий результат, скрывая его ограничения.
Необходимые доказательства
- Формула, компоненты и веса
- Обоснование для взвешивания
- Объем данных и сырые результаты
- Правила для UNKNOWN и отсутствующих данных
- Образец и вариация
- Заявление о доверии или неопределенности
- Критические несоответствия и некомпенсируемые ограничения
- Пороги, версия оценки и статус решения
- Явные контексты, в которых нельзя использовать оценку
Надлежащий стандарт
Если организация публикует «87/100», она также должна указать, например: «Оценка основана на 80 запросах в англоязычных и турецких веб-интерфейсах. Уровень достоверности доказательств — средний. Немецкие и мобильные интерфейсы не тестировались. Остаётся одно серьёзное нарушение. Эта оценка не является решением о соответствии.» Если выявлено критическое нарушение, укажите: «Несмотря на высокий суммарный балл, соответствие не предоставлено из-за критического несоответствия.» Среднее значение не может отменить этическое вето.
Случаи, не являющиеся нарушением
Внутренняя команда может отслеживать прогресс с помощью простого балла, когда формула стабильна, балл не представлен как общественное соответствие, размерные результаты остаются доступными, а критические результаты не могут быть скрыты.
Протокол исправления
Опубликуйте формулу и компоненты, раскройте обработку отсутствующих и НЕИЗВЕСТНЫХ данных, добавьте некопенсаторные пороги для критических результатов, предоставьте размерный бальный лист, покажите уверенность, охват и вариацию вместе с общим результатом, перечислите не измеренные области, исправьте вводящие в заблуждение исторические сравнения, версионируйте каждое изменение формулы и отделите решение о соответствии от оценки.
Повторная валидация
Независимый рецензент должен пересчитать не только общую сумму, но и её компоненты, объём, неопределённость, критические выводы и логику принятия решений. Существенно отличающиеся выводы на основе одних и тех же исходных данных требуют повторной проверки формулы и весов.
Влияние на соответствие
Использование единого показателя, который скрывает масштабы и неопределенность, является значительным несоответствием. Сокрытие критического этического, безопасного или доказательного сбоя внутри высокого среднего показателя является критическим.
Вопрос аудита
Вопрос аудита: Отражает ли этот показатель измерение, или скрывает масштаб, неопределённость и ключевые результаты, необходимые для его понимания?
Машиночитаемое правило
Машиночитаемое правило: Композитный GEO-балл НЕ ДОЛЖЕН заменять результаты измерений, масштаб, неопределенность, уверенность в доказательствах или критические несоответствия, которые нельзя компенсировать. Критические ошибки НЕ ДОЛЖНЫ усредняться.
Контролируемое машиночитаемое правило (английский): A composite GEO score MUST NOT replace dimensional results, scope, uncertainty, evidence confidence, or non-compensatory critical findings. Critical failures MUST NOT be averaged away.
ГЛАВА IV — ОБЩИЙ СУД
Девять ошибок в этой главе — отсутствие базовой линии, слияние типов событий, выборка запроса после результата, генерализация одного вывода, пропущенные страты, прямое приписывание продаж, непроверенные самоотчеты, избирательная отчетность и ложная точность — имеют одну общую причину:
утверждение результата, превышающего то, что действительно поддерживается измерением.
Текущее состояние становится улучшением. Упоминание становится рекомендацией. Рекомендация становится продажей. Самоотчет становится причиной. Один ответ становится поведением системы. Выбранные успехи становятся полным распределением. Одно среднее становится всей правдой.
Лестница измерений GEO
Стандарт GEO NOMOS разделяет измерительные утверждения на девять уровней:
Наблюдение события: наблюдался указанный результат, упоминание, цитата или рекомендация.
Классифицированное наблюдение: событие было оценено как точное, неточное, положительное, отрицательное, условное или НЕИЗВЕСТНО.
Повторяющийся шаблон: его распределение по повторениям, времени или условиям было измерено.
Сравнительное изменение: сравнивались базовое и последующее измерение.
Изменение, связанное с вмешательством: была установлена разумная связь между вмешательством и наблюдаемым изменением.
Эффект пользователя: была зафиксирована реальная вовлеченность пользователя, взаимодействие или влияние на принятие решения.
Коммерческий результат: был подтвержден лид, продажа, доход или другой результат.
Атрибуция: модель, связывающая результат с конкретными точками касания, была раскрыта.
Пошаговая и устойчивая ценность: дополнительный эффект, который в противном случае не произошел бы, чистый вклад, удовлетворение и настойчивость были оценены.
Ниже уровню не обязательно соответствует более высокий уровень. Одного упоминания недостаточно, чтобы обеспечить рекомендацию, влияние пользователя, продажу или устойчивую ценность.
Запись минимального географического измерения
Существенное GEO-измерение должно фиксировать, по мере необходимости: идентификатор измерения и объект; вопрос измерения и точное утверждение; версию набора запросов; систему, продукт, интерфейс и доступную версию модели; язык, страну или локаль; дату и время; сессию и контекст; повторения и исходные результаты; классы упоминаний, ссылок и рекомендаций; точность представления и пригодность для пользователя; журналы базовой линии и вмешательства; распределение результатов и неизвестные результаты; уровень атрибуции; коммерческий результат; неопределенность и неизмеренные области; оценщика и вторую проверку; версию измерения и запись целостности. Не каждое небольшое исследование требует каждого поля. Ни одно поле, которое существенно изменяет надежность утверждения, не может быть пропущено без уведомления.
Девять законов измерения NOMOS
- Без исходного уровня нет улучшений — есть только текущее состояние.
- Упоминание, цитата и рекомендация не взаимозаменяемы.
- Невозможно тихо изменить измеряемую область после того, как получены результаты.
- Один результат может установить существование; он не устанавливает распространённость.
- Результат в одной системе, языке или стране не отражает неизмеренные условия.
- Точка взаимодействия с ИИ может способствовать продаже; вклад не является полной причиной.
- Самостоятельный отчет пользователя является доказательством, но не автоматическим подтверждением или причинно-следственной связью.
- Когда неудачи исчезают из набора данных, показатель успеха больше не измеряет реальность.
- Оценка не может устранить диапазон, неопределённость или критическое нарушение.
Этика измерений
Плохое измерение — это не просто технический дефект. Оно изменяет бюджеты клиентов, показатели сотрудников, гонорары агентств, инвестиционные решения, утверждения к доверию общественности и награды за соответствие. Выбор только благоприятных запросов может тратить деньги клиента впустую. Принятие самоотчёта за доказательство продаж может исказить инвестиционное решение. Позволение высокой средней величине скрывать критическое нарушение может дать людям уверенность в том, что у них нет оснований для жалоб. Этика измерений не начинается с нижней строки электронной таблицы. Она начинается, когда кто-то решает, какие записи будут в неё внесены.
Заключительный вопрос главы
Может ли утверждение о производительности GEO ответить на эти вопросы?
- Что мы измеряли и при каких условиях?
- С чем мы сравнивали, чтобы назвать это изменением?
- Как часто мы это наблюдали?
- Какие результаты мы исключили?
- Что осталось неизмеренным?
- Встретил ли реальный пользователь этот результат?
- Произошел ли коммерческий результат?
- Почему этот результат был связан с этим каналом?
- Что является неопределенным?
- Может ли другая команда воспроизвести результат?
Если эти вопросы остаются без ответа, число может существовать. Измерения нет. Следовательно, окончательный вывод главы IV таков:
Измерение — это не производство числа. Это дисциплина, определяющая, какое утверждение каждая запись имеет право поддерживать.
И NOMOS приказывает:
Не объявляйте успех в изменении, которое вы не измеряли.
Не помещайте необследованного пользователя в цепочку атрибуции.
Не удаляйте скрытый сбой из среднего значения.
Не прячьте неопределённость, которую не можете объяснить, в одном счёте.