Глава III — Измерение

Дисциплина наблюдения

Измерение не создаёт реальность; оно определяет ту часть реальности, которую мы способны увидеть. Число не равно знанию о состоянии. График может показать изменение, но не его причину. Можно считать упоминания, отслеживать ссылки и рассчитывать долю рекомендаций; сравнивать трафик, обращения и продажи. Всё это измеримо. Ничто само по себе не является успехом.

Отчёт GEO часто строят с конца: сначала получают число, затем приписывают ему смысл, смысл превращают в успех, а успех связывают с коммерческим результатом. На каждом переходе возникает новое утверждение, хотя измерение не меняется. Исследования генеративного информационного поиска также ставили вопрос, достаточно ли традиционной оценки, основанной на ранжировании, для сгенерированных ответов.[5] Framework отвергает эту цепь. Измерение — не число для украшения утверждения, а протокол, который делает наблюдения сопоставимыми.

То, что вы измеряете, задаёт потолок того, что вы вправе утверждать.

1. Объект измерения

Система измерения должна ответить на пять вопросов. Что мы измеряем? Какова единица измерения? В каких условиях мы измеряем? С чем сравниваем? В течение какого периода наблюдаем? Без этих ответов фраза «видимость нашего бренда — 72 процента» бессмысленна. Семьдесят два процента в каких системах, запросах, языках и при каком знаменателе? Это доля упоминаний, точных характеристик, поддержки источниками или рекомендаций? Как учитывались недостающие записи? Неопределённое число — не измерение, а декорация.

GEO измеряет не один объект, а четыре отдельные области.

1.1. Представление сущности

Способна ли система отличить нужного человека, компанию, продукт или учреждение? Сталкиваются ли сходные имена? Верны ли категория, география и связь между прежней и нынешней идентичностью? Сохраняется ли одна сущность в разных языках? Записи можно кодировать как точные, частичные, смешанные, неверная категория, неоднозначные или отсутствующие. «Сущность не появилась» и «распознана не та сущность» — не одно и то же: первое означает отсутствие, второе — искажение.

1.2. Представление характеристик

Каждая существенная характеристика сущности проверяется на точность, поддержку, охват, актуальность, видимые ограничения и выполнимость. Возможные коды: поддерживается полностью, поддерживается частично, не поддерживается, искажено, отсутствует. Верного слова недостаточно для точного представления — нужно измерять и охват. Работа с международными клиентами не означает неограниченных глобальных возможностей.

1.3. Поведение суждения

Система просто описывает сущность, сравнивает её, рекомендует условно или безоговорочно либо верно исключает? Возможные коды: уместная рекомендация, условная рекомендация, неуместная рекомендация, неподтверждённое основание, верное исключение, ошибочное исключение, суждение отсутствует. Одного числа рекомендаций недостаточно. В одной записи следует оценить основание, намерение пользователя и пределы бизнеса. Бизнес, рекомендуемый в каждом запросе, может иметь не сильное представление, а выходить за его правомерное поле.

1.4. Коммерческий след

Заявленное влияние ИИ, наблюдаемый переход, контакт, квалифицированное обращение, предложение, продажа, валовая прибыль, отмена или возврат, удовлетворённость и повторная покупка отслеживаются раздельно. Трафик не является продажей; продажа — прибылью; прибыль — удовлетворённостью; удовлетворённость — продолжительностью отношений. Аналитические инструменты раскрывают части цепи, но не весь путь решения. Коммерческий след может показать связь между представлением и результатом. Сам по себе он не устанавливает причинность.

Эти четыре области можно связывать, но нельзя растворять в одном числе.

2. Единица измерения и знаменатель

Основная единица измерения Framework — не балл, а запись наблюдения. Одна запись включает:

Одна сущность + одна система и способ доступа + один запрос + один язык + одно время + одно условие сессии + один полный результат

Если меняется любой элемент, создаётся новая запись. Проверка того же запроса в другой системе, на другом языке или в другую дату — не продолжение прежней записи, а отдельное наблюдение. Результат может быть похожим; запись остаётся иной.

Как минимум каждая запись содержит версию протокола, сущность, систему и интерфейс, время, полный запрос, язык, полный ответ и источники, семейство запросов, результат кодирования, оценщика, статус сравнения и доказательную границу. «Исследовано десять ответов» сообщает объём. «В семи из десяти ответов сущность распознана в верной категории по заранее заданному критерию» уже может быть измерением.

У каждой доли есть числитель и знаменатель. «Бренд рекомендовали семнадцать раз» — неполная фраза, если не раскрыты общее число запросов, систем и повторов, наличие названия бренда в запросе, обработка неудачных результатов и включение тестов на исключение. «Бренд рекомендовали в семнадцати из 240 действительных результатов, полученных из сорока запросов с тремя повторами в двух системах» показывает поле действия суждения.

Недостающая запись — не ноль. Если система не дала ответа, результат записывают не как «бренд не появился», а как «результат не получен». Для каждой доли раскрываются общее число записей, критерии включения и исключения, структура повторов, отсутствующие данные и метод кодирования. Когда знаменатель скрыт, число растёт, а информация уменьшается.

3. Почему единая оценка GEO запрещена

Framework не сводит решения к единой составной оценке GEO, потому что представление многомерно. У бренда может быть последовательная идентичность, искажённые характеристики, частые рекомендации и коммерчески бесполезные результаты. Одно число сглаживает это напряжение. Сглаженное легко сравнить, но уже невозможно понять.

Упоминаниям, ссылкам, рекомендациям, положительному языку, трафику и конверсиям можно присвоить веса и получить, например, 78. Такие индексы могут служить сводными внутренними сигналами. Однако сами по себе они не выявляют искажение, не устанавливают затронутое право и не решают, допустимо ли публичное утверждение. Поэтому Framework использует профиль измерения:

Таблица 3.1 — Профиль измерения GEO

В отдельных измерениях допустимы доли или количества. Запрещено не число, а сокрытие разных реальностей внутри одной оценки, наделённой властью принимать решения.

4. Точка, множество и распределение

Измерение действует на трёх уровнях охвата. Точечное наблюдение — один запрос, одна система и один момент. Оно показывает событие, но не поведенческий паттерн. Правомерно сказать: «12 августа 2026 года Система A в ответ на этот запрос рекомендовала бренд вторым вариантом». Неправомерно: «Бренд занимает второе место в Системе A».

Наблюдение множества состоит из контролируемых повторов, проверяющих одно намерение пользователя в разных формулировках. Оно может поддержать фразу: «В наборе из сорока запросов с намерением покупки бренд был представлен в правильной категории в 62 процентах действительных записей». Результат принадлежит только этому набору. Его нельзя переносить на другие языки, системы или намерения.

Наблюдение распределения исследует несколько систем, языков, семейств запросов и временных окон по общим правилам кодирования. Оно расширяет охват, но не гарантирует определённость. Чем шире распределение, тем важнее не скрывать различия сред. Рассеянный протокол способен дать больше шума вместе с большим объёмом данных.

Время проходит через все три уровня. Одно измерение — запись момента. Чтобы говорить о «состоянии», нужно повторение поведения через заранее заданные интервалы. Поведение можно описать как единичное, повторяющееся, стабильное, изменчивое, ослабевающее, отсутствующее после прежнего появления или пока не классифицируемое.

5. Фиксация протокола

Протокол измерения записывается до появления результата. Заранее фиксируются исследуемая сущность, области измерения, системы, языки, семейства запросов, число повторов, временное окно, группа сравнения, правила кодирования и обработка отсутствующих данных. Протокол может измениться. Изменение нельзя скрывать.

Новая система, язык, набор запросов или критерий оценки создаёт новую версию протокола. Если старые и новые результаты сравниваются напрямую, общую неизменную часть следует сообщить отдельно. Фраза «раньше было 42 процента, теперь 68» имеет смысл только при одинаковом объекте и методе в обоих периодах. При изменении протокола серия прерывается. Прерванную серию нельзя склеить рассказом об улучшении.

Полностью неизменный тест со временем может пропустить новые проблемы; постоянно меняющийся уничтожает сопоставимость. Поэтому протокол сохраняет два набора запросов. Основной набор остаётся неизменным для сравнения во времени. Исследовательский набор может меняться для изучения новых намерений пользователей и типов ошибок. Его результаты не смешиваются с основной серией. Сначала они создают гипотезы и при достаточных основаниях могут войти в следующую версию протокола.

6. Множество запросов

Тест, состоящий только из запросов с названием бренда, измеряет не обнаружение, а направленное воспроизведение. Сбалансированное множество содержит пять семейств:

• Запросы идентичности: проверяют имена, категории, руководителей, продукты и институциональные связи.
• Нейтральные запросы обнаружения: исследуют обнаружение через потребность, категорию, географию и условия использования, не называя бренд.
• Сравнительные запросы: сопоставляют варианты в одинаковых условиях и фиксируют не только порядок, но и основания.
• Противоположные запросы: ищут точку разрушения утверждения в контекстах, где уместнее конкурент или иная категория.
• Запросы исключения: проверяют перелив представления в вопросах, где бренд не должен появляться.

Множество запросов должно проверять пределы, которые сущность действительно способна нести, а не желаемый оценщиком результат. Следует указать, насколько запросы представляют реальные намерения пользователей. Контролируемый запрос исследователя и естественная фраза пользователя не объединяются в один пул без различия.

7. Человеческое суждение, кодирование и разногласие

Генеративный результат не может валидировать сам себя. Вопрос системе «Верный ли это ответ?» не является независимой проверкой; он порождает ещё один вывод модели. Измерение требует определить коды и примеры решений до получения результатов.

Для значимых утверждений как минимум два оценщика независимо кодируют одни записи. Сначала можно сообщить долю простого совпадения, затем — подходящую меру, например каппу Коэна, учитывающую совпадение, способное возникнуть случайно.[15] Высокая каппа не доказывает правильности кодов в мире; она лишь показывает сходное применение определений оценщиками. Низкое согласие — не дефект, который следует скрыть. Это доказательство недостаточности определения, учебных примеров или доказательной базы.

Инструменты на основе моделей, измеряющие текстовое или семантическое сходство, дают полезные сигналы в больших массивах записей.[19] Однако сходство двух ответов не означает, что хотя бы один верен. Автоматические меры сходства могут помогать классификации; окончательное суждение о точности в реальном мире, пригодности для пользователя и этических последствиях остаётся человеческим.

8. Сопоставимость, неопределённость и отсутствующие данные

Два числа сопоставимы только тогда, когда измеряют одно и то же. Изменение системы или модели, интерфейса, языка, набора запросов, числа повторов, набора конкурентов, правила кодирования, временного окна или обработки отсутствующих данных не обязательно делает результат недействительным, но может отнести его к другой серии. Сравнение требует симметрии. Числа не становятся сопоставимыми лишь потому, что стоят рядом.

Измерение не устраняет неопределённость, а делает её видимой. Особенно важно различать три состояния:

• Не наблюдалось: соответствующий тест не проводился.
• Не найдено: тест проведён, но поведение не появилось.
• Неприменимо: критерий не относился к этой записи.

Ни одно состояние не равно автоматически нулю. Если система не предоставила ссылки, сообщают «поддержку источниками наблюдать не удалось», а не «поддержки источниками не было». Если клиент не упомянул влияние ИИ, сообщают «о влиянии не заявлено», а не «влияния не было». Если бренд не появился в одном запросе, сообщают «сущность не наблюдалась в этом запросе», а не «система не знает бренд».

Каждый отчёт сохраняет видимыми три границы: охват — что измерялось; отсутствующее поле — что не измерялось; неопределённость — чем ещё может объясняться результат. Если записать неизвестное как ноль, неопределённость не исчезнет. Она лишь станет скрытой.

9. Учебный случай: Sable & Pine

Учебная симуляция — синтетические данные. Этот случай не представляет реальную компанию или период измерения.

Для студии корпоративных интерьеров Sable & Pine представлен отчёт за два периода: 42 процента в первом и 68 во втором. На первый взгляд заметно улучшение. Но после раскрытия протоколов выясняется, что периоды измеряли разные объекты.

Таблица 3.2 — Синтетическое сравнение протоколов Sable & Pine

Доля точных характеристик 42 процента и доля упоминаний 68 процентов — разные переменные. Кроме того, во втором периоде бренд назывался чаще, противоположное поле было удалено, а число повторов сокращено. При отдельном рассмотрении двенадцати запросов, прошедших общий протокол в обоих периодах, изменение составляет с 42 до 44 процентов.

Framework не выбрасывает данные второго периода. Он сохраняет их как исходный уровень другого протокола. Но утверждение об «улучшении» на двадцать шесть пунктов отклоняется. Изменение протокола — не изменение результата.

10. Решение об измерении

Реестр измерения, подробные поля которого приведены в Приложении C, показывает наблюдаемое. Реестр доказательств решает, какую фразу это наблюдение может поддержать. Измерение создаёт запись; доказательство разрешает ей говорить.

Ничто из следующего не считается измерением в рамках Framework: единая оценка GEO с нераскрытым определением; набор запросов, изменённый после получения результатов; сохранение только благоприятных ответов; запросы с брендом, выданные за нейтральное обнаружение; смешение результатов разных систем и языков без различий; изменение протокола, описанное как рост показателей; отсутствующие данные, принятые за ноль; процент без знаменателя; взаимозаменяемое использование трафика, продаж и устойчивой ценности.

Такие практики могут производить числа. Они не производят измерения.

Вердикт этой главы:

Цель измерения — не показать, насколько мы хороши. Его цель — отделить то, что мы знаем, от того, что лишь наблюдали, и от того, чего не знаем.

Измерение искажения не исправляет его. Наблюдение изменения не объясняет причину. Видимость проблемы не означает, что любая проблема требует вмешательства. Поэтому перед переходом от измерения к действию следующая глава спрашивает: когда следует прикоснуться к представлению, а когда — только наблюдать?