Глава II — Доказательство

Граница утверждения

Доказательства не расширяют утверждение, а устанавливают его пределы. Увидеть один ответ — не значит знать поведение системы. Снимок экрана фиксирует момент, а не общее свойство. Бренд может быть упомянут в ответе, текст — указан как источник, компания — рекомендована, клиент — сообщить, что ИИ повлиял на его решение. Всё это наблюдения. Ни одно само по себе не даёт основания для общего вывода.

«Мы появились», «нас рекомендовали», «мы превзошли конкурентов» и «GEO увеличило наши продажи» — утверждения разного веса. Каждое добавляет новое следствие к предыдущему, и каждое следствие требует более широкой и квалифицированной доказательной базы. Единичный ответ модели устанавливает лишь факт такого ответа. Рассказ клиента может показать, что ИИ сыграл роль в решении, но не доказывает, что продажу создала только система. Рост трафика может подтвердить увеличение числа посещений за определённый период, но не то, что причиной стало конкретное вмешательство.

Утверждение может зайти лишь настолько далеко, насколько его несут доказательства.

1. Доказательство — не украшение, а несущая связь

Ни одна запись не сильна сама по себе. Её сила зависит от фразы, которую она должна подтвердить. Один снимок экрана с датой, запросом и полным ответом может поддержать утверждение: «В этот день, отвечая на этот запрос, система использовала название бренда». Та же запись не подтверждает: «Системы генеративного ИИ настойчиво рекомендуют наш бренд». Наблюдение не изменилось; расширилось утверждение.

Чтобы превратить настоящее наблюдение в недействительный вывод, необязательно менять данные. Достаточно стереть границу. Поэтому доказательная дисциплина сначала оценивает фразу и лишь затем данные. «Наше имя появилось» — наблюдение; «нас представили точно» — утверждение о представлении; «нас рекомендовали чаще выбранных конкурентов» — сравнение; «наше вмешательство вызвало изменение» — причинное утверждение; «это представление принесло нам прибыльных клиентов» — утверждение о коммерческом эффекте. Одна запись не способна нести все пять.

Если доказательства не выдерживают нагрузки, фразу сужают. Неопределённость не скрывают, а недостающее основание не прикрывают языком успеха. Утверждение, превышающее доказательства, не шлифуют. Его отклоняют.

Это не тревожная перестраховка. Ранние исследования генеративных поисковых систем показали: наличие источников в ответе не гарантирует, что они подтверждают каждое содержащееся в нём утверждение.[2] Документация одного из ведущих поставщиков также признаёт, что генеративные ответы могут содержать неточную информацию, вымышленные ссылки или необоснованную уверенность.[6] Выводы о конкретных системах в конкретный период нельзя переносить на все используемые сегодня продукты. Но выявленное различие сохраняется: наличие ссылки и достаточность её поддержки — не одно и то же.

2. Три области доказательств

GEO высказывает суждения о трёх разных реальностях: мире, генеративном представлении и коммерческих результатах. Эти области могут быть связаны, но не взаимозаменяемы.

2.1. Доказательство факта реального мира

Доказательство факта реального мира несёт исходную правду о человеке или организации. Действительно ли у компании есть сертификат? Правда ли отель предназначен для взрослых? Есть ли у продукта заявленная функция? Может ли бизнес обслуживать названные территории? Ответ на такой вопрос даёт не генеративная система. Система может повторить заявление; повторение не является проверкой.

Подходящее доказательство зависит от утверждения. Вес могут иметь записи компетентных органов, действующие сертификаты, договоры, проверяемые данные о результатах, официальные корпоративные записи и надёжные независимые публикации. Собственная страница бизнеса тоже является записью, но не превращает заявление бизнеса о превосходстве в независимый факт. Источник всё равно следует оценить на независимость, актуальность, охват и прямую связь с утверждением.

2.2. Доказательство представления

Доказательство представления показывает, что система выдала в определённых условиях: какая система и интерфейс, какой запрос, дата, язык, условия сессии, полный ответ и какие источники? Оно не показывает устройство мира. Оно показывает, как система реконструировала мир.

Наличие у компании сертификата не доказывает, что система знает о нём верно. Существование официальной страницы услуги не показывает, что система связывает бизнес с этой услугой. Верная информация может быть опубликована, а представление оставаться ошибочным. О целостности представления нельзя судить, пока доказательство факта реального мира не сопоставлено с доказательством представления.

2.3. Доказательство результата

Доказательство результата прослеживает, что представление сделало на уровне пользователя и бизнеса. Увидел ли пользователь ответ? Повлиял ли он на решение? Связался ли пользователь с компанией? Был ли запрос квалифицированным? Состоялась ли продажа? Было ли исполнение прибыльным и успешным? Повторились ли отношения? Каждый этап требует отдельной записи.

Счёт подтверждает сделку, но не то, что продажу создал ИИ. «Я нашёл вас в ChatGPT» — сигнал влияния, который не исключает другие точки контакта. Запись о переходе может показывать движение трафика, но не весь путь решения. Доказательства результата часто устанавливают лишь частичную связь между событиями. Частичная связь — не полная причинность.

Таблица 2.1 — Функция и граница трёх областей доказательств

Верный документ, использованный не в той области доказательств, порождает недействительный вывод.

3. От сигнала к утверждению

Фраза «у нас есть данные» ничего не говорит о статусе данных. Framework различает пять ступеней: сигнал, наблюдение, анекдот, доказательство и утверждение.

Сигнал — след, достойный исследования: бренд появился в ответе, трафик вырос, клиент упомянул систему ИИ или конкурент отсутствовал в некоторых ответах. Сигнал создаёт вопрос. Он не решает его.

Наблюдение — сигнал с зафиксированным контекстом. Известны система, запрос, дата, язык, полный результат и наблюдатель. Оно устанавливает произошедшее, а не общий образ поведения.

Анекдот превращает ограниченное единичное событие в более широкую историю. Событие может быть подлинным, а обобщение — не иметь оснований. Упоминание ИИ одним клиентом не доказывает, что «ИИ приводит нам клиентов»; одна рекомендация в одном ответе не доказывает, что «система нас рекомендует». Анекдот необязательно ложен. Он лишь недостаточен, чтобы стать правилом поведения.

Доказательство — совокупность записей, выстроенных для поддержки определённого утверждения. Исходный материал доступен, контекст сохранён, сравнения выполнены, противоположные результаты удержаны, границы обозначены. Доказательство не устраняет неопределённость. Оно показывает, где она начинается.

Утверждение — точная, проверяемая фраза, которую должна нести доказательная база. «GEO работает» может быть слоганом, но не проверяемым утверждением. «В пределах заданного набора из тридцати запросов точность представления характеристик выросла между двумя периодами измерения» показывает множество, сравнение и границу.

4. Упоминание, ссылка и рекомендация

Эти три наблюдения часто изображают ступенями одной лестницы успеха. Но это разные события с разным доказательным весом.

Упоминание происходит, когда имя сущности появляется в ответе. Система может назвать её в верном или неверном контексте, перепутать с другой сущностью или привести как отрицательный пример. Наличие имени устанавливает языковое присутствие, а не понимание.

Ссылка возникает, когда система связывает с ответом определённый текст. Эта связь требует двух отдельных проверок. Проверка ссылки выясняет, к какому утверждению прикреплён источник; проверка поддержки — действительно ли источник несёт это утверждение. Надёжный источник может не подтверждать фразу: относиться к другой сущности, устареть или иметь слишком узкий охват. Указание источника ещё не означает, что источник поддерживает сказанное.

Рекомендация происходит, когда среди нескольких вариантов система представляет сущность как подходящую пользователю. Она ближе к коммерческому результату, но всё ещё им не является. Рекомендация возникла в конкретном запросе, системе, языке, времени и поле альтернатив. Она доказывает влияние на решение, но не покупку.

Граница между этапами ясна: упоминание само по себе не доказывает точного представления; точное представление — рекомендации; рекомендация — обращения; обращение — продажи; продажа — прибыльности; прибыльность — устойчивости.

5. Пять условий доказательства

Прежде чем наблюдение сможет поддержать публичное утверждение, следует одновременно рассмотреть пять условий.

5.1. Контекст

Для каждого наблюдения записываются система и способ доступа, дата и время, полный запрос, язык, полный ответ, показанные источники и наблюдатель. Если известно, фиксируются и условия, способные существенно повлиять на результат: тип аккаунта, новая или продолжающаяся беседа, активность памяти или поиска. Если система неизвестна, запись нельзя сравнивать; если неизвестен запрос, наблюдение нельзя повторно проверить; если нет даты, невозможно проследить изменение. Результат без контекста — не доказательство, а воспоминание.

5.2. Прослеживаемость

Доказательство должно допускать независимую проверку. Полные запрос и ответ сохраняются; ссылки на источники, даты доступа и при необходимости архивные копии записываются; исходные данные отделяются от человеческой интерпретации; синтетический пример никогда не выдаётся за реальное наблюдение. Обрезанный снимок экрана обычно показывает только область, выбранную рассказчиком. Запись, которую нельзя проследить, нельзя проверить аудитом. Запись, которую нельзя проверить аудитом, не способна поддержать значимое публичное утверждение.

5.3. Поведенческая воспроизводимость

В генеративных системах воспроизводимость не означает каждый раз видеть одни и те же слова. Она означает повторение одного и того же поведения представления в сопоставимых условиях. Фраза может меняться, а неверная категория сохраняться; формулировка — меняться, а существенное ограничение — по-прежнему отсутствовать. Единичная запись является событием. Заранее определённые контролируемые повторы могут установить поведенческий паттерн с указанным охватом. Повторяться должна не фраза, а поведение представления.

5.4. Сравнение и опровергающие доказательства

Проверка, ищущая только благоприятные результаты, создаёт не подтверждение, а отбор. Бренд следует сравнивать с релевантными альтернативами в одинаковых условиях. Набор должен включать и нейтральные запросы без названия бренда, противоположные запросы, где лучше подходит конкурент или другая категория, и запросы на исключение, где бренд вообще не должен появляться. Если противоположные результаты сужают утверждение, это не слабость метода. Так работает доказательная дисциплина.

5.5. Граница

Каждая запись должна прямо отвечать: «Чего это наблюдение не доказывает?» Поведение одной системы не доказывает поведения других. Результат на одном языке не доказывает такого же результата на другом. Неделя наблюдений не доказывает постоянства. Рекомендация не доказывает привлечения клиента. Рассказ клиента не доказывает полной причинности. Продажа не доказывает устойчивости. Запись, не способная сказать, чего она не доказывает, ещё не понимает, что именно она доказывает.

6. Пороги утверждений

Чем шире утверждение, тем выше доказательный порог. Framework использует пять порогов:

1. Утверждение о наблюдении: «В этот день, отвечая на этот запрос, система использовала название бренда». Полного запроса, даты и исходного ответа может быть достаточно.
2. Утверждение о поведенческом паттерне: «В заданном наборе запросов бренд обычно представлялся в верной категории». Необходимы контролируемый набор, повторы, временной диапазон, критерии кодирования и записи отклонений.
3. Сравнительное утверждение: «В том же тестовом наборе бренд чаще заданных альтернатив представлялся с точными характеристиками». Все участники должны пройти через одну систему, время, запросы и протокол оценки.
4. Утверждение о вмешательстве или причинности: «Вмешательство способствовало изменению». Необходимы записи до и после, журнал вмешательства, достаточное окно наблюдения и рассмотрение альтернативных объяснений. Произойти после чего-либо не значит произойти вследствие этого.
5. Утверждение о коммерческом эффекте: «В заданный период обнаружение через ИИ было связано с квалифицированными обращениями и продажами». Следует совместно исследовать рассказы или переходы клиентов, сопоставление с CRM, качество обращений, продажи, прибыльность и другие каналы контакта.

Эти пороги — не лестница баллов. Более высокий порог не означает, что работа выполнена лучше; он означает, что более широкая фраза несёт больший груз. Если доказательства достигли только первого порога, правильный вывод — остановиться там.

7. Четыре поля опровергающих доказательств

Надёжное множество тестов содержит четыре поля. Поддерживающее поле включает запросы, где сущность должна появляться по существу. Нейтральное поле исследует потребность и категорию, не называя бренд. Противоположное поле охватывает условия, в которых лучше подходит другой вариант. Поле исключения — контексты, где сущность вообще не должна появляться.

Поле исключения особенно важно. Появление повсюду — не успех; появление в нерелевантных контекстах — перелив представления. Framework измеряет не только выбор сущности, но и её отступление. Работа, которая не ищет опровергающих доказательств, не проверяет реальность. Она подтверждает сама себя.

8. Учебный случай: Aurelis Packaging

Учебная симуляция — синтетические данные. Этот случай не представляет реальную компанию, страницу источника или ответ системы.

Aurelis Packaging — вымышленный производитель промышленной упаковки. Генеративный ответ описывает компанию как «углеродно-нейтрального лидера отрасли, использующего полностью переработанное сырьё», ссылаясь на страницу устойчивого развития компании.

Таблица 2.2 — Синтетическая проверка поддержки для Aurelis Packaging

Ссылка подлинна; большая часть вывода не поддерживается источником. Расширение со стороны системы — не единственный риск. Если бизнес повторит этот благоприятный рассказ в собственной кампании, он будет использовать генеративный вывод как доказательство факта реального мира. Framework не одобряет утверждение лишь потому, что существует источник. Каждая фраза возвращается к пределу, который источник способен выдержать.

Самая сильная публикуемая формулировка здесь такова: «Aurelis Packaging сообщает, что проводит пилот на двух площадках и использует 40 процентов переработанного сырья в одной указанной линейке продукции». Утверждения об углеродной нейтральности и лидерстве отклоняются: независимых доказательств подходящего охвата нет.

9. Решение о доказательстве

Каждому существенному утверждению через Реестр доказательств из Приложения C присваивается одно из четырёх решений: отклонено, необходимо дополнительное наблюдение, допустимо только как внутренняя гипотеза или публикуемо в ограниченной форме. Реестр заполняют не для одобрения утверждения, а для решения, можно ли его высказывать.

Язык — часть этого решения. Вместо «ИИ считает нас лидером» следует написать: «В трёх заданных запросах система назвала бренд лидером; независимой поддержки не найдено». Вместо «GEO увеличило продажи» — «После вмешательства наблюдался рост продаж; причинность не установлена». Ограниченный язык может выглядеть менее эффектно. Зато он весит больше.

Запись, не прошедшую доказательный порог, необязательно выбрасывать. Единичный ответ, обрезанный снимок, необъяснённая оценка, рост трафика или рассказ клиента могут стать сигналом, с которого начинается исследование. Но на них нельзя возлагать груз, которого они не выдержат.

Вердикт этой главы:

Без доказательства нет утверждения. Слабое доказательство допускает лишь узкое утверждение. Сильное утверждение возможно только на сильных, прослеживаемых доказательствах с обозначенными пределами.

Центр установил, что именно представляется. Доказательство теперь определило пределы того, что можно говорить об этом представлении. Следующая задача — задать условия, единицы и сравнения, по которым будут записываться несущие этот груз наблюдения.