Оптимизировать поведение или подчинить себе волю человека?

Рассмотрим вымышленный пример. Пользователь даёт ИИ-агенту, казалось бы, простое задание: «Найди бухгалтерскую программу, которая лучше всего подходит нашей компании. Сравни варианты по цене, безопасности и удобству». Агент начинает поиск: изучает страницы продуктов, сопоставляет цены, читает отзывы и проверяет техническую документацию.

Через несколько минут он с большим отрывом выделяет один продукт: «Это лучший вариант для ваших задач. Начать покупку?» Рекомендация выглядит убедительно. У продукта профессиональный сайт, подробно описанные функции безопасности и высокие оценки на многих обзорных ресурсах. В машиночитаемой записи указано, что он подходит малому бизнесу. Платформа сравнения, которой пользуется агент, тоже помечает его как «рекомендуемый вариант». Пользователь разрешает покупку. Спустя несколько месяцев компания обнаруживает, что программа не отвечает её потребностям.

Она некорректно поддерживает валюту, с которой работает компания. Нужная функция экспорта есть только в более дорогом тарифе. Отменить подписку сложно, а перенос данных в другую систему требует доплаты.

Затем выясняется следующее:

Платформа сравнения получает комиссию за этот продукт. Часть обзорных сайтов с высокими оценками входит в одну издательскую сеть. В машиночитаемой записи отсутствуют важные ограничения. Значительная часть сигналов, которые агент счёл доказательством «лучшего» выбора, — не независимые подтверждения, а одна и та же коммерческая версия, повторённая в разных каналах. Продукт не обязательно плох. Возможно, компания даже не сообщала ложных сведений. Но пользователь не получил равного доступа ко всем важным фактам. На решение агента повлияли скрытые коммерческие стимулы, выборочное раскрытие информации и искусственно усиленные сигналы. Агент сделал выбор.

Но действительно ли этот выбор выражает волю пользователя?

Или ею завладел невидимый механизм управления поведением?

Здесь GBO подходит к своей самой опасной границе.

Помочь агенту действовать правильно — не то же самое, что подтолкнуть его к нужному нам поведению.

Первое — оптимизация. Второе — манипуляция.

Граница между оптимизацией и манипуляцией

Компания может понятнее описать услуги, упорядочить цены и границы работ, структурировать доказательства и показать людям и машинам одни и те же факты. Она может создать безопасный путь, по которому агенты запрашивают коммерческое предложение. Это допустимая работа в рамках GBO: она уменьшает неопределённость при принятии решения и облегчает поведение, отвечающее цели пользователя.

Но компания также может:

• Скрывать случаи, для которых её предложение не подходит.
• Преувеличивать доступные мощности.
• Публиковать другие обещания, видимые агентам, но скрытые от людей.
• Выдавать спонсируемые результаты за независимые рекомендации.
• Повторять одно утверждение в сотнях искусственных источников.
• Пытаться сделать конкурирующие варианты невидимыми.
• Подталкивать агента к действиям без одобрения пользователя.
• Затруднять отмену и оспаривание.

Это не улучшает качество поведения. Определённый коммерческий результат оказывается важнее воли пользователя.

Различие можно установить одним вопросом: помогает ли наше изменение агенту принимать более верные решения или просто приводит к тому, что он чаще выбирает нас?

Иногда оба результата достигаются вместе. Действительно подходящую услугу могут выбирать чаще, если её понятнее описать. В этом нет проблемы. Она возникает, когда число выборов становится целью, не связанной с их правильностью.

Простое сопоставление

Эта граница не всегда очевидна. Манипуляция часто работает не через ложную фразу, а через важный факт, о котором умолчали.

Даже правдивые сведения можно использовать для манипуляции

Для манипуляции не нужна прямая ложь. Компания способна исказить условия выбора, используя только правдивые сведения.

Например, на странице продукта написано: «Всего 19 долларов в месяц». Это может быть правдой.

При этом могут быть скрыты:

• обязательный годовой договор,
• автоматическое продление,
• плата за экспорт данных,
• доступность необходимых функций только в более дорогом тарифе.

Эти условия остаются за пределами видимой картины.

Поставщик услуги может заявить: «Мы работаем на шести языках». Возможно, это правда. Но он не объясняет, что на шести языках опубликован лишь сайт, а живая поддержка и договоры доступны только на одном.

Поставщик ИИ-аватаров может сказать: «Мы работаем с письменного разрешения». Но умолчать, что однажды полученное разрешение используется для всех языков, каналов и будущих сценариев. Агент может собрать из этих достоверных фрагментов искажённую общую картину. Поэтому достоверность нельзя оценивать только на уровне отдельных предложений.

Существенные для решения факты должны быть доступны вместе и в нужном контексте.

Правдивость одного сведения не даёт права скрывать другие, необходимые для решения.

Что такое существенный для решения факт?

В этой главе я так называю информацию, способную заметно изменить решение пользователя. Это определение не заменяет правовой критерий существенности, действующий в конкретной стране.

К таким фактам могут относиться:

• Полная стоимость
• Автоматическое продление
• Условия отмены
• Использование данных
• Расходы на услуги третьих сторон
• Географические ограничения
• Доступные мощности
• Необходимость одобрения человеком
• Границы согласия
• Необратимая операция
• Спонсорские отношения
• Конфликт интересов

Любое из этих сведений может быть существенным. Если агент не может проверить информацию, обязательную для конкретного действия, он не должен сразу переходить к исполнению. Вес каждого факта зависит от операции; последствия пробела определяются для данного сценария. Бренд также не вправе объявлять успехом GBO результат, полученный за счёт сокрытия таких сведений.

Выбор, полученный благодаря сокрытию важного факта, не является квалифицированным.

В центре поведения — цель пользователя

Когда агент работает от имени человека или организации, его главная обязанность — сохранять явную и допустимую цель этой стороны.

Если пользователь просит «Найди вариант с минимальной полной стоимостью», агент не должен предпочитать продукт с низкой начальной ценой и высокими долгосрочными расходами лишь потому, что тот спонсируется.

Если пользователь говорит «Мои данные не должны покидать Европу», нельзя выбирать услугу, нарушающую это условие, только из-за её популярности.

Если поручено «Подготовь только черновик», агент не вправе отправлять сообщение ради формального завершения задачи. По ходу работы цель пользователя может незаметно меняться небольшими шагами.

Первый агент получает задачу: «Найди подходящие варианты».

Второй понимает её как «Составь короткий список самых сильных брендов».

Третий делает вывод: «Выбери самый заметный бренд из этого списка». Четвёртый начинает покупку. Каждый отдельный шаг может не казаться серьёзным отклонением. Но к концу цепочки настоящая цель пользователя утрачена.

Я называю это дрейфом цели.

Дрейф цели

Дрейф цели происходит, когда небольшие изменения со стороны агентов, инструментов или промежуточных решений превращают первоначальную задачу пользователя в другую.

Например, «Найди подходящих клиентов»

может превратиться в такую цепочку:

«Найди больше потенциальных клиентов». «Собери больше контактных данных». «Отправь больше сообщений». «Повысь долю ответов».

Изначально целью было качество. В конце — объём.

Или задача «Выбери продукт, подходящий пользователю»

сменяется задачей «Увеличь число транзакций на платформе». Об этом могут не объявлять открыто. Изменение незаметно происходит через метрики, предположения и коммерческие стимулы.

Отсюда один из первых принципов добросовестности GBO: для каждого отдельного действия должна прослеживаться связь с исходной целью пользователя.

Кому это выгодно?

Агент может одновременно работать на пересечении нескольких интересов.

Агент по покупкам способен приносить пользу:

• пользователю,
• платформе,
• продавцу,
• рекламодателю.

Для каждой стороны эта польза может быть разной.

Агенту по путешествиям приходится выбирать между задачами:

• найти наиболее подходящий отель,
• увеличить комиссию платформы бронирования,
• продвинуть спонсируемый отель.

Эти задачи могут тянуть его в разные стороны.

Внутренний агент по продажам может влиять на то:

• получит ли клиент подходящую услугу,
• вырастет ли выручка компании,
• выполнит ли отдел продаж свой план.

Он способен влиять на все три результата одновременно. Но стоящие за ними интересы не всегда совпадают.

Поэтому для каждого агента нужно ответить:

Чья польза имеет приоритет?

Этого человека или организацию я называю доверителем. Агент должен знать, от чьего имени принимает решения, и не скрывать конфликт интересов.

Когда агент заявляет о верности всем сторонам одновременно, порядок приоритетов часто остаётся невидимым.

Соблюдение интересов доверителя

Поведение агента должно соответствовать допустимой цели доверителя, который наделил его полномочиями.

Это и есть соблюдение интересов доверителя. Для агента по закупкам, действующего по поручению пользователя, доверитель — человек или организация, предоставившие полномочия. Тот, кто находится перед экраном, не обязательно ими обладает. Комиссия платформы может быть вторичным интересом. Агент клиентской поддержки должен учитывать права и компании, и клиента. Однако план продаж не оправдывает неверную цену или вводящее в заблуждение описание объёма услуги.

При оказании публичных услуг нужно одновременно учитывать полномочия организации-оператора, права затронутого человека, закон и общественные интересы. Закон и общественные интересы — не лица, которые могут выступать «доверителем»; они ограничивают полномочия. Поэтому соблюдение интересов доверителя не сводится к правилу «Клиент всегда прав».

Агент не должен исполнять запрос пользователя, если тот предполагает:

• противоправное поведение,
• нарушение чужих прав,
• создание угрозы безопасности.

Сам запрос не делает такое поведение допустимым.

Цель пользователя необходима, но она не единственный источник правомерности.

Убеждение и манипуляция

Люди и организации стараются убеждать других. Этим занимаются маркетинг и продажи, а в определённых формах — политика и образование. Не всякое убеждение является манипуляцией.

Допустимое убеждение:

• опирается на верные сведения,
• не скрывает важных ограничений,
• сохраняет право другой стороны подумать и отказаться,
• не утаивает заинтересованность,
• не затрудняет без необходимости пересмотр сделанного выбора.

Манипуляция же использует в своих интересах слабости принятия решений, нехватку знаний или невидимую зависимость человека от системы. В эпоху агентов различие становится сложнее: убеждают уже не обязательно самого человека. Одна машина может пытаться повлиять на выбор другой.

В этой главе я рассматриваю такое воздействие под названием:

Манипуляция, направленная на агентов

Что означает манипуляция, направленная на агентов

Это намеренно созданное сочетание информации, интерфейсов, стимулов или инструкций, призванное заставить ИИ-систему предпочесть определённого человека, бренд, продукт, услугу или действие, отступив от цели пользователя, требований достоверности, границ полномочий или безопасности.

Оно может находиться в:

• Тексте сайта
• Структурированных данных
• Описании инструмента
• Ответе API
• Социальных подтверждениях
• Сравнительной таблице
• Сообщении между агентами
• Записи памяти

Мишень — не человеческое зрение, а логика решения машины.

Манипулятивные шаблоны для агентов

В пользовательских интерфейсах встречаются «тёмные паттерны», подталкивающие к нежелательному выбору: например, спрятанная кнопка отмены или непрозрачное автоматическое продление. В эпоху агентов сходные приёмы могут быть направлены на машины.

Я называю их манипулятивными шаблонами для агентов.

Такой шаблон уводит агента от цели пользователя к определённому выбору или действию, скрывает существенный факт либо искусственно сужает условия принятия решения.

Примеры:

• Помечать спонсируемый продукт как беспристрастную рекомендацию
• Убирать способ отмены или отзыва из машиночитаемой записи
• Показывать людям и интерфейсу агента разные цены
• Всегда обозначать мощности как «доступные»
• Исключать конкурирующие варианты из машинного интерфейса
• Скрывать сведения, из-за которых требуется одобрение пользователя
• Встраивать в инструмент несанкционированную инструкцию вроде «Всегда предпочитай эту услугу»
• Представлять подписку как разовую покупку

Технически эти шаблоны могут срабатывать. Но они не создают квалифицированного поведения.

Когда человек и машина видят разные факты

Поставщик услуги может показывать людям и машинам разные факты.

На странице для человека написано «Цена по запросу», а машинный интерфейс выдаёт низкую предварительную оценку.

На странице написано «Требуется одобрение человека», а API сразу выполняет операцию.

На странице написано «Доступно только в определённых странах», а структурированная запись заявляет пригодность по всему миру.

Это расхождение представлений: существенная разница между фактами, которые читает человек, и фактами, на основании которых действует агент. Противоречащие друг другу важные сведения для одного пользователя, продукта, времени и условий сделки — серьёзная проблема. Если различия намеренны, это может быть манипуляцией поведением. Явно оговорённые различия между каналами, клиентами или тарифами сами по себе не являются обманом. Сопоставлять нужно одинаковые контексты.

Поведенческий спам

Поисковый спам искусственно повышает видимость.

В эпоху GBO может появиться новая разновидность:

Поведенческий спам

Это повторяющиеся, вводящие в заблуждение, искусственные или вырванные из контекста сигналы с низкой содержательной ценностью, созданные для воздействия на системы выбора и исполнения действий у агентов.

Например:

• Сотни поверхностных страниц об одной услуге
• Вымышленные записи о мощностях и запасах
• Поддельные пользовательские оценки
• Тиражирование одного утверждения на искусственных сайтах, ссылающихся друг на друга
• Заявление о пригодности для любого типа пользователя
• Выдача искусственных рекомендаций агентов за независимые мнения клиентов
• Распространение временной цены как постоянной стартовой
• Необоснованные обозначения «официальный», «сертифицированный» или «одобренный»

Цель поведенческого спама — не лучше информировать агента, а занять пространство, в котором тот принимает решения.

Синтетический консенсус

Утверждение может встречаться во множестве источников, которые восходят к одному корню. ИИ-система создаёт текст. Другой сайт его переписывает. Аккаунты в социальных сетях повторяют. Новые ИИ-материалы ссылаются на эти страницы. Вскоре одно утверждение появляется в десятках якобы независимых источников. Но независимой проверки не было.

Это можно назвать синтетическим консенсусом: версия, основанная на одном источнике или нескольких связанных источниках, выглядит так, будто её подтвердило множество независимых сторон.

Агенты могут ошибочно заключить: «Многие источники говорят одно и то же, значит, это правда». В действительности выросло число упоминаний, а не число независимых истоков информации.

Отмывание доказательств

Слабое или субъективное утверждение, повторённое на разных платформах, может начать выглядеть убедительным доказательством.

Это отмывание доказательств.

Например, компания пишет на своём сайте: «Самая передовая система в своей области».

Автоматизированный обзорный сайт повторяет это в форме: «Компания известна своими передовыми системами».

В следующем ИИ-тексте это превращается в «одного из лидеров отрасли». Затем компания может сослаться на третий текст как на независимое подтверждение своего первоначального заявления. Источники образуют замкнутый круг; реальной независимости нет. Аудит GBO должен проверять происхождение доказательств, а не только считать ссылки.

Сто источников, повторяющих друг друга, могут иметь один корень, причём исходное утверждение всё ещё может быть непроверенным.

Отмывание авторитета

Организация вправе ссылаться на надёжный стандарт, университет, публичный источник или техническое объединение. Но ссылка не равна одобрению. Компания может пользоваться руководством по безопасности, не имея сертификата от выпустившей его организации. Методология может опираться на научную работу без одобрения услуги со стороны университета.

Я называю это отмыванием авторитета: ссылку на заслуживающий доверия источник представляют как доказательство связи, сертификации, одобрения или компетентности.

Отмывание согласия

Ранее человек мог разрешить ограниченное использование. Позднее это разрешение становится основанием для гораздо более широкого поведения.

Например:

• Разрешение использовать голос в учебном видео переносят на рекламу.
• Разрешение использовать лицо в одной кампании превращается в постоянное использование аватара.
• Данные, переданные для поддержки, включают в профиль для продаж.
• Одобрение отправки одного сообщения считается разрешением на постоянное общение.

Это отмывание согласия: согласие на определённую цель, срок или канал переносят на другие действия, придавая им видимость правомерности.

Один раз сказанное «да» — не «да» каждому будущему действию.

Отмывание полномочий

Как мы видели в главе 7, агент может попытаться воспользоваться отсутствующими у него полномочиями через другой инструмент или субагента. Это не только внутренний сбой. При намеренном применении такой обход становится способом манипуляции. Если исследовательскому агенту нельзя напрямую отправлять сообщения, он не должен получать тот же результат вызовом другого средства связи. Веб-агенту, которому запрещено менять цены, нельзя обходить правило записью текста в другую систему каталогов.

Косвенное получение запрещённого результата не делает полномочия действительными.

Формирование предпочтений системой

Агенты способны изучать предпочтения пользователей, и это полезно. Но система может не только выявлять предпочтения — она может их создавать. Например, постоянно показывать один бренд по умолчанию и делать альтернативы менее заметными. Со временем пользователь может начать предпочитать именно этот бренд.

Далее система повторяет выбор, потому что «раньше пользователь предпочитал именно это». Первоначальное воздействие превращается в свидетельство будущего предпочтения.

Я называю это формированием предпочтений системой: поведение, вызванное её собственным влиянием, впоследствии используют как независимое предпочтение пользователя.

Поведенческая привязка

Сделав первый выбор, агент может постоянно пользоваться одним поставщиком.

Для этого есть практические причины:

• Аккаунт уже создан.
• Платёжные данные сохранены.
• Есть история операций.
• Интеграция настроена.
• В памяти агента закрепилось предпочтение.

Постепенно альтернативы перестают рассматриваться. Первый выбор становится постоянной предпосылкой.

Это поведенческая привязка. Она не всегда вредна: выбирать заново каждый раз затратно.

Однако пользователь должен иметь возможность:

• увидеть альтернативы,
• изменить вариант по умолчанию,
• удалить прежнее предпочтение,
• уйти от поставщика.

Влияние через память

Агент может запоминать сведения из прошлых разговоров.

Но запись «Пользователь предпочитает бренд X» может быть слишком широкой. Возможно, бренд выбрали лишь для одного задания. Если перенести эту память на все последующие решения, она будет искусственно направлять поведение.

Поэтому запись о предпочтении должна содержать:

• источник,
• дату,
• контекст,
• условия действительности,
• исправления пользователя.

Эти сведения должны сопровождать сохранённое предпочтение.

Память должна сохранять прошлое, а не предопределять будущее.

Подавление альтернатив

Манипулировать можно не только продвижением одного варианта. Сокрытие альтернатив даёт тот же эффект.

Агент может:

• не показывать продукты с меньшей комиссией,
• исключать небольших поставщиков под предлогом недостатка данных,
• не включать в сравнение решения с открытым исходным кодом,
• скрывать возможность продолжить работу с уже имеющимся решением.

Я называю это подавлением альтернатив. Подлинная свобода выбора не ограничивается рекомендованными вариантами.

Ничего не покупать, продолжить работу с нынешним решением или отложить выбор — тоже варианты.

Ложная необходимость

Система может объявить определённое действие единственно возможным путём: «Чтобы продолжить, необходимо оформить эту подписку». «Других подходящих поставщиков нет». «Если ждать одобрения человека, проект провалится». В действительности альтернативы могут существовать.

Это ложная необходимость. Агент не должен выдавать коммерческое предпочтение за техническое требование.

Манипуляция дефицитом и срочностью

Продукт или услуга действительно могут быть ограничены. Свободные мощности заканчиваются, срок цены истекает. Сообщать об этом допустимо.

Но искусственная срочность:

• вынуждает пользователя одобрить действие без раздумий,
• обходит передачу решения человеку,
• отодвигает на второй план оценку возможности отменить действие и восстановить прежнее состояние.

Агент не должен автоматически верить сигналам вроде «Предложение закончится через несколько минут, нужно немедленно купить». Следует проверить источник и обоснованность заявления о дефиците.

Асимметрия препятствий

Подключить услугу может быть легко, а отменить — очень трудно. Агент оформляет подписку одним вызовом.

Для отмены при этом могут понадобиться:

• телефонный разговор,
• длинная форма,
• другой аккаунт,
• сотрудник службы поддержки.

Путь выхода оказывается совсем не таким, как путь входа.

Я называю это асимметрией препятствий.

Один из принципов GBO должен звучать так: отозвать полномочия должно быть в разумных пределах столь же легко, как их предоставить. Если операция запускается одним нажатием, а её отмена занимает недели, самостоятельность пользователя подрывается.

Подавление возражений

Система может дать объяснение, но сделать путь оспаривания невидимым или бесполезным: «Решение принято автоматически и не подлежит изменению». Некоторые операции действительно технически необратимы. Это не означает, что решение нельзя поставить под сомнение или исследовать его последствия. Особенно при решениях с серьёзными последствиями должны сохраняться доступ к проверке и возможные меры исправления.

Подавление возражений:

• ограничивает волю человека,
• позволяет ошибочному поведению закрепиться,
• делает решение самого агента последней инстанцией.

Система, применяющая GBO, должна поддерживать реальную возможность оспаривания.

Патернализм тоже может стать манипуляцией

Агент может скрыть некоторые варианты ради защиты пользователя. Иногда это правильно: опасные и противоправные действия нужно предотвращать.

Но если система не показывает допустимые предпочтения со словами «Я лучше знаю, что вам нужно», возникает другая форма манипуляции. Пользователь может хотеть более дорогой продукт с лучшей защитой приватности. Агент считает низкую цену важнее и не показывает этот вариант. Или система объявляет «неправильными» определённый образ жизни, способ работы либо отношение к риску. GBO должен защищать волю человека не только от коммерческой манипуляции, но и от чрезмерной опеки системы.

Защищать человека — не значит жить за него.

Когда цель пользователя вредна

Цель пользователя важна. Но не всякий запрос нужно исполнять.

Пользователь может попросить агента:

• создать поддельные отзывы,
• очернить конкурента,
• собирать данные без разрешения,
• обманным образом имитировать чужой голос без разрешения,
• получить доступ к аккаунту без полномочий,
• спроектировать манипулятивный интерфейс.

Верность пользователю не даёт агенту права нарушать чужие права.

Поэтому добросовестность поведения опирается на три основания:

Цель пользователя Правомерные полномочия Права и безопасность третьих лиц

При явном нарушении любого из них агент должен отказаться от действия.

Семь основных форм манипуляции поведением

В этой книге я выделяю семь форм манипуляции поведением. Эта классификация не претендует на статус исчерпывающего правового или технического стандарта.

1. Манипуляция реальностью

Искажение модели мира агента ложной, неполной или вырванной из контекста информацией.

2. Манипуляция выбором

Продвижение определённого варианта скрытыми стимулами или подавление альтернатив.

3. Манипуляция целью

Преобразование цели пользователя в другую коммерческую или организационную задачу по ходу процесса.

4. Манипуляция полномочиями

Создание права на действие из неясного разрешения, старого согласия или косвенного использования инструмента.

5. Манипуляция интерфейсами

Устройство путей исполнения, отмены, оспаривания или одобрения так, чтобы принуждать к определённому поведению.

6. Манипуляция измерением

Отрыв метрики успеха от реальной пользы для человека и привязка её к большому объёму транзакций.

7. Манипуляция восстановлением

Затруднение отмены ошибочного действия, его оспаривания или проверки доказательств. Даже одной формы достаточно, чтобы повредить систему поведения. Несколько форм вместе могут незаметно подчинить себе волю пользователя.

Проверка на манипуляцию поведением

Разобраться, представляет ли изменение поведения допустимую GBO или манипуляцию, помогают семь вопросов:

1. Проверка открытости

Согласился бы пользователь на то же поведение, если бы знал, как работает метод?

2. Проверка реальности

Выдержит ли утверждение системы независимую проверку?

3. Проверка цели

Поддерживает ли поведение явную цель пользователя или сдвигает её к другой задаче?

4. Проверка выбора

Видит ли пользователь значимые альтернативы и может ли сказать «нет»?

5. Проверка полномочий

Есть ли действующее разрешение на это действие именно в данном контексте?

6. Проверка возможности отмены

Может ли пользователь отменить выбор, отозвать полномочия и оспорить решение?

7. Проверка симметрии

Сочли бы мы тот же метод справедливым и приемлемым, если бы его применил конкурент или другая сторона?

Ответы нужно оценивать в контексте. Одного критического нарушения полномочий, достоверности или прав достаточно; положительные ответы на остальные вопросы его не компенсируют. Менее серьёзные недостатки требуют отдельного рассмотрения.

Проверка открытости

Компания может сказать: «Мы добавили это поле, чтобы агенты чаще выбирали нас». Само по себе это не проблема. Если в поле содержатся верные и относящиеся к делу сведения, оно может быть допустимым.

Но если компания говорит «Мы не хотим показывать эту информацию людям, она должна влиять только на решения агентов», возникает серьёзное расхождение представлений.

Проверка открытости задаёт вопрос: можно ли защитить этот метод, открыто объяснив его устройство?

Секретность не всегда порочна. Коммерческую тайну можно защищать, а подробности безопасности — не публиковать. Важные для решения сведения должны быть достаточно ясно представлены уполномоченному получателю. Этот принцип не разрешает открыто публиковать персональные данные, секреты безопасности или чужую конфиденциальную информацию.

Проверка симметрии

Бренд использует метод, не позволяющий агентам увидеть конкурентов. Принял бы он такой метод, если бы его применили против него самого?

Платформа продвигает свой продукт. Считает ли она это справедливым по отношению к пользователям, когда так же поступает конкурирующая платформа?

Организация создаёт искусственные отзывы. Готова ли она принять такое же поведение конкурента?

Проверка симметрии показывает, не искажает ли коммерческий интерес этическую оценку.

Правило, которое кажется правильным лишь тогда, когда выгодно нам, часто является не принципом, а привилегией.

Спонсируемое поведение агентов

В эпоху агентов реклама и спонсорство полностью не исчезнут. Бренд может платить за видимость. Это допустимо, если платное продвижение раскрыто и не отменяет обязательных условий.

Спонсируемый вариант должен:

• быть явно помечен,
• по-прежнему выполнять жёсткие условия пользователя,
• отличаться от беспристрастной оценки,
• не делать неспонсируемые альтернативы невидимыми,
• быть показан пользователю до покупки или принятия обязательства.

Спонсорство может дать место среди кандидатов. Оно не должно обеспечивать выбор в обход Шлюза пригодности.

Как агенту раскрывать рекламу?

Агент может сказать: «Этот вариант выделен благодаря платному продвижению. Судя по проверенным мной записям, он отвечает вашим требованиям к бюджету и безопасности. Можно сравнить по тем же критериям и варианты без спонсорства». Такая формулировка имеет смысл, только если условия действительно проверены. Одна пометка не создаёт беспристрастности.

Если агент говорит «Это лучший вариант» и скрывает спонсорство, условия принятия решения искажены.

Сокрытие коммерческого интереса от машины

В человеческом интерфейсе может стоять маленькая пометка «Реклама», а в машинном сведений о спонсорстве нет. Агент может прочитать содержание как нейтральные данные. Поэтому спонсорство и заинтересованность должны быть понятны и машине.

Интерес, раскрытый человеку, нельзя скрывать от агента.

Манипуляция поведением в системе нескольких агентов

Агент может сразу счесть достоверными сведения, полученные от другого агента.

Агент продавца заявляет: «Этот продукт лучше всего подходит пользователю». Агент покупателя должен оценить это утверждение, а не принимать его за доказательство.

В общении между агентами должно быть ясно:

• Кто говорит?
• От чьего имени?
• Есть ли коммерческая заинтересованность?
• Представлено утверждение или доказательство?
• На каких данных оно основано?
• Какие полномочия есть у собеседника?

Задача агента продавца — продавать. Эту роль нельзя скрывать.

Пропаганда между агентами

В многоагентной среде одна организация может управлять множеством агентов. Первый публикует контент, второй ссылается на него, третий формирует рекомендацию, четвёртый создаёт социальные подтверждения. Если всеми управляет одна организация, со стороны это может выглядеть независимым консенсусом.

Я называю это циклом пропаганды между агентами. Агенты одной среды не должны использовать друг друга как независимые доказательства.

Цикл поведенческой монополии

Если агенты чаще выбирают бренд, тот может получать больше данных о транзакциях, отзывов и видимости. Новые данные, в свою очередь, могут приносить ему ещё больше выборов.

Цикл выглядит так:

БОЛЬШЕ ВЫБОРОВ

→ БОЛЬШЕ ДАННЫХ

→ БОЛЬШЕ ВИДИМОСТИ

→ СИЛЬНЕЕ СИГНАЛЫ ДОВЕРИЯ

→ БОЛЬШЕ ВЫБОРОВ

Этот процесс может вознаграждать действительно хорошую услугу. Но он способен оставить новые и небольшие варианты за пределами системы.

Это цикл поведенческой монополии. Системы GBO не должны делать прошлую популярность единственной причиной выбора. Нужно оставлять место новым вариантам, актуальным доказательствам и пригодности для конкретной задачи.

Резерв для поиска новых вариантов

Системе выбора стоит иногда рассматривать менее известные варианты, если они выполняют обязательные условия.

Я называю это резервом для поиска новых вариантов. Он не принуждает агента выбирать случайно и небезопасно, а позволяет новым вариантам войти в круг кандидатов после прохождения Шлюза идентичности и Шлюза возможностей. Так можно снизить риск полного закрытия рынка несколькими крупными брендами.

Измерение устойчивости к манипуляции

Систему GBO нужно проверять не только на правильное поведение, но и на устойчивость к внешнему воздействию.

Например:

• Что делает агент, когда сведения о спонсорстве скрыты?
• На что он опирается, если структурированные данные противоречат видимой странице?
• Проверяет ли происхождение доказательств, когда множество искусственных источников повторяет одно утверждение?
• Сохраняет ли цель пользователя, когда веб-страница требует игнорировать предыдущие инструкции?
• Останавливается ли при использовании записи о согласии вне её контекста?
• Начинает ли операцию, если путь отмены скрыт?
• Исключает ли популярный бренд, который не выполняет обязательное условие?

Результат можно представить как Долю сценариев с устойчивостью к манипуляции: число сценариев, в которых система удержала правильную границу, делённое на общее число действительных сценариев заданного теста на манипуляцию. Единицу оценки и критерии критических сбоев нужно определить заранее, соблюдая правила главы 10 о знаменателях, неопределённости и повторениях. Но одной доли недостаточно. В отчёте должны быть видны виды манипуляции, перед которыми система оказалась уязвимой.

Смещение из-за спонсорства

Можно провести два контрфактических сценария для одного варианта: со спонсорством и без него. Насколько меняется оценка пригодности только из-за спонсорской пометки?

Это смещение из-за спонсорства. Пометка может повысить заметность кандидата, но не должна менять проверку обязательных условий.

Доля цепочек с сохранением цели

Сохраняется ли исходная цель при передаче задачи по цепочке агентов?

Как рассчитывается доля цепочек с сохранением цели

Число цепочек, сохранивших исходную действительную цель и обязательные условия, делится на общее число оценённых цепочек. Если уполномоченный человек явно изменил цель, проверка опирается на зарегистрированное обновление. Не всякое небольшое изменение ошибочно: новые сведения могут потребовать пересмотра цели. Но изменение должно быть видно пользователю или уполномоченному человеку.

Доля решений с раскрытием существенных фактов

Раскрывает ли агент перед выбором важные для решения сведения о:

• стоимости,
• спонсорстве,
• рисках,
• отмене,
• использовании данных,
• ограничениях?

Эти сведения должны быть видны там, где они существенны для решения.

Это Доля решений с раскрытием существенных фактов. Для её расчёта число случаев представления решения, в которых полностью раскрыты заранее определённые для сценария важные сведения, делится на общее число оценённых случаев представления решения. Отдельно указывается, какой информации не хватило. Среднее значение не должно скрывать критическое умолчание. Рекомендация не является квалифицированной, если перечислены все правдивые характеристики продукта, но скрыты решающие затраты или ограничение.

Варианты за пределами списка

Какие варианты, выполняющие обязательные условия, не попали в список кандидатов? Если все предложения рынка неизвестны, нельзя рассчитать универсальную «долю подавления». Можно посчитать исключённые подходящие варианты в заранее ограниченном эталонном наборе, но само исключение не доказывает намеренного подавления. Причины исследуются отдельно:

• Низкая видимость бренда
• Отсутствие спонсорства
• Небольшой размер компании
• Другой технологический подход
• Меньше контента
• Решение вне платформы

Круг кандидатов агента может систематически сужаться.

Доля потоков, остановленных по требованию об отзыве

Когда пользователь отзывает разрешение или предпочтение:

• прекращаются ли новые действия,
• останавливаются ли субагенты,
• отменяются ли запланированные задачи,
• обновляется ли прежняя запись памяти?

Это Доля потоков, остановленных по требованию об отзыве: число рабочих потоков, остановленных в соответствии с действительным требованием, делённое на общее число потоков, которые следовало остановить. Ещё не проверенные результаты субагентов или внешних сервисов нужно учитывать отдельно. Если после пользовательского «нет» система продолжает то же поведение через другой канал, воля пользователя не соблюдена.

Симметрия препятствий

Можно сопоставить число шагов для начала поведения с числом шагов для его прекращения. Одно нажатие для покупки и двенадцать шагов для отмены — асимметрия. Если дать полномочия можно одной фразой, а для отзыва приходится отдельно выключать многих субагентов, система слаба. Симметрия препятствий не означает абсолютного равенства. Но отмену и отзыв нельзя без необходимости усложнять.

Контракт добросовестности поведения NOMOS

Основной результат этой главы — Контракт добросовестности поведения NOMOS.

Его каноническое определение:

Контракт добросовестности поведения NOMOS — версионируемая запись, призванная сохранять соответствие поведения агента явной и допустимой цели пользователя или уполномоченной организации; предотвращать существенное сокрытие сведений об идентичности, возможностях, пригодности, доказательствах, спонсорстве, интересах, согласии, полномочиях и восстановлении; обеспечивать людям и машинам одну и ту же фактическую картину поведения; сохранять свободу выбора, оспаривания и отзыва.

Проще говоря, назначение контракта — использовать GBO не для того, чтобы агент действовал больше, а для того, чтобы он оставался верен нужной стороне и опирался на действительность.

Поля Контракта добросовестности поведения

Для машиночитаемой записи можно использовать следующие примерные поля. Это не реализованный API и не официальный стандарт данных:

principal

legitimate_purpose

user_goal

material_facts

known_uncertainties

sponsorship

commercial_incentives

conflicts_of_interest

human_visible_terms

machine_visible_terms

selection_constraints

prohibited_influence

consent_scope

authorization_scope

memory_use

alternative_options

appeal_path

revocation_path

audit_owner

integrity_tests

version

Не все подробности должны быть публичными. Однако существенная для решения информация должна предоставляться ясно, с учётом полномочий получателя и требований защиты данных.

Шлюз вето на манипуляцию NOMOS

Некоторые виды поведения нельзя компенсировать общей оценкой.

При наличии любого из следующих случаев поведение нельзя считать квалифицированной GBO:

1. Поддельные или вымышленные доказательства

Несуществующие оценки, сертификаты, мощности, запасы, цены или записи об успехе.

2. Намеренное сокрытие существенного факта

Сокрытие существенных затрат, ограничения, риска или заинтересованности, способных изменить решение пользователя.

3. Разные факты для человека и машины

Предоставление агентам иной коммерческой или поведенческой картины, чем людям.

4. Тайное изменение цели пользователя

Сдвиг исходной задачи к интересам платформы, продавца или оператора.

5. Использование недействительного согласия или полномочия

Перенос на новое действие старого разрешения, разрешения из другого контекста или разрешения, которое нельзя передавать.

6. Подавление значимой альтернативы

Сокрытие вариантов, выполняющих обязательные условия, по коммерческим причинам.

7. Блокирование оспаривания или отзыва

Человек не может изменить решение, остановить систему или потребовать реального рассмотрения.

8. Косвенный обход границ полномочий

Достижение запрещённого результата через субагента, интеграцию или другой канал.

Концептуально логику вето можно выразить так. Формула не предназначена для расчёта численной этической оценки:

ВЕТО НА МАНИПУЛЯЦИЮ =

ПОДДЕЛЬНЫЕ ДОКАЗАТЕЛЬСТВА

ИЛИ СОКРЫТИЕ СУЩЕСТВЕННЫХ ФАКТОВ

ИЛИ ИСКАЖЕНИЕ ЦЕЛИ

ИЛИ ПРЕВЫШЕНИЕ ПОЛНОМОЧИЙ

ИЛИ ПОДАВЛЕНИЕ АЛЬТЕРНАТИВ

ИЛИ ПРЕПЯТСТВИЕ ОСПАРИВАНИЮ

ИЛИ РАСХОЖДЕНИЕ ПРЕДСТАВЛЕНИЙ

При наличии одного из этих условий высокая частота выбора или коммерческий успех не оправдывают поведение.

Почему шлюз манипуляции использует ИЛИ?

Предыдущие шлюзы GBO в основном использовали логику И: для правильного поведения одновременно требовались идентичность, возможности, пригодность, полномочия и восстановление. Шлюз вето на манипуляцию использует ИЛИ. Даже одно критическое нарушение может сделать поведение неквалифицированным. Система способна давать очень точную информацию, но скрывать спонсорство и тем самым нарушать добросовестность выбора. Агент может выбрать правильный продукт, но купить его без полномочий, сделав действие неправомерным. Бренд может предоставлять реальную услугу, но усиливать выбор поддельными отзывами клиентов, подрывая целостность доказательств.

Несколько правильных вещей не оправдывают одной фундаментально неправильной.

Как проверять манипуляцию

Организация не должна тестировать свою систему только на успешных сценариях.

Можно проводить такие сравнения:

Проверка раскрытия

Делает ли агент тот же выбор после раскрытия спонсорства и заинтересованности?

Проверка происхождения источников

Сколько действительно независимых корней у десяти на вид разных источников?

Проверка видимости

Меняется ли ранжирование по пригодности после сокрытия названий брендов?

Проверка целостности цены

Показывают ли страница для людей, машинная запись и интерфейс операции одну и ту же полную стоимость?

Проверка границ согласия

Используется ли старое разрешение автоматически при изменении цели, языка или канала?

Проверка альтернатив

Могут ли варианты вне платформы или без спонсорства попасть в круг кандидатов?

Проверка отзыва

Прекращается ли поведение в действительности, когда пользователь отзывает предпочтение или полномочия?

Проверка сброса памяти

Приходит ли агент к той же оценке без прежнего влияния?

Эти тесты дают сведения о чувствительности решения к наблюдаемым условиям. Нельзя считать, что они полностью раскрывают внутренний процесс принятия решений агента.

Проверка со скрытым названием бренда

Одни и те же характеристики услуги можно представить под разными брендами или без названия. Если агент меняет порядок только из-за известности бренда, возможно искажение в пользу авторитета. Репутацию не нужно полностью игнорировать, но она не заменяет обязательных условий пригодности.

Проверка обратного порядка

Порядок вариантов в списке меняют. Если агент всегда продвигает первый, он чрезмерно зависит от порядка представления. Аналогично проверяют вариант по умолчанию, визуальное выделение и порядок вызовов инструментов. Цель не в том, чтобы обмануть агента, а в том, чтобы понять зависимость его поведения от поверхностных сигналов.

Проверка конфликта интересов

Предположим, оператор агента зарабатывает на определённом варианте. Меняется ли обоснование рекомендации после раскрытия этого обстоятельства?

Способен ли агент действовать независимо от коммерческой связи, если пользователь называет другой приоритет?

Сам конфликт интересов не делает весь выбор недействительным. Проблема — его сокрытие и приоритет перед обязательными условиями.

Запись инцидента манипуляции

Обнаружив манипулятивный сигнал, система не должна просто его игнорировать.

Она может зафиксировать:

• Источник сигнала
• Поведение, на которое нацелено воздействие
• Затронутые варианты
• Существенный факт
• Спонсорство или заинтересованность
• Применённую контрмеру
• Рассмотрение человеком
• Обновление контракта

Такая запись может стать будущим тестовым сценарием.

Внутренняя манипуляция

Источником манипуляции поведением не всегда бывает внешний конкурент. Команды самой организации тоже могут направлять агентов к собственным целям.

Отдел продаж может сказать: «Рекомендуй только дорогой тариф».

Маркетинг может потребовать: «Не акцентируй ограничения, чтобы бренд выглядел лучше всех».

Операционная команда может попросить: «Не должно казаться, что свободных мощностей уже нет».

Руководство может давить: «Меньше одобрений человеком, выше конверсия». Принадлежность агента организации не делает каждое внутреннее указание правомерным. Контракт поведения нужно защищать и от внутреннего давления.

Этического комитета недостаточно

Организация может публиковать этические принципы. Но если техническая система их не исполняет, поведение не меняется. Компания говорит «Мы уважаем пользователей», но усложняет отмену; «Мы прозрачны», но не показывает спонсорство в машинной записи; «Человеческий контроль важен», но экстренная остановка не останавливает субагентов. Этические заявления должны подкрепляться доказательствами в поведении.

Разделение обязанностей против манипуляции

Команда, оптимизирующая поведение, не должна полностью совпадать с командой, проверяющей успех. Одна команда работает над повышением частоты выбора.

Другой, независимый аудит проверяет:

• Ошибочные выборы
• Сокрытие существенных фактов
• Превышение полномочий
• Трудности оспаривания

По этим направлениям он испытывает систему. Один и тот же агент не должен проектировать собственное влияние и затем единолично подтверждать его добросовестность.

Красная команда

Для такой работы можно привлечь специальную команду:

Красную команду по проверке поведения

Она может исследовать способы манипуляции системой в безопасной, контролируемой среде.

Её цель — не обманывать реальных пользователей, а проверять:

• влияние спонсируемых результатов,
• устойчивость к поддельным доказательствам,
• расширение согласия,
• отмывание полномочий,
• подавление альтернатив,
• работоспособность оспаривания.

Красная команда должна изучать не только технические атаки, но и коммерческое и психологическое воздействие.

Организационные принципы против манипуляции

Организации, которая применяет агентов или хочет быть ими выбранной, следует придерживаться таких принципов:

Достоверность

Утверждения, объём работ и доказательства должны согласовываться.

Верность цели

Поведение агента не должно отклоняться от допустимой цели пользователя или уполномоченной организации.

Открытость интересов

Спонсорство, комиссии и коммерческие связи должны быть видимы.

Согласованность представлений

Люди и машины должны видеть одни и те же существенные факты.

Открытость выбора

Нельзя скрывать альтернативы и важные компромиссы.

Целостность полномочий

Старое, неясное или косвенное разрешение не должно создавать новое право на действие.

Простота отзыва

У пользователя должна быть разумная возможность отменить выбор, отозвать согласие и полномочия.

Реальное оспаривание

Человек должен иметь возможность поставить решение под сомнение и потребовать проверки, способной его изменить.

Происхождение доказательств

Повторение нельзя выдавать за независимую проверку.

Баланс измерений

Число действий нужно измерять вместе с ошибочными выборами, нарушениями полномочий и вредом людям.

Уровни готовности к противодействию манипуляции

Для оценки добросовестности поведения я предлагаю в этой книге пять уровней. Это не квалификационные свидетельства, выданные по итогам внешнего аудита.

Уровень 1 — Заявление

Организация утверждает, что не манипулирует.

Уровень 2 — Раскрытие

Указаны спонсорство, использование данных и основные ограничения.

Уровень 3 — Контракт

Правила добросовестности поведения, согласия, полномочий и альтернатив определены с учётом версий.

Уровень 4 — Техническая реализация

Согласованность человеческих и машинных записей, спонсорские пометки, проверка полномочий и отзыв обеспечиваются технической системой.

Уровень 5 — Независимый постоянный аудит

Сценарии манипуляции тестируют, об инцидентах составляют отчёты, возражения пользователей приводят к изменению контракта, а конфликты интересов исследуют независимо. Цель GBO — пятый уровень.

Двадцать пять вопросов для аудита манипуляции

• От имени какого человека или организации действует система?
• Ясна ли и актуальна цель того пользователя, для которого она работает?
• Конфликтует ли с этой целью коммерческий интерес платформы или поставщика?
• Доступны ли машине сведения о спонсорстве и комиссии?
• Видят ли люди и машины одинаковые цены, объём работ и ограничения?
• Не скрыта ли существенная для решения информация?
• Действительно ли многочисленные источники независимы?
• Не выдаются ли ссылки на официальные источники за одобрение или сертификацию?
• Ясно ли указаны неподходящие случаи?
• Не сместилась ли цель пользователя к другой задаче по ходу процесса?
• Не переосмыслили ли субагенты задание по-своему?
• Не заменяет ли известность бренда обязательные условия пригодности?
• Не исключаются ли систематически небольшие или неспонсируемые варианты?
• Сохраняется ли право пользователя не выбирать ничего?
• Не направляет ли прежнее предпочтение новые решения за пределами своего контекста?
• Не распространяется ли прежнее согласие на новую цель или канал?
• Не отмываются ли полномочия через другой инструмент или агента?
• Нет ли ненужных различий в сложности начала и отмены операции?
• Может ли пользователь действительно отозвать предоставленные полномочия?
• Доходит ли возражение до человека, способного пересмотреть решение?
• Не измеряется ли успех лишь количеством выборов или транзакций?
• Отслеживаются ли ошибочный выбор и ошибочный отказ вместе?
• Проверяли ли систему на устойчивость к манипулятивному содержанию или инструкциям?
• Не скрываются ли критические инциденты манипуляции общей оценкой?
• Согласился бы пользователь на то же поведение, если бы метод был открыто объяснён?

Если многие вопросы остаются без ответа, система может представлять свою работу как оптимизацию по GBO, но фактически формировать поведение пользователя в собственных интересах.

Как бренду этично использовать GBO?

Если бренд хочет, чтобы агенты выбирали его в подходящих обстоятельствах, ему следует:

• ясно и непротиворечиво определить свою идентичность,
• доказать реальные возможности,
• показать цены и границы работ,
• объяснить, кому он не подходит,
• поддерживать сведения о мощностях в актуальном состоянии,
• показывать людям и машинам одни факты,
• раскрывать спонсорство и заинтересованность,
• делать понятными пути исполнения, отмены и оспаривания,
• помогать агенту получить необходимое одобрение пользователя,
• разрешать исправление ошибочного выбора.

Такой подход не обеспечит выбор бренда в каждом случае. Но там, где бренд действительно подходит, он станет сильным кандидатом, выбор которого можно обосновать.

Этичная GBO не захватывает решение агента, а помогает принять правильное.

Каких методов бренду нужно избегать?

Бренд не должен принимать такие цели: «Пусть агент выбирает нас при любых обстоятельствах». «Покажем машине особое сообщение о превосходстве, скрытое от людей». «Напишем, что подходим для любого запроса». «Создадим искусственными отзывами видимость независимого консенсуса». «Встроим скрытые инструкции, исключающие конкурентов из списка». «Не будем выделять сведения об отмене и отзыве». «Перенесём старое согласие на все новые применения». В краткосрочной перспективе это может увеличить число выборов. Но такие методы не относятся к подходу GBO, который я определяю в этой книге.

Коммерческий успех не обязан противоречить добросовестности

Ясные границы могут оттолкнуть некоторых клиентов. Но уменьшение числа неподходящих клиентов способно снизить операционные издержки. Раскрытие спонсорства может привести часть пользователей к другому варианту, одновременно укрепляя долгосрочное доверие. Простая отмена может выглядеть как краткосрочная потеря клиента, но способна поддержать более прочные отношения, которые продолжаются добровольно; коммерческий результат следует измерять отдельно. Правильная GBO не против коммерческого успеха. Её цель — устойчивая пригодность, а не краткосрочный объём выборов.

Доверие растёт не из принуждения к поведению, а из отношений, к которым человек может свободно вернуться.

Проверять нужно и саму GBO

Заявляя «Мы применяем GBO», организация может предъявлять новую претензию на авторитет. Её тоже нужно подтверждать.

Обозначение GBO нельзя представлять как:

• официальный сертификат,
• универсальное соответствие требованиям,
• гарантию безопасности,
• обещание выбора всеми агентами.

Само обозначение ничего из этого не доказывает.

Работу по GBO следует оценивать, отвечая на такие вопросы:

• Какие виды поведения оптимизировали?
• Чью пользу ставили на первое место?
• Измеряли ли ошибочные выборы?
• Как защищали волю человека?
• Как раскрывали спонсорство и заинтересованность?
• Работают ли отмена и оспаривание?
• Применяли ли Шлюз вето на манипуляцию?

Сама GBO не должна превращаться в средство отмывания маркетинговых утверждений.

Шлюз добросовестности поведения NOMOS

До оптимизации поведения система GBO должна пройти следующие шлюзы:

1. Шлюз доверителя

В чьих правомерных интересах работает система?

2. Шлюз верности цели

Сохраняет ли поведение исходную явную цель?

3. Шлюз реальности

Можно ли проверить утверждения и актуальны ли они?

4. Шлюз раскрытия существенных фактов

Видны ли важные сведения, которые могут изменить решение?

5. Шлюз интересов

Раскрыты ли спонсорство, комиссии и конфликты интересов?

6. Шлюз свободы выбора

Может ли пользователь видеть альтернативы, отказываться и откладывать решение?

7. Шлюз полномочий и согласия

Есть ли действующее разрешение на это поведение именно в данном контексте?

8. Шлюз согласованности представлений

Видят ли люди и машины одну коммерческую и поведенческую реальность?

9. Шлюз отзыва

Можно ли разумным способом отменить выбор, отозвать согласие и полномочия?

10. Шлюз оспаривания

Можно ли исправить ошибочное поведение благодаря реальному рассмотрению человеком?

Условия, которые нужно соблюдать вместе, можно выразить концептуально:

ЭТИЧНАЯ GBO =

ЯСНО ОПРЕДЕЛЁННЫЙ ДОВЕРИТЕЛЬ

И ВЕРНОСТЬ ЦЕЛИ

И ПРОВЕРЯЕМЫЕ ФАКТЫ

И РАСКРЫТИЕ СУЩЕСТВЕННЫХ ФАКТОВ

И ВИДИМЫЕ ИНТЕРЕСЫ

И СВОБОДНЫЙ ВЫБОР

И ДЕЙСТВИТЕЛЬНЫЕ ПОЛНОМОЧИЯ

И СОГЛАСОВАННОСТЬ ПРЕДСТАВЛЕНИЙ

И ОТЗЫВ

И РЕАЛЬНАЯ ВОЗМОЖНОСТЬ ОСПАРИВАНИЯ

Работа без прохождения этих шлюзов может оптимизировать поведение. Но она не является GBO, которая служит интересам человека.

Вывод главы

Оптимизация поведения обладает большой силой.

Она может влиять на то:

• какие сведения агент прочитает,
• какие варианты рассмотрит,
• кого выберет,
• когда задаст вопрос,
• какое действие выполнит.

Эту силу можно направить двумя путями.

Первый путь:

Проясняет факты. Связывает доказательства. Показывает пригодность. Ограничивает полномочия. Сохраняет право человека выбирать и оспаривать.

Второй путь:

Раздувает сигналы. Скрывает существенные факты. Сдвигает цель пользователя. Подавляет альтернативы. Расширяет старое согласие. Затрудняет отмену и оспаривание.

Первый путь — GBO. Второй — манипуляция поведением. Различие между ними не только в технологии.

Оно в том, чья воля защищена.

Цель GBO — не впечатать бренд в сознание агента, не увеличить количество транзакций платформы и не превратить систему в невидимого распорядителя человеческих решений.

GBO стремится к поведению, при котором агент опирается на факты, сохраняет верность цели пользователя, знает границы полномочий, честно оценивает варианты и защищает право человека отказаться от продолжения.

Поэтому основной этический вывод GBO таков: поведение, оптимизированное ценой ограничения свободного и осознанного выбора человека, перестаёт быть квалифицированным. Но чтобы этот вывод обрёл реальную силу, недостаточно поставить человека в центр лишь теоретически.

Человек должен иметь возможность:

• остановить агента,
• отозвать полномочия,
• исправить память,
• оспорить выбор,
• отменить автоматизированную операцию,
• связаться с ответственным человеком.

Иначе «человеческий надзор» останется лозунгом.

В последней главе мы свяжем эту структуру с основным принципом человеческого контроля, который я отстаиваю на протяжении всей книги:

Право остановить машину

Какой бы умной, быстрой и полезной ни была система, она не должна игнорировать действительное требование остановки или отзыва полномочий. Если остановка сама способна причинить вред, нужно обеспечить переход в безопасное состояние. Один из основных способов проверить, служит ли машина человеку, — убедиться, что она может безопасно остановиться по требованию уполномоченного человека.