Когда агент отвечает неправильно, ты исправляешь предложение.
Однако, когда он поступает неправильно, вы должны исправить последствия его действий в реальном мире.
Если система ИИ неверно указывает цену компании, текст можно исправить. Но если та же система на основании неверной цены совершает покупку от имени клиента, дело уже не ограничивается ошибочной информацией. Деньги потрачены, обязательство возникло, а поведение других людей изменилось под влиянием этих действий.
Агент может по ошибке принять человека за руководителя компании.
Это ошибка личности.
Но если он проведёт платёж по указанию этого человека, ошибка идентификации превратится в финансовое действие.
Агент может неверно понять объём услуги.
Это ошибка представления.
Но если он отправит клиенту предложение с неверно указанным объёмом услуг, возникнет коммерческое обязательство.
Агент может не заметить, что требуется одобрение человека.
Это ошибка разрешения.
Но если агент опубликует содержание, то это негативно скажется на репутации организации и юридической ответственности.
Основная проблема в эпоху агентов не сводится к тому, что машины ошибаются. Люди, организации и программное обеспечение тоже допускают ошибки. Особый риск состоит в том, что некоторые агентные системы способны быстро распространить одну ошибку на широкий круг действий и через несколько инструментов.
Человек может отправить неправильную почту одному человеку; при наличии необходимого доступа и автоматизации агент может оформить и отправить такую же ошибку многим людям.
Сотрудник может использовать неправильную цену в одном документе; агент, имеющий необходимые ссылки, может распространять эту цену по нескольким языкам, каталогам, структурированным данным, шаблону торгов и потоку продаж.
Человек может отредактировать неправильный файл; агент с широким доступом к писцу может последовательно распространять эту ошибку через большую производственную цепь.
Опасность здесь не в том, что AI всегда плохо или небрежно.
На самом деле, агент может делать неправильные вещи с замечательным порядком, постоянством и явным успехом.
Неправильная цена может быть переведена на шесть языков.
Несанкционированное сообщение может быть очень профессиональным.
Даже неподходящего поставщика можно подкрепить убедительными доказательствами.
Нереальный успех может быть убедительно представлен на прекрасной панели.
Когда погрешность сочетается с техническим качеством, ее трудно обнаружить.
Таким образом, ошибки, допущенные в GBO являются только:
"Модель ответила неправильно."
Мы не можем справиться с этим на уровне.
Погрешность может начинаться с любого из следующих уровней:
Организация опубликовала ложную или неполную информацию.
Идентитеты неправильно связаны.
Неясно, какие ограничения на обслуживание.
Компетенция спутана с техническим доступом.
Агент расширил намерение пользователя.
Никаких ограничений не было передано подагентам.
Система измерений вознаградила за неправильное поведение.
Спрос на человеческую остановку только остановил главного агента.
План возврата охватывает только технические файлы и не учитывает ущерб, причиняемый людям.
Другими словами:
Ошибка агента часто возникает не только внутри агента.
Недостойное поведение может возникнуть в том, что касается разрыва между реальностью организации, порядком полномочий, архитектурой инструментов, человеческим обучением и системой измерения.
Эта книга представляет собой карту этих пробелов.
В томе I мы разъяснили, что GBO - и условия, необходимые для правильного поведения. Мы создали систему, связывающую проверенную идентичность, подлинный потенциал, подтвержденную пригодность, авторитетные полномочия, добросовестность поведения, основанные на фактических данных действия, независимую проверку, ответственное восстановление и суверенитет человека.
Во втором томе мы не будем перепродавать идеальную систему.
Мы покажем, где они сломались.
Подход с точки зрения этой книги — это мозговой центр только тогда, когда он описывает правильные принципы; когда он называет формы ошибок, общий язык исследования становится проверяемым системным проектом, когда он устанавливает проверяемые механизмы контроля.
Таким образом, следующие 99 записей не являются случайным " списком ".
Каждая запись:
отдельной формы отказа,
Отдельный маркер обнаружения,
отдельный кодекс поведения,
отдельный вопрос о ревизии
представляет.
Некоторые ошибки будут похожи.
Власти могут быть переплетены с самоидентификацией.
Ошибка представления может стать ошибкой выбора.
Погрешность измерения может привести агент к накладке области.
Ошибка остановки может привести к проблеме компенсации.
Но первая дверь, где каждая запись сломана, отличается.
Это различие важно.
Потому что если мы исправим результат в одиночку, ошибка вернется в другой форме.
Удаление неверного сообщения не исправляет его способность отправлять.
Обновление неправильной цены не устраняет неопределенности в источнике цены.
Отключение субагента не устраняет пути к очистке полномочий.
Извинение перед пользователем не создает механизма отзыва.
Цель GBO не винить агента.
И человек.
Цель состоит в том, чтобы сделать систему видимой, что делает возможным неправильное поведение.
На протяжении всей этой книги мы будем постоянно просить:
Почему агент так поступил?
Тогда мы пойдем дальше на один шаг:
Какого контракта, регистрации, полномочий или дизайна не хватало, что сделало возможным такое поведение?
И наконец:
Какое машинное правило сделает этот провал менее вероятным?
99 ошибок, допущенных на GBO не претендуйте на то, чтобы охватить все вопросы будущих агентов.
Будут появиться новые инструменты, рынки, нападения и формы поведения.
Но установленная здесь вселенная ошибок обеспечит общий язык для начала оценки систем поведения.
В настоящее время одна организация:
"Агент сделал это неправильно."
Этого должно быть недостаточно, чтобы сказать.
Они должны быть в состоянии сказать:
"Дело началось до того, как ворота личности прошли".
"Исследовательский орган использовался в качестве внешнего органа связи".
"Считаемая машиной цена противоречит видимой цене."
"Нижний агент воспользовался полномочиями, которых у главного агента не было".
"Ограничительный судебный приказ не распространился на очередь".
"Диалог успеха наградил несанкционированные действия".
После того как ошибка имеет название, становится легче искать, обнаруживать и измерять; можно проверить ее цепь ответственности, и могут быть построены механизмы контроля, с тем чтобы сделать тот же самый отказ менее вероятным.
Первая глава этой книги начинается с основной основы поведения:
Личность
Потому что, когда агент выбирает не того человека, не ту компанию, неправильный счет или неправильную роль, вся последующая точность может стать бессмысленной.
Идеальная операция не на том человеке снова не та.
Правильное предложение, направленное не той организации, снова является неправильным поведением.
Иски, основанные на истекших полномочиях, остаются несанкционированными, даже если они увенчаются успехом.
Предложение, которое является реалистичным синтетическим выражением лица, может и не быть заявлением реального человека.
Агент может сохранить одно и то же имя, даже несмотря на то, что техническая система, инструменты и разрешительная версия, лежащая за ней, изменились.
Таким образом, первые девять ошибок связаны со следующей проблемой:
Агент действительно знает, с кем они имеют дело?