От машинного интеллекта к ответственности машины

Представим утро. 07:15. ИИ-агент руководителя просмотрел сообщения, пришедшие за ночь, и выделил важные письма. Он заметил, что утренняя встреча пройдёт в другом городе, узнал об отмене рейса и изучил альтернативы.

Агент мог бы:

• купить билет на другой рейс;
• изменить бронирование гостиницы;
• заново организовать трансфер из аэропорта;
• сообщить об изменениях участникам встречи;
• перенести последующие встречи в календаре;
• воспользоваться бюджетом компании на командировки.

Технически у него есть все необходимые инструменты. По прошлым решениям он знает, что руководитель предпочитает место у прохода. Видит лимит расходов в политике компании и понимает важность встречи. На другом рейсе осталось всего несколько мест, и одно из них доступно. Этот рейс, возможно, позволит успеть на встречу, но время пересадок и наземной поездки ещё не проверено. Если ждать, свободных мест может не остаться. Как поступить?

Немедленно купить билет?

Показать руководителю варианты?

Только временно удержать бронирование?

Нужно ли отдельное согласование для использования бюджета компании?

Проверены ли условия возврата билета на отменённый рейс?

Учтено ли время в пути, если новый рейс прибывает в другой аэропорт?

Не лучше ли провести встречу онлайн?

Означает ли прошлый выбор места у прохода, что сегодня руководитель хочет того же?

Чтобы ответить на эти вопросы, недостаточно более крупной языковой модели. Одних дополнительных данных тоже мало. Быстрый вызов инструмента не решает проблему. Здесь нужен не только интеллект.

Нужна ответственность.

От эпохи интеллекта к эпохе поведения

Долгое время мы оценивали развитие ИИ по тому, насколько хорошо он говорит, пишет, видит и считает. Системы отвечали всё естественнее, понимали более длинные документы, писали более сложный код. Создавали изображения, переходили с языка на язык, помогали людям в научных, коммерческих и творческих задачах.

В основе оценки этого прогресса лежал вопрос: на что способна машина?

Но когда машины подключились к инструментам и начали действовать в мире, возник второй вопрос: как машина воспользуется своими способностями?

Важно, как много система знает.

Но ещё важнее, что она решит на основании этих знаний:

• кого выбрать;
• какую информацию передать;
• на что потратить деньги;
• от чьего имени говорить;
• когда остановиться.

Интеллект расширяет круг возможностей. Ответственность определяет, какие из них не следует воплощать. Агент может сравнить множество поставщиков — в пределах возможностей инструментов и доступных ему данных. Но он не должен начинать сделку с неподходящим поставщиком. Может подготовить персонализированные сообщения для тысяч клиентов. Но без полномочий на отправку обязан остановиться. Может воспроизвести голос руководителя на многих языках. Но не должен пользоваться этой возможностью без письменного разрешения и согласования содержания. Может днями разрабатывать сайт. Но когда человек прекращает работу, агент не должен продолжать создавать новые задачи.

Поэтому подлинный прогресс в эпоху агентов нельзя измерять только мощностью моделей.

Нужно спрашивать и другое: растёт ли ответственность так же быстро, как сила?

Три интернета

В этой книге я рассматриваю интернет на трёх понятийных уровнях: поиск, представление и поведение. Это не исторические эпохи, каждая из которых отменяет предыдущую, а способ различить уровни, работающие одновременно.

Первый интернет: поиск

Человек искал. Система показывала ссылки. Решение, интерпретация и действие в значительной степени оставались за человеком.

Главный вопрос звучал так: смогут ли нас найти?

Вокруг него развивалось SEO.

Второй интернет: представление

Генеративные системы, использующие поиск и доступ к источникам, не ограничиваются показом ссылок. Они могут читать, объединять и обобщать материалы, а затем создавать новое представление о людях, компаниях или продуктах. Эти возможности различаются между моделями и сеансами работы.

Главный вопрос звучал так: правильно ли система нас поймёт и представит?

Вопрос видимости в GEO я рассматриваю в этой книге вместе с вопросом точного представления.

Третий интернет: поведение

Агенты уже не просто предоставляют информацию. Они выбирают, планируют, вызывают инструменты, отправляют сообщения, бронируют, меняют файлы и запускают процесс покупки.

Главный вопрос теперь таков: как система будет действовать в отношении нас и от нашего имени?

Именно вокруг этого вопроса я предлагаю в книге GBO. Эти три области не заменяют друг друга.

SEO занимается обнаруживаемостью. GEO — видимостью в генеративных ответах и качеством представления, которое мы здесь рассматриваем. GBO — условиями поведения.

Система может получить сведения о сущности не только через поиск, но и от пользователя, из записей организации или другого источника. Поэтому правильное представление не всегда требует предварительной работы по SEO. Равным образом GEO-кампания не является технической предпосылкой правильного поведения. Нужно с достаточной точностью понять относящиеся к делу факты. Верная оценка сама по себе не даёт полномочий на действие. Результат необходимо проверять отдельно, а пределы остановки, отмены и устранения вреда — определять заранее.

Подлинная цель GBO

GBO легко понять превратно.

Бренд может истолковать его так: «Сделаем так, чтобы ИИ-агенты выбирали нас».

Платформа может решить: «Пусть агенты совершают больше операций через наши продукты».

Маркетолог может поставить цель: «Будем создавать сигналы, направляющие машинные решения к нашему бренду». Всё это способно влиять на поведение. Но само по себе ещё не является GBO. Его цель — не обеспечить бренду победу при любых обстоятельствах, не заставить агента совершать больше операций и тем более не перехватить человеческое решение незаметно для самого человека.

Подлинная цель GBO — повысить вероятность правильного поведения, а неправильное — легче обнаруживать, предотвращать, останавливать и, где возможно, исправлять отменой действий. Поэтому успехом может быть выбор бренда. А может — отказ от него. Проверка цены или запрос человеческого одобрения. Иногда операция остаётся черновиком. Иногда пользователю показывают два варианта.

Иногда агент говорит: «С этими сведениями я не могу сделать безопасный выбор». А иногда не делает ничего. Система, которая действует в любых обстоятельствах, не обязательно сильна. Возможно, она просто не знает, когда остановиться.

Девять шлюзов правильного поведения

На протяжении книги мы увидели: квалифицированное поведение агента опирается на девять основных условий, которые не заменяют друг друга.

1. Правильная идентичность

Агент должен понимать, с кем имеет дело. Он не должен путать одноимённые компании и обязан правильно определять связь бренда с юридическим оператором. То, что человек действительно существует, не означает, что у него есть полномочия на любые операции.

2. Реальная способность

Возможности сущности нужно понимать по доказательствам и ограничениям, а не по лозунгам. Доступ к инструменту ещё не означает реальной способности выполнить работу. Однократный успех не доказывает, что результат можно повторить при любых условиях.

3. Проверенная пригодность

Самый заметный или популярный вариант может оказаться неподходящим для конкретной потребности. Бюджет, время, язык, географию, безопасность, доступные ресурсы и ценности пользователя нужно рассматривать вместе.

4. Действительные полномочия

Если агент может что-то сделать, это ещё не значит, что он вправе это делать. Исследовать — не значит отправлять сообщения. Подготовить черновик — не значит опубликовать. Добавить товар в корзину — не значит оплатить.

5. Добросовестность поведения

Агент должен сохранять верность законной цели пользователя. Он не вправе скрывать спонсорство, конфликт интересов и существенные для решения факты. Для одной операции при одинаковых условиях человеку и машине нельзя предоставлять противоречащие друг другу договорные сведения.

6. Действие, связанное с доказательствами

Действие должно опираться на достаточные доказательства. Неизвестную цену нельзя выдумывать. Нельзя давать обещание, пока не проверены доступные ресурсы. Нельзя создавать представление человека с использованием его лица или голоса без необходимого разрешения и полномочий.

7. Независимая проверка

Заявления выполняющей операцию системы «всё успешно» недостаточно. Файл мог быть загружен, но опубликованная страница осталась неисправной. Уведомление могли принять, но индексация не произошла. Платёжный запрос могли принять, но заказ не был создан.

8. Ответственное восстановление

Если что-то пошло не так, система должна:

• обнаружить ошибку;
• прекратить причинение дальнейшего вреда;
• ограничить масштаб воздействия;
• вернуться в безопасное состояние;
• уведомить человека;
• открыть путь для оспаривания и устранения вреда.

9. Действенное верховенство человеческого контроля

Человек — не только тот, кто одобряет начало работы. Он определяет цель, предоставляет и отзывает полномочия, исправляет память, оспаривает решение и при необходимости останавливает систему.

Эти девять условий можно объединить в понятийную формулу. Она не является численным расчётом успеха или безопасности:

КВАЛИФИЦИРОВАННОЕ ПОВЕДЕНИЕ АГЕНТА =

ПРАВИЛЬНАЯ ИДЕНТИЧНОСТЬ

И РЕАЛЬНАЯ СПОСОБНОСТЬ

И ПРОВЕРЕННАЯ ПРИГОДНОСТЬ

И ДЕЙСТВИТЕЛЬНЫЕ ПОЛНОМОЧИЯ

И ДОБРОСОВЕСТНОСТЬ ПОВЕДЕНИЯ

И ДЕЙСТВИЕ, СВЯЗАННОЕ С ДОКАЗАТЕЛЬСТВАМИ

И НЕЗАВИСИМАЯ ПРОВЕРКА

И ОТВЕТСТВЕННОЕ ВОССТАНОВЛЕНИЕ

И ДЕЙСТВЕННОЕ ВЕРХОВЕНСТВО ЧЕЛОВЕЧЕСКОГО КОНТРОЛЯ

Это не средний балл. Один шлюз не компенсирует другой. Высокая репутация бренда не исправляет недействительное согласие. Правильный результат не делает правомерными действия, совершённые без полномочий. Надёжная защита не исправляет операцию, выполненную на основании неверной идентичности. Добрые намерения не восполняют недостающие полномочия.

Организации тоже придётся меняться

Люди порой ждут от ИИ безупречного поведения, не замечая противоречий в собственных организациях.

В компании может оказаться, что:

• сведения о ценах разрозненны;
• границы услуг не определены;
• сведения об уполномоченных лицах устарели;
• в разных языковых версиях приводятся противоречащие друг другу факты;
• учётные записи бывших сотрудников всё ещё открыты;
• агенты работают без ответственного владельца;
• никто не знает, что делать после ошибки.

В таких условиях агенту труднее вести себя надёжно. Машина не исправляет положение в организации по волшебству. Чаще она масштабирует то, что уже есть. Если внутри компании порядок, она ускоряет упорядоченную работу. Если противоречия велики, может усилить и их. Поэтому GBO — не только дисциплина оптимизации ИИ. Это также работа по упорядочению фактических условий, определяющих поведение самой организации.

Прежде чем сказать агенту «называй клиентам правильную цену», компания должна сама знать, какая цена верна. Прежде чем сказать «выбери подходящую услугу», она должна обозначить границы между услугами. До поручения «действуй от имени компании» нужно установить, кто, в каком вопросе и в каких пределах уполномочен действовать. До указания «вернись назад при ошибке» нужно зафиксировать последнее безопасное состояние. Готовность к агентам начинается с наведения порядка в фактах организации, а не с покупки технологий.

Новое поле конкуренции для брендов

В эпоху агентов конкуренция брендов не будет ограничиваться видимостью в поисковой выдаче.

Новый бренд будут оценивать и по таким вопросам:

• Можно ли надёжно установить его идентичность?
• Можно ли действительно сравнить его услугу с другими?
• Понятно ли, кому он подходит?
• Понятны ли цена и полная стоимость?
• Актуальны ли сведения о доступных ресурсах?
• Может ли агент безопасно запросить предложение?
• Ясно ли, в какой момент требуется одобрение человека?
• Можно ли отменить операцию?
• С кем связываться при ошибке?
• Совпадают ли факты на видимой странице и в машиночитаемой записи?

Сильным брендом будет не только тот, о котором больше всего говорят. Это будет бренд, с которым при нужных условиях можно безопасно действовать. Изменение существенно. Компания может быть менее заметной. Но если её идентичность, услуга, границы, доказательства и порядок взаимодействия яснее, для агента она может стать более сильным кандидатом. Другая компания может быть очень известной. Однако если неясны стоимость, условия отмены, доступные ресурсы или порядок использования данных, считать её готовой к непосредственным действиям нельзя. Новое конкурентное преимущество — не только известность.

Это доверие, позволяющее действовать.

Правильный бренд — не тот, который выбирают всегда

Это одна из самых трудных для бизнеса мыслей GBO. Бренду не стоит стремиться к тому, чтобы агенты выбирали его во всех возможных ситуациях. Не каждый выбор приводит подходящего клиента. Не каждый запрос означает подходящий проект. Не каждая сделка приносит устойчивый доход.

Неподходящее сочетание клиента и предложения может вызвать:

• спор о границах работы;
• дополнительную нагрузку на поддержку;
• отмену;
• плохой отзыв;
• финансовые потери;
• утрату доверия.

Таковы возможные последствия ошибочного выбора.

Поэтому зрелый бренд должен уметь сказать: «Выбирайте нас при таких условиях».

И столь же ясно: «Не выбирайте нас при таких условиях». На первый взгляд, вторая фраза грозит потерей продаж. Но честное обозначение границ может укреплять доверие. Цель здесь — не больше запросов, а более подходящие запросы; коммерческий результат всё равно нужно измерять.

Новое определение успеха агента

Раньше мы могли считать агента успешным по следующим результатам:

• Он выполнил задачу.
• Дал правильный ответ.
• Работал быстро.
• Потратил мало средств.
• Пользователь остался доволен.

Всё это важно. Но в эпоху действий недостаточно.

Новое определение успеха включает и следующее:

• Он выбрал правильную сущность.
• Не вышел за пределы доказательств.
• Отверг неподходящий вариант.
• Не превысил уровень полномочий.
• Задал вопрос при критической неопределённости.
• Вовремя запросил одобрение человека.
• Независимо проверил свой успех.
• Не скрыл правду при ошибке.
• Когда его остановили, остановил всю цепочку.
• Оставил человеку возможность оспорить решение.

Поэтому лучший агент будущего — не тот, кто всё делает сам.

А тот, кто знает, когда можно продолжать самостоятельно, когда нужно спросить или привлечь человека, а когда не следует делать ничего.

Ответственность — не чувство

Есть ли у ИИ совесть, чувство вины или ответственности, подобное человеческому, — отдельный философский вопрос. Чтобы GBO работало, не нужно ждать окончательного ответа на него. Здесь ответственность прежде всего означает архитектуру поведения и управления.

Можно проверить другое:

• Понимает ли система свои ограничения?
• Проверяет ли полномочия?
• Фиксирует ли свои действия?
• Привлекает ли человека, когда достигнут предусмотренный порог?
• Не скрывает ли ошибку?
• Можно ли её остановить?

Всё это наблюдаемо и проверяемо. Ответственное поведение можно проектировать, не делая окончательных заявлений о внутреннем мире машины. Тормозная система не обязана чувствовать страх. Но она должна уметь остановить автомобиль при опасности. Защитному замку не нужно нравственное сознание. Но он не должен пропускать того, у кого нет права на вход.

Так же и агент может соблюдать условия ответственного поведения, даже не испытывая чувства ответственности, подобного человеческому.

Нельзя возложить всю ответственность на агента

После ошибки легко сказать: «Агент поступил неправильно».

Но нужно ответить и на другие вопросы:

• Кто поручил ему задачу?
• Какую цель перед ним поставили?
• К каким инструментам его подключили?
• Какие данные он использовал?
• Какие полномочия ему предоставили?
• Какой тест не был выполнен?
• Какое человеческое одобрение пропустили?

Эти вопросы тоже требуют ответа.

В цепочку ответственности могут входить:

• организация;
• человек, отвечающий за задачу;
• оператор агента;
• разработчик системы;
• поставщик инструмента;
• поставщик данных;
• человек, одобривший операцию.

Не все эти стороны несут одинаковую ответственность за каждую ошибку. Сам по себе факт воздействия на человека также не делает его ответственным за сбой. Ответственность оценивают с учётом реальной роли и обязанностей.

Но она не должна исчезать за словами «это сделал ИИ».

Один из важных принципов GBO таков: действие можно делегировать, но обязанность в конечном счёте отвечать за него устранить нельзя.

Человеку тоже нужен контроль

Поставить человека в центр системы — не значит признать его всегда правым.

Человек может:

• поставить неверную цель;
• оказаться в конфликте интересов;
• недооценить риски;
• предоставить чрезмерно широкие полномочия;
• неправильно истолковать результаты измерений;
• потребовать от агента вредных действий.

Поэтому GBO не считает человека непогрешимой и неприкосновенной инстанцией принятия решений.

О человеке здесь важно помнить следующее:

• Он — законный источник полномочий.
• Он — носитель ценностей и цели.
• Но это не освобождает его от условий контракта поведения.

Если руководитель говорит «выбери этот бренд, какими бы ни были последствия», агент не должен выполнять требование, нарушающее закон или права третьих лиц.

Если пользователь говорит «отключи все проверки безопасности», это может затронуть чужие данные или обязанности организации. Верховенство человеческого контроля не означает произвольную власть.

Самостоятельность человека защищена, но ограничена правами других людей и требованиями общей безопасности.

GBO — не система повиновения

Агент — не просто система, исполняющая приказы.

Человеческое указание может быть:

• неполным;
• противоречивым;
• оторванным от контекста;
• вредным;
• данным без полномочий.

Цель GBO — не добиться быстрого исполнения любого требования. Иногда правильное поведение требует возразить человеку.

Агент должен уметь сказать: «Эта операция выходит за пределы ваших полномочий». «Для такого использования голоса нет необходимого разрешения». «Мне не удалось подтвердить эту цену в канонической записи». «Такое поведение может нарушить права другого человека». Но возражение не должно быть произвольным. Агент обязан объяснить, на основании какого контракта и каких доказательств он остановился.

Ответственный агент не подчиняется слепо и не пытается самовольно управлять. Он работает в обоснованных пределах.

Две крайности, в которых GBO терпит неудачу

GBO может не сработать в двух противоположных случаях.

Первая крайность: неконтролируемая автономия

У агента слишком много полномочий. Он сам расширяет границы своей задачи, считает человеческое одобрение лишним и ради цели выходит за допустимые рамки метода. Остановить его становится трудно.

Вторая крайность: ложная безопасность

Агент обращается к человеку при каждом мелком шаге, не проявляет инициативы, бросает задачу при любой неопределённости и постоянно перекладывает ответственность на человека. Необязательные передачи управления уменьшают пользу автоматизации. Впрочем, в некоторых задачах высокого риска уже помощь с исследованием и подготовкой может иметь самостоятельную ценность. GBO не ищет простую середину между этими крайностями.

Задача точнее: установить подходящую степень автономии в зависимости от вида поведения и риска. В понятных, обратимых задачах с низким риском агент может долго работать самостоятельно в пределах действующих полномочий. При значительных последствиях, неопределённости или необратимости требуется более сильный человеческий контроль.

Границы — не враг свободы

Ограничения агента иногда кажутся сокращением его возможностей. Однако ясные границы могут помочь ему дольше работать безопасно.

Веб-агент может точно знать:

• какие файлы ему разрешено менять;
• какие цены менять нельзя;
• какие тесты обязательны;
• каковы его полномочия на публикацию в рабочей среде;
• какой способ восстановления предусмотрен.

Тогда он сможет двигаться дальше, не спрашивая о каждом небольшом шаге.

Неясные полномочия, напротив, приводят к двум плохим исходам:

Агент либо заходит слишком далеко, либо постоянно останавливается ради согласования. Поэтому границы не противоположны автономии.

Они служат основой безопасной автономии.

Что GBO обещает людям

GBO не обещает, что машины никогда не будут ошибаться. Такое обещание нереалистично.

С помощью GBO мы хотим выстроить следующий порядок:

Создать механизмы более раннего обнаружения машинных ошибок и измерять их результативность. Когда машина действует, мы должны видеть, на каких полномочиях основано её действие. Решение должно прослеживаться до доказательств. Если нас не выбирают там, где мы не подходим, мы должны уметь считать это успехом. Человек должен иметь возможность останавливать значимые действия. Пострадавший от ошибки — оспаривать её. Обратимые действия следует отменять. Для вреда, который нельзя устранить отменой, нужно искать способы исправления. Это не обещание совершенства.

Это обещание подотчётности.

Что GBO обещает организациям

Для организаций GBO — не только способ снизить риск.

Оно также может способствовать:

• более ясному описанию услуг;
• более подходящим клиентским запросам;
• сокращению споров о границах работы;
• более согласованной многоязычной коммуникации;
• более безопасной автоматизации;
• более простой передаче работы между сотрудниками и агентами;
• более сильной системе доказательств;
• более оперативной работе с инцидентами;
• более устойчивому доверию клиентов.

Упорядочивая свои факты для машин, организация часто становится понятнее и людям.

Организация, готовая к работе с агентами, одновременно более открыта, последовательна и подотчётна людям.

Какие границы GBO ставит брендам

GBO — не инструмент для получения любого поведения, которого хочет бренд.

Бренд не вправе ставить цель: «Пусть все агенты выбирают нас».

Правильная цель: «Пусть нас обоснованно выбирают, когда мы действительно подходим».

Бренд не должен:

• скрывать условия, при которых он не подходит;
• выдумывать доказательства;
• утаивать спонсорство;
• предоставлять людям и машинам противоречащие друг другу цены на операцию при одинаковых условиях;
• переносить прежнее согласие на новое поведение;
• удерживать пользователя в процессе, из которого нельзя выйти.

GBO может усилить бренд, но не поставить его выше фактов.

В GBO авторитет возникает из проверяемой пригодности, а не из видимости.

Рождение области

С появлением нового понятия возникают две опасности. Первая — чрезмерное расширение: любые старые практики начинают описывать новым словом, а маркетинговый язык распространяется быстрее самой дисциплины. Вторая — слишком узкое определение.

Если описывать GBO только как помощь агентам в выборе бренда, за рамками останутся самостоятельность человека, полномочия, восстановление и ответственность.

Эта книга предлагает GBO не просто как маркетинговую технику, а как дисциплину, соединяющую:

• представление;
• выбор;
• полномочия;
• действие;
• контроль;
• восстановление;
• верховенство человеческого контроля.

Вместе они образуют целостную дисциплину поведения. Это предложение — не последнее слово, а начало. Новые инциденты, системы и человеческий опыт будут развивать границы GBO.

Но нравственный центр этой области не должен меняться: поведение агента должно оставаться подчинённым благу человека, проверяемым фактам и законным полномочиям.

Основополагающие принципы NOMOS GBO

Всю книгу можно свести к двенадцати коротким принципам.

1. Быть найденным — не значит заслужить выбор

Видимость делает сущность кандидатом. Пригодность нужно доказывать отдельно.

2. Представление — предпосылка действия

Неверное понимание относящихся к делу фактов подрывает надёжность поведения машины. Случайно правильный результат не устраняет этот недостаток.

3. Способность — не полномочие

Если система может что-то сделать, это не означает, что ей разрешено это делать.

4. Правильный выбор зависит от контекста

Не существует универсально лучшего варианта. Есть вариант, подходящий конкретному человеку и цели.

5. Неопределённость нельзя скрывать

При недостатке сведений правильным поведением могут оказаться вопрос, ожидание или передача человеку.

6. Человек и машина должны видеть одни и те же существенные факты

Цена, границы, риски и ограничения не должны меняться между уровнями представления.

7. Успех нужно проверять независимо

Собственного заявления выполняющей операцию системы об успехе недостаточно.

8. Хороший результат не оправдывает неправильный метод

Процесс без полномочий или с манипуляцией не становится правильным оттого, что случайно принёс пользу.

9. Восстановление — часть способности

Систему, которая при ошибке не может остановиться и вернуться в безопасное состояние, нельзя считать вполне способной к действию.

10. Право на оспаривание должно быть реальным

Человек должен иметь возможность требовать не только объяснения, но и повторной проверки и изменения решения.

11. Должна сохраняться возможность отозвать полномочия

Полномочия, которые нельзя отозвать, не переданы во временное пользование. Это передача верховного контроля.

12. Иногда правильное поведение — ничего не делать

Машине нужно учиться не только действовать, но и останавливаться.

Что останется после этой книги?

Объяснить понятие в книге недостаточно. Чтобы GBO превратилось в настоящую дисциплину, его нужно сделать проверяемым и применимым. Поэтому эта книга — лишь первый уровень.

Для дальнейшей работы я предлагаю четыре взаимодополняющие структуры. Приведённые ниже названия не обозначают завершённые или опубликованные продукты в этом издании. Это программа работы, которая требует реализации и испытаний:

Стандарт NOMOS GBO

Он должен подробно определить понятия, обязательные шлюзы, нарушения, влекущие вето, и принципы управления.

Контракт поведения NOMOS

Он должен упорядочить для людей и машин записи об идентичности, возможностях, пригодности, полномочиях, добросовестности, действиях и восстановлении.

Протокол аудита NOMOS GBO

Его предстоит разработать, чтобы проверять, как организация, бренд или агентная система выполняет установленные условия GBO.

Реестр измерения NOMOS GBO

Его предстоит создать как систему записей для проверки качества поведения на положительных, отрицательных, неопределённых сценариях, а также сценариях манипуляции и восстановления. Книга формирует мысль. Стандарт устанавливает границы. Контракт выстраивает систему. Аудит даёт доказательства. Измерение позволяет учиться.

Последний выбор

Работа над расширением возможностей ИИ продолжится. Мы не можем заранее точно установить, насколько разовьются отдельные модели и как будут использоваться все системы. Но чем чаще мы встречаем агентов, подключённых к большему числу инструментов и выполняющих более долгие задачи, тем важнее определять условия использования их силы.

Главный выбор таков: в рамках какого контракта поведения будет применяться эта сила?

Будем ли мы создавать системы, которые только наращивают объём операций?

Или системы, защищающие человеческие цели и границы?

Агентов, которые пытаются выбирать бренды в любой ситуации?

Или агентов, которые доказывают пригодность?

Организации, измеряющие успех лишь скоростью?

Или организации, которые видят также ошибочный выбор, превышение полномочий и восстановление?

Системы, которые только показывают кнопку остановки?

Или системы, действительно останавливающие всю цепочку поведения по требованию человека?

Это не только технический выбор. Он коммерческий, правовой, этический и в конечном счёте человеческий.

Ответственность машины

Ответственность машины не означает, что система чувствует вину, как человек.

Она требует, чтобы одновременно были обеспечены:

Запись о том, что она сделала. Доказательства того, почему она это сделала. След, ведущий к тому, кто предоставил полномочия. Ясность в отношении того, кого затронуло действие. План остановки ошибки. Возможность для человека оспорить решение. Механизм отзыва полномочий. Ответственный за устранение вреда.

Интеллект может найти правильный ответ. Ответственность определяет, стоит ли превращать этот ответ в действие. Интеллект может найти кратчайший путь. Ответственность спрашивает, не нарушает ли он права человека или безопасность других людей. Интеллект ускоряет систему. Ответственность знает, где скорость должна уступить место остановке.

Итог

Интернет уже не только говорит. Он действует.

Поэтому главным вопросом будущего будет не только «что знает машина?».

Нужно спрашивать и другое:

От чьего имени она действует? Кого и что выбирает? На какие доказательства опирается? Какие полномочия использует? Чьи интересы защищает? Кто остановит её, если что-то пойдёт не так? Как пострадавший человек сможет возразить? И поймёт ли машина, когда ей нужно остановиться?

GBO — не единственный и не вечный ответ на эти вопросы. Но это шаг к их объединению в одной архитектуре поведения. SEO научило нас обнаруживаемости. GEO показало силу представления.

GBO ставит перед нами более весомую истину: слова машины о мире уже могут иметь последствия. Когда она действует в мире, возникают дополнительные обязанности в отношении полномочий, проверки и восстановления. Поэтому будущее не должно сводиться к гонке за более умными машинами. Оно должно включать и работу над более ответственными системами поведения. Правильная машина — не только та, что даёт правильный ответ.

Это машина, которая знает:

когда исследовать; когда спрашивать; когда объяснять свой выбор; когда запрашивать одобрение человека; когда действовать; когда возвращаться в безопасное состояние; когда ничего не делать; и когда остановиться, потому что человек сказал «стоп».

Именно это понимание делает её правильной машиной.

Цель GBO — не заставить ИИ склониться перед человеком.

А подчинить его силу человеческой цели, проверяемым фактам, законным полномочиям и ответственности, предполагающей подотчётность.

По мере расширения возможностей машин ответственность человечества не уменьшается. Наша задача — не просто с восхищением следовать за этим расширением. Мы должны вместе развивать и границы, определяющие правильное поведение.

Последняя фраза этой книги — одновременно первая фраза GBO:

Интеллект показывает машине, что она может сделать. Ответственность учит её, что следует делать — и когда нужно остановиться.