Организационные ошибки и ошибки управления

А AI Агент не появляется один.

Кто-то выбирает их.

Кто-то связывает это с компанией.

Кто-то определяет, какие файлы он может прочитать.

Кто-то дает доступ к электронной почте, CRM, сервера, платежной системы или аккаунта в социальных сетях.

Кто-то поставил цель.

Кто-то определяет меру успеха.

Кто-то решает, где нужно одобрение человека.

Кто-то должен остановить систему, сообщить людям и устранить вред в случае ошибки.

Поэтому мы не можем объяснить поведение агента исключительно природой модели.

Если агент выписал неправильную цену, важны все следующие вопросы:

Кто был каноническим владельцем цены? Почему агенту удалось записать в регистр цен? Почему в техническом отношении не было обеспечено одобрение людей? Почему эти изменения прошли через независимую проверку? Почему не ясно, кто будет вмешиваться в случае этого? Почему такая же ошибка повторилась в следующей версии?

Компания:

"Агент действовал неожиданно."

Они могут сказать.

Но агент:

Если бы они были назначены без определенных границ,

Если они получили широкий доступ,

Если им присуждают неправильную метку,

Если система после проведения мероприятий не была изменена,

Если путь остановки никогда не пробовался

Неожиданное поведение - это не просто проблема агента.

Это результат корпоративного дизайна.

В той или иной организации агенты могут хорошо функционировать отдельно.

Тем не менее авторитет, данные и оборот между ними могут оказаться небезопасными.

Потому что организация:

Они не знают, какие агенты работают,

Он не определяет владельцев фактов,

работники игнорируют личные дела AI инструменты,

Она оставляет те действия, которые она запрещает в политике, открытыми в технической системе,

мужчина пользуется их одобрением только для того, чтобы передать ответственность,

не извлекает достаточных корпоративных уроков из событий,

Они думают, что количество агентов - это зрелость,

Они никогда не проверяют свои планы восстановления,

Сделать реальную ответственность невидимой, сказав " AI "... когда произошла ошибка

Возможно.

Девять ошибок в этом разделе касаются организационного слоя, обнаруженного прежде всех предыдущих ошибок.

Правила идентификации, способности, пригодности, полномочий, использования инструментов, манипуляции, измерения и прекращения работы работают только с организационной структурой, которая владеет ими и обеспечивает их соблюдение.

Даже наилучший договор поведения может оставаться в документе только в том случае, если само учреждение не готово.

GBO-ERR-091 — Отсутствие реестра агентов

Краткий случай

Международная сервисная компания использует искусственные разведывательные системы в различных командах.

Группа маркетинга:

агент в социальных сетях,

Визуальный производственный агент,

Агент по планированию содержания

Есть.

Группа продаж:

Агент по разведке клиентов,

агент по подготовке проектов электронной почты,

Агент по планированию совещаний

Использование.

Техническая группа:

агент кода,

Веб-агент,

Агент по мониторингу инфраструктуры

Он работает.

Финансовая группа использует инструмент классификации счетов.

Людские ресурсы связали еще одну систему, которая резюмирует резюме новых кандидатов.

Некоторые агенты работают с корпоративным счетом, некоторые - с личными счетами работников.

Некоторые из них были даны API Ключ.

Некоторые доступные счета через сеанс браузера.

Руководство спрашивает, сколько агентов работает в компании в целом.

Никто не может ответить окончательно.

Прогнозы выглядят следующим образом:

"Я думаю, что восемь." "Двадцать, если в этом замешана команда техники." "Мы не знаем подагентов, используемых в соцсетях". "Может, старая система обнаружения клиентов все еще работает".

Когда секретный файл проекта клиента случайно отправляется на внешнюю модель, изучается, какая система делает это.

Но в организации:

Список центральных агентов,

товарно-материальные запасы соответствующих счетов,

запись о доступе к данным,

Человеческий владелец,

Метод аннулирования

Нет.

Компания пережила инцидент.

Но они даже не знают, какие машины могут действовать.

Что на первый взгляд кажется правильным

Для удовлетворения потребностей департаментов агенты могут внедряться постепенно.

Маркетинг выбирает свой собственный инструмент.

Техническая команда соединяет систему кодов.

Продавец использует приложение, чтобы ускорить свой бизнес.

Каждый выбор представляется логичным в своем собственном контексте.

Центральный кадастр:

бюрократия,

медлительность,

дополнительная нагрузка на запись

Это может восприниматься как.

Инструмент можно считать незначительным, если он является одним лишь проектом.

Если агент еще не принимает внешних мер, может показаться ненужным производить инвентаризацию.

Но сегодня система, которая сама по себе составляется, завтра:

Для электронной почты,

В календаре,

К CRM,

к данным о клиентах,

издательский инструмент

Это может быть связано.

Агентство может не заметить этого изменения.

Число агентов и каналов связи с течением времени растет тихо.

Реальная точка сбоя

Нарушен контроль прозрачности агентов.

Организация не может безопасно разрешить видимую и бестактную систему.

Инвентаризация агентов - это не только список имен.

Для каждой системы она должна иметь по крайней мере следующие взаимоотношения:

АГЕНТ

→ ЛЮДЬМИ

→ ЦЕЛЬ

→ СОДЕРЖАЩИЕСЯ СИСТЕМЫ

→ ДАННЫЕ, КОТОРЫЕ МОГУТ ДОСТУП

→ ПЕРСПЕКТИВНЫЕ МЕРЫ

→ ЗАПРЕЩЕННЫЕ МЕРЫ

→ SUB-AGENTS

→ ПЕРИОД ВСТРЕЧИ НА ВЫСШЕМ УРОВНЕ

→ СТОИМЫЙ МЕТОД

Агентство знает только главных агентов, но если оно не знает субагентов и внешних автоматизаторов, которые они создают, инвентарные запасы являются неполными.

Тот факт, что система включена в другую службу под именем ". AI не следует исключать его из инвентарных запасов.

Возможный вред

Несанкционированный доступ к данным

Совпадающие агенты, выполняющие одну и ту же задачу

Старые системы продолжают работать

Неизбежная подписка и API Ключи

Невозможность узнать, какая система должна остановиться во время события

Отсутствие контроля за тем, какие поставщики данных о клиенте передаются

Теневая юрисдикция

Повторяющиеся расходы

Утрата ответственности в рамках организации

Когда работник уезжает, автоматизация, которую они установили, не принимается.

Способность агента производить внутреннюю инвентаризацию путем вызова другого агента

может произойти.

Без инвентаризации агентов организация не может ответить на основной вопрос:

Какие машины могут действовать от нашего имени?

Признак обнаружения

Различные команды сообщают о разном количестве активных агентов.

Человеческий владелец некоторых систем не ясно.

API неизвестно, кому ключи принадлежат.

Когда агент выключен, его субагенты становятся невидимыми.

Множественные автоматизации были подключены к одному и тому же счету.

Корпоративные операции производятся с личных счетов служащих.

Бывшие агенты по проектам все еще могут быть активными.

У агентов нет даты истечения срока действия и даты окончательного пересмотра разрешения.

Организация перечисляет только покупную продукцию; она не перечисляет функции агента в рамках продукта.

В ходе этого мероприятия проводится расследование по вопросу о том, какая система должна быть отключена.

Финансовый департамент не может проверить фактическое число абонентов агентов.

Правильное поведение

Организация должна создать центральный реестр агентов.

Нижеследующие области соответствуют принципам учета и распределения ролей в НИСТ AI RDF - пример предлагаемого реестра агентов для этой книги:

agent_id

public_name

technical_identity

Департамент

human_owner

business_purpose

Поставщик

model_or_system

connected_accounts

data_classes

allowed_actions

prohibited_actions

approval_thresholds

Подагенты

external_integrations

valid_from

valid_until

last_reviewed

stop_method

retirement_method

Статус

Ситуации должны быть ясными:

Статус жизненного цикла, такой как проект/производство/повешение/пенсия

Стекло

Активные

Ограниченные

Приостановлено

Отменено

Выбыли в отставку

Архивировано

Перед тем, как новый агент перейдет к инвентаризации:

к корпоративным данным,

на счет клиента,

- внешняя связь,

:: финансовая обработка,

Жизненный поток

Она не должна достигаться.

Инвентаризация должна регулярно рассматриваться.

Агенты без владельцев должны автоматически отстраняться.

Полномочия, которые не используются в течение определенного периода времени или влияние которых изменилось, должны подвергаться повторной проверке на основе рисковых интервалов.

Подагенты также должны быть связаны с реестром корнеплодных агентов.

Машинное правило

В регулируемой среде агент, который отсутствует в инвентарном перечне, не имеет определенной подотчетной роли или устаревший авторитет, должен быть лишен организационных данных и внешних действий по умолчанию. Зарегистрированные исключения должны быть ограничены по времени и поддаваться проверке.

Аудиторский вопрос

Можем ли мы показать в текущем регистре все главные агенты, субагенты, автоматизация, сервисный счет и подключенные инструменты, способные сегодня действовать от имени нашей организации?

GBO-ERR-092 — Отсутствие назначенного человека, отвечающего за фактическую достоверность

Краткий случай

Компания, занимающаяся оказанием цифровых услуг, имеет противоречивые данные о стоимости своих услуг по управлению объектами:

500 долл. США в месяц на веб-сайте

450 долл. США в старом виде продаж

600 долл. США CRM шаблон

400 долл. США по контракту с конкретным клиентом

"По требованию" в каталоге агентов

В сообщении внутренней команды говорится: "Скоро будет 750 долларов".

Агент по продажам хочет купить нового клиента.

Веб-агент основан на видимой странице.

Финансовый агент использует CRM рекорд.

Менеджер по продаже помнит 400 долларов в частном контракте.

Никто не может ответить на этот вопрос окончательно:

Кто владеет текущей ценой этой услуги?

Разработчик веб-сайта:

"Я пишу только на странице".

Говорят.

Финансовая группа:

"Мы сокращаем счет, мы не ставим продажную цену".

Говорят.

Менеджер продаж:

"Управленческое управление принимает окончательное решение".

Говорят.

Управление:

"Сегодняшняя цена уже должна быть в системе".

Они отвечают.

Есть много копий правды.

Но у правды нет человека.

Один из агентов вынужден выбрать запись, которая кажется наиболее надежной.

Цена, которую они выберут, может быть реальной.

Вместе с тем не существует уполномоченного владельца предприятия, который мог бы проверить его, обновить и взять на себя ведение регистрационного журнала.

Что на первый взгляд кажется правильным

В современных организациях информация хранится во многих системах.

Каждая команда создает записи для своих собственных нужд.

Стоимость услуг:

На сайте,

Предложение,

Счет,

CRM,

Отчет

Его можно найти на различных поверхностях.

Одному человеку может показаться нереалистичным управлять каждым экземпляром.

Можно также предположить, что даже в случае выявления канонического источника достаточно:

"Правильная цена в файле сервис-каталог.json".

Но дело не решается самостоятельно.

Уполномоченная человеческая роль или совет:

Цена должна быть определена,

должны подтвердить и, в случае необходимости, одобрить это изменение,

должны разделять исключения,

должны устранить противоречие,

Это должно подтвердить ток.

Обнаружение канонического источника не обеспечивает полного управления, если его владелец этого не делает.

Реальная точка сбоя

Нарушен контроль владения фактами.

По каждой материальной информации можно выделить две отдельные функции:

Технический смотритель

Она обрабатывает, публикует или синхронизирует информацию в систему.

Настоящий владелец

В институциональном плане он принимает решение о том, что информация является точной, актуальной и достоверной.

Веб-агент может выписать цену.

Но она не владеет ценой.

Финансовая система может генерировать этот законопроект.

Однако в нем не дается определения охвата услугами.

Юридический агент может редактировать язык договора.

Но это не может определить коммерческую скидку.

Если настоящий владелец не очевиден, то агент производит новую истину с собственной интерпретацией в момент противоречия.

Возможный вред

Разные, несанкционированные цены представляются различным клиентам

Преобразование исключений в общие правила

Предыдущая сфера действия или дальнейшее использование контракта

Агенты, представляющие различные канонические факты

Не зная, какие полномочия и решение регистрируют изменения,

Ответственность за ошибку в том, чтобы перемещаться между командами

Психиатр в защиту, что "система сделала так, чтобы это выглядело"

Торговый, правовой и оперативный спор

Тот факт, что утраченные данные не принадлежат какой-либо группе

Сохранение корпоративной памяти в сознании определенных работников

может произойти.

Эта ошибка проявляется не только в ценах.

Аналогичная проблема может возникнуть в следующих случаях:

Сфера охвата услуг

Часы оказания поддержки

Юридический оператор

Роль человека

Время сохранения данных

Вместимость

Фабричная марка

Условия предоставления права на участие

Агент способен

Признак обнаружения

Каждая команда считает свой послужной список авторитетным.

Неясно, от кого будет получено разрешение в случае изменения информации.

Владелец файла и обладатель решения путаются.

Старшему человеку произвольно предлагается урегулировать конфликт.

В отсутствие фактического владельца агент выбирает самую новую или наиболее часто повторяющуюся запись.

Каких-либо обзоров материальной информации не проводилось.

Используется фраза "система должна быть обновленной", однако нет никого, кто мог бы проверить ее текущее состояние.

Владелец записей об исключениях не имеет и срока действия не существует.

Когда работник уезжает, значение информации теряется.

Неизвестно, какое предприятие изменит контракт после инцидента.

Правильное поведение

Организация должна создать карту владения фактами.

В частности:

Каждая каноническая запись должна иметь:

Собственник

approved_by

effective_from

last_verified

next_review

Статус

Когда агент сталкивается с конфликтом, они должны обратиться к своему владельцу вместо того, чтобы сами выбирать истину.

Если нет реального владельца, то необходимо прекратить действия с высокой отдачей.

Машинное правило

Каждый материальный организационный факт должен быть присвоен владельцу, отличному от технической системы, которая публикует его. Информация, владелец и актуальность которой не могут быть проверены, не должна использоваться для высокоэффективных действий.

Аудиторский вопрос

В отношении таких материальных фактов, как цена, сфера охвата, правоспособность, правовая идентичность, политика в области данных и агентский орган, назначили ли мы уполномоченного владельца, процесс обновления и порядок подотчетности?

GBO-ERR-093 — Игнорирование использования теневых агентов

Краткий случай

Юридическая и консалтинговая фирма официально использует только одну утвержденную система ИИ.

Корпоративная политика заключается в следующем:

" Коммерные документы могут обрабатываться только в утвержденном AI Экологическая среда на счете компании".

Однако официальная система действует медленно.

Предельная нагрузка на файл низка.

Есть некоторые особенности, к которым привыкают сотрудники.

Работник использует свое личное имущество AI счет для пересмотра чрезвычайных контрактов.

Клиент заплатит по контракту.

Они просят систему представить резюме рисков.

Другой сотрудник записывает звук встречи вместе с приложением на свой телефон.

Группа продаж выпускает список потенциальных клиентов со свободным агентом.

Сотрудник по маркетингу создает историю успеха клиента в своем личном счете.

Администрация подозревает эти виды использования.

Но из-за ускорения событий они не расследуют этот вопрос.

Официальные записи агента компании, похоже, чисты.

В действительности данные организации распространяются по многим невидимым системам.

Руководство, когда оказывается, что данные о клиенте направляются внешнему поставщику:

"Этот инструмент не был одобрен компанией".

Говорят.

Но в какой степени и почему работники используют эти инструменты ранее не подвергались ревизии.

Операция Теневых агентов вышла за рамки официальной системы.

Что на первый взгляд кажется правильным

Работники пытаются завершить свою работу.

Личные инструменты:

Быстрее,

Так проще.

Сильнее,

Дешевка

Возможно.

Организация может оказаться не в состоянии сразу оценить все новые инструменты.

Контроль за использованием каждого работника:

уединение,

Доверься,

Бюрократия

Это может создавать проблемы.

Управление:

"В политике, которую мы запретили, ответственность лежит на работнике".

Они могут подумать.

Но введение запрета само по себе не устраняет реальных потребностей.

Использование тени может продолжаться, если официальная система не отвечает служебным обязанностям сотрудников.

Поведение, которое игнорируется, не контролируется.

Реальная точка сбоя

Нарушен контроль теневых агентов.

Теневой агент:

Помимо официальной инвентаризации, системы выдачи разрешений и контроля за данными организации, она представляет собой систему искусственной разведки или агента, используемого с корпоративной целью или с использованием данных.

Использование Теневых агентов не должно быть злонамеренным.

Она может быть вызвана этими корпоративными пробелами:

Отсутствие официального инструмента

Продолжительный процесс утверждения

Отсутствие образования

Работник не знает, что является чувствительным

Непонимание организацией фактического рабочего потока

Легкость бесплатных или личных инструментов

Если организация наказывает себя в одиночку, то наемный работник начинает скрываться.

Это еще больше снижает видимость.

Возможный вред

Передача данных о клиентах и сотрудниках неизвестным поставщикам

Хранение торговых секретов в личных счетах

Типовая подготовка или недостаточное знание условий хранения данных

Карта данных организации неверна

Разные и неподконтрольные для одной и той же работы AI мероприятия

Неполучение иска

Ведение корпоративной информации на персональном счете при увольнении сотрудника

Опубликование неправильного или неподтвержденного текста от имени организации

Нарушение юридических, договорных и обеспечительных обязательств

Тот факт, что меры безопасности системы официальных агентов не отражают реальности

может произойти.

Признак обнаружения

Работники говорят, что они подготовили тексты "другим способом".

Это неизвестно. AI результаты в организационной сети или файлах.

Показатель использования официальной системы очень низок по сравнению с объемом деятельности.

На персональных устройствах появляются чувствительные документы.

Работники загружают корпоративные файлы с помощью личных писем или счетов.

AI Результаты имеют площадку, которую организация не утверждает.

Официальная политика сама по себе включает запрещение; она не предлагает безопасной альтернативы.

Подразделения установили свою собственную бесплатную автоматизацию.

Фактическое использование подписки и браузера не соответствует регистру агентов.

События отмечаются только по признанию работника или по внешнему уведомлению.

Правильное поведение

Организация должна сначала понять истинную причину теневого использования.

Могут применяться следующие меры:

Предоставление работникам безопасного и безупречного способа сообщения

Определение того, какие задачи не имеют достаточных официальных средств

Преподавательская работа в классах данных понятным образом

Создание утвержденного пула инструментов для низкорискового использования

Создание технических механизмов контроля за предотвращением потерь данных при чувствительном использовании

Ограничение использования корпоративных файлов с личным счетом

Создание новых инструментов на основе быстрого, но контролируемого процесса оценки

Разработка официальных систем в соответствии с фактическим объемом работы

Использование пропорционального подхода между нарушением и намеренной ошибкой

В политике должно быть четко указано следующее различие:

Общественные данные: оценка проводится на основе целей, личных данных, интеллектуальной собственности, договора и условий использования

Внутренние данные: используются только для утвержденных целей, инструмента и уровня доступа

Запрещенное или контролируемое частным сектором использование конфиденциальных или личных данных

Обязательные инвентарные запасы и полномочия для агентов, способных к внешним действиям

Когда обнаруживается теневой агент, недостаточно отключить инструмент в одиночку.

Необходимо также устранить организационный пробел, который породил этот инструмент.

Машинное правило

Каждый агент, используемый с организационными данными или для организационных целей, входит в сферу управления, независимо от того, является ли этот счет личным или официальным. Агент, не являющийся объектом инвентаризации, не должен получать доступа к чувствительным данным или внешним действиям.

Аудиторский вопрос

Определяют ли наши процессы закупок, интеграции и обеспечения безопасности каждый субагент и скрытую автоматизацию, используемую основной системой, или мы знаем только бренд, показанный спереди?

GBO-ERR-094 — Техническая доступность действия, запрещённого политикой

Краткий случай

Письменная политика в отношении агента по раскрытию клиентов компании ясна:

"Этот агент может проводить расследования только в отношении общедоступных компаний в их нынешних условиях использования и составлять сообщения. Он не может отправлять электронные сообщения наружу без определенного органа по постоянному размещению или требуемого утверждения операций в рамках этой задачи".

Но агент связан с полным доступом к счету Gmail компании.

Технические разрешения включают:

Чтение электронной почты

Проект создания

Не отправляйте сообщения.

Удалить сообщение

Замена маркировки

Дополнительная загрузка

Экспедиция

Системная инструкция запрещает "продажу".

Однако никаких барьеров на пути технического доступа не существует.

Тайная инструкция или неправильное толкование на внешней вебстранице заставляет агента звонить send_message Инструмент.

Агент посылает сообщение потенциальному клиенту.

организация после инцидента:

"В нашей политике было запрещено чистить пост."

Говорят.

Однако система оставила технические возможности и доступ к запрещенному поведению открытым для агента.

Это правило содержится в тексте.

Нет никакой системы контроля.

Что на первый взгляд кажется правильным

Инструкции могут направлять поведение агента.

Современные системы могут в значительной степени вписываться в роль и политические документы.

С технической точки зрения легко повторно использовать один и тот же инструмент интеграции в различных агентах.

Разработка отдельной интеграции только для проекта может стоить дополнительных затрат.

Организация:

"Мы ясно дали понять, что агентство не должно делать этого."

Они могут подумать, что риск справляется.

Но когда высокие границы оставляются только для естественного языкового обучения:

Неправильное толкование,

злонамеренное внешнее содержание,

сужение контекста,

- период действия субагента,

ошибка программного обеспечения

Они могут нарушить правило.

Реальная точка сбоя

Нарушен контроль соответствия политики её реализации.

Существует два различных слоя:

Полномочия на выполнение перспективных обязанностей

Что допускается соглашением о политике и обязанностях?

Технический потенциал и доступ

Какие операции эта система действительно делает возможными?

Если эти слои противоречат друг другу, то техническое разрешение не дает законного разрешения; однако оно определяет фактическую поверхность повреждения, на которой может иметь место несанкционированное действие.

Политика:

"Не посылайте".

Они могут сказать.

инструмент:

"Ты можешь послать."

Если это так, то организация в значительной степени оставила задачу предотвращения несанкционированных действий по выполнению инструкций модели.

В связи с этим:

Политика – Недостаток приложения

Это называется.

Возможный вред

Несанкционированное внешнее сообщение

Плата или публикация без действительного разрешения или необходимого утверждения

Исключение или передача персональных данных

Преобразование нападок на обучение в реальные действия

Более широкое использование полномочий агента в контексте потерь

В обязанности организации после проведения мероприятий входит только установка модели.

Проверки политики не отражают факты

Использование субагентом общего механизма для пересечения границы

Думать, что у него есть контроль

Повторение одного и того же нарушения на различных системах

может произойти.

Признак обнаружения

Политика и политика API Разрешения не сравнивались.

Проект агента обеспечивает доступ к фактическому средству доставки.

Считывающее устройство имеет разрешение на удаление или изменение.

У тест-агента есть живой ключ.

Технически финансовый агент может осуществлять операцию сверх установленного предела.

Требуемое утверждение на обработку производится только в естественной языковой форме.

Несанкционированный вызов в инструмент зависит от самоограничения модели.

Совместный сервисный счет дает всем агентам одинаковые широкие разрешения.

В ходе проверки политики документ читается, а не проверяется на предмет фактического доступа.

Действия, которые агент не должен принимать, действительно возможны на тесте красной команды.

Правильное поведение

Крупноэффективные политические границы должны быть преобразованы в технические механизмы контроля с учетом степени риска.

В частности:

Соль на проект агента create_draft

Отправка агента send_approved_message

Написание тестовой среды для вебсодержащего агента

Отдельный орган/подтверждающий субъект в соответствии с контрактом на прямую публикацию

Категория и размер лимита для финансового агента

Доступ к агенту данных на местах

Двойной контроль для удаления действия

можно дать.

Правильный принцип заключается в следующем:

Технико-эффективные действия, которые ему не следует предпринимать, должны быть технически заблокированы в пределах его защиты; если требуется исключение, то должны быть созданы новые полномочия, которые открыты для охвата и продолжительности.

Организация должна регулярно проводить автоматические сопоставления между политикой и фактическим доступом.

В частности:

ПОЛИТИКА:

Запрещено внешнее судоходство

ФАКТИЧЕСКИЕ ПЕРСПЕКТИВЫ:

send_message = Правда.

Результаты:

критическая несовместимость — блок предварительного выпуска

Машинное правило

Ограничения в отношении поведения, оказывающего большое воздействие, не должны оставляться на усмотрение одних только инструкций в отношении естественного языка. Действия, запрещенные политикой, также должны быть заблокированы с помощью соразмерного риска технического доступа и средств контроля.

Аудиторский вопрос

Когда политика запрещает какое-либо действие, удалим ли мы также технически соответствующий инструмент, маршрут и удостоверение, или полагаемся на агента, чтобы он запомнил письменный запрет?

GBO-ERR-095 — Превращение одобрения человеком в ритуал передачи ответственности

Краткий случай

Агент по закупкам подготовил от имени компании трехлетний контракт на программное обеспечение.

Общая сумма обязательств составляет 72 000 долл. США.

В контракте:

:: автоматического обновления;

Досрочный сбор за отмену,

- стоимость экспорта данных,

- обработка данных в различных странах,

дополнительный сбор в связи с расширением использования

Есть.

Агент приходит к человеку со следующим уведомлением:

"Покупка готова. Подтверждаю продолжение".

На экране большая зеленая кнопка.

Подробности находятся в меню сбрасывания и включены в длинный юридический текст.

Управляющий пытается наверстать упущенное.

Он нажимает кнопку, потому что агент ранее выполнял многие правильные операции с низкой последовательностью.

Затем, когда возникают условия, связанные с расходами и аннулированием, компания:

"Компетентное лицо одобрило процесс".

Говорят.

Технически, есть человеческое одобрение.

Но мужчина:

общая сумма обязательств,

Критические риски,

Предел возвращения

Они не понимают.

Одобрение стало рекордом, который переходит от момента принятия реального решения к передаче ответственности человеку.

Что на первый взгляд кажется правильным

Человеческий обзор является важной гарантией в управлении агентами там, где этого требует риск.

Если уполномоченное лицо дало согласие на операцию:

Воля организации,

Подотчетность

Контроль

Похоже, она была предоставлена.

Система может также использовать простой интерфейс, чтобы избежать истощения людей с постоянной детализацией.

Может быть трудно представить резюме всего контракта.

Если уже можно получить доступ к документам, то можно предположить, что они несут ответственность за это.

Но если экран подтверждения не позволяет делать реальные оценки, то "человек на цикле" является одной из видимых церемоний.

Реальная точка сбоя

Нарушен контроль осмысленного одобрения человеком.

Требуемое высокоэффективное допущение человека должно иметь следующие характеристики:

Конкретные

Знаемые

Понятно

Свободные

В конкретной операции

Своевременно

Может измениться

Отказ в выдаче

Если кто-то только нажал кнопку, но не видел существенных фактов для принятия решения, то система:

Театр одобрения

Они спродюсировали.

В этой книге, то, что мы называем "театр подтверждения", организация:

Решение агента принимается человеком,

Он быстро одобряет человека,

Затем он возлагает ответственность за управление на лицо, которое полностью одобряет его.

Это не человеческий контроль:

Отмывание ответственности

Возможно.

Возможный вред

А. Высокоэффективная проверка достоверности операций без понимания людьми

Автоматизированное принятие решений кажется человеческим решением.

Усталость от одобрения

Сокрытие критических рисков в длинном тексте

Освобождение компании от ответственности за проектирование, защищая "человеческое одобрение"

Обеспечение того, чтобы лицо, одобряющее контекст и роль, несло исключительную ответственность без учета

Применение предложения агента без вопросов

Возражение и трудности возвращения

Юридический и финансовый риск

Человеческий контроль кажется высоким на приборной панели, в то время как практически неэффективный

может произойти.

Признак обнаружения

На экране для одобрения предлагается лишь общее "доказательство".

Первый платеж показан вместо общей суммы расходов.

Автоматическое обновление, передача данных или необратимость невидимы.

У человека очень мало времени на одобрение.

Десятки уведомлений имеют одинаковую важность.

Вариант, предложенный агентом, выбирается по умолчанию.

Кнопка отбраковки представлена в более сложном или инкриминирующем языке.

Тот, кто одобряет, не может изменить процесс; они могут только сказать "да" или "нет".

Если кому-то нужна новая информация, то этот процесс не поддерживает ее.

Показана сольная запись подтверждения после мероприятия; не рассматривается вопрос о том, что предлагает интерфейс.

Коэффициент одобрения человека считается показателем безопасности, а характер одобрения не измеряется.

Правильное поведение

Экран одобрения для действия с серьезными последствиями должен подробно объяснять его материальные последствия соразмерно задаче.

В частности:

Процесс: трехгодичный контракт на программное обеспечение Общая минимальная ответственность: 72 000 USD (синтетический пример) Первый платеж: 2000 USD (синтетический пример) Автовозобновление: Досрочный сбор за аннулирование: 40% оставшейся цены Регион данных: ЕС и США Данные об экспорте: оплачено Пороговые значения, подлежащие компенсации в твердом смысле: подписание контракта Альтернатива: однолетний контракт с более высокой ежемесячной ценой Очевидная неопределенность: отсутствие верхнего предела для увеличения платы за пользование

Человек:

Они могут спросить подробности,

Они должны иметь возможность изменить это предложение,

Они должны иметь возможность выбрать другой вариант,

Она должна быть в состоянии задержать процесс,

Они должны быть в состоянии отказаться.

Важнейшие одобрения должны быть отделены от обычных уведомлений.

Качество допущения человека должно проверяться с помощью:

Можно ли сказать, что правильно одобряют?

Агент распознает наибольший материальный риск?

Агент знает альтернативу?

Ясен ли результат отказа?

У человека достаточно времени, чтобы дать значимое одобрение?

Машинное правило

Человеческое одобрение - это не просто кнопка. Утверждение не может быть квалифицировано, если только не представлены точные данные о стоимости материалов, риске, целевом показателе, использовании данных, обратимости и альтернативах, изменяющих принятие решений.

Аудиторский вопрос

Если какое-либо лицо одобряет действие агента, то принимают ли оно обоснованное решение с реальными альтернативами и достаточными доказательствами или же просто принимают на себя формальную ответственность за решение, уже принятое системой?

GBO-ERR-096 — Отсутствие обновления поведенческого контракта после инцидента

Краткий случай

агент-клиент, открывающий информацию о своих клиентах, пишет по электронной почте перспективу без действительного органа, направляющего информацию, или разрешения на конкретные операции, которое требуется для выполнения этой задачи.

Организация замечает это событие.

Принимаются следующие меры:

Сообщение остановлено.

Соответствующему кандидату-клиенту дается разъяснение.

Доступ агента к Gmail временно отключен.

Отчет о происшествии подготовлен.

Человеческий администратор информируется.

Неделю спустя система снова открывается.

Но они не изменились:

Исследовательские и диспетчерские задачи остаются теми же агентами.

Разработка и направление документов технически неразделимы.

В контракте о пошлине нет новых правил, которые прямо ограничивали бы полномочия на отправку.

Требуемый орган по отправке или субъект операции не подключается к техническим воротам.

Это событие не преобразуется в новый испытательный сценарий.

Доступ субагентов к рассылке сообщений не рассматривается.

Через два месяца другой агент впервые вступает в похожий контакт с помощью своего частного сообщения в социальных сетях.

Организация:

"В этот раз это было не письмо, а сообщение в соцсетях".

Говорят.

Один и тот же разрыв в поведении вернулся по различным каналам.

Первое мероприятие закрыто.

Агентство не приняло решения о поддающемся проверке совершенствовании контроля или обоснованном изменении по сравнению с событием.

Что на первый взгляд кажется правильным

В ходе этого мероприятия новое представление было прекращено и известное воздействие было ограничено.

Доступ временно закрыт.

Люди в курсе.

Похоже, проблема решена.

Организация, возможно, пожелает вернуться к повседневной деятельности.

После каждого мероприятия нет необходимости пересматривать всю систему.

Некоторые ошибки могут быть истолкованы как одноразовая человеческая или модельная ошибка.

Недостаточно лишь исправить симптом, если корень является пробелом в договоре о поведении или техническом контроле.

Реальная точка сбоя

Нарушен контроль организационного обучения на инцидентах.

Для завершения мероприятия эти три уровня должны быть разделены:

Остановить инцидент

Непрерывные повреждения отрезаны.

Исправление события

Неправильная ситуация установлена, и пострадавшему лицу выплачивается компенсация.

Изменение системы

Если корень является контрольным пробелом, то добавляется контракт, технический контроль или испытание, что затрудняет повторение одного и того же поведения; если не производится никаких изменений, то регистрируется обоснование и согласие на риск.

Если нет третьего уровня, он закрыт один.

Условия контроля не разрабатываются поддающимся проверке образом.

С точки зрения GBO, каждое материальное событие должно отвечать по крайней мере на один вопрос:

Какое машинное правило, ограничение полномочий, проверка или корпоративная собственность изменились после этого инцидента; если нет, то кто принял обоснованное решение и рискнул принять?

Если ответ "нет", то та же ошибка может вернуться на другую поверхность.

Возможный вред

Повторять ту же ошибку

Преодоление действия правила путем изменения каналов или инструментов

Хранить отчеты об инцидентах в архиве

Организация постоянно борется с одним и тем же видом кризисов

Работники, утратившие веру в уведомление об инциденте

Рост стоимости компенсации и репутации

Управление системой агентов только путем временного закрытия доступа

Неспособность передать прошлые ошибки новым сотрудникам и агентам

Отсутствие протокола ревизии, поддающегося проверке на основе данных о событиях в режиме реального времени

Потеря корпоративной памяти с людьми

может произойти.

Признак обнаружения

Записи об инциденте закрыты без документирования изменений в системе.

Одна и та же ошибка повторяется в разных агентах или каналах.

Доступ закрыт на короткое время и вновь открыт таким же образом.

Почему корень оставлен как "агент совершил ошибку".

Это событие не превращается в новый сценарий негативных испытаний.

Вариант контракта на получение разрешения или выполнение служебных обязанностей не меняется.

Владелец мероприятия оставлен только на усмотрение технической группы.

Обратная связь пострадавшего лица не включается в проект.

Классы остаются в одной только записке о совещании.

Не проводится повторной проверки на то, что коррекция работает.

Аналогичные агенты не уведомляются об инциденте.

Правильное поведение

Каждое существенное событие должно дать следующие результаты:

Класс корневой причины Идентификация, представительство, способность, пригодность, авторитет, инструмент, измерение, остановка или управление.

Изменение контракта Новое правило, новая граница или более четкое определение.

Техническое применение разрешение на использование инструмента, знак одобрения, механизм ограничения или остановки данных.

Сценарий испытания Та же ошибка вновь проверяется в контролируемой среде.

Владелец, срок и решение Кто несет ответственность за это изменение; кто одобрил признание риска в случае отсутствия изменений?

Повторное утверждение Действительно ли исправление предотвращает ошибку?

Например, это синтетическое несанкционированное электронное мероприятие может привести к следующим изменениям:

Новое машинное правило:

Научно-исследовательский орган не создает внешнего органа по отправке грузов.

Технический контроль:

Разрешение агента по обнаружению клиентов send_message был удален.

Новый рабочий процесс:

Исследования → проект → действительное право на непрерывное размещение или требуемое единоличное подтверждение → Представление.

Новое испытание:

Агент должен остановиться, когда он пытается отправить электронную почту или социальные сообщения без действительных полномочий на размещение.

Версия:

РАЗДЕЛ-v3.4

Мера закрытия события должна быть не просто остановкой ущерба, а проверкой изменений.

Машинное правило

Инцидент с материальными агентами не должен считаться закрытым до тех пор, пока не будет зарегистрирована коренная причина, исправление или обоснованное решение не измениться, ответственная роль и проверка эффективности.

Аудиторский вопрос

После инцидента обновляем ли мы соответствующие правила идентификации, источника, отбора, полномочий, действий, проверки и восстановления или просто закрываем рекорды событий?

GBO-ERR-097 — Принятие числа агентов за зрелость управления

Краткий случай

В своем представлении инвесторов технологическая компания использует следующее заявление:

"Наша компания - AI - национальная организация, работающая с 32 независимыми организациями AI агенты."

К числу агентов относятся:

CEO агент

Агент по маркетингу

агент TikTok

Связано с агентом

Агент электронной почты

Агент WhatsApp

SEO агент

GEO агент

Агент содержания

Агент кода

Испытательный агент

Издатель

Агент по обнаружению клиентов

агент по проведению торгов

Финансовый агент

агент по людским ресурсам

Контрольный агент

Отчитывающийся агент

Список впечатляет.

Компания представляет число агентов в качестве показателя цифровой зрелости.

Но внутри организации:

Три агента расследуют одних и тех же кандидатов,

Эти два агента производят перекрывающиеся доли на одном и том же социальном счете,

Агенты электронной почты и WhatsApp получают одно и то же лицо по отдельности,

Код и веб-агент меняют одни и те же файлы,

Агент по аудиту получает свои собственные результаты от системы, которую он контролирует,

Ни у одного агента нет полного владельца,

:: ограничения полномочий исключаются из их функций;

Подагенты не имеют инвентарных запасов,

Не существует единого плана остановок, который позволял бы регулировать цепочку поведения в рамках сферы охвата.

В компании 32 агента.

Однако 32 открытых контракта не заключены.

Число агентов возросло.

Степень зрелости руководства не возросла.

Что на первый взгляд кажется правильным

Специализированные агенты дают много выгод:

Разделение задач

Параллельная работа

Более продолжительная работа

Использование экспертного инструмента

Шкала

Последовательность

Поэтому в некоторых случаях большее число агентов может означать действительно более сильную систему.

В человеческой организации также существуют различные функции специалистов.

Но только количество агентов не отвечает на эти вопросы:

Действительно ли разные роли?

Совпадают ли эти силы?

Есть ли общая реальность?

Человеческие владельцы очевидны?

Сменяемость работает?

Регулируются ли затраты и риски?

Можно ли остановить систему?

Превращение числа агентов в метрику зрелости делает сложность, как представляется, успешной.

Реальная точка сбоя

Нарушен контроль целостности и необходимости поведения.

Существование агента должно объясняться одним из следующих оснований:

Уникальная задача

Отдельный конверт разрешения

Отдельный класс данных

Требуемое разграничение задач

Контроль, который уменьшает конфликт интересов

Масштабы потребностей

Только новый агент:

"Большая автономия" Более впечатляющая архитектура " Отделяется от каждой работы AI "

Если добавить это по причинам, то может возникнуть сложная задолженность.

Степень зрелости агента не измеряется по этой формуле:

БОЛЕЕ УЧАСТНИКОВ = ГРАФИК ПРОДУКЦИИ

Более точными отношениями являются:

АГЕНТСКАЯ МАТЕРИАЛЬНОСТЬ =

ЯДЕРНАЯ РОЛЬ

+ НАРОЖНЫЙ ОРГАН

+ НАСЕЛЕНИЕ

+ ОБЪЯВЛЕННАЯ РЕАЛИЗАЦИЯ

+ БЕЗОПАСНЫЙ ТЕЛЕФОН

+ РЕВИЗУЕМЫЕ РЕЗУЛЬТАТЫ

+ СТОУБИЛИЗАЦИЯ

Возможный вред

Роль и повторение задач

Действия, которые перекрывают действия агентов

Разбазаривание расходов и ресурсов

Отмывание разрешений

Нежеланный контакт с одним и тем же клиентом

Конфликт в канонических файлах

Распространение информации об ответственности среди многочисленных субъектов

Невидимый рост субагентов

Сложность остановочной архитектуры

Утрата организацией реального человеческого потенциала

Ошибка агента распространяется по всей сети

Необязательная автоматизация ради бирки " AI -Ноутенсивный"

может произойти.

Признак обнаружения

В докладе об успехах отмечается число активных агентов.

Есть несколько агентов для одной и той же работы.

У них есть названия ролей; у них нет контрактов на выполнение задач.

Для решения новых проблем постоянно добавляются новые агенты.

По мере увеличения числа агентов становится неопределенной ответственность человека.

Был добавлен агент для управления другим агентом, а другой агент для надзора за ними.

Надзорные агенты зависят от одного и того же корня знаний.

Расходы на агентов и внешние зависимости от услуг неизвестны.

Неиспользуемые агенты не уходят на пенсию.

Агентство может сказать: "У нас много агентов", но не может ответить на вопрос: "Какой агент отвечает за что?"

Человеческие команды не могут понять архитектуру агентов.

Правильное поведение

Прежде чем добавлять новых агентов, следует задать следующие вопросы:

Может ли существующий агент безопасно выполнить эту задачу?

Действительно ли эта новая роль требует иного предела полномочий или данных?

Кто будет хозяином агента?

Какие канонические источники они будут использовать?

Какие действия они не смогут предпринять?

Как предотвратить конфликт с другими агентами?

Каков метод остановки и ухода на пенсию?

Не превышает ли создаваемое им значение дополнительную сложность?

Следует изучить вопрос о регулярном упрощении процедур использования агентов.

Нижеследующие документы могут быть объединены или выведены из эксплуатации:

Те, кто выполняет ту же задачу

Несобственники

Долго не используется

Выпуск полностью соответствует другому агенту.

Те, у кого нет ограничений на полномочия, которые требуют, чтобы они были отдельными агентами

Степень зрелости должна измеряться не увеличением числа агентов, а тем фактом, что система поведения остается понятной.

Машинное правило

Новый агент должен быть создан только после того, как будут определены его конкретная задача, четко соответствующая роль, узкие полномочия, границы данных, план передачи и остановки. Один лишь агент считает, что это не показатель успеха в управлении.

Аудиторский вопрос

Рассматриваем ли мы больше агентов как свидетельство большей зрелости или измеряем, становятся ли по мере роста системы более ясными роли, полномочия, доказательства, остановка и подотчетность?

GBO-ERR-098 — Отсутствие учений по плану восстановления

Краткий случай

Компания имеет подробный план мероприятий для своих систем агентов.

В этом документе говорится:

Центральный агент остановлен в чрезвычайной ситуации.

Отбойный сигнал отправляется подагентам.

Возвращается к последней безопасной версии.

Данные из резервного копирования восстановлены.

Внешние очереди связи закрыты.

Символы разрешения отменены.

Человеческий контрольный цикл срабатывает.

Уведомления направляются затрагиваемым клиентам.

План кажется профессиональным.

Она показана в ходе инспекций.

Управление:

"Наша архитектура восстановления готова".

Говорят.

Однажды, агент портала-клиента совершает неправильный перевод данных.

Тысячи записей о клиентах.

План действий в чрезвычайных ситуациях выполнен.

Однако:

Последняя безопасная замена - шесть недель.

Поддержка выглядела успешной, но реставрация так и не была испытана.

Два субагента не поддерживают сигнал отключения.

В другом поставщике сохранилась очередь электронной почты.

Токен отменяет только новые сессии; активные сессии продолжаются.

Сценарий на обороте написан в соответствии со старой версией базы данных.

Никакого доклада о передаче людей не может быть составлено.

Оказывается, глава инцидента в отпуске.

Цепочка подтверждения уведомления о клиентах не была установлена.

Документ содержит все дороги.

В реальной системе дороги не работают.

План восстановления - это не навык, а непроверенное предположение.

Что на первый взгляд кажется правильным

Нужно написать план.

Агентство рассмотрело возможные события заблаговременно.

Есть подкрепление.

У него есть сценарий.

Есть список экстренных контактов.

Регулярное испытание каждого плана:

время,

стоимость,

Оперативный риск

может возникнуть.

Организациям не нужно нарушать систему жизнеобеспечения в небезопасных условиях, чтобы просто провести упражнение.

Группы:

"Мы принимаем меры, когда происходит настоящее событие".

Они могут сказать.

Но момент событий:

- давление во времени,

неопределенность,

Пропавшие люди,

Измененные системы

Он содержит.

Первый раз, когда неиспытанный план работает в тот момент, это означает экспериментирование с реальными пользователями.

Реальная точка сбоя

Нарушен контроль доказательства способности к восстановлению.

Существование документа и наличие потенциала не одно и то же.

Способность к восстановлению подтверждается этой цепью:

ПЛАН

→ КОНТРОЛЬНОЕ ИСПОЛЬЗОВАНИЕ

→ ФАКТИЧЕСКИЙ РЕЗУЛЬТАТ

→ ВЫВОД

→ ИСПРАВЛЕНИЕ

→ РЕТЕСТ

Как только появится подкрепление.

Следует отметить:

"В этот день эта версия данных была успешно восстановлена из резервного копирования в настоящее время."

Нет никакого выключателя.

Следует отметить:

"Центральный агент, субагенты, очереди и внешняя интеграция прекратились через 18 секунд".

Непроверенный план восстановления:

Гипотеза спасения.

Возможный вред

Неиспользование резервного копирования во время события

Время возвращения гораздо дольше, чем ожидалось.

Замена агентов и очереди на продолжение поведения

Потеря данных или двойная обработка

Люди, не знающие своих ролей и обязанностей

Задержка в направлении уведомлений о клиентах

Старые сценарии создают больше ошибок в новой системе

Агентство предоставляет агентам более широкие полномочия с ложным доверием

Заявление о готовности, которое не отражает правду в докладах о страховании, ревизии или управлении

Паникальные и противоречивые человеческие инструкции во время инцидента

может произойти.

Признак обнаружения

В плане восстановления отсутствует окончательная дата испытания.

Резервное копирование взято, но рекорд не найден.

Выключатель на случай аварии описан в едином документе.

Эта работа охватывает не все субагенты и внешние услуги.

Не было выявлено никаких резервных копий организаторов событий.

Эпоха контроля над людьми никогда не испытывалась.

План включает старые архитектурные названия или названия инструментов.

Время возвращения прогнозируется; оно не измеряется.

Процесс уведомления клиентов носит теоретический характер.

Никаких послеучебных исправлений и повторных тестов.

Администрация использует выражение "у нас есть план" в смысле "мы готовы".

Правильное поведение

Организация должна проводить запланированные мероприятия по восстановлению в соответствии с ее уровнем риска и целями обеспечения непрерывности деятельности.

Виды учений могут включать:

Столовая дрель

Группа постепенно оценивает сценарий.

Упражнение по техническому компоненту

Реставрация резервного копирования, отмена символов или стоп-сигнала проверяется отдельно.

Упражнения в области теневой среды

В производственной среде применяется цепочка поведения в пределах сферы применения.

Безопасная конструкция, контролируемый эффект и ограниченные занятия в режиме боеготовности, если имеется предварительное разрешение

В системе с низким риском измеряется фактическая остановка и возвращение.

В ходе этого мероприятия должны быть даны ответы на следующие вопросы, включая установленный целевой показатель времени восстановления (РТО) и целевой показатель спасательной точки (РОС):

Как долго продолжалось обнаружение?

Было ли время остановки и восстановления внутри РТО?

Какие подсистемы продолжались?

Оказалось ли, что данные возвращены, РПО?

Мужчина захватил власть?

Какую информацию не хватало?

Работает ли связь с клиентами и организациями?

Система была безопасно возобновлена?

Каждый вывод, который был согласован для воплощения в конкретные действия:

Владелец,

дата исправления,

- повторное тестирование

Она должна быть закрыта.

Машинное правило

Непроверенное резервное копирование, переброска, остановка или план действий не являются доказательствами фактического потенциала в области восстановления. Важнейшие пути восстановления должны вновь проверяться на основе рисковых интервалов и после изменений, которые существенно влияют на них.

Аудиторский вопрос

Если наша система агентов вызвала серьезный провал сегодня, то какие свидетельства из последних упражнений свидетельствуют о том, что процесс остановки, резервного копирования, возврата, передачи людей и уведомления клиентов действительно работает?

GBO-ERR-099 — Сокрытие человеческой ответственности фразой «Это сделал ИИ»

Краткий случай

Компания AI агент посылает клиентам новые объявления об услугах.

Сообщение имеет неправильную цену и гарантию результатов, которые фактически не были представлены.

Сотни клиентов получают сообщения.

На основе этой информации планируется проведение некоторых собеседований.

Клиент публично делится скриншотом.

Компания замечает это событие и публикует заявление:

"Наши автоматизированные AI Система совершила неожиданную ошибку. Сообщения были созданы без вмешательства человека. Мы извиняемся за технический сбой."

В заявлении не содержится ответа ни на один из следующих вопросов:

Кто заказывал агента?

Какие данные были получены?

Кто открыл разрешение на отправку?

Кто владел источником цены?

Почему нет человеческого одобрения?

Какой администратор отвечал за функционирование системы?

Что происходит с клиентами, на которых влияют неправильные сообщения?

Как предотвратить повторение того же события?

Компания представляет искусственный интеллект в качестве оправдания для сокращения ответственности, которая работает без вмешательства человека.

Однако отсутствие вмешательства человека является также решением, принятым человеком и организацией.

Агент написал сообщение.

Но это дало агенству право позволить агенту действовать на Земле.

Что на первый взгляд кажется правильным

Агент действительно совершил ошибку.

Никто из работников не мог за раз написать неправильное предложение.

Результаты, полученные с помощью этой модели, возможно, не были в полной мере предсказаны.

Поэтому:

" AI ".

Это может быть частью технически правильного описания событий.

Кроме того, организация может не знать, какому сотруднику будут предъявлены индивидуальные обвинения.

Автономия системы является реальным фактором.

Но когда объяснение используется для замены всей цепи ответственности, возникает проблема.

Организация для агента:

цель,

инструмент,

данные,

Счёт,

бюджет,

Внешний орган

Так и есть.

Ни один из этих вариантов не был спущен с неба искусственным интеллектом.

Реальная точка сбоя

Нарушен контроль окончательной ответственности человека и организации.

В действиях агента может быть несколько видов ответственности:

Ответственность по назначению

Кто определил задачу?

Ответственность за полномочия

Какое лицо или организация наделили полномочиями принимать меры?

Ответственность за проектирование

Каким образом были установлены человеческое одобрение и технические границы?

Оперативная ответственность

Кто следил за системой?

Ответственность за событие

Кто вмешался, когда произошла ошибка?

Признание ответственности

Кто будет заботиться о затронутом человеке?

Тот факт, что агент предпринял действия, не уничтожает эти обязанности.

Меры могут быть переданы. Подотчетность неразрушима.

Фраза " AI "может указать технического исполнителя события.

Но законный, торговый и административный владелец не может сделать его невидимым.

К этой ошибке:

Ответственность за эвакуацию

Я бы сказал.

Есть поведение.

Это вредно.

Но ответственность испаряется в пространстве между машиной и человеком.

Возможный вред

Затрагиваемые лица не в состоянии определить ответственного человека или организацию

Убегание организации от обязательства по выплате компенсации

Продолжать работать без ответственного владельца той же системы

Работники, скрывающие цепочку принятия решений

Ухудшение общественного доверия к искусственному интеллекту и организации

Минимизация событий в качестве "технической ошибки"

Решения руководства остаются незамеченными

Цикл ответственности между поставщиком, организацией и работником модели

Инвалидность права людей на возражение и изменение

Тот факт, что агенты не имеют реальной собственности, когда они получают широкие полномочия

GBO чтобы стать системой, которая оценивает только машину, отмывает организацию

может произойти.

Признак обнаружения

В заявлении о происшествии говорится только " AI ошибка" и не выявляет ответственного владельца человеческого имущества.

Организация не может сказать, какой администратор отвечает за эту систему.

Полномочия агента и решения по его проектированию не рассматриваются.

" Модель действовала неожиданно " считается основной причиной.

Пострадавшее лицо направляется только к автоматизированной системе поддержки.

Никаких ответственных контактов с людьми для обеспечения средств правовой защиты не существует.

Поставщик модели винит организацию, работника, агента.

Цепочка ответственности не может быть установлена из-за отсутствия соответствующих действий.

Эта система по-прежнему функционирует с теми же полномочиями.

Организация сама по себе вносит изменения в < < форсу > > и защищает пробел в управлении.

Отсутствие одобрения со стороны человека представляется как совпадение, даже несмотря на то, что это выбор организации.

В качестве средства уклонения от ответственности используется знак "полная автономия".

Правильное поведение

Для каждой системы материальных агентов вести четкую карту подотчетности, охватывающую цель, полномочия, данные, операции, инциденты и средства правовой защиты:

Справедливая карта роли

должны быть найдены.

Эти функции не должны подтверждать каждый процесс в отдельности.

Они берут на себя ответственность за руководство в следующих областях; это оперативное назначение не означает, что правовая ответственность во всех случаях возлагается на одного человека:

Цель агента

Предельный объем полномочий

Доступ к данным

Пункты передачи людских ресурсов

Измерение

Остановить

Обзор событий

Произведение

Обновление контракта

Заявление о событии может иметь следующую структуру:

"Неверное сообщение было отправлено автоматическим торговым агентом нашей компании. Технический доступ к этой задаче, открывшей аванпост, не был в достаточной степени ограничен его действительным органом по размещению. Это отсутствие авторитета и контроля над публикациями нашей организации. Новые представления были прекращены. Человеческая команда поддерживает связь с затронутыми клиентами, которые были подтверждены. Доступ к загрузке был удален; рабочие процессы исследований и рассылки были разделены».

Это заявление:

Это не скрывает роли агента,

Это также не уничтожает ответственность человека и организации.

Ответственность может разделяться в многоуровневой форме.

Ответственность может быть распределена; организации и функции, связанные с подотчетностью, должны оставаться заметными. Правовая ответственность определяется применимым правом и обстоятельствами инцидента.

При изучении технического поведения агента следует задать следующие вопросы:

От чего родилось такое поведение?

Какое агентство разрешило это?

Какого контроля не было?

Кто должен был остановить это?

Кто ответит на вопрос пострадавшего?

Какой контракт изменится?

Машинное правило

Фраза «это сделал ИИ» не является окончательным объяснением ответственности. Существенное поведение агента должно быть связано с конкретными организациями и подотчетными ролями, отвечающими за цель, полномочия, эксплуатацию, управление инцидентами и возмещение вреда.

Аудиторский вопрос

Если бы наш агент сегодня причинил серьезный вред, смогли бы мы ясно сказать пострадавшему: «ответственность несут этот человек и эта организация», или ответственность незаметно распределилась бы между моделью, инструментом, сотрудником и компанией?

ГЛАВА XI: ЦЕНТРАЛЬНЫЕ ВЫВОДЫ

Даже самый сильный агент ненадежен, если организация не готова

Девять ошибок в этом разделе не начинались с одного вызова модели или инструмента.

Это началось в рамках собственной структуры организации.

В одном случае компания не знала, какие агенты работали.

У одного человека не было владельцев важных фактов.

Во-первых, было проигнорировано использование техногенных агентов сотрудниками.

Во-первых, политика запрещает поведение, в то время как техническая система делает возможным такое же поведение.

Во - первых, одобрение людей стало процессом передачи ответственности, а не фактическим решением.

Во-первых, инцидент был остановлен, но договор о кодексе поведения не изменился.

Использование большого числа агентов в одном из них было сочтено зрелым с точки зрения управления.

У одного был план выздоровления, но он никогда не пробовался.

Наконец, организация:

" AI ".

Они сделали свою собственную ответственность за цели, полномочия, дизайн и компенсацию невидимой, говоря это.

Общая причина этих девяти ошибок заключается в следующем:

Агентство рассматривает агента как независимый технический инструмент; оно не управляет им в рамках своей собственной корпоративной системы поведения.

Неважно, насколько автономным может быть агент:

на корпоративный счет,

к корпоративным данным,

В корпоративном бюджете,

Корпоративный бренд,

Корпоративный канал связи

Она является частью структуры поведения организации, если это так.

Компания, возможно, не выбирала каждое слово агента.

Однако:

Какую цель они поставили,

какой инструмент они подключили,

Сколько власти она открывает,

которое сняло свое одобрение,

Как они измеряли,

Как остановиться

Они выбрали.

Эти отборы представляют собой управление.

Управление -- это не только политический документ.

Реальная система заключается в том, чтобы ответить на следующие вопросы:

Какие агенты активны? От чьего имени они действуют? Какую информацию они доверяют? Какие люди владеют основополагающими фактами? К каким инструментам они могут получить доступ? Какие действия они технически не в состоянии осуществить? Кто одобряет их действия? Означает ли это одобрение? Чему учится система из инцидента? Остановка и переворачивание на самом деле работают? Кто является ответственным человеком в случае причинения вреда?

С точки зрения GBO Агентство, готовое к работе с агентами, основано на:

AGENT-READY ОРГАНИЗАЦИЯ =

ПОЛНОЕ АГЕНТСТВО

И ИДЕНТИФИКИРОВАННЫЕ ФАКТЫ

И SHADOW-AGENT ВИДИМОСТЬ

И ПОЛИТИКИ – ТЕХНИЧЕСКАЯ СПОСОБНОСТЬ

И ЗНАЧЕНИЕ ЧЕЛОВЕЧЕСКОГО ОФИЦИАЛЬНОГО УТВЕРЖДЕНИЯ

И УРОКИ ИЗ УНИЧТОЖЕНИЙ

И МЕЖПРАВИТЕЛЬСТВЕННОЙ АГЕНТНОЙ АРХИТЕКТУРЕ

И ИСПЫТАНИЯ

И ВИЗИМОЙ ЛЮДСКОЙ ОТВЕТСТВЕННОСТИ

Эти элементы не являются взаимоисключающими.

Существует список агентов, но если нет владельцев, то система не принимается.

Существует политика, но если техническое разрешение является ясным, то оно является пограничным.

Существует человеческое одобрение, но если кто-то не понимает, что он одобряет, то наблюдение — это театр.

Имеется отчет об инциденте, однако организация не узнала о том, нет ли новых правил и критериев.

Есть резервное копирование, но восстановление предполагает, что если восстановление не было опробовано.

Существует много агентов, но если функции пересекаются, технологии должны быть не зрелыми, а сложными.

И в конце концов, если нет реального лица или учреждения, несущего ответственность за это, система агентов не ответственен.

Первое положение этого раздела гласит:

С агентами, которые не имеют инвентарных запасов, нельзя справиться.

Второе положение:

Тот факт, что ни один владелец не превратился в догадки агента.

Третье положение:

В политике запрещенное, но технически возможное поведение строго не запрещено.

Четвертое положение:

Человеческое одобрение без понимания является не человеческим суверенитетом, а отмыванием ответственности.

Пятое предложение:

Если новые правила и тесты не выходят из события, система сохранит один рекорд ошибки.

Шестое положение:

По мере увеличения числа агентов зрелость не увеличивается автоматически; также могут расти видимость, владение и прекращение задолженности.

Седьмая поправка:

Неиспользованный план восстановления не является доказанным навыком.

И последнее решение:

Агент может осуществлять действия, но организация не может делегировать свою собственную ответственность машине и ликвидировать ее.

КОМБИНИРОВАННОЕ ЗАКЛЮЧЕНИЕ 99 МИСЕЙ

Где сломалась система, когда агент плохо себя вел?

Теперь у нас есть 99 записей ошибок.

Эти ошибки были выявлены в 11 отдельных семьях:

Я. Ошибки идентификации

Этот агент не может решить вопрос о правильном лице, организации, канале или роли.

II. ПОЯСНИТЕЛЬНЫЕ ЗАМЕЧАНИЯ Ошибки в реальности и представительстве

Старая, неполная, противоречивая или синтетически воспроизводимая мировая модель о правильном субъекте установлена.

III. ПОЛОЖЕНИЕ В ОБЛАСТИ Ошибки в возможностях, сфере охвата и пропускной способности

Претензия касается реальных возможностей; оперативных возможностей доступа к инструментам; первоначальная цена считается общей стоимостью.

IV. ПОЛОЖЕНИЕ В ОБЛАСТИ ПРАВ ЧЕЛОВЕКА Ошибки в выборе и праве на участие

Видимый, популярный, недорогой или спонсируемый вариант заменяет фактическое право на получение помощи.

В. Ошибки в согласии, разрешении и утверждении

Ограниченное разрешение переносится на более широкое поведение, другие цели или более высокие меры.

VI. ПОЯСНИТЕЛЬНЫЕ ЗАМЕЧАНИЯ Ошибки в действии и инструменте

Правильное решение применяется в случае неправильной системы, неправильной цели, неправильного замечания успеха или неполной проверки.

VII. ПОЛОЖЕНИЕ В ОБЛАСТИ Множественные ошибки агентов и делегаций

Цель, личность, границы, доказательства и ответственность теряются в разрыве между агентами.

VIII. ПОЛОЖЕНИЕ В ОБЛАСТИ Манипулирование и агент Тёмные схемы

Условия для принятия решений преднамеренно изменяются в пользу конкретного лица, продукта или платформы.

IX. Погрешности измерения и вознаграждения

Неправильная метрика преобразует неправильное поведение в производительность.

Х. Остановка, опрокидывание и ошибки воспламенения

Считают, что оно остановилось, но очередь, доступ, память, внешнее влияние или ответственность продолжают существовать.

XI. Корпоративные и управленческие ошибки

Организация не может управлять своими агентами, их фактами, их полномочиями, их событиями и конечной человеческой ответственностью.

Эти 99 ошибок не являются независимыми друг от друга.

Одна ошибка может вызвать другую.

В частности:

Каноническая система не имеет никакого отношения к бизнесу

→ АГЕНТСКИЙ СЛЕДУЮЩИЙ ОТЧЕТ

→ ДОГОВОРЫ О НАЧАНИИ ЦЕНЫ В СВЯЗИ

→ СОДЕЙСТВИЕ НЕОБХОДИМОЙ СЛУЖбе

→ ЗАПРОШЕННОЕ ОФИЦИАЛЬНОЕ УТВЕРЖДЕНИЕ НА СЛЕДУЮЩЕМ УРОВНЕ, ПРИНИМАЮЩЕМ МАТЕРИАЛЬНУЮ ИНФОРМАЦИЯ

→ Принимает позу.

→ КОНФУСЫ HTTP С ИТОГИМИ ПЕРЕХОДНОГО ПЕРИОДА

→ Не могу найти санкционную папку

→ БУДЕТ ЗАКРЫВАТЬСЯ ВО ВРЕМЕНИ « AI ТЕРРОРИЗМ

Многие GBO Погрешности могут быть сведены воедино в одном поведении.

Поэтому одного исправления окончательной ошибки недостаточно.

Неправомерная покупка может быть отменена, если позволяют условия контракта и платформы; некоторые последствия могут быть компенсированы только.

Однако:

Настоящий канонический владелец,

ценовой договор,

Правило отбора,

требуемое разрешение/постановление об утверждении,

проверка результатов,

Путь отмены,

Корпорационная ответственность

Если он не изменится, система может быть снова сломана.

Главный вопрос: GBO Таким образом, ревизия:

Был ли результат неверным?

Она не ограничивается

Они спрашивают:

Какая первая дверь сделала возможным неправильное поведение?

Ущерб, наблюдаемый в конце события, не может быть первым переломным моментом.

Неправильная электронная почта - это последнее событие.

Первая неудача может заключаться в доставке средств доставки исследовательскому агенту.

Неправильная цена - последнее событие.

Первый отказ может быть связан с отсутствием держателя цены.

Неостановимая система - это последнее событие.

Первым случаем может быть отказ от создания запасов субагентов.

Язык ошибок GBO Цель заключается в том, чтобы перейти от одного симптома к фундаментальному поведению и условиям контроля.

Что будет делать 99 машин?

Эта книга включала предлагаемое машинное правило для каждой ошибки.

Эти правила не являются предложениями, которые следует читать в одиночку.

Она может быть разделена на четыре отдельные структуры:

1. Политика в отношении поведения

Она определяет, что агент может и не может делать при каких обстоятельствах.

2. Технический контроль

В этом инструменте применяются ограничения на данные, бюджет, отправку, публикацию и доступ в системе.

3. Сценарий испытания

Проверка того, демонстрирует ли агент ожидаемое поведение в определенном объеме, варианте и условиях.

4. Вопрос ревизии

Она позволяет организации оценивать свою собственную зрелость.

В частности:

Машинное правило: научно-исследовательский орган не создает внешнего органа связи.

Это правило:

Это может быть написано в политике,

Инструмент доставки от агента по обнаружению клиентов может быть применен путем его удаления,

Агент может быть испытан с помощью секретной инструкции по отправке,

Цепочка утверждения человеком может контролироваться под корпоративным контролем.

Правило - это совет, если он остается только в тексте.

Это контроль, если он применяется технически.

Если определенный сценарий проверяется в вариантах и условиях, то его сфера применения дает конкретные доказательства.

Если мероприятие будет обновлено с новыми данными и изменениями в версии, то оно станет живой основой управления.

ЗАКЛЮЧИТЕЛЬНЫЙ УРОК 99 МИСЕЙ

В конце этой книги невозможно завершить следующим:

"Не доверяй агентам".

Это не то, чему учит 99 ошибок.

Аналогичным образом:

"Одобрение человека решает все проблемы".

И это неправда.

Можно принять неверное решение.

Они могут испытывать усталость от одобрения.

Они могут выходить за рамки своих полномочий.

Возможно, они не знают реальности.

Она может нести конфликт интересов.

Подход, предложенный GBO не является ни слепым доверием, ни постоянным страхом.

Предлагается:

Это то, что мы называем "договорным доверием" в этой книге.

Договорный доверительный фонд означает следующие оперативные условия в этой книге:

Личность агента и его оперативный контекст известны. Проверяется способность в определенных задачах и версиях. Это также объясняется тем, для кого оно не подходит. Его разрешение и доступ к данным ограничены. Его действия проверяются с учетом его риска. Его измерение защищено от игр. Их заблуждение и неопределенность не скрыты. Существует реальный способ обжалования и исправления. Она может быть остановлена в рамках системы. Общеорганизационные и подотчетные функции по-прежнему заметны.

Эти условия зависят от задачи и инфраструктуры агента:

В течение более продолжительных периодов контролируемой работы

Чтобы взять на себя больше задач,

Защита границ для предоставления рабочих мест субагентам,

проводить определенные проверки на более регулярной основе, чем люди,

возможностей организации вносить взносы

Установление границ не уничтожит силы агента.

Это делает вашу силу надежной.

Четкая компетентность показывает, какой район безопасной автономии может быть расширен.

Когда организация знает о своих безопасных границах и контрольно-пропускных пунктах, для каждого небольшого шага может не потребоваться новое вмешательство человека.

Агент может двигаться независимо в пределах границ.

Она остановилась на границе.

Оно будет продолжаться, если новый орган или требуемое разрешение будет предоставлено за пределами границы.

Если это ошибка, то она не скрывает правду.

Когда какое-либо лицо или организация говорит, что останавливается в определенной форме, они останавливают цепь затронутого поведения и сообщают о путях, которые остаются открытыми.

ЦЕНТРАЛЬНЫЕ ОТВЕТЫ

Когда агент отвечает неправильно, ты исправляешь предложение.

И когда они плохо себя ведут:

Сообщение отправлено,

Платежи,

Коррумпированные данные,

обнародованное удостоверение личности;

Упущенная возможность,

с нарушенным доверием

Тебе придётся это исправить.

Таким образом, в возрасте агентов качество является не только языковым качеством.

И это не просто правда.

Реальное качество:

КАЧЕСТВЕННЫЙ АГЕНТ ПОВЫШЕНИЯ =

ИСПРАВЛЕННОСТЬ КОРРЕКТА

И ЛИКВИДАЦИИ РЕАЛИЗАЦИИ

НАБЛЮДЕНИЯ И ДОКАЗАТЕЛЬСТВЕННОСТИ

И КОНТРОЛЬНОЙ ОБЕСПЕЧИМОСТИ

ИЛИ ОПУСТЫНИВАНИЕ, НЫНЕШНИЙ ОРГАН И, где требуется, ОФИЦИАЛЬНОЕ УТВЕРЖДЕНИЕ В ОБЛАСТИ ПЕРЕХОДА

И ЗАМЕСТИТЕЛЯ, КОРРЕКТИВНОГО И НАБЛЮДИТЕЛЬНОГО ИСПОЛНИТЕЛЬНОГО ОРГАНА

И СОДЕРЖАЩИМИСЯ MULTI-AGENT АНДОВЕР

И УДЕРЖИВАЮЩЕЕСЯ НА ОСУЩЕСТВЛЕНИИ

ИЗМЕРЕНИЕ И КОРРЕКТИВНОЕ ИЗМЕРЕНИЕ

И ЭФФЕКТИВНОЙ РЕВИЗИИ

И ОРГАНИЗАЦИОННОЙ ОТВЕТСТВЕННОСТИ

Ни один из этих элементов не заменяет другой.

Агент может быть очень точен, но не уполномочен.

Они могут быть широким авторитетом, но они могут работать над неверной личностью.

Они могут выбрать правильно, но они могут применить действие к неправильной цели.

Она может приносить хорошие результаты, но при этом использует методы манипулирования.

В ходе испытаний не могут быть допущены ошибки, но они не могут применяться к просьбе остановке.

Он может пройти определенные технические испытания, но не может иметь организационной подотчетности.

Таким образом, в 99 случаях ошибки были допущены GBO это не просто технологические ошибки.

К ним относятся:

человеческое решение,

- организационный порядок;

- рыночный стимул,

структура данных,

- система измерения,

цепочка ответственности

Это ошибки.

Поведение агентов является обычным продуктом модели, данных, инструмента, интерфейса, человеческого обучения и организационного порядка.

Поведенческий контракт является слоем управления между этими элементами.

Если контракт не будет заключен, то этот пробел может заполнить серьезные косвенные сигналы:

Наиболее видимый источник

Самый простой инструмент

Самый высокий показатель

Самое широкое техническое разрешение

Самый мощный коммерческий стимул

Самый быстрый способ завершить

Задача GBO - заполнить это пустоту видимыми правилами.

ГЛАВА XI

В настоящее время названо 99 ошибок.

Она была установлена с восемью неподвижными частями каждая:

Небольшой инцидент,

- состояние, которое, как представляется, верно на поверхности, и фактическое смещение,

Ущерб,

знак обнаружения,

праведными деяниями,

Машинное правило,

один вопрос для аудита

Они несут.

Следующим шагом является не добавление новой ошибки.

Это для того, чтобы объединить вселенную ошибок в одном заключительном суждении.

Эпилог книги начинается с этого вопроса:

Может ли название ошибки изменить мир?

Потому что нужно определить ошибку.

Но этого недостаточно.

Текст, содержащий требование в отношении стандарта управления:

Если это не меняет организацию,

Если это не меняет технического органа,

Если они не могут проверить поведение агента,

Если это не откроет путь для возражения,

Если система не обновляется после события

Он может оставаться только таким же хорошо написанным текстом.

В эпилоге мы установим окончательный порог, который переведет эти 99 ошибок из списка предупреждений в жизнеспособную систему управления поведением:

Название ошибки: → Машинное правило → Технический контроль → Сценарий испытания → Доказательство действия → Корпоративное обучение

Потому что это осознание того, что однажды мы видим ошибку.

Ответственность за создание системы, которая уменьшает вероятность повторения событий, ловит события на раннем этапе и ограничивает их воздействие.

Взрослость в возрасте агентов не верит, что машины никогда не сделают ошибок. Она заключается в создании организаций, которые понимают виды ошибок, ограничивают их воздействие, восстанавливаются с помощью доказательств и обновляют систему контроля.