Селин уже двенадцать лет руководит основанной ею технологической компанией. Когда-то всё начиналось с небольшой команды разработчиков; со временем компания превратилась в международную структуру, работающую в разных странах. Селин — не просто руководитель. Она публичное лицо бренда. Клиенты смотрят её выступления. Сотрудники слушают её на встречах в начале каждого нового этапа. Инвесторы часто судят о решениях компании по её словам. Когда компания выходит на рынки шести стран, снова и снова записывать одни и те же обучающие материалы становится трудно. Для каждой новой группы сотрудников приходится готовить видео на английском, турецком, немецком, испанском, арабском и русском языках.

Команде предлагают систему ИИ-аватара. Используя лицо и голос Селин, она сможет озвучивать утверждённые тексты на разных языках. На первой встрече по проекту техническая команда объясняет: «Ваше лицо и ваш голос будут использоваться только во внутренних обучающих материалах и в приветственных видео для клиентов, которые вы заранее одобрите». Селин считает идею полезной. Запись длится два дня. Команда фиксирует разные интонации и движения лица; несколько пробных фраз Селин повторяет с разными эмоциями. Затем она подписывает форму согласия.

В форме есть такая фраза: «Я разрешаю создавать синтетические изображения и голосовые записи для корпоративного обучения и коммуникации». Селин понимает её так: «Утверждённые мною учебные тексты можно будет выпускать без необходимости снова вставать перед камерой». Техническая команда понимает её иначе: «Модель лица и голоса можно использовать для широкого класса материалов, связанных с деятельностью компании». Со временем маркетинговая команда даёт формулировке ещё более широкое толкование: «Корпоративная коммуникация может включать видео для клиентов, материалы для социальных сетей и публичные заявления».

Первые месяцы проходят без проблем. Селин видит каждый текст и утверждает его до публикации. Аватар рассказывает новым сотрудникам о культуре компании, показывает клиентам, как пользоваться платформой, и записывает короткие приветствия на шести языках. Система действительно экономит время. Зрители знают, что видео синтетические. В описании каждого из них сказано: «В этом материале используется ИИ-аватар, созданный с разрешения Селин». Затем систему расширяют. Теперь контент-агент может автоматически составлять тексты на основе внутренних документов.

Агент локализации адаптирует текст для шести языков. Агент-аватар воссоздаёт лицо и голос. Агент публикации размещает утверждённые видео на социальных платформах. Агент календаря определяет время выхода. Постепенно явное одобрение Селин для каждого видео начинает замедлять работу. Руководитель отдела маркетинга говорит: «Селин уже дала общее разрешение. Для обычных сообщений незачем каждый раз запрашивать новое». В систему добавляют правило: публичное заявление с существенными последствиями требует одобрения человека.

Обычная корпоративная коммуникация: публикация разрешена в рамках действующих общих полномочий. Проблема в следующем:

Теперь агент решает, какое сообщение имеет существенные последствия, а какое считается обычным.

В одну из пятниц компания меняет политику использования данных. Новая редакция разрешает применять обезличенные закономерности, извлечённые из обращений в службу поддержки, для развития продукта. Юридическая команда готовит длинный, тщательно выверенный текст. В нём установлены конкретные ограничения:

Необработанные сообщения клиентов не будут использоваться для обучения модели.
Персональные данные будут отделены от остальных сведений.
Пользователи смогут возражать против отдельных видов обработки.
До начала применения будут завершены техническая и юридическая проверки.

Контент-агент превращает документ в короткое публичное объявление: «Чтобы улучшить клиентский опыт, мы начинаем использовать данные службы поддержки для совершенствования наших систем искусственного интеллекта». Существенные ограничения из юридического текста в эту фразу не попадают. Исчезают слова об «анонимизированных закономерностях». Исчезает оговорка «необработанные сообщения использоваться не будут». Исчезает условие «после завершения технической проверки». Исчезает информация о праве на возражение. Маркетинговый агент относит текст к категории обычных объявлений о развитии продукта и не запрашивает одобрения человека. Агент локализации переводит его на шесть языков.

Агент-аватар выпускает шесть видео с лицом и голосом Селин. Агент публикации отправляет их в социальные сети и на сайт компании. В понедельник утром Селин просыпается от сообщений на телефоне. Сотрудник пишет: «Почему вы заранее не сказали, что мы начали использовать наши данные для обучения ИИ?» Клиент спрашивает: «Наши разговоры со службой поддержки идут на обучение модели?» Селин не понимает, о чём речь. Она открывает присланную ссылку и видит на экране себя. Собственное лицо. Собственный голос. Собственный ритм речи. Видео записано на английском.

Аватар говорит: «Чтобы улучшить клиентский опыт, мы начинаем использовать данные службы поддержки для совершенствования наших систем ИИ». Селин пересматривает видео. Эту фразу она никогда не читала и не утверждала. Текст, подготовленный юридической командой, она видела. Но короткую формулировку из видео слышит впервые — из собственных уст. Селин звонит руководителю отдела маркетинга: «Почему это видео опубликовали?» Тот отвечает: «У нас было ваше общее разрешение на использование аватара. Система отнесла это к обычной коммуникации». Селин говорит: «Я не давала разрешения на эти слова».

Подключается техническая команда. Она проверяет журналы системы аватара. Разрешение на использование лица действует. Разрешение на использование голосовой модели действует. Цель «корпоративная коммуникация» активна. Контент-агент вывел текст из утверждённого документа о политике. Маркетинговый агент отнёс видео к обычной категории. Агент публикации воспользовался действующим общим токеном публикации. В собственном журнале каждый технический компонент выглядит уполномоченным. Но последнюю фразу Селин никто не показал. Она распоряжается: «Немедленно остановите все видео». Центральный агент-аватар прекращает создавать новые материалы.

На панели управления появляется сообщение:

Avatar production paused.

Однако на внешних платформах уже запланированы ещё три видео. Одно должно выйти через десять минут. Внешняя очередь публикаций в социальных сетях не проверяет состояние остановки центрального агента-аватара. Публикуется второе видео. Затем на другом языке выходит третье. Техническая команда вмешивается в работу каждой платформы отдельно. Часть видео удаляют. Но некоторые клиенты уже успели их скачать. Один из сотрудников записал экран. Видео разошлось в отраслевой группе. Новостной сайт процитировал заявление Селин.

Компания может удалить видео. Но она не может сделать так, чтобы люди не услышали фразу, которой Селин никогда не произносила. В переговорной Селин долго молчит. Затем говорит:

«Лицо моё. Голос мой. Компания моя. Но чья это фраза?»

Никто из присутствующих не может ответить в одиночку. Контент-агент составил фразу. Маркетинговый агент счёл её низкорисковой. Агент-аватар озвучил её. Агент публикации разместил. Люди предоставили общие полномочия. Инструменты технически сработали. Очереди отработали по расписанию. Но у фразы нет настоящего владельца. Точнее, есть люди, которые должны отвечать за её последствия, однако система раздробила ответственность на мелкие технические решения и тем самым сделала её невидимой. Кто-то может сказать: «Это создал ИИ». Но политику компании в отношении данных изменил не ИИ.

Эту политику написали люди. ИИ не создавал модель лица и голоса Селин самостоятельно — люди записали материалы и подключили их к системе. ИИ не открывал себе учётную запись для публикаций — доступ предоставили люди. ИИ не вывел границы категории «обычные материалы» из придуманного им правопорядка — люди определили эту категорию или не позаботились о её определении. Проблема не только в том, что искусственный интеллект составил неверную фразу. Главная проблема такова:

Идентичность человека оказалась отделена от его права на последнее слово.

Лицо Селин присутствует в системе. В ней же — её голос, прежние выступления и корпоративная роль. Но её нынешняя воля закреплена в системе далеко не так надёжно. Разовое широкое разрешение используется как постоянный мандат на создание новых заявлений. Право создавать материалы превратилось в право их публиковать. Общее согласие на корпоративную коммуникацию трактуется как безусловное разрешение на любое публичное высказывание. Требование остановиться дошло до центрального агента, но не до внешних очередей. Система похожа на Селин.

Но в критический момент она не подчиняется Селин.

Проблема не только в синтетическом лице и голосе

Другой человек может узнать, что ему отказали в кредите из-за оценки риска, которой он никогда не видел. При обжаловании та же система может снова оценить те же данные и прийти к тому же выводу. Сотрудник может возразить против использования прежнего согласия на коммуникацию в новой кампании по продажам. Центральная запись меняется, но старые очереди продолжают работать. Пациент может заявить, что больше не хочет, чтобы агент записи на приём и сопровождения действовал от его имени. Учётную запись в приложении закрывают, а внешние токены календаря и уведомлений остаются активными.

Клиент может захотеть прекратить бесплатный пробный период. Агент запускает его одним вызовом, но для отмены направляет клиента к оператору поддержки. Кандидат может сообщить, что дата в его резюме распознана неверно. Система отвечает: «Решение принято автоматически». Технологии, организации и люди в этих примерах различаются. Но основополагающий вопрос один и тот же:

Если машина способна порождать последствия для человека, какое право человек никогда не должен терять?

NOMOS 13 отвечает на этот вопрос тринадцатью статьями. Но прежде всех статей стоит первое положение:

Последнее слово — за человеком.

Это не означает, что люди всегда лучше информированы или всегда правы. Не означает это и того, что один человек может одним движением отменить все меры безопасности. Смысл принципа в другом:

Порученная машине задача не наделяет машину суверенитетом.

Система может сделать действия человека в мире более эффективными. Но она не вправе превращать последнее слово человека о собственной идентичности, правах и будущем в техническую функцию, делегированную ей самой.