В этой книге мы обсуждали не то, насколько умной может быть машина. Мы обсуждали более трудный вопрос:
Какой способностью действовать можно наделить машину?
И когда эта способность касается человеческой жизни, как защитить идентичность, представление, цель, согласие, полномочия, выбор, действие, память, объяснение, возражение, возмещение и ответственность? Конституционный порядок NOMOS 13 таков:
1. Человек не может передать последнее слово и право остановки.
Машине можно предоставить широкую автономию. Но когда человек говорит «стоп», цепочка поведения должна останавливаться.
2. Идентичность нельзя предполагать.
Сходство, вероятность или общая запись не могут подменить реального человека.
3. Представление должно быть точным и поддаваться исправлению.
Нельзя представлять утверждение как установленный факт, прогноз — как личность человека, а прошлое — как нынешнюю реальность.
4. Цель нельзя менять без предупреждения.
Данные, задачу и доступ, предоставленные для одной цели, нельзя незаметно переносить в другую область поведения.
5. Согласие должно быть конкретным, информированным и отзывным.
Вчерашнее «да» не сильнее сегодняшнего «нет».
6. Полномочия можно передавать, но нельзя самопроизвольно расширять.
Техническая способность — не право действовать.
7. Выбором нельзя манипулировать.
Нельзя заставлять человека выбирать из ложного круга вариантов, сконструированного вокруг скрытой выгоды другой стороны.
8. Действие машины должно быть видимым и подтверждаться квитанцией.
Нужно знать не только о вызове инструмента, но и о том, что в действительности произошло в мире.
9. Память должна подчиняться человеческой воле.
Нельзя навсегда запирать человека во вчерашнем решении, временной уязвимости или ошибочном выводе.
10. Человек должен знать, что действует машина.
Машина может действовать от имени человека. Но она не вправе заимствовать его доверие, выдавая себя за него самого.
11. Человек должен иметь возможность оспорить обоснование.
Человеку не нужен доступ ко всему скрытому внутреннему процессу модели, но он должен узнать реальную причину, породившую последствия в его жизни.
12. Человек может возразить, остановить, выйти и потребовать возмещения.
Средство правовой защиты — не просто приём жалобы, а способность изменить систему и реальное положение человека.
13. Организация не может переложить ответственность на машину.
Агент может действовать. Модель может принять решение. Инструмент может совершить операцию во внешнем мире. Но перед человеком должны оставаться реальная организация и реальные ответственные люди.
Эти тринадцать статей не существуют независимо друг от друга. Они образуют цепочку. Если идентичность неверна, согласие связывается не с тем человеком. Если представление ошибочно, выбор искажается. Если цель дрейфует, прежнее согласие превращается в разрешение на новое применение. Если полномочия расширяются, машина действует от имени человека. Если действие невидимо, человек не знает, что остановить. Если память ошибочна, ошибка возрождается в будущем. Если машина скрывает свою идентичность, доверие направляется не тому участнику. Без обоснования человек не может возразить. Если возражение не меняет результата, право остаётся лишь видимостью. Если организация отвергает ответственность, все предыдущие статьи остаются без владельца.
Поэтому NOMOS 13 — не отдельное средство контроля безопасности.
Это целостная граница, определяющая условия, на которых способность действовать может войти в человеческий мир.
Эта книга написана не для того, чтобы умалить машину
Машина способна исследовать быстрее человека, сопоставлять тысячи записей, управлять сложными рабочими процессами, долго работать без перерыва и проводить аудит в недоступном человеку масштабе. Эта способность ценна. Но если она остаётся без владельца, скорость ускоряет и ошибку. Память закрепляет и ложь. Автономия усиливает и превышение полномочий. Персонализация может эксплуатировать человеческую уязвимость. Сходство с человеком может углубить ошибочное доверие. Поэтому граница — не враг машины.
Граница — условие, позволяющее машине легитимно обладать силой в человеческом мире.
Эта книга также не утверждает, что человек всегда прав
Человек может ошибаться, злоупотреблять системой, давать неверные указания, нарушать права другого или возражать против реальной меры безопасности. NOMOS 13 не ставит слово человека выше всех доказательств. Он даёт человеку прозрачность, исправление, возражение, последнее слово и реального адресата. Но когда человек пользуется последним словом, также должны защищаться права других людей, достоверные доказательства, безопасность и организационные границы.
За человеком — последнее слово, за организацией — конечная ответственность
На двух концах этой книги стоят два положения:
Человек не может передать последнее слово.
И:
Организация не может передать конечную ответственность.
Человек может остановить, отозвать согласие, возразить и выйти. Организация принимает ответственность, объясняет, исправляет и возмещает. Между этими двумя границами возникает реальное пространство действий машины. Машина может исследовать, предлагать, выбирать, писать, отправлять, покупать, планировать и управлять. Но эта способность должна оставаться внутри правильной идентичности, ясной цели, действительного согласия, ограниченных полномочий, честного выбора, видимого действия, исправимой памяти, открытой машинной роли, оспоримого обоснования, эффективного средства правовой защиты и неисчезающей организационной ответственности.
ПОСЛЕДНЕЕ ПРЕДЛОЖЕНИЕ NOMOS
Машине можно предоставить способность действовать.
Но последнее слово в отношении человека нельзя оставлять машине.
Задачи, решения и действия можно передавать машине.
Но конечную организационную ответственность перед человеком передать нельзя.
Пока человек сохраняет последнее слово, организация несёт конечную ответственность, а машина действует между этими границами видимо, проверяемо и с возможностью остановки, автономия может стать не утратой человечности, а ростом наших общих возможностей.
На этом NOMOS 13 завершён.