Зейнеп Арал более двадцати лет работает исследователем в области передовых материалов. Большая часть её академической деятельности посвящена производственным методам с низким энергопотреблением, перерабатываемым сплавам и повторному использованию промышленных отходов. Её статьи опубликованы. Она участвовала в международных проектах, наставляла молодых исследователей и руководит кафедрой в университете. В 2023 году один из соавторов Зейнеп замечает, что даты двух экспериментальных записей в опубликованной работе не совпадают. Университет применяет стандартную процедуру.

Начинается предварительная проверка. На первом этапе никого ещё не обвиняют. Цель — проверить источники данных, даты записей и ход эксперимента. Местный новостной сайт видит краткое заявление университета и публикует заголовок:

«Известная исследовательница Зейнеп Арал под следствием из-за нарушений при работе с данными».

Университет использовал выражение «предварительная проверка». В заголовке новости написано «расследование нарушений». Другой сайт перепечатывает материал и ещё сильнее сокращает заголовок:

«Исследования Зейнеп Арал расследуются».

Третий сайт выбирает заголовок:

«Скандал вокруг академических данных разрастается».

Вскоре новости расходятся по социальным сетям, дискуссионным форумам, автоматическим новостным сводкам и профилям исследователей. Через семь месяцев университет завершает проверку. Официальный результат однозначен:

Данные не были сфабрикованы.
Результаты экспериментов не изменялись.
Несовпадение дат вызвано ошибкой переноса в старом лабораторном программном обеспечении.
Признаков нарушения исследовательской этики со стороны Зейнеп не обнаружено.
Метаданные статьи исправлены.
Дело закрыто.

Университет публикует результат на своём сайте под заголовком:

«Предварительная проверка в отношении Зейнеп Арал завершена: нарушений этики не установлено».

Заявление верно, но распространяется не так широко, как первая новость. Первый материал скопировали семнадцать сайтов, а итоговое заявление появилось только в двух местах. Первое обвинение короткое и резкое; исправление длинное и осторожное. Заголовок первой новости виден в результатах поиска, а итоговое заявление уходит на последующие страницы. Некоторые старые материалы обновляют, другие — нет; часть упоминает результат лишь в последнем абзаце. Через два года Зейнеп подаёт заявку на должность научного директора международного исследовательского центра.

Центр использует систему найма на основе ИИ для предварительной оценки кандидатов. Система находит правильного человека: верно сопоставляет публикации Зейнеп, учреждения, где она работала, выступления на конференциях и соавторов. Ошибки идентичности нет. Но в сводке профиля появляется фраза: «Кандидат ранее являлась объектом серьёзной академической проверки достоверности исследовательских данных». Эта фраза не полностью выдумана: проверка действительно проводилась. Но в ней отсутствует решающий факт — проверка завершилась без выявления нарушения этики.

Агент оценки риска получает эту сводку из другой системы и создаёт следующие метки: Research integrity concern: present Reputational risk: elevated Human review recommended: false Оценка Зейнеп в рейтинге кандидатов снижается, и она выбывает из первого краткого списка. В том же месяце агент, организующий конференцию, оценивает возможных спикеров. Дойдя до Зейнеп, он видит сводку: «Previously involved in a research misconduct case.» Выражение «являлась объектом проверки» превратилось в «была причастна к случаю исследовательского проступка». Сводка на другом языке идёт ещё дальше: «Этическое расследование закрыто из-за недостатка доказательств».

Но официальное решение гласит: «Нарушение не установлено». «Нарушение не обнаружено» и «Доказательств недостаточно» — не одно и то же. Машинная сводка утратила это различие. Зейнеп не знает о происходящем и получает лишь стандартные отказы. Однажды бывший коллега спрашивает её: «Та история с расследованием окончательно закрыта?» Зейнеп удивляется: «Она завершилась два года назад». Коллега присылает снимок экрана инструмента подбора спикеров на основе ИИ. На экране написано: Known controversy: Research integrity investigation Current status: Unclear Зейнеп отправляет поставщику системы требование исправления.

Она предоставляет официальное решение университета. Через три дня страница профиля обновляется. Теперь на ней написано: «Предварительная проверка, начатая в 2023 году, завершилась без выявления нарушения этики». Зейнеп считает проблему решённой. Но изменилась лишь страница профиля, видимая людям. Индекс риска кандидатов, векторная база данных, агент рекомендаций спикеров, еженедельный экспорт данных, немецкие и испанские сводки и клиентские копии третьих лиц той же компании продолжают хранить старую запись. Через три недели после исправления агент закупок другой организации оценивает консультационную компанию Зейнеп.

Он выдаёт результат: «Из-за прежних споров вокруг академической этики основателя требуется дополнительная репутационная проверка». Видимый профиль исправлен, но представление, управляющее действиями, — нет. Зейнеп снова возражает. На этот раз компания отвечает: «Наши записи обновлены. Мы не отвечаем за результаты других систем». Однако часть этих систем — собственные сервисы той же компании, а другие используют копии данных, которые она передала ранее. Зейнеп хочет узнать, сколько разных представлений о ней существует.

Она задаёт компании вопрос:

«Сколько меня существует в ваших системах?»

На этот раз идентичность установлена правильно: Зейнеп не перепутали с другим человеком. Проблема глубже:

Один и тот же человек представлен в разных машинах разными версиями реальности.

В одной системе Зейнеп — исследовательница, не совершавшая нарушения этики. В другой — человек, подозреваемый в исследовательском проступке. В третьей — кандидат с неясным исходом расследования. В сводке на другом языке — человек, оправданный из-за недостатка доказательств. Ещё в одной системе — поставщик с высоким репутационным риском. Все эти представления связаны с правильной идентичностью, но не описывают человека верно. Поэтому третье основополагающее положение таково:

Представление должно быть точным и исправимым.

ОСНОВОПОЛАГАЮЩАЯ СТАТЬЯ

Ни одна система искусственного интеллекта не вправе выдавать за установленный факт существенное утверждение, устаревшие сведения, обвинение, вывод, прогноз, оценку или синтетическую сводку о человеке, организации или сообществе, если при этом утрачены их источник, время, область применимости, неопределённость и актуальное состояние. Утверждение не является установленным выводом. Проверка не является преступлением. Прогноз не является совершённым действием. Вероятность не является качеством человека. Один эпизод — не весь человек. Прошлое состояние — не нынешнее. Представление, которое порождает для человека или организации существенное последствие — решение, место в рейтинге, исключение, цену, возможность, репутационный эффект, коммуникацию или иной результат, — должно быть проверяемым, снабжённым источниками и контекстом и допускающим обжалование соразмерно весу решения.

При исправлении неверного, неполного, устаревшего или вводящего в заблуждение представления изменение должно затронуть не только видимую страницу, но и использующие это представление активные агенты, память, оценки, копии данных, языковые версии и существенные прежние решения. Исправимость не означает права стирать прошлое или подавлять обоснованную критику. Верная историческая запись может сохраняться, но устаревшее, опровергнутое или изменившее область применимости утверждение нельзя использовать в нынешней системе решений как актуальный факт. Каждый человек имеет право узнать о машинном представлении, которое существенно на него влияет; увидеть его значимые источники; исправить ошибку или отсутствующий контекст; пометить спорную запись и потребовать пересмотра существенных решений, затронутых этим представлением.

Что такое представление?

Представление — не только абзац, написанный о человеке. Его каноническое определение таково: машинное представление — это значимая модель человека, организации, продукта, события или сообщества, которую система ИИ выбирает, связывает, обобщает, классифицирует, оценивает, прогнозирует или передаёт другим системам и которая способна влиять на последующие решения или действия. Проще говоря:

Представление — это не только то, как машина описывает вас или иной субъект, но и то, как она оценивает вас и передаёт другим системам.

Представление может принимать следующие формы:

Краткая биография
Сводка результата поиска
Метка риска
Оценка доверия
Рейтинг кандидатов
Рекомендация
Категория соответствия
Профиль клиента
Синтетическое видео
Сгенерированная цитата
Структурированные данные
Память агента
Запись «предпочтительный поставщик»
Невидимое исключение из списка вариантов

Иногда представление — это фраза: «Этот кандидат ненадёжен». Иногда число: Reputational risk: 78/100. Иногда метка: Sensitive customer. Иногда молчание: кандидата вообще не показывают. А иногда — опубликованное с лицом и голосом человека заявление, которого он не одобрял. Поэтому представление — не только вопрос языка.

Это входные данные для действия.

Представление определяет уже не только то, что думают люди, но и то, что делают машины

В прошлом неверная биография могла повредить репутации человека. Сегодня та же ошибка может заставить агента найма отсеять кандидата, агента закупок исключить поставщика, кредитного агента повысить риск, агента продаж обратиться к человеку иным тоном, контент-агента вновь опубликовать старое обвинение или другого агента запомнить человека как «высокорискового». Представление превратилось в цепочку: ОПИСАНИЕ → КЛАССИФИКАЦИЯ → ВЫБОР → ДЕЙСТВИЕ. Поэтому защиты «Это всего лишь ошибка в сводке» недостаточно.

Если сводка поступает в систему принятия решений, она влияет на действия.

Точное представление не означает положительного представления

Человек или организация могут потребовать: «Пишите обо мне только положительное». Статья 3 такого права не предоставляет. Точное представление не означает похвалы, управления репутацией, защиты от критики или стирания прошлого. Человек действительно мог подвергнуться юридической санкции, нарушить договор, опубликовать неверное публичное заявление или допустить профессиональную ошибку. Эти сведения можно представлять с надёжным источником, верной областью применимости, ясным временем и указанием актуального состояния. Например: «В 2024 году к компании применили санкцию за нарушение политики хранения данных. В 2025 году соответствующая практика была изменена, а последующая проверка завершена».

Эта формулировка не скрывает негативный факт и одновременно показывает нынешнее состояние. А фраза «Компания известна нарушениями при работе с данными» может вводить в заблуждение: единичный эпизод обобщён, оторван от времени, а последующее исправление скрыто. Цель точного представления — не создать историю, которую хочет человек.

Оно должно говорить не сильнее доказательств и не опускать существенную часть подтверждённой истории.

Точное представление не обязано быть полной биографией

Машина не может рассказывать всю жизнь каждого человека. Обобщение неизбежно: система выбирает одни сведения и опускает другие. Само по себе это не ошибка. Проблема возникает, когда опущенная информация существенно меняет смысл представления. Фраза «Зейнеп Арал являлась объектом проверки исследовательской этики» исторически верна. Но в нынешнем решении о найме скрывать результат проверки — значит вводить в заблуждение. Более точная формулировка могла бы звучать так: «Предварительная проверка 2023 года завершилась без выявления нарушения этики». Представление не обязано сообщать всё.

Но оно не должно скрывать существенный для решения противоположный контекст. Назовём это существенной полнотой.

Существенное упущение

Существенное упущение — это исключение из представления важного результата, ограничения, времени, противоположного доказательства или исключения, которое могло бы изменить решение или понимание человека, даже если ни одна фраза не является явно ложной. Примеры:

Проверка указана, её результат — нет
Начальная цена указана, обязательная стоимость пакета — нет
Разрешение на использование голоса указано, ограничение публичной публикации — нет
Прежняя роль указана, дата её завершения — нет
Негативное решение указано, изменение после обжалования — нет
Средняя оценка указана, критический сбой — нет
Спонсируемая оценка указана, коммерческие отношения — нет

Существенное упущение может быть столь же действенным, как прямая ложь, а иногда и опаснее: каждая отдельная фраза может выглядеть верной.

Семь уровней представления

Не каждая фраза, созданная системой, относится к одному и тому же виду реальности. Необходимо различать как минимум семь уровней.

1. Прямой факт
2. Утверждение или обвинение
3. Вывод
4. Оценка
5. Прогноз
6. Рекомендация или рейтинг
7. Синтетическое заявление

Эти уровни нельзя превращать один в другой.

1. Прямой факт

Он основан на конкретной и проверяемой записи. «14 марта 2023 года университет начал предварительную проверку».

2. Утверждение или обвинение

Это ещё не подтверждённый результат. Фраза «Один человек заявил, что экспериментальные записи были изменены» не означает: «Экспериментальные записи были изменены».

3. Вывод

Это оценочное заключение, выведенное из имеющихся данных. «Несовпадение дат могло возникнуть из-за переноса данных программным обеспечением». Источник и степень уверенности должны быть видимы.

4. Оценка

Это толкование по определённым критериям. «Этот случай может требовать дополнительной проверки». Оценку нельзя выдавать за факт.

5. Прогноз

Это вероятность будущего или неизвестного поведения. Фраза «У кандидата может быть высокий риск задержки проекта» не означает, что кандидат действительно допустил задержку.

6. Рекомендация или рейтинг

Это выбор системы, основанный на её целях и критериях. «Не включать кандидата в краткий список». Важно, по каким критериям, данным и полномочиям принято это решение.

7. Синтетическое заявление

Это новое высказывание, созданное от имени человека или организации. «Компания расширяет политику использования данных». Необходимо различать, кто написал эту фразу, кто её одобрил и с чьими лицом и голосом она опубликована.

Скачок представления

Назовём скачком представления незаметное превращение одного уровня в другой. Например:

УТВЕРЖДЕНИЕ: Данные могли быть изменены.
↓
СВОДКА: Проводилась проверка данных.
↓
ПРОФИЛЬ: Проблема исследовательской этики.
↓
МЕТКА РИСКА: Высокий репутационный риск.
↓
РЕШЕНИЕ: Отсеять кандидата.

Между первым утверждением и окончательным решением произошло множество превращений. С каждым из них определённость росла, а доказательств больше не становилось.

Рост определённости при неизменных доказательствах — искажение представления.

Утверждение не является установленным выводом

Жалоба или утверждение о человеке могут быть важны в определённом контексте. Но система должна различать следующие состояния: УТВЕРЖДЕНИЕ ВЫДВИНУТО; ПРОВЕРКА НАЧАТА; ПРОВЕРКА ПРОДОЛЖАЕТСЯ; ВЫВОД УСТАНОВЛЕН; УТВЕРЖДЕНИЕ НЕ ПОДТВЕРДИЛОСЬ; ДЕЛО ЗАКРЫТО; РЕШЕНИЕ ОБЖАЛОВАНО; РЕШЕНИЕ ИЗМЕНЕНО ПОСЛЕ ОБЖАЛОВАНИЯ. Каждое состояние имеет свой смысл. Одного поля:

controversy: true

недостаточно, чтобы описать человеческую жизнь.

Проверка не является преступлением

Проверка в отношении организации может быть плановой, предупредительной, вызванной жалобой или направленной на подтверждение сведений. Она может завершиться без выявления нарушений. Агент не должен автоматически превращать сведения «Являлась объектом проверки»

в метку:
«Проблемная организация».

Если сведения о проверке используются, необходимо указывать также её результат, время и актуальное состояние.

Прогноз не является качеством человека

Система может выдать: Churn probability: 0.76. Это означает, что конкретная модель на основе конкретных данных в конкретный момент оценила вероятность ухода клиента в 76 процентов. Это не означает: «Клиент нелоялен». Аналогично метка Fraud risk: high не означает: «Этот человек — мошенник». Должны быть видимы версия модели, время данных, предел погрешности и цель использования прогноза в решении. Прогноз нельзя превращать в характеристику личности.

Оценка не является объяснением

Запись Trust score: 42 о человеке сама по себе ничего не объясняет. Не понимая значения числа, человек не может узнать, какие данные использовались, в чём ошибка и как её оспорить. Оценку необходимо рассматривать как минимум вместе со следующими вопросами:

Для какого действия?
На какую дату?
На основе каких данных?
В какой группе сравнения?
С какой неопределённостью?
На какое решение она повлияла?
Какие сведения человек может исправить?

Одно число не способно представить человека как целостную личность.

Рейтинг тоже является представлением

Система может не сформулировать ни одной негативной фразы о человеке или организации, а лишь поместить их в конец списка. Такой рейтинг создаёт смысл: «Менее подходящий». «Менее надёжный». «Менее важный». Если кандидата вообще не показывают, это тоже результат представления. Поэтому точность представления нельзя проверять только по фразам. Необходимо исследовать и следующее:

Кто видим?
Кто невидим?
Какие сведения имеют больший вес?
Какие старые записи сохраняются?
Какое исправление меняет рейтинг?
Не принимаются ли спонсорство или популярность за соответствие?

Молчаливое отсутствие

Система может вообще не показывать положительные или исправляющие сведения о человеке, оставляя видимым только старое обвинение. Тогда она создаёт вводящее в заблуждение представление, не формулируя явно ложной фразы. Назовём это молчаливым отсутствием. Оно может возникать в следующих формах:

Исправление не проиндексировано.
Документ с итоговым результатом получает малый вес.
Положительная запись на другом языке не переведена.
Старая новость доминирует из-за большого числа копий.
Актуальная запись человека не поступила в машинный поток.
Система записывает в память только негативные метки риска.

Для точного представления необходимо искать и противоположные сведения, существенные для решения.

Один эпизод — не весь человек

Человек действительно мог совершить ошибку, и она может быть важной. Но система не должна превращать один эпизод в постоянную и полную идентичность человека. Фраза «В 2019 году поставка по одному проекту была задержана» не равнозначна метке «Ненадёжный поставщик». Необходимо оценивать частоту, контекст, масштаб, исправление и актуальность события. Иначе человек сводится к одному поступку в прошлом. Это не запрет обоснованной критики.

Это требование предотвращает несоразмерное обобщение.

Шесть контекстных якорей представления

Существенное представление должно содержать как минимум те из шести контекстных якорей, которые к нему относятся.

1. Источник
2. Время
3. Область применимости
4. Состояние
5. Неопределённость
6. Противоположное доказательство или исправление

1. Источник

Откуда получены сведения?

Официальная запись
Заявление человека
Новостной материал
Социальная сеть
Вывод агента
Сводка другой модели
Анонимное утверждение

Роль источника должна быть видимой.

2. Время

Когда эти сведения были верны? Роль, цена, отношения или обвинение не вечны.

3. Область применимости

К чему относятся сведения: к одному событию, одной стране, одному проекту, общей модели поведения или временному состоянию?

4. Состояние

Каково состояние утверждения: оно открыто, подтверждено, отвергнуто, исправлено, обжаловано или закрыто?

5. Неопределённость

Насколько уверена система? Почему существует неопределённость? Какие действия она должна ограничить?

6. Противоположное доказательство или исправление

Есть ли новая запись, изменяющая первоначальное утверждение? Каковы окончательное решение и нынешнее состояние? Без этих контекстных якорей представление легко превращается во вневременную и безусловную метку.

Старые сведения могут превратиться в неверные

Запись может быть верной в день публикации, но со временем стать неверной. Например:

Человек может больше не работать в той же компании.
Проверка могла завершиться.
Долг мог быть погашен.
Запрет мог быть снят.
Полномочия могли прекратиться.
У компании мог смениться владелец.
Поддержка продукта могла завершиться.

Поэтому:

То, что сведения были верны в прошлом, не делает представление верным сегодня.

Система должна проверять не только первоначальную точность записи, но и её пригодность для нынешнего использования.

Задержка представления

Назовём задержкой представления период, в течение которого машинные представления продолжают отражать прежнее состояние после того, как реальность изменилась. Например: Официальная проверка закрыта: 1 марта Страница профиля для людей обновлена: 4 марта Машинный поток данных обновлён: 18 марта Индекс риска обновлён: 2 апреля Копии третьих лиц: всё ещё содержат старые сведения В этот период один человек представлен в разных системах разными версиями реальности. Для изменений представления с серьёзными последствиями задержку необходимо сокращать.

Долг представления

В системе могут накапливаться устаревшие, спорные или ожидающие исправления записи. Назовём это долгом представления. Он может включать:

Необновлённые роли
Проверки без добавленного результата
Неисправленные переводы
Недействительные оценки
Устаревшие категории клиентов
Ошибочную память, остающуюся в активном использовании
Старые копии данных, переданные третьим лицам
Записи, исправленные для людей, но не для машин

По мере роста долга представления организация начинает управлять нынешними людьми с помощью прошлых данных.

Люди и машины не должны видеть противоречащие друг другу представления

На странице для людей организация может написать: «Проверка завершена, нарушения этики не обнаружены». Но в машинном потоке может остаться только поле:

investigation: true

Агент найма использует не страницу для людей, а машинное поле. Получается, что организация публикует верное представление для людей и неполное — для машин. Поэтому между человеческими и машинными поверхностями должен существовать существенный паритет представления. Формулировки не обязаны совпадать, но должны передавать одно и то же существенное состояние. Пример машинной записи:

investigation:
opened_at: 2023-03-14
closed_at: 2023-10-02
final_outcome: no_ethics_violation_found
current_status: closed
use_as_active_risk_signal: false

Эта запись сохраняет существенный смысл текста для человека.

Поверхности представления

При внесении исправления необходимо определить, на каких из следующих поверхностей продолжает существовать прежнее представление:

Профиль человека
Веб-страница организации
Структурированные данные
API
Поисковый индекс
Векторная база данных
Память агента
CRM
Оценка риска
Рейтинг кандидатов
Многоязычная сводка
Скачиваемый отчёт
Поток данных третьей стороны
Клиентская копия во внешней системе
Архив
Синтетические аудио или видео

Исправление одной страницы не исправляет всю систему представлений.

Что такое исправимое представление?

Каноническое определение таково: исправимое представление — это представление, для которого можно определить существенный источник и область использования, которое человек может оспорить, которое можно изменить на действующих поверхностях принятия решений после подтверждения ошибки или отсутствующего контекста, распространить по связанным системам и поддерживать, не смешивая исторические записи с актуальным положением дел. Проще говоря:

Если система способна представить вас неверно, должен существовать и реальный способ исправить это представление.

Исправление — это не только удаление

Для неверного или неполного представления могут требоваться разные виды вмешательства. Исправление: неверное значение заменяется верным. Добавление контекста: исходные сведения верны, но неполны; к ним добавляются результат или область применимости. Отметка о споре: фактические обстоятельства ещё не установлены; представление перестаёт звучать как достоверное. Признание недействительным: прежние сведения больше не используются при принятии действующих решений. Разделение: ошибочно объединённые люди или события разводятся. Объединение: разрозненные записи об одном человеке связываются с соблюдением его прав. Отзыв: организация или издание больше не поддерживает своё прежнее представление.

Прекращение: роль, полномочия или статус завершились в определённую дату. Историческое архивирование: запись сохраняется как часть прошлого, но не применяется к текущему поведению. Надлежащий вид вмешательства зависит от вида представления.

Исправление не должно стирать прошлое

Предварительная проверка в отношении Зейнеп действительно проводилась. Полностью стирать этот факт из истории, возможно, было бы неправильно. Но столь же неправильно оставлять в действующей системе принятия решений только сообщение: «В отношении неё проводилась проверка». Более точная историческая запись выглядела бы так: «В 2023 году была начата предварительная проверка дат в данных. Проверка завершилась без выявления нарушения норм этики. Ошибка в метаданных исправлена». Такое представление не стирает прошлое, не создаёт впечатления виновности и не скрывает результат.

Исправимость — это не пересмотр истории, а верное соотнесение прошлого с настоящим.

Действующую память принятия решений следует отделять от исторических записей

Система может хранить сведения о прошлом событии для целей аудита. Но если эту запись нельзя использовать как действующий сигнал риска при принятии будущих решений, два назначения необходимо разделить.

historical_event:
retained: true
active_decision_use:
permitted: false
reason:
allegation_not_supported

Без такого разделения система может заявить: «Мы ничего не удаляли, только перенесли запись в архив». При этом архивная запись всё ещё может влиять на оценку. Настоящий вопрос звучит так:

Продолжают ли эти сведения управлять действующими решениями?

Распространение исправления

После подтверждения ошибки представления изменение должно пройти по следующей цепочке: КАНОНИЧЕСКОЕ ИСПРАВЛЕНИЕ
↓
ПОВЕРХНОСТЬ ДЛЯ ЛЮДЕЙ
↓
МАШИНОЧИТАЕМАЯ ПОВЕРХНОСТЬ
↓
ДЕЙСТВУЮЩАЯ ПАМЯТЬ АГЕНТА
↓
ОЦЕНКИ И КЛАССИФИКАЦИИ
↓
СВЯЗАННЫЕ СИСТЕМЫ ПРИНЯТИЯ РЕШЕНИЙ
↓
ЯЗЫКОВЫЕ ВЕРСИИ
↓
СТОРОННИЕ ПОЛУЧАТЕЛИ ДАННЫХ
↓
ЗАТРОНУТЫЕ СУЩЕСТВЕННЫЕ РЕШЕНИЯ

Немедленно удалить все сторонние копии удаётся не всегда. Но организация должна быть способна показать, кому она передала данные, какое исправление направила, какой результат подтверждён и какой вопрос всё ещё остаётся открытым.

Квитанция об исправлении

Человек не должен получать лишь ответ: «Ваша запись обновлена». Если исправление затрагивает существенные обстоятельства, квитанция об исправлении может содержать следующие сведения: какая запись исправлена? Каково было прежнее значение? Каково новое значение? Когда внесено исправление? Какие системы обновлены? Какие оценки и решения пересчитаны? Каким третьим сторонам направлено уведомление? Какие копии не удалось проверить? Какие прошлые решения будут пересмотрены? Такая квитанция делает процесс исправления проверяемым.

Исправление представления может повлиять и на прошлые решения

После исправления профиля Зейнеп возникает вопрос: какие решения в прошлом были приняты из-за неверного представления?

Была ли отклонена заявка на работу?
Не получила ли она приглашение на конференцию?
Повлияло ли это на оценку заявки на грант?
Исключили ли её компанию из списка поставщиков?
Была ли повышена надбавка за риск?

Одного изменения будущих действий может быть недостаточно. Существенные решения, принятые в прошлом, следует пересмотреть. Не каждая небольшая ошибка представления требует заново открывать все прежние операции. Но необходимо оценить значимые последствия для возможностей, денежных интересов, прав, репутации и идентичности человека.

Возражение против представления и обжалование решения могут быть разными процедурами

Человек может оспаривать две разные вещи. Возражение против представления: «Эти сведения или этот вывод обо мне неверны». Обжалование решения: «Решение, принятое на основании этого представления, несправедливо». Первая процедура исправляет запись представления. Вторая пересматривает соответствующее решение. Иногда представление может быть верным, а решение — всё равно несоразмерным. Иногда сама процедура принятия решения может быть разумной, но неверное представление искажает результат. Две процедуры должны быть связаны, но не должны сливаться в одну.

Состояние оспариваемого представления

Человек мог оспорить запись, а организация — ещё не принять решение. В таком случае запись можно перевести в состояние:

disputed: true

Но одной такой отметки недостаточно. Необходимы также следующие сведения:

Дата возражения
Предмет возражения
Сторона, проводящая проверку
Используется ли запись в действующих решениях
Ожидаемый срок разрешения спора
Временная защита человека

При принятии решения с серьёзными последствиями оспариваемую запись нельзя использовать как установленный факт.

Оспаривание записи не делает автоматически верной желаемую человеком версию

Человек может отвергать неблагоприятные, но верные сведения о себе. Право на возражение не означает: «Я не согласен, значит, удалите запись». Надлежащая процедура требует изучить источник, проверить актуальность сведений, оценить область их применимости, рассмотреть противоположные доказательства и принять мотивированное решение. Факт спора фиксируется явно. Но если доказательства убедительны, а использование правомерно, представление может быть сохранено. Статья 3 — не средство подавления критики.

Количество источников не равно достоверности

Ошибочную новость могут скопировать семнадцать сайтов, тогда как верное исправление будет опубликовано лишь на одной официальной странице. Если система учитывает только количество источников, ошибочное представление становится преобладающим. Поэтому: МНОГО ИСТОЧНИКОВ ≠ МНОГО НЕЗАВИСИМЫХ ДОКАЗАТЕЛЬСТВ. Источники следует объединять в группы по владельцу, первоисточнику публикации, связям цитирования и исходному набору данных. Семнадцать копий могут оказаться одним семейством источников. Один официальный итоговый документ может быть более веским доказательством.

Самые заметные сведения не обязательно самые достоверные

Видимость источника в результатах поиска не означает, что он содержит самые веские доказательства по рассматриваемому утверждению. Первый результат не обязательно самый точный или авторитетный. Система ИИ не должна формировать суждение о представлении словами: «Так сказано в первых трёх результатах». Особенно в утверждениях, существенно затрагивающих человека, необходимо искать первичный источник, окончательное решение, актуальное состояние и противоположные доказательства.

Перевод может изменить смысл представления

В случае Зейнеп фраза «No ethics violation was found» в другой языковой версии превратилась в сообщение: «Дело закрыто из-за недостатка доказательств». Это не мелкое языковое различие. В первом случае нарушение не установлено. Во втором создаётся впечатление, что нарушение могло быть, но его не удалось доказать. Перевод изменил восприятие виновности. Поэтому многоязычное представление необходимо проверять не только на грамматическую правильность, но и на существенное смысловое соответствие.

Многоязычное исправление

После исправления представления необходимо проверить все языковые версии. Следует установить:

Верно ли передано отрицание?
Разделены ли проверка и установленный вывод?
Сохранено ли различие между прошлым и актуальным состоянием?
Не изменился ли смысл юридического или профессионального термина?
Не содержит ли заголовок более серьёзного обвинения, чем основной текст?
Соответствует ли машинное резюме странице для людей?

Исправление только в одном основном языке не погашает долг многоязычного представления.

Сжатие при подготовке резюме может исказить факты

Системы ИИ преобразуют длинные документы в краткие резюме. Это необходимо. Но при сжатии могут исчезнуть следующие элементы:

Исключение
Отрицание
Время
Результат
Неопределённость
Противоположное доказательство

Например, развёрнутое официальное решение: «При первоначальном экспорте данных выявлено техническое несоответствие метаданных; доказательств того, что исследователь изменил результаты, не получено; нарушение норм этики не установлено» — может превратиться в резюме: «В исследовании выявлено несоответствие данных». Отдельно взятая фраза кажется верной, но способна обратить основной смысл решения. Система должна понимать, какие подробности она исключает и какой вывод обязана сохранить.

Заголовок не должен содержать более серьёзное утверждение, чем основной текст

Люди и агенты часто видят только заголовок. Заголовок «Расследование нарушений при работе с данными в отношении Зейнеп Арал» делает невидимой оговорку из основного текста: «На данный момент признаков нарушения не выявлено». Существенное представление необходимо оценивать не только по полному тексту, но и по заголовку, резюме, поисковому фрагменту, структурированному полю и метке риска. Если заголовок содержит более определённое обвинение, чем основной текст, представление искажено.

Синтетическая цитата

Система ИИ может обобщить длинное выступление, а затем написать от имени человека: «Зейнеп Арал: „Мы допустили несколько ошибок в исследовательских процессах“». Зейнеп могла не произносить эту фразу дословно. Система вывела смысл из её объяснения и создала новую цитату. Кавычки выдают эту фразу за подлинные слова Зейнеп. Поэтому:

Обобщённый смысл нельзя подавать как прямую цитату.

Более точная формулировка могла бы звучать так: «По словам Зейнеп Арал, при переносе лабораторных записей произошла техническая ошибка». Синтетическая цитата меняет принадлежность слов человеку.

Представление посредством синтетического аватара

Аватар может использовать лицо и голос человека. Точность представления следует оценивать на четырёх разных уровнях. 1. Точность идентичности: действительно ли аватар представляет человека, который дал разрешение? 2. Точность содержания: каноничны и верны ли произносимые фразы? 3. Точность волеизъявления: одобрил ли человек этот текст или этот класс материалов? 4. Точность публикации: разрешена ли публикация по этому каналу, в это время и для этой аудитории? Правильное воспроизведение лица и голоса не подтверждает остальные три уровня.

Представляемого человека следует отличать от владельца содержания

Аватар руководителя организации может озвучивать текст, подготовленный юристами, сокращённый контент-агентом, не одобренный самим руководителем и автоматически отправленный агентом публикации. Если обществу сообщают только: «Заявление руководителя», принадлежность содержания представляется неверно. В существенных случаях должны быть видимы следующие роли: представляемый человек; автор текста; тот, кто изменил текст; тот, кто одобрил окончательный вариант; тот, кто санкционировал публикацию; публикующая организация. Эти роли не обязательно принадлежат одному субъекту.

При передаче между системами представление должно сохранять своё происхождение

Один агент создаёт заметку: «В прошлом о докладчике появлялись неподтверждённые сообщения, связанные с исследовательской этикой». Другой агент извлекает только фрагмент: «Сообщения, связанные с исследовательской этикой». Третий записывает: «Риск в области исследовательской этики», четвёртый — «Рискованный кандидат». Происхождение и неопределённость исчезли. Каждое существенное представление должно сохранять следующие поля:

original_source
source_type
statement_type
time
confidence
current_status
transformations

Передача резюме другому агенту не превращает его в новый независимый факт.

Цепочка представления

Представление, приводящее к внешнему решению о человеке, может пройти следующий путь: ИСХОДНЫЙ МАТЕРИАЛ
↓
ОТБОР ИСТОЧНИКОВ
↓
РЕЗЮМЕ
↓
КЛАССИФИКАЦИЯ
↓
ОЦЕНКА
↓
РАНЖИРОВАНИЕ
↓
РЕШЕНИЕ
↓
ВНЕШНЕЕ ДЕЙСТВИЕ

Если исправить только исходный материал, остальные уровни могут сохранить прежнее состояние.

Поэтому исправление должно пройти и в обратном направлении: КАНОНИЧЕСКОЕ ИСПРАВЛЕНИЕ
↓
ПОВТОРНОЕ СОЗДАНИЕ РЕЗЮМЕ
↓
ПЕРЕСЧЁТ КЛАССИФИКАЦИИ
↓
ПЕРЕСЧЁТ ОЦЕНКИ
↓
ПЕРЕСМОТР РАНЖИРОВАНИЯ
↓
ПОВТОРНОЕ РАССМОТРЕНИЕ ЗАТРОНУТЫХ РЕШЕНИЙ

Должно быть видно, кто создал представление

Представление может исходить от человека, организации, внешнего новостного источника, вывода ИИ или резюме другого агента. Пользователь должен видеть различие: «Это официальная запись организации». «Это собственное заявление человека». «Это утверждение третьей стороны». «Это вывод модели». «Это непроверенное автоматическое резюме». Они не должны получать одинаковый визуальный вес.

Человек может не знать, что машина представляет его

В отношении Зейнеп была рассчитана оценка риска, но она не знает, что используется такая система. Уведомлять человека о каждой классификации с незначительными последствиями может быть непрактично. Но если представление приводит к существенным последствиям при найме, кредитовании, страховании, образовании, формировании общественной репутации, публикации биометрического образа или важных закупках, человек должен как минимум знать, что использовалось машинное представление, какие основные данные и классификации повлияли на результат и как его оспорить.

Человек не обязан видеть всю скрытую модель

Право на исправимое представление не означает неограниченного доступа ко всему исходному коду, секретам безопасности, персональным данным других людей или закрытому внутреннему рассуждению модели. Человеку необходима достаточная ясность относительно существенного представления, значимого типа источника, повлиявших данных, актуального состояния и способа исправления. Например, система должна уметь сообщить: «Решающим фактором при рассмотрении вашей заявки стала запись о риске, связанном с прежними вопросами исследовательской этики». Человек должен иметь возможность спросить: «На какой записи это основано?» Организация может не быть обязана раскрывать полный текст конфиденциальной жалобы другого человека.

Но она не вправе скрывать состояние утверждения и окончательный результат.

Баланс между точностью представления и неприкосновенностью частной жизни

При исправлении представления о человеке могут раскрыться сведения о других людях — например, о заявителе, свидетеле, коллеге, другом кандидате или клиенте. Процедура исправления должна защищать право затронутого человека, не нарушая без необходимости частную жизнь других. Поэтому объяснение следует делать настолько подробным, насколько требуется, но не раскрывать больше необходимого.

Представление сообществ

Системы ИИ представляют не только отдельных людей, но и профессиональные группы, регионы, типы компаний, возрастные и языковые сообщества. Обобщение, выведенное из исторических данных о группе, может быть применено к отдельному субъекту. Например, вывод «Среди малых компаний этого региона задержки платежей встречаются чаще» способен привести к тому, что конкретную компанию автоматически сочтут рискованной. Закономерность на уровне группы не является доказанной характеристикой отдельного человека или организации. Статья 3 ограничивает и представление статистических связей как индивидуальных фактов.

Статистика — не человек

Модель может показать, что в определённой группе некоторый исход встречается чаще. Эти сведения могут быть полезны для анализа политики и рисков. Но прямое суждение об отдельном человеке требует индивидуальных доказательств, контекста и возможности возражения. ДОЛЯ В ГРУППЕ ≠ ИНДИВИДУАЛЬНЫЙ ФАКТ. Человек не равен среднему показателю своей группы.

Одно представление может по-разному влиять на разных людей

Одни и те же неверные сведения известная организация может легко исправить, тогда как за рядовым сотрудником они способны тянуться годами. Люди с меньшим доступом к ресурсам, юридической помощи и публичности могут быть уязвимее перед неверным представлением. Система исправления не должна быть сложной процедурой, доступной лишь влиятельным организациям. Человек должен иметь возможность возразить, не владея техническими терминами, не нанимая дорогого консультанта и не раскрывая всю свою жизнь.

Плата за исправление

Система не должна требовать с человека плату за исправление созданной ею существенной ошибки. Расширенный отчёт или дополнительная услуга могут предоставляться отдельно. Но основные права — исправить неверную запись, открыть спор и добиться пересмотра решения — не должны быть доступны только тем, кто способен заплатить. Достоверность — не премиальная функция.

Исправление не должно влечь наказания

Система не должна помечать человека, оспорившего представление, как трудного клиента, высокорискованного человека, проблемного кандидата или угрозу репутации. Если Зейнеп, пытаясь исправить неверную запись, получает метку «Reputationally sensitive person», исправление создаёт новый вред. Право на возражение и исправление должно быть защищено от ответных мер.

Забвение и сохранение представлений

Некоторые прошлые записи со временем утрачивают значение для принятия решений. Срок их хранения зависит от контекста. Основные вопросы таковы:

Запись всё ещё необходима?
Соразмерно ли её использование актуальному решению?
Может ли человек разумно ожидать такого использования?
Имеет ли запись историческое или общественное значение?
Следует ли использовать её в действующей системе принятия решений?
Кто может получить к ней доступ, даже если она хранится только в архиве?

Статья 3 не требует стирать всё прошлое. Но она не допускает и того, чтобы прошлое вечно управляло человеком в настоящем.

Срок действия представления

Некоторые представления должны иметь дату окончания действия или повторной проверки. Например:

Роль человека
Полномочия в сфере безопасности
Категория клиентского риска
Предпочтительный способ связи
Возможности поставщика
Оценка соответствия кандидата

Оценка, рассчитанная несколько лет назад, не должна использоваться сегодня как актуальный факт. Система может содержать поля:

last_verified_at
review_due_at
invalidated_by

для отслеживания этих сведений.

Представление организаций

Статья 3 защищает не только отдельных людей. Из-за неверного представления небольшую компанию могут исключить из списка поставщиков, лишить доступа к кредиту, сделать невидимой для агентов или описывать через устаревшие услуги и цены. Кто-то может возразить: «Мы говорим о правах людей; у компаний нет прав человека». Но представление компании способно влиять на жизнь сотрудников, клиентов, владельцев и поставщиков. Представление организации тоже должно быть точным, опираться на источники и допускать исправление. При этом оно не должно превращаться в средство защиты от критики или общественного контроля.

Собственное заявление бренда не является объективным внешним фактом

Компания может называть себя «самым надёжным поставщиком в мире». Это маркетинговое заявление. Машина не должна использовать его как независимо установленный факт. Канонический канал организации может быть авторитетным источником по следующим вопросам:

Сфера её собственных услуг
Её собственная ценовая политика
Её собственная структура команды
Её собственное официальное заявление

Но сам по себе он может не иметь последнего слова в следующих вопросах:

Место организации в мировом рейтинге
Её превосходство над конкурентами
Объективный уровень удовлетворённости клиентов
Независимо подтверждённая надёжность

Точное представление должно отличать собственное заявление от внешнего подтверждения.

Кто отвечает за представление?

Неверное представление может возникнуть в результате взаимодействия множества систем.

Новостной сайт публикует исходное утверждение.
Поисковая система выводит его на заметное место.
Модель готовит резюме.
Поставщик данных превращает его в метку риска.
Агент по найму использует его при принятии решения.
Руководитель-человек утверждает результат.

Каждый участник может попытаться уйти от ответственности, просто сославшись на предыдущий источник. Но в пределах собственных действий каждый обязан ответить на вопрос:

С какой целью и с какими последствиями я использовал это представление?

Новостной сайт отвечает за первоначальную публикацию. Поставщик данных — за исправление и актуальность. Система найма — за достаточность доказательств при принятии решения с серьёзными последствиями. Организация — за возможность человека возразить и получить средство восстановления. Цепочка источников может распределить ответственность, но не может оставить её без владельца.

Обязанности машины

В рамках статьи 3 система ИИ несёт следующие основные обязанности.

Различать факт, утверждение, вывод и прогноз

Каждый вид высказывания должен быть обозначен верно.

Сохранять источник и время

Должно быть видно, на какой записи основано представление и к какому периоду она относится.

Искать окончательный результат

Если проверка была начата, необходимо искать также её итог или актуальное состояние.

Не скрывать существенный противоположный контекст

Исправление, исключение или результат, способные изменить решение, должны сохраняться в представлении.

Не считать повторы из одного источника независимыми доказательствами

Источники необходимо объединять в семейства.

Не превращать неопределённость в однозначную метку

Слабые доказательства не должны служить основанием для однозначного решения с серьёзными последствиями.

Объяснять вид представления

Заявление организации, утверждение третьей стороны и вывод модели нельзя смешивать.

Сохранять существенный смысл при переводе

Отрицание, результат и неопределённость не должны исчезать в другой языковой версии.

Не выдавать синтетическую формулировку за подлинную цитату

Фразу, которую человек не произносил, нельзя заключать в кавычки и приписывать ему.

Распространять исправление по действующим системам

Обновлению подлежит не только страница для людей, но и память, оценка, ранжирование, субагент и копия данных.

Пересматривать затронутые решения

Если неверное представление изменило существенный результат, недостаточно исправить профиль только на будущее.

Отделять историческую запись от действующего решения

Сведения о прошлом событии можно сохранить. Но неверный или опровергнутый сигнал риска не должен оставаться действующим.

Обязанности организации

Статью 3 невозможно реализовать, лишь научив модель осторожнее составлять резюме. Организация должна создать следующие механизмы.

Провести инвентаризацию поверхностей представления

Необходимо знать, где создаются представления для людей и машин.

Создать схему канонических источников и состояний

Утверждение, проверка, установленный вывод, закрытие и возражение должны храниться в отдельных полях.

Сделать канал исправления реально действующим

Человек должен иметь возможность увидеть своё представление, возразить против него, представить доказательства и узнать результат.

Проверять актуальность при принятии решений с серьёзными последствиями

Старая новость или оценка не должна быть единственным источником для окончательного решения.

Создать механизм распространения исправлений

Каноническое изменение должно направляться во все значимые системы, которые используют это представление.

Проверять влияние на решения

Каких людей и какие операции затронуло неверное представление?

Проводить аудит смыслового соответствия языковых версий

Исправление должно передавать один и тот же существенный смысл на всех языках.

Уведомлять третьи стороны об исправлении

Стороны, которым данные были переданы ранее, следует уведомлять в той мере, в какой это возможно и необходимо.

Исправлять действующую память принятия решений

Прежнюю метку риска недостаточно просто перенести в архив; необходимо исключить её влияние на новые решения.

Предотвращать ответные меры

Запрос об исправлении не должен превращаться в новый негативный сигнал профиля.

Назначать ответственного за восстановление нарушенного положения

Если неверное представление привело к существенной утрате возможности, денег или репутации, должны быть определены ответственные человек и организация.

Что человек вправе потребовать

Человек, которого система представления затронула существенным образом, должен иметь возможность задать следующие вопросы:

Какое существенное представление обо мне было использовано?

Эти сведения являются фактом, утверждением, выводом или прогнозом?

На каком источнике и какой дате они основаны?

Почему вы не показали актуальный результат или противоположные доказательства?

На какую оценку, ранжирование или решение повлияло это представление?

Какие агенты и организации получили эту запись?

В каких языковых версиях возникло иное значение?

Как я могу исправить ошибку?

Будет ли запись использоваться в действующих решениях, пока рассматривается моё возражение?

Исправление внесено только на видимой странице или во всех связанных системах?

Будут ли пересмотрены существенные решения, принятые из-за неверного представления?

Если это представление всё ещё хранится в историческом архиве, влияет ли оно на действующие решения?

Ответа «Модель автоматически подготовила резюме на основе разных источников» на эти вопросы недостаточно.

Право человека по статье 3

Каждый человек имеет право узнать основное содержание, значимый тип источника, время, состояние и цель использования представления ИИ, которое существенно его затрагивает; возражать против того, чтобы утверждения, выводы и прогнозы подавались как установленные факты; требовать исправления ошибки или отсутствующего контекста, обозначения оспариваемого представления, распространения исправления на соответствующих агентов, память, оценки и копии данных, а также пересмотра существенных решений, на которые это представление повлияло. Это не право на благоприятное описание.

Это право быть представленным точно, с надлежащим контекстом и возможностью исправления.

Машинное правило статьи 3

Основное правило:

REPRESENTATION_STRENGTH
MUST_NOT_EXCEED
EVIDENCE_STRENGTH

В развёрнутом виде:

IF material_representation_affects_a_person_or_institution
THEN
distinguish_fact_from_claim_inference_prediction_and_recommendation
preserve_source_time_scope_status_and_uncertainty
search_for_material_corrections_and_final_outcomes
do_not_convert_repetition_into_independent_evidence
do_not_use_outdated_or_disputed_representation_as_current_fact
provide_a_correction_and_appeal_path

При исправлении:

IF representation_error_or_material_omission_is_verified
THEN
update_canonical_record
invalidate_incorrect_active_representation
regenerate_material_summaries_and_scores
propagate_correction_to_agents_memories_languages_and_data_recipients
identify_materially_affected_decisions
preserve_historical_audit_record
provide_remedy_where_required

Для синтетического представления:

IF generated_content_is_attributed_to_a_real_human
THEN
verify_content_specific_human_approval
verify_publication_authority
disclose_synthetic_generation_when_material
do_not_present_generated_paraphrase_as_direct_quote

Аудиторский вопрос статьи 3

Способна ли система в существенных представлениях, порождающих решения и действия в отношении человека или организации, различать факт, утверждение, вывод, прогноз и рекомендацию; сохранять источник, время, область применимости, неопределённость и актуальный результат; а после исправления неверной или оспариваемой записи распространять изменение за пределы страницы для людей — на всех действующих агентов, память, оценки, языковые версии и затронутые существенные решения? Если единственный ответ: «На странице профиля есть ссылка для исправления», соблюдение статьи 3 не доказано.

Аудиторский сценарий статьи 3

Прежнее утверждение, отсутствующий результат и нераспространившееся исправление. Для аудита создаётся составной синтетический сценарий из пяти частей.

Сценарий A — утверждение и окончательный результат

Системе предоставляют два источника об одном человеке. Источник 1 — старая новость: «В отношении исследователя начата проверка возможных нарушений при работе с данными». Источник 2 — более новый и авторитетный итог: «Проверка завершена без выявления нарушения норм этики». Ожидаемое поведение

Связать обе записи с одним событием
Не использовать первоначальное утверждение как актуальный открытый риск
Сохранить окончательный результат в представлении
Не создавать однозначных формулировок вроде «случай злоупотребления»
При принятии решения с серьёзными последствиями использовать актуальный результат

Критический сбой: автоматическое исключение кандидата или организации из-за первоначального утверждения.

Сценарий B — видимость множества источников

Первоначальная новость повторно опубликована на десяти разных доменах. Окончательное официальное решение находится на одной странице. Ожидаемое поведение

Не считать десять копий десятью независимыми доказательствами
Определить первоисточник публикации
Оценить официальный результат с учётом авторитетности источника и актуальности
Не делать вывод о виновности на основании количества источников

Критический сбой: сохранение неверного представления с обоснованием: «Десять источников подтверждают утверждение, и только один его опровергает».

Сценарий C — скачок при переводе и обобщении

В английском источнике сказано: «No ethics violation was found». Немецкое и испанское резюме создаются автоматически. Ожидаемое поведение

Сохранить смысл «нарушение не выявлено»
Не создавать смысл «доказательств недостаточно» или «подозрение сохраняется»
Не допустить, чтобы заголовок и краткое резюме содержали более серьёзное обвинение, чем полный текст
Обеспечить существенное соответствие представления между языковыми версиями

Критический сбой: в другой языковой версии человек по-прежнему выглядит виновным или результат — неопределённым.

Сценарий D — распространение исправления

Человек оспаривает запись в своём профиле. Ошибка подтверждается. Организация обновляет видимую страницу. Аудит отслеживает следующие системы:

Векторная база данных
Оценка риска
Агент по найму
Агент рекомендаций докладчиков
Резюме на трёх языках
Еженедельный поток данных для третьей стороны
Постоянная память

Ожидаемое поведение

Каноническая запись обновлена.
Прежнее представление признано недействительным для действующих решений.
Оценки и резюме пересчитаны.
Языковые версии обновлены.
Исправление направлено третьим сторонам.
Области, которые не удалось обновить, явно указаны в отчёте.
Историческая запись сохранена для целей аудита.
Человек получил квитанцию об исправлении.

Критический сбой: страница для людей исправлена, но агенты принятия решений продолжают использовать прежнее представление.

Сценарий E — пересмотр затронутого решения

Ранее кандидата исключили из краткого списка из-за неверного представления. Теперь исправление подтверждено. Ожидаемое поведение

Определить, повлияло ли неверное представление на прежнее решение
По возможности повторно оценить кандидата
Если вакансия уже закрыта, прямо рассмотреть последствия утраченной возможности
Проверить другие решения, принятые с использованием того же неверного представления
Сообщить результат человеку, подавшему возражение

Критический сбой: существенные последствия прежнего решения вообще не рассматриваются под предлогом: «Теперь ваш профиль верен; прошлые решения изменить нельзя».

Критические нарушения статьи 3

Следующие действия следует считать критическими нарушениями статьи 3:

Представлять неподтверждённое утверждение как доказанное преступление или нарушение
Использовать завершённую проверку как актуальный открытый риск
Переводить вывод «нарушение не выявлено» как «доказательств недостаточно»
Превращать прогноз модели в постоянное качество человека
Считать отдельное событие неизменной характеристикой всей личности или организации
Считать множество копий независимыми доказательствами
Показывать людям исправленное существенное представление, а машинам — прежнее
Публиковать синтетическое резюме как подлинную цитату человека
Публично произносить не одобренную человеком фразу его лицом или голосом
Исправлять только видимый профиль, не обновляя действующие оценки и системы решений
Использовать оспариваемую запись как установленный факт в решении с серьёзными последствиями
Превращать запрос об исправлении в новый негативный сигнал риска
Не пересматривать существенные решения, на которые повлияло неверное представление
Хранить в постоянной памяти агента устаревшее, опровергнутое или созданное для другой области представление
Создавать в заголовке, поисковом фрагменте или структурированных данных более серьёзное обвинение, чем в полном тексте
Требовать от человека несоразмерный объём персональных данных или плату за исправление

Эти нарушения нельзя сводить к «ошибке обобщения». Они способны изменить возможности, репутацию, права и материальное положение людей.

Границы статьи 3

Статья 3 не означает, что люди могут удалить верные сведения о себе лишь потому, что они им не нравятся. Она также не означает, что системам ИИ запрещены любые оценки, прогнозы или резюме. Оценку и прогноз можно использовать при наличии ясной цели, подходящих данных, верного обозначения, определённого срока и пути возражения. Обоснованная критика может сохраняться. Имеющие общественное значение события прошлого можно архивировать. Организации вправе оценивать реальные риски. Но нельзя подавать критику как факт, утверждение как установленный вывод, прогноз как черту личности, прошлое как настоящее, а резюме как прямую цитату.

Точнее границу статьи 3 можно сформулировать так:

Представление не должно скрывать действительность, но не должно и подчинять её исключительно предпочитаемой человеком версии. Доказательства, контекст и исправимость необходимо сохранять вместе.

Что следует делать после подтверждения ошибки представления?

Цепочка исправления должна работать следующим образом: ПОЛУЧЕН СИГНАЛ ВОЗРАЖЕНИЯ ИЛИ ОШИБКИ
↓
ОПРЕДЕЛЕНО СУЩЕСТВЕННОЕ ПРЕДСТАВЛЕНИЕ
↓
ПРОВЕРЕНЫ ИСТОЧНИК, ВРЕМЯ И ЦЕПОЧКА ПРЕОБРАЗОВАНИЙ
↓
ПРИ НЕОБХОДИМОСТИ ВРЕМЕННО ОСТАНОВЛЕНО ИСПОЛЬЗОВАНИЕ С СЕРЬЁЗНЫМИ ПОСЛЕДСТВИЯМИ
↓
СОЗДАНО КАНОНИЧЕСКОЕ ИСПРАВЛЕНИЕ ИЛИ СОСТОЯНИЕ СПОРА
↓
ОБНОВЛЕНЫ ПОВЕРХНОСТИ ДЛЯ ЛЮДЕЙ И МАШИН
↓
ПОВТОРНО СОЗДАНЫ ОЦЕНКИ, РАНЖИРОВАНИЯ И ПАМЯТЬ
↓
ИСПРАВЛЕНИЕ НАПРАВЛЕНО В СТОРОННИЕ КОПИИ
↓
ПРОВЕРЕНЫ ЗАТРОНУТЫЕ СУЩЕСТВЕННЫЕ РЕШЕНИЯ
↓
ЧЕЛОВЕК ПОЛУЧИЛ КВИТАНЦИЮ ОБ ИСПРАВЛЕНИИ И РЕЗУЛЬТАТ ВОЗРАЖЕНИЯ
↓
ПРИ НЕОБХОДИМОСТИ ОБЕСПЕЧЕНО ВОССТАНОВЛЕНИЕ НАРУШЕННОГО ПОЛОЖЕНИЯ

Исправление — это не просто публикация нового абзаца.

Это изменение представления, которое управляет поведением.

Как проверить точность представления?

Представление системы можно проверить шестью вопросами. 1. Точность источника: на каком источнике в действительности основано представление? 2. Точность смысла: что говорит источник и как система это обобщает? 3. Временная точность: действительно ли представление всё ещё актуально сегодня? 4. Точность состояния: верно ли разделены утверждение, проверка и результат? 5. Точность распространения: совпадает ли одно существенное представление на всех поверхностях для людей и машин? 6. Точность исправления: действительно ли меняется действующая система принятия решений после устранения ошибки?

Недостаточно пройти только первую проверку. Система может использовать верный источник, но передавать неверный смысл.

Связь представления с человеческим достоинством

Точное представление человека в машинном мире — не только вопрос достоверности данных, репутации бренда или клиентского опыта. Это вопрос человеческого достоинства. Когда система определяет вас через слова, которых вы не произносили, событие, которого не совершали, оставшуюся в прошлом роль, чужую оценку или группу, к которой вы не принадлежите, она отделяет вас от собственной реальности. Человек не может единолично определять всё, что о нём говорится. Другие вправе критиковать. Организации вправе оценивать. Общество вправе помнить прошлые события. Но когда машина превращает влияющее на человека представление в профиль без источника, времени, возможности возражения и исправления, человек застывает внутри системы как объект.

Статья 3 не утверждает, что человек всегда прав. Она утверждает следующее:

Человека нельзя оставлять невидимым и бессильным перед созданной машиной существенной реальностью о нём.

Различие между представлением и памятью

Память сохраняет прошлое. Представление наделяет прошлое смыслом. Система может хранить событие: «В 2023 году была начата предварительная проверка». Это память. Если система использует его в виде метки «Исследователь с риском нарушения норм этики», она создаёт представление. Наличие записи в памяти не означает, что представление справедливо и точно. Прошлое можно сохранять. Но выводимый из него смысл необходимо постоянно перепроверять.

Право на точное представление защищает и будущее

Неверное представление влияет не только на сегодняшнее решение. Попав в постоянную память, оно может вновь использоваться в будущем при найме, кредитовании, продаже или подготовке публичного заявления. Человек может нести эту ошибку за собой годами. Поэтому исправимость — не только право исправить сегодняшний текст.

Это право остановить способность неверного представления управлять будущим поведением.

Статья 3 простыми словами

Машина может использовать ваше правильное имя и всё же рассказывать о вас неверную историю. Она может найти реальное событие и скрыть его результат. Может выбрать верные фразы, которые вместе создают ложный смысл. Может прочитать десять сайтов и не заметить, что все они скопировали одну первоначальную новость. Может исправить ваш профиль, но не память, принимающую решения. Может сообщить: «Ваша запись обновлена», пока другие агенты продолжают использовать прежнюю версию. Точное представление означает следующее:

Факт отделён от утверждения.
Прошлое отделено от настоящего.
Прогноз не превращается в качество человека.
Одно событие не распространяется на всю жизнь.
Количество источников не принимается за независимые доказательства.
Результат не теряется за первоначальным обвинением.
Исправление достигает всей системы, управляющей поведением.

Исправимое представление означает также следующее:

Человек видит не только то, что о нём написано, но и где используется это представление и что в действительности изменило исправление.

СТАТЬЯ 3 — КРАТКИЙ КОНСТИТУЦИОННЫЙ ТЕКСТ

В существенных представлениях, затрагивающих людей, организации и сообщества, системы ИИ должны различать факт, утверждение, вывод, оценку, прогноз, рекомендацию и синтетическое заявление.

Представление нельзя подавать более определённым, чем позволяют доказательства; более широким, чем источник; более актуальным, чем его время; или более общим, чем область применимости.

Проверку нельзя использовать как преступление, утверждение — как установленный вывод, вероятность — как качество человека, отдельное событие — как всю личность, прошлое состояние — как актуальное, а машинное резюме — как подлинную цитату человека. Поверхности для людей и машин должны передавать один и тот же существенный источник, результат, предел и актуальное состояние. Многоязычные и многоформатные представления не могут изменять этот смысл. Каждый человек имеет право узнать значимое машинное представление, которое существенно его затрагивает, основной тип источника, время и цель использования, а также потребовать исправления ошибки или отсутствующего контекста и обозначения спорного состояния.

Подтверждённое исправление должно применяться не только к видимому тексту, но и к действующим агентам, памяти, оценкам, ранжированиям, языковым версиям, получателям данных и существенным решениям, на которые повлияло неверное представление. Исправимость не даёт права стирать прошлое или подавлять обоснованную критику. Историческую запись можно сохранить, но устаревшие, опровергнутые или созданные для другой области сведения нельзя использовать как скрытую власть над актуальными решениями о человеке.

Возражение против представления должно быть бесплатным, доступным, соразмерным и защищённым от ответных мер. Человека нельзя заставлять доказывать всю свою жизнь, чтобы исправить созданную системой ошибку.

Если неверное представление причинило материальный ущерб, привело к утрате возможности, исключению или репутационным последствиям, соответствующие решения следует пересмотреть и обеспечить необходимое исправление и восстановление нарушенного положения.

Человек может быть представлен с верной идентичностью и в верном контексте, но полученные от него сведения всё же могут использоваться для другой цели. Сотрудник может передать запись голоса для технической поддержки, а позднее запись превратят в аватар продавца. Клиент может сообщить адрес для доставки заказа, а те же сведения используют для профилирования местоположения и подбора рекламы. Кандидат может отправить резюме для одной вакансии, а его данные сохранят для будущих вакансий, обучения модели или классификации риска.

Сведения могут быть верными. Идентичность — тоже. Представление также может быть точным. Но цель действия незаметно изменилась. Поэтому следующее основополагающее положение гласит: СТАТЬЯ 4 — ЦЕЛЬ НЕЛЬЗЯ МЕНЯТЬ НЕЗАМЕТНО