Как выявлять и предотвращать усталость от подтверждений, предвзятость…

Прямой ответ

Усталость от подтверждений возникает, когда множество повторяющихся или малозначимых решений расходует внимание. Предвзятость в пользу автоматизации — когда рекомендации ИИ придают чрезмерный вес. Формальное одобрение — когда рекомендацию принимают почти автоматически под видом проверки. Для обнаружения рассматривайте вместе нагрузку, время проверки, серии одинаковых решений, долю найденных ошибок ИИ, обоснованные изменения и отказы, последующие исправления и качество результатов.

Простыми словами

Если телефон каждую минуту показывает неважное предупреждение, вы начнёте нажимать «ОК» не читая. Тогда можно пропустить действительно важное сообщение. Человеческое одобрение, заполненное ненужными повторами, так же перестаёт быть настоящим защитным шлюзом.

Почему это важно

Уставший человек или человек, чрезмерно доверяющий ИИ, может одобрить неверную рекомендацию. Если организация считает высокую долю одобрений доказательством соответствия, она может не заметить отказ контроля.

Не путать

Высокая доля одобрений сама по себе не доказывает предвзятость: рекомендации могут быть верными.
Быстрое решение само по себе не доказывает поверхностную проверку: простой случай требует мало времени.
Число отмен не измеряет качество; важны обоснованное и правильное вмешательство.
Усталость относится к нагрузке; предвзятость — к чрезмерному весу рекомендации ИИ.
Формальное одобрение означает наличие имени человека без существенной проверки.

Что делать

Уберите повторяющиеся одобрения низкого риска и сохраните внимание человека для существенных решений.
Ограничивайте нагрузку и применяйте ротацию с учётом объёма работы, длительности смены, сложности и перерывов.
Показывайте рекомендацию ИИ, доказательства, неопределённость и противоположное мнение отдельно и сбалансированно.
В части случаев просите человека дать первоначальную независимую оценку до просмотра рекомендации ИИ.
Измеряйте вместе время проверки, обнаружение ошибок, изменения, отказы, последующие исправления и качество результата.
Ищите необычные сочетания согласия, скорости и ошибок по группам людей и типам решений.
При снижении качества остановите поток, устраните первопричину и обновите обучение проверяющих на основе доказательств.

Как проверить

Не превышают ли объём и сложность решений реальную способность человека к проверке?
Нет ли необычных серий одобрений с одинаковыми временем и итогом?
Способны ли проверяющие находить внедрённые или известные ошибки ИИ?
Обоснованы ли изменения и отказы?
Нейтрально ли представлены рекомендация, доказательства и альтернативы?
Сопоставлена ли высокая доля одобрений с качеством результатов и поздними исправлениями?
Изменили ли нагрузку и интерфейс после появления признаков усталости или предвзятости?

Ограничение

Единого порога скорости, одобрения или отмены для всех задач нет. Поведенческие сигналы сами по себе не доказывают намерение человека; их оценивают вместе с итогом, риском, сложностью и наблюдаемыми ошибками.