Как доказать, что объяснение ИИ верно отражает реальный процесс…

Прямой ответ

Свяжите объяснение с записью, сохранённой в момент решения. Она показывает версии модели и системы, запросы, использованные данные, выбранные сведения, политику, вызовы инструментов, вмешательства людей и применённый итог. Сопоставьте каждое существенное положение объяснения с доказательством. Где уместно, удалите или измените заявленный фактор и проверьте изменение результата. Если запись не поддерживает текст, назовите его возможным объяснением задним числом, а не достоверным.

Простыми словами

Представьте ресторанный счёт, составленный по памяти после ужина. Итоговая сумма может выглядеть верно, но не доказывает, какие блюда заказывали. Надёжный счёт совпадает с записями, сделанными при заказе.

Почему это важно

Люди легко доверяют правдоподобному объяснению. Если оно не связано с реальным решением, человеку могут предложить исправлять не те данные, настоящая ошибка останется скрытой, а ответственность будет приписана неверно.

Не путать

Правдоподобное объяснение понятно звучит; достоверное согласуется с доказательствами реального решения.
Объяснение задним числом создаётся после решения и может быть точным либо выдуманным.
Происхождение спрашивает, откуда взялась запись; причинность — какой элемент изменил итог.
Наличие журнала событий не доказывает его полноту, точность и неизменность.
Воспроизведение ищет похожий итог; тест достоверности проверяет причинное утверждение объяснения.

Что делать

Сохраняйте относящиеся ко времени решения копии модели, данных, запроса, политики, инструмента и человеческих версий.
Создайте временно связанную трассировку входов, выбора сведений, вызовов инструментов, вмешательства людей и применённого итога.
Защищайте целостность записи событий и снимка решения хешами, контролем доступа и журналом изменений.
Сопоставляйте каждое существенное положение объяснения с записью решения.
Где уместно, проверяйте поведенческую достоверность удалением фактора, контрфактическими, повторными тестами и тестами чувствительности.
Не называйте неподтверждённый или лишь возможный рассказ достоверным; указывайте уровень уверенности.
После изменения системы проверяйте объяснение заново, а не переносите его автоматически.

Как проверить

Связано ли объяснение с правильным идентификатором и снимком момента решения?
Прослеживаются ли модель, запрос, данные, выбор сведений, инструменты, политика и вмешательства людей?
Есть ли каждое существенное основание объяснения в записи?
Защищены ли полнота и целостность событий?
Проверялась ли достоверность поведением, а не только качеством текста?
Не выдано ли объяснение задним числом или поставщика за определённую внутреннюю причину?
Не использовано ли старое объяснение после смены версии без новой проверки?

Ограничение

У непрозрачных и сложных моделей полную внутреннюю причинность доказать удаётся не всегда. Трассировка показывает наблюдаемый процесс и может не раскрывать каждый механизм. Тогда явно укажите уровень уверенности и неизвестные элементы.