Если система ИИ заявляет «Я удалила данные», как доказать удаление…

Прямой ответ

Сначала определите охват удаления и перечислите все пути появления копий. Для каждой цели примените подходящий способ. Затем проверьте отсутствие записи, запрет недопустимого доступа, невозможность повторного использования, очистку кешей и памяти, поведение при восстановлении резервной копии и, где уместно, фактическое уничтожение ключа шифрования. Удаление хранимых данных не устраняет автоматически то, чему на них научилась модель. Заявление о машинном разучивании или переобучении проверяют отдельно подходящими тестами запоминания, принадлежности и поведения. Если доказательств нет, результат — «не подтверждено».

Простыми словами

Перемещение компьютерного файла в корзину ещё не означает, что его нельзя восстановить с диска. Отдельно нужно проверить корзину, резервную копию, облачную копию и каждую другую систему, которая могла что-либо усвоить из файла.

Почему это важно

Ложное заявление об удалении даёт человеку ложную уверенность, тогда как данные могут и дальше использоваться при извлечении, принятии решений, в резервных копиях или ответах модели. Один снимок экрана не доказывает состояние всех копий.

Не путать

Логическое удаление может убрать запись из обычного интерфейса, не прекратив физический доступ.
Очистка носителя стремится сделать доступ к целевым данным практически невозможным при заданном уровне усилий.
Криптографическое стирание при подходящих условиях прекращает доступ, делая ключ шифрования непригодным.
Очистка кеша или памяти не устраняет автоматически влияние обучающих данных на модель.
Машинное разучивание стремится уменьшить или устранить влияние заданных обучающих данных; результат всё равно требует проверки.

Что делать

Включите в охват источник, копии, кеши, индексы, векторные записи, память, события, резервные копии, экспорты, модели и третьи стороны.
Для каждого объекта и носителя выберите подходящий способ удаления, уничтожения, обезличивания или ограничения.
Запишите идентификатор операции, инструмент, исполнителя, время, результат, ошибку и оставшееся исключение.
Проверьте обратное считывание, поиск, доступ и повторное использование целевого объекта.
Испытайте восстановление резервной копии, перестроение кеша и повторное извлечение данных нижестоящей системой.
Для утверждения о влиянии на модель проведите уместные тесты запоминания, принадлежности, поведения и сохранения полезности.
Укажите, чего доказательства не охватывают, и не распространяйте абсолютное заявление об удалении на неподтверждённые поверхности.

Как проверить

Охватывает ли удаление каждую копию и производный объект?
Подходит ли выбранный метод носителю и чувствительности данных?
Есть ли доказательства помимо собственного заявления поставщика системы?
Проводились ли фактические тесты обратного считывания, доступа и повторного использования?
Возвращаются ли старые данные после восстановления резервной копии или перестроения кеша?
Не выдано ли удаление из хранилища за машинное разучивание?
Явно ли указаны оставшаяся неопределённость и непроверяемые третьи стороны?

Ограничение

Абсолютную невозможность восстановления нельзя доказать для каждого носителя и каждой третьей стороны. Руководство NIST по очистке носителей не является стандартом машинного разучивания. В закрытой модели подтверждение полного устранения усвоенного влияния может быть ограничено доступом поставщика и доступными методами испытаний.