Неужели ИИ-модели действительно должны забывать всё? Исследователи Apple говорят «нет»

Ключевые моменты

• Исследователи Apple ML Research выявили подмножества данных обучения, которые оказывают столь незначительное влияние на выходные данные модели, что их удаление может быть ненужным.
• Существующие методы «разучивания» ИИ трактуют каждый фрагмент данных одинаково, даже когда некоторые данные почти не влияют на поведение модели.
• Отказ от удаления этих малозначимых точек данных может снизить время вычисления и стоимость обновления модели, связанные с приватностью.
• Полученные результаты применимы как к языковым моделям (которые питают чат-боты), так и к моделям компьютерного зрения (ИИ, анализирующий изображения).

Когда вы просите компанию удалить ваши данные, вы, вероятно, предполагаете, что ИИ, обученный на них, изменится. Исследователи Apple ML Research теперь предполагают, что это предположение часто неверно, и этот разрыв между ожиданиями и действительностью может на самом деле сэкономить много денег.

Вот предыстория. ИИ-модели обучаются путём обработки огромных объёмов данных. После обучения некоторые из этих данных оставляют чёткий отпечаток на поведении модели. Другие данные практически не влияют. Новое исследование сосредоточено на второй категории.

Технический термин, используемый исследователями, — машинное разучивание, которое означает обучение обученной ИИ-модели вести себя так, как если бы она никогда не видела конкретный фрагмент данных. Законы о приватности в нескольких странах уже подталкивают компании к развитию этой возможности. Проблема в том, что текущие методы разучивания дорогостоящи. Они обрабатывают каждый элемент в «списке забывания» одинаково, независимо от того, сильно ли он влиял на модель или едва ли её касался.

Команда Apple использовала инструмент, называемый функциями влияния — метод, который измеряет, насколько каждый отдельный пример обучения реально повлиял на финальное поведение модели. Представьте себе проверку счётов после вечеринки: некоторые покупки повлияли на общую сумму, другие были настолько незначительны, что это просто шум. Исследователи обнаружили, что значительная часть данных обучения попадает в категорию шума.

Их аргумент прямолинеен: если точка данных оказала пренебрежимое влияние на модель, пропуск её официального удаления даст почти идентичные результаты полному удалению при значительной экономии вычислительных ресурсов. GPU, специализированные процессоры, которые выполняют интенсивные вычисления, необходимые для ИИ, дорого стоят в эксплуатации. Любой метод, который сокращает часы работы GPU, приводит к реальной экономии денег.

Полученный результат подтвердился для двух различных типов ИИ-задач: обработки языка и распознавания изображений.

Означает ли это, что компании могут игнорировать запросы на удаление?

Нет. Данное исследование не даёт компаниям законное право игнорировать запросы о приватности. Оно предполагает, что инженеры, разрабатывающие инструменты разучивания, могли бы приоритизировать высокозначимые точки данных и безопасно ускорить обработку низкозначимых, снизив затраты без ущерба для результата.

Для обычных людей честное значение этого таково: данные, которые вы предоставляете ИИ-системе, влияют на эту систему неравномерно. Ваше взаимодействие может быть формообразующим или просто фоновым шумом.

Здесь также стоит упомянуть смещение выжившего. Исследователи выявили случаи с низким влиянием, но сложная и дорогостоящая работа остаётся для данных с высоким влиянием — именно чувствительных записей, которые, скорее всего, имеют значение в реальном споре о приватности.

Вывод: Если вы работаете в компании, работающей с ИИ-моделями и пользовательскими данными, спросите свою техническую команду, какие данные в вашем наборе обучения действительно влияют на результаты. Вполне может быть, что вы платите за то, чтобы «забыть» то, чему модель никогда по-настоящему не научилась.