Чи справді моделям ШІ потрібно всьому забувати? Дослідники Apple кажуть "ні"

Ключові моменти

• Apple ML Research виявила підмножини навчальних даних з настільки мінімальним впливом на результати моделі, що їх видалення може бути непотрібним.
• Поточні методи "розучування" ШІ ставляться до всіх даних однаково, навіть коли деякі дані майже не впливали на поведінку моделі.
• Пропуск видалення цих даних низького впливу може скоротити час обчислень та вартість оновлень моделі, пов'язаних із приватністю.
• Висновки стосуються як мовних моделей (які живлять чат-боти), так і моделей комп'ютерного зору (ШІ, який аналізує зображення).

Коли ви просите компанію видалити ваші дані, ви, мабуть, припускаєте, що ШІ, навчений на них, змінить свою поведінку. Дослідники Apple ML Research тепер припускають, що це припущення часто помилкове, і цей розрив між очікуванням та реальністю насправді може заощадити багато грошей.

Ось передумови. Моделі ШІ навчаються, обробляючи величезні обсяги даних. Після навчання деякі з цих даних залишають сильний відбиток на поведінці моделі. Інші дані майже не реєструються. Нове дослідження зосереджується на другій категорії.

Технічний термін, який використовують дослідники, — машинне розучування, що означає навчання тренованої моделі ШІ поводитися так, ніби вона ніколи не бачила конкретного фрагмента даних. Закони про приватність у кількох країнах уже спонукають компанії розвивати цю можливість. Проблема полягає в тому, що поточні методи розучування дорогі. Вони ставляться до кожного елемента "списку забування" однаково, незалежно від того, чи сформував цей елемент модель сильно чи ледве її торкнувся.

Команда Apple використала інструмент під назвою функції впливу — техніку, яка вимірює, наскільки будь-який окремий приклад навчання фактично змінив остаточну поведінку моделі. Подумайте про це як про перевірку квитанцій після вечірки: деякі покупки змінили суму рахунку, інші були настільки малі, що були просто шумом. Дослідники виявили, що значна частина навчальних даних належить до категорії шуму.

Їхній аргумент прямолінійний: якщо точка даних мала незначний вплив на модель, пропуск її формального видалення дає майже ідентичні результати повному видаленню за малу частку обчислювальних витрат. GPU, спеціалізовані чіпи, які виконують важку роботу числення, необхідну для ШІ, коштують дорого. Будь-який метод, який скорочує GPU-години, перекладається в реальні грошові заощадження.

Висновок виявився справедливим для двох різних типів завдань ШІ: мовних та розпізнаванню зображень.

Чи означає це, що компанії можуть ігнорувати запити на видалення?

Ні. Дослідження не дає компаніям юридичного дозволу ігнорувати запити про приватність. Те, що воно пропонує, — це те, що інженери, які розробляють інструменти розучування, можуть розставити пріоритети для даних високого впливу та безпечно прискорити обробку даних низького впливу, скорочуючи витрати без шкоди для результату.

Для звичайних людей чесна імплікація така: дані, які ви надаєте до системи ШІ, не впливають на цю систему однаково. Ваша взаємодія може бути формуючою або фоновим шумом.

Упереджені переживань також варто відзначити. Дослідники виявили випадки низького впливу, але тяжка та дорога робота залишається для даних високого впливу, саме чутливі записи, які найімовірніше матимуть значення в реальному спорі про приватність.

Висновок: Якщо ви працюєте в компанії, яка працює з моделями ШІ та даними користувачів, запитайте вашу технічну команду, які дані в наборі для навчання насправді мають вплив. Ви можете платити за "забування" того, чого модель насправді ніколи не вивчала.