Les modèles d'IA n'auront peut-être pas besoin d'oublier tout : le cas pour un désapprentissage plus intelligent
Une nouvelle recherche d'Apple ML Research suggère que certaines données d'entraînement ont si peu d'effet sur un modèle d'IA que les supprimer est une perte de temps et d'argent.
Points clés
- Apple ML Research a publié une étude révélant que certains points de données d'entraînement ont une influence négligeable sur les résultats d'un modèle d'IA.
- Les méthodes actuelles de désapprentissage traitent chaque point de données comme également important, ce que la recherche estime être une perte computationnelle.
- Les conclusions pourraient réduire le coût de la conformité à la vie privée pour les entreprises utilisant l'IA entraînée sur des données personnelles.
- L'étude a utilisé des fonctions d'influence pour les tâches de reconnaissance de langage et d'image afin d'identifier les données à faible impact.
Qu'est-ce que le désapprentissage d'IA, et pourquoi est-ce important ?
Le désapprentissage d'IA est le processus de suppression d'une information spécifique d'un modèle déjà entraîné, sans avoir à reconstruire le modèle à partir de zéro. Pensez-y comme essayer de faire oublier à quelqu'un un numéro de téléphone sans effacer toute sa mémoire.
C'est important parce que les lois sur la vie privée dans de nombreux pays donnent maintenant aux gens le droit de faire supprimer leurs données personnelles. Si vos informations ont été utilisées pour entraîner un système d'IA, une entreprise peut être légalement tenue de les supprimer. Réentraîner un grand modèle à partir de zéro est coûteux. Vraiment coûteux. Donc les chercheurs ont développé des raccourcis de « désapprentissage » pour faire le travail plus rapidement.
L'approche standard actuelle efface chaque point de données signalé avec le même effort, quel que soit l'impact réel qu'il a eu sur le modèle. Une photo de vous qui a à peine influencé le modèle pendant l'entraînement subit le même processus de suppression coûteux qu'une photo que le modèle a mémorisée profondément.
Qu'ont réellement découvert les chercheurs ?
Ils ont découvert que tous les points de données ne laissent pas la même empreinte. Beaucoup ne laissent presque rien du tout.
L'équipe a utilisé un outil appelé fonctions d'influence, une méthode mathématique qui estime combien chaque exemple d'entraînement unique a modifié le comportement final du modèle. Appliquée aux tâches de texte et d'image, l'analyse a régulièrement révélé un sous-ensemble d'exemples d'entraînement dont le score d'influence était si proche de zéro que les supprimer n'a apporté aucune différence mesurable aux résultats du modèle.
La conclusion : ces points sont effectivement « déjà oubliés ». Les traiter de la même manière que les données à forte influence gaspille du temps de calcul et, par conséquent, de l'argent.
Qu'est-ce que cela signifie pour les entreprises et les utilisateurs ordinaires ?
Pour les entreprises, l'implication pratique est une réduction des coûts de conformité. Si une demande de respect de la vie privée arrive et que les données signalées s'avèrent être à faible influence, le modèle pourrait ne pas avoir besoin du tout d'un processus de désapprentissage coûteux.
Pour les individus qui ont demandé à une entreprise de supprimer leurs données d'un système d'IA, cette recherche ne signifie pas que leur demande sera ignorée. Cela signifie que les ingénieurs pourraient un jour utiliser des outils plus intelligents pour vérifier que les données n'ont vraiment eu aucun effet, plutôt que d'exécuter un processus de suppression généralisé.
Il est honnête de reconnaître ce que nous ne savons pas encore. La recherche est une analyse comparative, pas un produit ou un système déployé. La loi sur la vie privée réelle n'a actuellement pas d'exemption pour « influence négligeable », et les régulateurs pourraient ne pas accepter un score mathématique comme preuve que les données ont été véritablement supprimées. Ces questions sont toujours ouvertes.
Que se passe-t-il ensuite ?
Le désapprentissage efficace est un domaine de recherche en évolution rapide, et ce travail y ajoute une perspective pratique : avant de dépenser de l'argent pour supprimer des données, vérifiez d'abord si les données avaient de l'importance. Cette approche pourrait transformer la manière dont tout le domaine envisage le problème.
Un enseignement honnête : si votre entreprise stocke des données personnelles qui alimentent un modèle d'IA, commencez à auditer ce que vous collectez réellement. Moins vous entraînez sur des données inutiles, moins vous aurez de mal à désapprendre plus tard.
