Les modèles d'IA doivent-ils vraiment tout oublier ? Des chercheurs d'Apple disent non

Points clés

• Apple ML Research a identifié des sous-ensembles de données d'entraînement ayant si peu d'influence sur les résultats d'un modèle que leur suppression pourrait être inutile.
• Les méthodes actuelles d'oubli d'IA traitent chaque donnée de manière égale, même si certaines données ont eu presque aucun effet sur le comportement du modèle.
• Ignorer la suppression de ces points de données à faible impact pourrait réduire le temps de calcul et le coût des mises à jour de modèle liées à la confidentialité.
• Les découvertes s'appliquent à la fois aux modèles de langage (ceux qui alimentent les chatbots) et aux modèles de vision (l'IA qui analyse les images).

Quand vous demandez à une entreprise de supprimer vos données, vous supposez probablement que l'IA entraînée sur ces données va changer. Les chercheurs d'Apple ML Research suggèrent maintenant que cette hypothèse est souvent fausse, et cet écart entre attente et réalité pourrait en fait permettre d'économiser beaucoup d'argent.

Voici le contexte. Les modèles d'IA apprennent en traitant d'énormes quantités de données. Après l'entraînement, certaines de ces données laissent une forte empreinte sur la façon dont le modèle se comporte. D'autres données laissent à peine une trace. La nouvelle recherche se concentre sur cette deuxième catégorie.

Le terme technique utilisé par les chercheurs est l'oubli machine, qui signifie enseigner à un modèle d'IA entraîné à se comporter comme s'il n'avait jamais vu un élément de données spécifique. Les lois sur la confidentialité dans plusieurs pays poussent déjà les entreprises à développer cette capacité. Le problème est que les méthodes actuelles d'oubli sont coûteuses. Elles traitent chaque élément de la « liste d'oubli » de la même manière, que cet élément ait façonné le modèle fortement ou l'ait à peine touché.

L'équipe Apple a utilisé un outil appelé fonctions d'influence, une technique qui mesure combien chaque exemple d'entraînement unique a réellement modifié le comportement final du modèle. Pensez-y comme vérifier les reçus après une fête : certains achats ont affecté le total de la facture, d'autres étaient si petits qu'ils représentaient du bruit. Les chercheurs ont découvert qu'une part significative des données d'entraînement entre dans la catégorie du bruit.

Leur argument est direct : si un point de données avait un impact négligeable sur le modèle, ignorer sa suppression formelle produit des résultats presque identiques à l'oubli complet, pour une fraction du coût de calcul. Les GPU, les puces spécialisées qui font le calcul lourd dont l'IA a besoin, sont coûteux à faire fonctionner. Toute méthode qui réduit les heures de GPU se traduit par de véritables économies.

La découverte a tenu bon sur deux types différents de tâches d'IA : la reconnaissance du langage et des images.

Cela signifie-t-il que les entreprises peuvent ignorer les demandes de suppression ?

Non. La recherche ne donne pas aux entreprises un laissez-passer légal pour ignorer les demandes de confidentialité. Ce qu'elle suggère, c'est que les ingénieurs qui construisent des outils d'oubli pourraient prioriser les points de données à forte influence et accélérer en toute sécurité ceux à faible influence, réduisant les coûts sans nuire au résultat.

Pour les gens ordinaires, l'implication honnête est celle-ci : les données que vous fournissez à un système d'IA n'affectent pas ce système de façon égale. Votre interaction pourrait être déterminante, ou elle pourrait être du bruit de fond.

Il vaut la peine de signaler le biais de survivance ici aussi. Les chercheurs ont identifié les cas à faible impact, mais le travail difficile et coûteux reste pour les données à fort impact, exactement les dossiers sensibles les plus susceptibles d'être importants dans un vrai différend lié à la confidentialité.

À retenir : Si vous travaillez dans une entreprise qui gère des modèles d'IA et des données utilisateur, demandez à votre équipe technique quelles données de votre ensemble d'entraînement bougent réellement l'aiguille. Vous payez peut-être pour « oublier » des choses que le modèle n'a jamais vraiment apprises.