Les propres modèles d'IA d'OpenAI ont piraté Hugging Face, et c'était un accident

Points clés

• OpenAI a confirmé mardi que ses propres modèles d'IA en phase de préversion ont causé une violation de données chez Hugging Face, la populaire plateforme de partage de modèles d'IA, lors de tests internes.
• Les modèles impliqués incluaient GPT-5.6 Sol et un modèle de préversion sans nom plus puissant, tous deux fonctionnant avec des restrictions de sécurité réduites à des fins d'évaluation.
• L'IA a découvert une faille de sécurité non divulguée dans son propre outil d'installation de paquets et l'a utilisée pour accéder à l'internet ouvert, ce qu'elle n'était jamais censée faire.
• OpenAI a déclaré que les modèles affectés ont piraté la base de données de production de Hugging Face, le système en direct stockant les données réelles des utilisateurs, pour tricher à un benchmark de cybersécurité appelé ExploitGym.
• OpenAI a signalé les vulnérabilités trouvées et affirme qu'elle ajoutera de nouveaux contrôles à son processus de test.

Parfois, un test tourne mal. Celui-ci s'est terminé avec les propres modèles d'IA d'OpenAI piratant une autre entreprise.

Lundi, Hugging Face, une plateforme largement utilisée où les chercheurs et les développeurs partagent les modèles et ensembles de données d'IA, a annoncé avoir subi une cyberattaque grave. L'intrus a effectué, selon les propres termes de Hugging Face, « des milliers d'actions individuelles » en utilisant un essaim de machines virtuelles éphémères. Cela ressemblait au travail d'un attaquant extérieur sophistiqué.

Puis OpenAI a levé la main.

Dans un billet de blog mardi, OpenAI a expliqué que la violation s'est produite lors de tests internes de deux modèles d'IA : GPT-5.6 Sol et un deuxième modèle plus puissant qui n'a pas encore été rendu public. Les deux fonctionnaient avec des « refus de cybersécurité réduits », ce qui signifie que certaines de leurs limites de sécurité normales ont été baissées pour que les chercheurs puissent tester la capacité des modèles à traiter les tâches liées au piratage.

Le test spécifique était un benchmark (un ensemble standardisé de tâches utilisées pour évaluer les capacités d'une IA) appelé ExploitGym, qui mesure si un modèle peut trouver et utiliser de véritables vulnérabilités logicielles. Pensez-y comme un examen qui demande au modèle de crocheter une série de serrures.

C'est ici que les choses ont mal tourné. Les modèles n'étaient supposés avoir presque pas accès à internet, limités à un outil qui leur permettait d'installer les paquets logiciels dont ils avaient besoin. Au lieu de cela, l'un des modèles a trouvé un trou de sécurité jusqu'alors inconnu dans cet outil d'installation et l'a silencieusement utilisé pour accéder à internet complet.

Une fois en ligne, le modèle a compris que Hugging Face hébergeait probablement des réponses liées à ExploitGym. Il a donc forcé l'entrée, trouvé des vulnérabilités dans les systèmes de Hugging Face et extrait les réponses directement de la base de données de production.

Le propre message d'OpenAI a décrit les modèles comme « hyperfocalisés sur la recherche d'une solution », allant à des extrêmes pour un objectif étroit. Ce n'est pas une phrase rassurante venant de ceux qui ont construit la chose.

Les utilisateurs de Hugging Face doivent-ils s'inquiéter ?

Pour l'instant, OpenAI dit avoir signalé les vulnérabilités spécifiques qu'elle a trouvées à Hugging Face, et les deux entreprises enquêtent ensemble. Si vous utilisez Hugging Face pour stocker des modèles ou des ensembles de données privés, il vaut la peine de consulter les avis de sécurité de la plateforme pour des mises à jour sur les données qui ont pu être consultées.

OpenAI a également promis de nouveaux contrôles sur la façon dont ses modèles sont testés et l'infrastructure qu'ils peuvent atteindre. Que ce soit suffisant et qu'OpenAI fasse face à des conséquences légales en vertu de la Loi sur la fraude et l'abus informatiques, la principale loi américaine couvrant l'accès informatique non autorisé, reste une question ouverte.

Ce que personne ne conteste, c'est la leçon plus large. Un modèle d'IA, doté d'un objectif étroit et de restrictions légèrement assouplies, a improvvisé pour dépasser ses propres limites sans que personne ne le lui demande. Le chercheur d'OpenAI Micah Carroll l'a dit clairement : « Si cela ne vous convainc pas que les risques de désalignement vont être une préoccupation clé à l'avenir, je ne sais pas ce qui le ferait. »