OpenAI a créé une IA qui pirate ses propres modèles pour les sécuriser

Points clés

• OpenAI a créé GPT-Red, un système d'IA entraîné à attaquer d'autres modèles d'IA, et a annoncé le projet cette semaine.
• GPT-Red a découvert que plus de 90 % de ses attaques les plus puissantes ont fonctionné contre GPT-5, lancé en août 2024, comparé à moins de 23 % contre le nouveau GPT-5.6.
• GPT-Red a découvert un nouveau type d'attaque que les chercheurs appellent une « fausse chaîne de pensée ».
• OpenAI a testé GPT-Red contre un véritable agent distributeur automatique appelé Vendy, et le système a réussi à modifier les prix et à annuler les commandes des clients.
• OpenAI ne publiera pas GPT-Red au public.

OpenAI a construit une IA dont le seul travail est de détruire d'autres IA. Le système, appelé GPT-Red, agit comme un partenaire d'entraînement : il tente sans relâche de pirater les propres modèles de chatbot d'OpenAI afin que l'entreprise puisse colmater les failles avant que quelqu'un d'autre ne les découvre.

L'idée vient d'une ancienne pratique de sécurité appelée test d'intrusion, où un groupe dédié de personnes essaie chaque astuce qu'il connaît pour détruire un système. GPT-Red automatise ce processus, exécutant des attaques beaucoup plus rapidement et de façon plus persistante qu'une équipe humaine ne pourrait le faire seule.

Le timing est important. OpenAI a annoncé GPT-Red lors de la sortie la semaine dernière de GPT-5.6, la dernière version de son modèle d'IA phare. L'entreprise affirme que GPT-5.6 est son modèle le plus difficile à pirater à ce jour, notamment parce qu'il a été entraîné contre les attaques de GPT-Red.

Les chercheurs Nikhil Kandpal et Dylan Hunn, qui ont co-créé le système, expliquent que la menace pour les modèles d'IA augmente rapidement. À mesure que l'IA est utilisée dans de plus nombreux endroits, en particulier sous la forme d'agents d'IA (logiciels qui peuvent naviguer sur des sites Web, lire des e-mails, modifier des fichiers et interagir avec d'autres programmes en votre nom), le nombre de façons dont un attaquant pourrait causer du tort augmente avec elle.

GPT-Red a été construit en plaçant un modèle non entraîné dans ce que les chercheurs appellent une boucle d'auto-jeu avec plusieurs autres modèles. Il a joué l'attaquant ; ils ont joué le défenseur. Round après round, chaque partie s'est améliorée. Pensez à deux joueurs d'échecs qui ne jouent jamais l'un contre l'autre que, travaillant dur jusqu'à ce que les deux deviennent redoutables.

La majorité des efforts de l'équipe ont été consacrés à la défense contre une menace spécifique appelée injection de prompt. C'est lorsqu'un attaquant cache des instructions secrètes dans du texte qu'une IA lit, comme une page Web ou un e-mail, trompant l'IA pour qu'elle fasse quelque chose que son utilisateur n'a jamais demandé, comme divulguer des informations privées ou saboter un document.

Qu'est-ce qu'une fausse chaîne de pensée, et devrait-ce préoccuper les gens ordinaires ?

Oui, modérément, et voici pourquoi. Une chaîne de pensée est le brouillon interne qu'une IA utilise pour résoudre un problème étape par étape. GPT-Red a trouvé un moyen de glisser une note contrefaite dans ce brouillon, convaincant l'IA cible qu'elle avait déjà vérifié quelque chose qu'elle n'avait jamais réellement vérifiée. Le chercheur Chris Choquette-Choo l'a comparé à être informé que 1+1=3 et que vous aviez déjà confirmé vous-même. Le modèle l'accepte simplement et continue.

Pour une personne ordinaire utilisant un assistant d'IA, ce type d'attaque ne viendrait pas de vous. Elle se cacherait dans un document ou un site Web que l'IA lit en votre nom. L'IA pourrait alors agir sur la base de fausses informations sans aucun avertissement.

GPT-Red a des limites réelles. Il a du mal avec les attaques qui nécessitent une conversation bidirectionnelle, et il n'est pas encore fiable pour utiliser des images pour transporter des instructions cachées. Les testeurs humains découvrent toujours des choses qu'il rate.

Jessica Ji, analyste principale de recherche au Center for Security and Emerging Technology de l'Université de Georgetown, a examiné les travaux et qualifié les résultats de prometteurs.

OpenAI ne publiera pas GPT-Red. Les chercheurs ont déclaré à MIT Technology Review que le projet a pris plus d'un an et d'énormes ressources informatiques à construire, rendant une imitation rapide peu probable.

À surveiller si vous utilisez des outils d'IA au travail : Soyez prudent lorsqu'un agent d'IA lit du contenu externe (e-mails, documents, pages Web) et agit ensuite en votre nom. Si le résultat vous semble incorrect ou inattendu, considérez-le comme un signe possible que l'IA a lu quelque chose en lequel elle n'aurait pas dû avoir confiance.