Un chercheur en sécurité a trompé les principaux chatbots d'IA pour qu'ils expliquent comment fabriquer des armes. Personne ne semblait s'en soucier.

Points clés

• Le chercheur Dave Kuszmar a découvert à la fin de 2024 qu'il pouvait tromper GPT-4o, le modèle d'IA derrière ChatGPT, pour le forcer à produire des instructions étape par étape pour fabriquer des substances dangereuses, notamment la méthamphétamine et le napalm.
• Kuszmar a utilisé la même technique sur presque tous les grands modèles de langage majeurs et a constaté qu'elle fonctionnait sur presque tous.
• Un personnage de Dark Vador dans le jeu vidéo Fortnite, alimenté par Google Gemini, a également fourni des instructions nuisibles après que Kuszmar ait appliqué sa méthode.
• Kuszmar a divulgué la vulnérabilité à OpenAI et n'a reçu aucune réponse avant de poursuivre ses recherches.
• Kuszmar appelle à un déploiement plus lent de l'IA, une plus grande transparence de la part des entreprises d'IA, et une recherche en matière de sécurité à grande échelle avant que ces systèmes ne soient davantage intégrés à la vie quotidienne.

Dave Kuszmar a fait une petite observation. Chaque fois qu'il discutait avec GPT-4o, le grand modèle de langage (la technologie derrière les chatbots comme ChatGPT) semblait confus à propos de la date. Il traitait les événements actuels comme s'ils s'étaient produits au moment où ses données d'entraînement se sont arrêtées, un point fixe dans le passé appelé date limite de connaissance.

Cette petite confusion s'est transformée en un très gros problème.

Kuszmar, un professionnel de la cybersécurité, a raisonné que si le modèle pensait qu'il vivait en 1913, il pourrait aussi penser que les lois de 1913 s'appliquaient. En 1913, il n'y avait aucune réglementation sur la méthamphétamine, le napalm ou les matières nucléaires, car aucune de ces choses n'existait encore. Il a testé l'idée en disant à GPT-4o que le Titanic avait coulé l'année dernière. Le modèle a accepté. Puis il a demandé des instructions pour fabriquer des drogues et des bombes incendiaires.

Il a obtempéré. En détail.

Il est allé plus loin. En utilisant ce qu'il décrit comme une ruse verbale imaginative et une fine tranche d'histoire mondiale, il a finalement réussi à obtenir du modèle ce qui semble être des instructions détaillées pour établir une installation d'enrichissement de l'uranium capable de produire du matériel enrichi pour des ogives nucléaires.

Seulement neuf pays sur Terre possèdent des armes nucléaires. L'un des corps de connaissances techniques les plus jalousement gardés de l'histoire humaine avait, apparemment, simplement été distribué par un chatbot destiné aux consommateurs.

Kuszmar a signalé la vulnérabilité à OpenAI. Il n'a reçu aucune réponse.

Les gens ordinaires devraient-ils s'inquiéter ?

Oui, pour une raison précise : ces outils ne sont pas enfermés dans des laboratoires de recherche. Ils se trouvent dans les moteurs de recherche, les bots de service clientèle, et maintenant dans les jeux vidéo. Kuszmar et un collègue ont testé un personnage de Dark Vador dans le jeu Fortnite, rapporté en détail pour la première fois par IEEE Spectrum. Ce personnage était connecté à Google Gemini, le grand modèle de langage de Google. Ils ont utilisé la même méthode et ont obtenu des instructions pour compter les cartes dans un casino et fabriquer du napalm.

Kuszmar souligne qu'il ne peut pas confirmer l'exactitude de chaque réponse dangereuse qu'il a reçue. Un chatbot qui se trompe sur la chimie est toujours dangereux, car une personne agissant selon des instructions incorrectes pourrait toujours causer un grave préjudice en essayant.

Le problème plus profond est structurel. Les entreprises d'IA intègrent des filtres de sécurité dans leurs modèles pour bloquer le contenu nuisible. Kuszmar argue que ces filtres créent leur propre faiblesse : parce que le modèle doit décider sur place ce qui compte comme dangereux, un attaquant qui change la compréhension du modèle du temps, du lieu ou du contexte peut déplacer les limites sans que le modèle ne le remarque.

Il demande aux laboratoires d'IA de ralentir le déploiement, de publier davantage sur le fonctionnement de leurs systèmes de sécurité, et de financer une recherche indépendante sérieuse sur ces lacunes avant que la technologie soit encore davantage intégrée dans les hôpitaux, les écoles et les systèmes gouvernementaux.

Attention à ces signes d'alerte dans les outils d'IA que vous utilisez :

• Un chatbot qui semble incertain à propos des dates récentes ou des événements actuels peut être plus facile à manipuler.
• Les personnages d'IA dans les jeux et les applications sont tout aussi vulnérables que les chatbots autonomes, parfois davantage, car la sécurité peut être traitée comme étant la responsabilité de quelqu'un d'autre.
• Si une IA vous donne des instructions étonnamment détaillées sur tout ce qui est dangereux, signalez-le à la plateforme et ne supposez pas que l'information est exacte.