Les chercheurs transforment l'arme IA préférée des pirates en leur propre piège

Points clés

• Les chercheurs de Tracebit ont publié lundi des conclusions montrant que les injections de prompts peuvent être utilisées comme un piège défensif contre les agents de piratage alimentés par l'IA.
• La technique fonctionne en plaçant des instructions cachées à côté des mots de passe et des clés cryptographiques stockés sur Amazon Web Services (AWS), la plateforme informatique en nuage d'Amazon.
• Les instructions cachées trompent une IA attaquante en lui faisant tenter quelque chose que ses propres règles de sécurité lui interdisent, ce qui la force à s'arrêter.
• Aucun correctif ni mise à jour logicielle n'est nécessaire du côté de l'attaquant pour que cela fonctionne ; les barrières de sécurité intégrées de l'IA font le travail lourd.

Depuis des années, les attaquants utilisent un stratagème appelé injection de prompt pour détourner les assistants IA. Une injection de prompt est une instruction cachée enfouie dans du contenu ordinaire, comme un courriel ou une invitation à un calendrier, qui dit à une IA de faire quelque chose que son propriétaire n'a jamais eu l'intention. L'IA lit l'instruction, la traite comme légitime et la suit. Des données sensibles s'échappent. Des dégâts sont causés.

Maintenant, une firme de sécurité appelée Tracebit a retourné le stratagème.

Lundi, les chercheurs de Tracebit ont signalé, d'abord couverts par Ars Technica AI, qu'ils avaient trouvé un moyen d'utiliser les injections de prompts comme piège plutôt que comme arme. L'idée est simple. Vous placez une instruction cachée soigneusement formulée juste à côté des mots de passe, des clés cryptographiques (longues chaînes de caractères qui verrouillent et déverrouillent les données chiffrées) et autres secrets stockés sur AWS. Quand un agent de piratage alimenté par l'IA, un logiciel capable de mener des attaques multi-étapes de manière autonome, s'introduit et lit ces identifiants, il lit aussi votre instruction.

Cette instruction dit à l'IA attaquante de faire quelque chose que ses développeurs ont spécifiquement interdit.

Les entreprises d'IA construisent ce qu'on appelle des garde-fous dans leurs modèles. Pensez aux garde-fous comme une conscience intégrée : un ensemble de règles qui empêche l'IA de franchir certaines lignes, comme aider quelqu'un à causer du tort. Quand l'IA piégée essaie de suivre la commande injectée, elle franchit l'une de ces lignes. Elle s'arrête. L'attaque prend fin.

C'est un morceau élégant de judo en matière de sécurité. L'outil de l'attaquant devient la défense.

L'approche appartient à une catégorie plus large appelée honeytokens ou canary tokens, des identifiants de leurre laissés dans les endroits où les attaquants sont susceptibles de chercher. Si quelqu'un les touche, vous savez qu'une brèche est en cours. La version de Tracebit fait le même travail mais perturbe aussi activement l'attaquant au lieu de simplement donner l'alarme.

Cela signifie-t-il que le piratage par l'IA est résolu ?

Non. Cette technique fonctionne spécifiquement contre les agents IA qui s'appuient sur les grands modèles de langage, la technologie derrière des outils comme ChatGPT, car ces modèles ont des règles de sécurité intégrées qui peuvent être déclenchées. Un attaquant humain, ou une IA dépouillée sans garde-fous, ignorerait complètement l'instruction injectée. La découverte est prometteuse, mais c'est une couche de défense, pas une réponse complète.

Pour les organisations qui stockent des identifiants sensibles dans des environnements cloud, l'enjeu pratique mérite d'être noté : même vos données de leurre peuvent maintenant contre-attaquer.