Des chercheurs ont trouvé comment lire les « pensées cachées » de l'IA, et cela soulève de véritables questions de sécurité

Points clés

• Des chercheurs de l'université de Tübingen et leurs collaborateurs ont découvert une méthode pour extraire les étapes de raisonnement cachées de grands modèles d'IA, y compris ceux créés par OpenAI, Anthropic et Google.
• La même technique a exposé des données privées, telles que les mots de passe et les clés API, stockées dans le processus de raisonnement d'un modèle, bien que les trois entreprises aient depuis corrigé ce défaut spécifique.
• Un modèle chinois appelé Kimi K3, créé par Moonshot AI, a produit des motifs de raisonnement remarquablement similaires aux résultats cachés de Claude Opus 4.8 et GPT 5.6 Sol, soulevant des questions sur son apprentissage par copie de ces modèles.
• Les chercheurs avertissent que la similarité est suggestive, non une preuve concluante de copie.
• Résoudre entièrement le problème plus profond exigerait des changements majeurs dans le fonctionnement des interfaces de programmation de ces entreprises.

Chaque modèle d'IA avancé possède une sorte de monologue interne. Avant de vous donner une réponse, il travaille sur le problème étape par étape dans ce que les chercheurs appellent une « chaîne de pensée », un processus de raisonnement écrit que le modèle utilise pour résoudre des problèmes complexes. Les entreprises gardent ce raisonnement secret. C'est commercialement sensible, et le partager ouvertement rendrait facile pour les rivaux de copier.

Une équipe d'informaticiens a maintenant trouvé un moyen de lire ces pensées cachées.

La technique, rapportée par Wired AI, provient de chercheurs de l'université de Tübingen, de l'Institut Max Planck, de l'institut de sécurité de l'IA MATS Research et de la société de sécurité Snyk. Leur idée clé est presque élégante dans sa simplicité.

Comment fonctionne réellement l'attaque ?

Les entreprises d'IA proposent généralement leurs modèles en plusieurs tailles. Un grand modèle est puissant mais coûteux à utiliser ; une version plus petite du même modèle coûte moins cher. Les deux versions partagent la même structure sous-jacente, ce qui signifie qu'elles partagent la même capacité à décoder les données chiffrées transmises entre elles.

Lorsque vous utilisez un grand modèle d'IA via une API (interface de programmation d'application, la connexion numérique qui permet aux logiciels de communiquer entre eux), le modèle envoie une copie chiffrée de son raisonnement à votre ordinateur pour partager une partie du travail de traitement. Les chercheurs ont découvert que l'alimentation de ce raisonnement chiffré à un modèle frère plus petit et moins coûteux peut le déverrouiller.

Pourquoi le modèle plus petit coopère-t-il alors que le plus grand refuserait ? Les modèles plus petits reçoivent moins « d'entraînement à l'alignement », le processus qui enseigne à l'IA à suivre les règles et à refuser les demandes délicates. Supprimez cette barrière de sécurité et le modèle est bien plus disposé à montrer son travail.

« L'idée d'échanger des messages avec une variante de modèle plus faible qui possède la même clé de déchiffrement mais un alignement plus faible est très intéressante », a déclaré Florian Tramer, spécialiste en sécurité informatique à l'ETH Zurich.

Qu'ont-ils trouvé à l'intérieur ?

Deux choses, et elles sont très différentes en termes de gravité.

Premièrement : les mots de passe et les clés API. Si vous aviez jamais collé des identifiants sensibles dans une invite lors de l'utilisation de l'un de ces services d'IA, cette information aurait pu se retrouver dans la trace de raisonnement du modèle. Les chercheurs l'ont extraite. OpenAI, Anthropic et Google ont tous été alertés le mois dernier, et chacun a mis à jour ses systèmes pour bloquer cette fuite spécifique. Si vous avez utilisé l'un de ces services avant le correctif, il est judicieux de renouveler toutes les clés API ou tous les mots de passe que vous auriez pu inclure dans les invites.

Deuxièmement : la question de la copie. Les chercheurs ont soumis 90 questions à plusieurs modèles d'IA, puis ont donné à certains modèles open-weight (modèles d'IA téléchargeables librement que n'importe qui peut utiliser) les premiers mots des traces de raisonnement capturées à partir des grands modèles propriétaires. Kimi K3, un modèle de l'entreprise chinoise Moonshot AI, a généré un raisonnement remarquablement similaire à la sortie cachée de Claude Opus 4.8 et GPT 5.6 Sol. Deux autres modèles testés, dont DeepSeek de Chine et Inkling fabriqué aux États-Unis, n'ont pas montré le même motif.

Les chercheurs sont prudents quant à la signification de cela. Leur article affirme que les conclusions « ne peuvent pas établir causalement la distillation », ce qui signifie qu'ils n'ont pas prouvé que la copie s'est produite. La distillation est une technique largement utilisée en développement d'IA où un nouveau modèle plus petit apprend en étudiant les résultats d'un modèle plus grand. C'est une pratique normale. La controverse porte sur le fait de savoir si les entreprises chinoises l'ont utilisée pour copier les modèles américains sans permission.

Les utilisateurs ordinaires doivent-ils s'inquiéter pour l'instant ?

Le défaut de fuite de mot de passe est corrigé. C'est la préoccupation pratique la plus urgente, et elle est réglée.

Le problème plus large, c'est que le raisonnement caché peut toujours être partiellement extrait même après le correctif. Corriger cela entièrement exigerait que ces entreprises repensent complètement le fonctionnement de leurs API. Alexander Panfilov, le chercheur de l'université de Tübingen qui a dirigé ce travail, affirme que la vulnérabilité plus profonde persiste.

Pour l'instant, une règle simple s'applique : ne collez pas de mots de passe, de détails personnels ou d'informations commerciales sensibles dans un chatbot ou un outil d'IA. Ce conseil a toujours été judicieux. Cette recherche le rend un peu plus urgent.

Questions courantes

Mes données risquent-elles si j'utilise ChatGPT, Claude ou Gemini ?

Le défaut spécifique qui pouvait exposer les mots de passe et les clés API a été corrigé par les trois entreprises. À l'avenir, évitez d'inclure des informations sensibles dans les invites d'IA par habitude générale, puisque les services d'IA traitent vos entrées sur des serveurs externes.

Qu'est-ce que la distillation, et est-ce illégal ?

La distillation est une technique où un nouveau modèle d'IA apprend en étudiant les résultats d'un modèle existant, utilisant essentiellement un modèle plus intelligent comme professeur. Elle est largement utilisée et légale dans la plupart des contextes, bien que son utilisation pour copier le modèle propriétaire d'un concurrent sans permission pourrait enfreindre les conditions d'utilisation ou soulever des questions de propriété intellectuelle.