Un tiers des commandes d'IA dangereuses échappent aux examinateurs humains, selon les données du jeu
Un jeu de navigateur simulant des requêtes réelles d'agents de codage IA a révélé que les joueurs approuvaient environ un tiers des commandes malveillantes, même après plus de 40 000 parties. Ces données pointent un problème qui dépasse largement le cadre du jeu.
Points clés
- Les joueurs ont approuvé environ une demande d'agent de codage IA malveillante sur trois au cours de plus de 40 000 parties et 409 000 commandes examinées au total.
- La commande dangereuse la plus souvent non détectée, « npm run analyze », a été approuvée près de 65 % du temps malgré un avertissement visible dans le journal historique du jeu.
- La télémétrie propre d'Anthropic montre que les vrais utilisateurs approuvent environ 93 % des invites de permission de Claude Code, son outil de codage IA.
- Le mode « auto » d'Anthropic pour Claude Code détecte environ 83 % des comportements excessifs ou dangereux avant leur exécution, mais environ 17 % passent malgré tout.
- Le développeur belge Alex Wauters a créé le jeu fin mai 2025 après avoir remarqué que la plupart des développeurs approuvent tout aveuglément ou ignorent entièrement les vérifications de permissions.
Voici quelque chose que vous ne vous attendiez probablement pas à lire aujourd'hui : le test de résistance le plus honnête en matière de sécurité de l'IA de codage est actuellement un jeu de navigateur que vous pouvez terminer en moins d'une minute.
Le jeu, créé par le développeur logiciel belge Alex Wauters, vous place dans le rôle d'un examinateur humain observant un agent de codage IA, un logiciel qui exécute des tâches de programmation complexes étape par étape en votre nom, demandant la permission d'exécuter des commandes. Vous avez 60 secondes. Approuvez les commandes sûres. Bloquez les dangereuses. Obtenez le meilleur score possible.
Au cours de plus de 40 000 parties, les joueurs ont approuvé environ une demande malveillante sur trois. Ce n'est pas un très bon chiffre.
Pourquoi les humains continuent-ils à approuver les commandes dangereuses ?
La fatigue est la réponse courte. Examiner chaque action qu'un agent IA entreprend est véritablement épuisant, et quand vous êtes submergé de messages, votre attention fléchit.
Wauters a créé le jeu après avoir remarqué un schéma chez les développeurs utilisant Claude Code, l'outil de codage IA d'Anthropic. Face à un flot de fenêtres de permission, nombreux sont ceux qui ont simplement activé un paramètre appelé « dangerously-skip-permissions », qui permet au modèle de s'exécuter sans demander l'approbation humaine. L'autre groupe cliquait sur approuver tout sans vraiment le lire.
Aucune des deux approches n'est sûre.
« Le grand nombre de notifications introduit la fatigue, et les développeurs n'ont pas toujours le contexte des modifications apportées pour déterminer rapidement le risque », a écrit Wauters dans un billet de blog publié parallèlement au lancement du jeu fin mai.
Les données du jeu, d'abord rapportées par The Register AI, le confirment dans des détails inconfortables. Les violations de portée, comme un agent lisant discrètement les fichiers de credentials AWS ou les données de configuration Kubernetes (fichiers stockant les clés de connexion et les paramètres du serveur, exactement ce qu'un attaquant aimerait voler), ont été manquées 35 % du temps. Les commandes évidemment catastrophiques, comme ordonner la suppression de tout un système de fichiers, ont été détectées le plus souvent. Les gens savent encore reconnaître une bombe quand ils la voient.
Les menaces plus subtiles ont glissé à travers. Les requêtes Curl vers des adresses web inconnues et les packages typosquattés (packages logiciels dont les noms sont volontairement orthographiés presque comme ceux de confiance, conçus pour tromper les gens en exécutant du code malveillant) ont été manqués presque aussi souvent que les vols de credentials.
| Type de commande | Taux d'omission approximatif |
|---|---|
| Violations de portée (ex : lecture de fichiers de credentials) | 35 % |
| Packages typosquattés | ~35 % |
| Requêtes Curl vers des API inconnues | ~35 % |
| Injections crontab / piratages de configuration git | Inférieur |
| Commandes évidemment destructrices (ex : supprimer root) | Le plus faible |
Le pire résultat : « npm run analyze », une commande qui semble routinière mais qui peut être configurée pour exécuter n'importe quel code caché dans un fichier de projet. Près de 65 % des joueurs l'ont approuvée. Le jeu affichait même un avertissement dans le journal historique directement au-dessus du bouton d'approbation. Les deux tiers ne l'ont pas lu.
Cela se produit-il réellement en dehors du jeu ?
Oui. Anthropic l'a confirmé avec ses propres données.
Dans un article de mai 2025 sur la façon dont Claude Code gère les permissions, Anthropic a déclaré que les utilisateurs approuvent environ 93 % de toutes les invites de permission que l'outil génère. « Plus un utilisateur voit d'approbations, moins il prête attention à chacune », a écrit l'entreprise.
La réponse d'Anthropic est le « mode auto », un système qui utilise un classificateur IA distinct, un modèle entraîné à juger si une commande semble risquée, pour filtrer les demandes dangereuses avant qu'elles ne parviennent à l'examinateur humain. Il détecte environ 83 % des actions problématiques. Les 17 % restants arrivent quand même sur le bureau d'un humain.
Anthropic est clair que le mode auto est « une couche de la défense en profondeur dans un sandbox, et non un substitut à celui-ci ».
Wauters est d'accord. Sa recommandation est d'exécuter les agents de codage dans des environnements virtuels isolés appelés sandboxes ou devcontainers (espaces de travail numériques étanches qui limitent ce que l'agent peut toucher sur votre véritable machine), d'utiliser des outils comme le mode auto, et d'écrire des hooks personnalisés (petits scripts qui interceptent les commandes avant leur exécution) pour signaler tout comportement suspect avant qu'il ne s'exécute automatiquement.
« Nous devons rendre l'outillage plus facile pour rendre ces systèmes plus sûrs que de se fier à l'examen humain comme solution valable », a-t-il déclaré à The Register AI.
Si vous confiez à un agent IA une tâche longue et que vous vous en allez, ce qui en revient peut ne pas être ce que vous attendiez. Vérifier en cours de route est important, et comprendre ce que vous vérifiez l'est encore plus.
