Texte invisible sur les écrans Android : une nouvelle menace pour les assistants IA
Des chercheurs découvrent des vulnérabilités dans les agents IA contrôlant les téléphones Android, avec des risques s'étendant aux PC.

Points clés
- Des chercheurs ont démontré 7 attaques sur 5 frameworks Android AI2Day open-source en octobre 2023.
- Une application Android peut masquer du texte sur les écrans que les agents IA lisent et suivent.
- Une attaque peut se propager d'un téléphone à un PC, exécutant des commandes à distance.
Une nouvelle étude de recherche a mis au jour des vulnérabilités graves dans les agents IA, qui sont des logiciels capables de lire votre écran et d'interagir avec celui-ci comme un humain le ferait, sur les téléphones Android. Cette étude, d'abord rapportée par ThreatVectr, révèle comment de tels agents, utilisés dans cinq frameworks open-source comme AppAgent et AppAgentX, peuvent être détournés par du texte invisible planté par des applications malveillantes.
Qu'ont découvert les chercheurs ?
Les chercheurs ont démontré qu'en exploitant les permissions Android courantes, une application malveillante peut afficher du texte invisible pour les humains mais visible pour les agents IA. L'IA, incapable de distinguer entre les véritables commandes utilisateur et ces instructions cachées, peut être trompée pour effectuer des tâches qu'elle ne devrait pas faire, comme prendre des captures d'écran ou envoyer des données vers un PC contrôlant. L'échec réside dans l'incapacité de l'IA à différencier les entrées de texte réelles des entrées malveillantes.
Les utilisateurs doivent-ils s'inquiéter ?
Pour l'instant, il n'y a pas de menace immédiate pour les utilisateurs typiques. Les frameworks testés sont des projets de recherche, pas des applications grand public que vous pourriez télécharger depuis le Google Play Store. Cependant, à mesure que les assistants IA capables de voir et d'agir pour vous sont développés par de grandes entreprises technologiques comme Google et Apple, ces vulnérabilités pourraient devenir plus pertinentes. Les agents IA dans les produits commerciaux pourraient hériter de faiblesses similaires puisqu'ils fonctionnent en lisant les pixels de l'écran.
Comment fonctionne l'attaque ?
L'attaque commence par une application demandant deux permissions Android courantes : l'une pour dessiner par-dessus d'autres applications (pensez aux bulles de chat) et l'autre pour écrire des fichiers dans le stockage partagé. Ce sont des demandes standard, souvent vues dans les applications légitimes. L'application malveillante écrit ensuite du texte invisible sur l'écran, que l'agent IA lit et sur lequel il agit. Dans l'attaque la plus grave, l'IA peut être amenée à exécuter des commandes sur un PC connecté, créant une brèche de sécurité importante.
| Étapes de l'attaque | Description |
|---|---|
| Étape 1 | L'application demande les permissions de dessin et d'écriture. |
| Étape 2 | Du texte invisible est placé sur l'écran. |
| Étape 3 | L'agent IA lit et exécute les commandes cachées. |
| Étape 4 | Les commandes peuvent être relayées vers un PC contrôlant. |
Que peuvent faire les utilisateurs ?
Pendant que la technologie progresse, les utilisateurs doivent examiner attentivement les applications qui demandent la permission de dessiner par-dessus d'autres applications ou d'accéder au stockage partagé. Les utilitaires gratuits, les fonds d'écran et les claviers demandant ces permissions doivent être traités avec prudence. Tant que les agents IA capables de lire l'écran ne peuvent pas gérer de manière sécurisée les entrées non fiables, être sélectif avec les permissions d'application est votre meilleure défense.
Questions fréquemment posées
Mon téléphone peut-il être piraté par du texte invisible aujourd'hui ?
Actuellement, le risque est faible puisque les frameworks vulnérables ne sont pas accessibles au public. Cependant, rester vigilant quant aux permissions d'application est judicieux.
Dois-je éviter toutes les applications demandant des permissions de dessin ?
Pas nécessairement, mais accordez ces permissions uniquement aux applications de développeurs réputés et lorsque la fonction est essentielle au fonctionnement de l'application.



