120 géants de la technologie veulent partager les incidents de cybersécurité en IA avant la prochaine attaque
Un nouveau cadre appelé SAFE permettrait aux entreprises de signaler discrètement les défaillances de sécurité en IA et de mutualiser les enseignements tirés, plutôt que de souffrir seules en silence.
Points clés
- Plus de 120 organisations de l'Open Secure AI Alliance ont proposé le cadre SAFE le 6 août 2025, le premier jour de la conférence de sécurité Black Hat à Las Vegas.
- SAFE signifie Shared AI Findings Exchange, un ensemble de lignes directrices pour collecter et partager les incidents de sécurité en IA dans l'industrie.
- NVIDIA, Cisco, CrowdStrike, Amazon et Visa figurent parmi les membres qui contribuent des outils et rejoignent l'alliance.
- La Linux Foundation coordonne une période de consultation publique pour permettre aux organisations de façonner les lignes directrices avant leur finalisation.
- Les entreprises participantes publient également des dizaines d'outils de sécurité gratuits et open-source conçus spécifiquement pour les agents IA.
Une coalition de plus de 120 sociétés de technologie propose un moyen de traiter la sécurité de l'IA comme un problème partagé plutôt que comme une gêne privée.
Le groupe, appelé Open Secure AI Alliance, a publié une demande de commentaires publics sur le cadre SAFE mercredi. SAFE signifie Shared AI Findings Exchange. En termes simples, il s'agit d'un ensemble de règles pour signaler confidentiellement les incidents de sécurité impliquant des agents IA (logiciels qui peuvent effectuer des tâches multi-étapes de manière autonome, comme réserver des réunions, écrire du code ou scanner un réseau), analyser ce qui s'est mal passé, et publier les enseignements pour que chaque organisation en bénéficie.
L'annonce a été faite le premier jour de Black Hat, la conférence annuelle de cybersécurité où les chercheurs révèlent de nouvelles méthodes d'attaque et de défense.
Pourquoi cela importe-t-il pour les gens ordinaires ?
Les agents IA s'introduisent rapidement dans les lieux de travail. Les banques, les hôpitaux, les assureurs et les détaillants les déploient déjà. Lorsqu'un agent échoue ou se fait duper, les dégâts peuvent se propager rapidement.
À l'heure actuelle, la plupart des organisations qui subissent un échec de sécurité en IA gardent le silence à ce sujet. Ce silence signifie que l'entreprise suivante commet la même erreur. SAFE changerait cela en créant un canal de confiance pour partager ce qui s'est passé, sans nommer les responsables, afin que les défenseurs partout apprennent plus vite.
Le cadre propose quatre choses concrètes : collecter et analyser confidentiellement les incidents en IA et les incidents évités de justesse, notifier les personnes touchées, identifier les modèles d'échec des contrôles et publier des recommandations fondées sur des données probantes pour réduire les risques systémiques.
Quels outils sont déjà partagés ?
Au-delà de la proposition SAFE, les membres de l'alliance publient dès maintenant des outils gratuits.
NVIDIA, dont les contributions ont été mises en avant dans sa propre annonce, a publié plusieurs éléments. Garak est un scanner de vulnérabilités gratuit, un outil qui vérifie les modèles IA pour détecter les faiblesses comme les fuites de données, l'injection d'invite (un type d'attaque qui trompe une IA en glissant des instructions cachées dans son entrée) et les contournements de sécurité (tentatives de faire ignorer ses règles de sécurité à un modèle) avant que le modèle ne soit mis en ligne. NeMo Guardrails applique les politiques de sécurité au moment de l'exécution. L'exécution NVIDIA OpenShell restreint ce qu'un agent peut réellement atteindre ou modifier dans un système.
| Contributeur | Outil | Ce qu'il fait |
|---|---|---|
| NVIDIA | Garak | Scanne les modèles IA pour détecter les vulnérabilités avant le déploiement |
| Microsoft | PyRIT | Automatise les tests d'équipe rouge des systèmes IA |
| Amazon | Cedar | Établit des limites vérifiables et auditables sur ce que les agents peuvent faire |
| Capital One | VulnHunter | Détecte les défauts de sécurité dans le code généré par l'IA |
| Visa | Vulnerability Agentic Harness | Aide les équipes à trouver et corriger les problèmes de sécurité des agents |
| Cisco | Antares SLMs | Petits modèles de langage entraînés à identifier les vulnérabilités dans les bases de code |
Amazon a rejoint l'alliance le jour même de l'annonce et a contribué deux outils : Strands Agents, une boîte à outils open-source pour construire des agents IA, et Cedar, un langage open-source pour établir des règles strictes et auditables sur ce qu'un agent est et n'est pas autorisé à faire.
Visa a également adhéré, en contribuant un harnais de test de vulnérabilité conçu spécifiquement pour les systèmes d'agents.
Qu'en est-il ensuite ?
Le cadre SAFE est encore une proposition. La Linux Foundation recueille les commentaires avant la publication de toute version définitive.
Pour les entreprises qui utilisent déjà des agents IA, le résultat pratique est que des outils de sécurité gratuits et vérifiés sont disponibles dès aujourd'hui. Les équipes de sécurité n'ont pas besoin d'attendre que les lignes directrices soient finalisées avant d'utiliser Garak, PyRIT ou Cedar pour renforcer ce qu'elles ont déjà déployé.
Questions courantes
Ce cadre est-il obligatoire ?
Non. SAFE est un ensemble volontaire de lignes directrices. Toute organisation peut choisir de l'adopter, de l'ignorer ou de soumettre des commentaires pour le façonner pendant la période de consultation publique.
Le partage des données d'incidents signifie-t-il exposer les informations privées de l'entreprise ?
La proposition appelle spécifiquement à une collecte et une analyse confidentielles, ce qui signifie que l'intention est de partager les modèles et les enseignements plutôt que d'identifier quelle entreprise a été touchée ou à quoi ressemblent ses systèmes internes.
Ces outils coûtent-ils de l'argent ?
Tous les outils mentionnés dans l'annonce sont open-source, ce qui signifie qu'ils sont gratuits à télécharger et à utiliser. Ils sont publiés sur des plateformes comme GitHub pour que toute équipe de sécurité puisse les inspecter et les déployer.
