Les garde-fous de l'IA conçus pour arrêter les pirates informatiques bloquent désormais ceux qui tentent d'arrêter les pirates informatiques

Points clés

• Les modèles d'IA Mythos et Fable d'Anthropic ont été soumis à des contrôles d'exportation du gouvernement américain en juin, limitant l'accès pour ceux à l'extérieur du pays.
• Anthropic et OpenAI gèrent tous deux des programmes contrôlés qui donnent aux chercheurs en cybersécurité agréés un accès légèrement moins restrictif à leurs outils d'IA.
• Plusieurs chercheurs en sécurité offensive déclarent que les filtres bloquent toujours les travaux essentiels et produisent des résultats imprévisibles même au sein de ces programmes.
• Certains chercheurs affirment que les restrictions les poussent vers des modèles d'IA open-source chinois, tels que GLM, qui ne disposent d'aucun filtre ni contrôle.
• Un chercheur d'un fabricant de composants pour téléphones mobiles a déclaré que les outils d'IA de son équipe étaient devenues pratiquement inutiles pour les travaux de sécurité parce que personne n'avait demandé l'accès au programme contrôlé.

La cybersécurité a toujours été un jeu à deux volets. Les mêmes connaissances qui permettent à un défenseur de corriger une faille permettent à un attaquant de s'y faufiler. À présent, les outils d'IA se sont retrouvés au cœur de cette tension, et les filtres de sécurité intégrés à ces outils commencent à frustrer les personnes qu'ils étaient censés protéger.

Qu'est-ce qui se passe réellement?

Les entreprises d'IA mettent en place des garde-fous, c'est-à-dire des règles automatiques qui empêchent le logiciel de répondre aux questions considérées comme dangereuses, sur leurs modèles pour éviter que les criminels les utilisent pour créer des logiciels malveillants ou planifier des attaques. Le problème est que ces mêmes règles bloquent les chercheurs en sécurité légitime dans l'accomplissement de leurs tâches.

Chris Anley, directeur scientifique au cabinet de conseil en sécurité NCC Group, a donné un exemple clair. Lorsqu'il demande à un modèle d'IA d'essayer d'exploiter un bogue logiciel, il teste si le bogue est réel et suffisamment dangereux pour être corrigé. Un garde-fou qui refuse cette demande ne protège personne. Il laisse simplement la faille non confirmée et potentiellement accessible à un véritable attaquant.

« Corriger ce code est à la fois un mécanisme essentiel de défense mais aussi une feuille de route pour trouver des vulnérabilités critiques », a déclaré Anley. « Le même outil est à la fois un outil offensif et un outil défensif, et les deux ne peuvent vraiment pas être séparés. »

Son analogie : c'est comme un marteau. On ne peut pas construire une maison sans un, mais il peut aussi briser une vitre.

Quelle est l'ampleur de l'incohérence?

C'est assez fragmentaire pour gaspiller du temps précieux. Chris Thompson, directeur général du cabinet de cybersécurité RemoteThreat et fondateur de Offensive AI Con, une conférence axée sur la sécurité et l'IA, a déclaré à TechCrunch que même au sein des programmes de chercheurs agréés d'Anthropic et OpenAI, les garde-fous s'activent différemment d'un jour à l'autre.

« Vous passez beaucoup de temps à négocier avec le modèle au lieu de travailler sur le programme de sécurité essentiel », a déclaré Thompson. « Au lieu d'analyser une vulnérabilité, vous essayez de comprendre pourquoi les modèles sur-censurent la sortie. »

Un chercheur anonyme travaillant pour un fabricant de composants pour téléphones mobiles l'a mis simplement : « S'il se rend compte que nous faisons quelque chose lié à la sécurité, il s'arrête simplement et devient inutilisable. »

Vers qui cela pousse les gens?

Des modèles open-source sans aucun filtre, dont beaucoup ont été développés en Chine. Thompson a déclaré que les chercheurs responsables sont écartés des systèmes soumis à la surveillance américaine et dirigés vers des outils construits par des entreprises étrangères qui n'ont aucune responsabilité.

« Vous avez ces chercheurs responsables qui sont poussés loin des systèmes réglementés par les États-Unis vers des systèmes appartenant à des entités étrangères », a-t-il déclaré. « Je pense que c'est plus nuisible que bénéfique d'avoir ces garde-fous en place. »

Tous les chercheurs ne se sentent pas bloqués. Giuseppe Cali, qui découvre et développe des vulnérabilités de jour zéro (des défauts logiciels précédemment inconnus pour lesquels aucun correctif n'existe encore), a déclaré qu'il tient l'IA éloignée de la recherche réelle de vulnérabilités parce qu'il veut que cette découverte reste la sienne. Pour les tâches de soutien comme la compréhension de code peu familier, il trouve les outils assez utiles.

« Je suis jaloux de mes bugs », a déclaré Cali, « et j'aime ce jeu trop pour laisser les modèles jouer pour moi. »

La solution de Thompson n'est pas de démonter entièrement les garde-fous. Il veut que les labos d'IA élargissent l'accès pour les chercheurs agréés, appliquent des règles cohérentes et tiennent les mauvais acteurs responsables quand les abus se produisent. Sans cet équilibre, il affirme que les défenseurs prendront du retard sur les attaquants qui ne sont soumis à aucune restriction.

Questions courantes

Ces restrictions affectent-elles les utilisateurs ordinaires d'ordinateurs?

Pas directement. La friction décrite ici touche les chercheurs en sécurité professionnels, pas les gens ordinaires qui utilisent l'IA pour écrire ou pour le travail. Les garde-fous généraux restent en place pour tout le monde.

Pourquoi les entreprises d'IA restreignent-elles les questions de cybersécurité?

Elles craignent que des conseils d'attaque détaillés étape par étape n'aident les criminels à créer des logiciels malveillants ou à franchir les systèmes. La difficulté est que les mêmes conseils sont exactement ce dont les défenseurs légitimes ont besoin pour tester et renforcer ces systèmes d'abord.

Qu'est-ce qu'un modèle d'IA open-source et pourquoi n'a-t-il pas de garde-fous?

Un modèle d'IA open-source est un modèle dont le code source est publié librement pour que chacun puisse le télécharger et l'exécuter sur son propre ordinateur. Parce qu'il s'exécute localement, aucune entreprise n'est présente pour appliquer les règles, c'est pourquoi les chercheurs l'utilisent pour les travaux sensibles mais aussi pourquoi ils comportent leurs propres risques.