Avant que votre assistant IA n'effectue ce virement, sait-il à quel point il est confiant ?

Points clés

• Apple ML Research a publié une étude sur la quantification de l'incertitude (UQ) pour l'appel de fonctions IA, avertissant que les agents IA trop confiants peuvent causer des dommages irréversibles.
• Les grands modèles de langage sont de plus en plus utilisés pour effectuer des tâches concrètes comme transférer de l'argent, réserver des vols ou supprimer des fichiers au nom de l'utilisateur.
• La recherche soutient que mesurer la propre confiance d'un modèle IA avant qu'il n'agisse pourrait prévenir les erreurs coûteuses et difficiles à corriger.
• Les systèmes actuels d'appel de fonctions exécutent souvent des actions sans vérifier si l'IA est vraiment sûre de faire la bonne chose.

Imaginez demander à un assistant vocal de payer votre facture d'électricité. Il entend votre instruction, décide quel compte bancaire utiliser, choisit un montant et envoie le paiement. Terminé. Sauf : et si on avait mal compris votre instruction ? Et s'il avait envoyé dix fois le montant ? L'argent est parti.

C'est le problème que les chercheurs d'Apple ML Research ont entrepris de résoudre. Leurs travaux portent sur ce qui se passe quand un grand modèle de langage, la technologie derrière les chatbots comme ChatGPT et Claude, est capable d'appeler des fonctions, c'est-à-dire d'interagir réellement et d'accomplir des actions dans le monde réel plutôt que de simplement répondre à des questions dans une fenêtre de chat.

L'appel de fonctions est déjà partout. Quand une IA réserve un restaurant, interroge une base de données ou envoie un email en votre nom, elle utilise cette capacité. La commodité est réelle. Le risque aussi.

Les chercheurs pointent une lacune que la plupart des utilisateurs ne penseraient jamais à se poser : l'IA sait-elle à quel point elle est confiante avant d'agir ? Actuellement, la plupart des systèmes ne vérifient pas. Le modèle prend une décision et l'action s'exécute, peu importe que l'IA soit certaine à 95 % ou qu'elle fasse simplement une supposition.

La quantification de l'incertitude, ou UQ, est le terme technique pour mesurer ce niveau de confiance. Pensez-y comme une liste de contrôle de chirurgien : avant de faire une incision, vous confirmez que c'est le bon patient, la bonne intervention, le bon site. L'idée ici est de donner aux agents IA une pause similaire, un moment intégré où le système se demande s'il est vraiment assez sûr pour continuer.

C'est particulièrement important pour les actions irréversibles. Supprimer un fichier, envoyer un paiement, annuler un abonnement : ce sont les mouvements où une mauvaise décision est coûteuse ou impossible à annuler. Un agent IA confiant mais erroné est un problème bien plus grave qu'un agent hésitant qui demande une confirmation.

Apple ML Research soutient que les méthodes UQ devraient être intégrées dans le pipeline d'appel de fonctions lui-même, et non ajoutées après coup.

Les utilisateurs ordinaires devraient-ils s'inquiéter dès maintenant ?

Pas immédiatement, mais vous devriez faire attention aux tâches que vous confiez aux agents IA. Le risque augmente à mesure que les outils IA gagnent plus d'accès à vos comptes, fichiers et services. Quelques choses pratiques à surveiller :

• Si une application propose une automatisation IA pour des actions financières, vérifiez qu'elle vous demande une confirmation avant de finaliser une transaction.
• Soyez prudent quand vous accordez des autorisations larges aux outils IA. Un accès étroit, limité à la tâche unique dont vous avez besoin, réduit l'impact potentiel de toute erreur.
• Si un assistant IA agit d'une manière qui vous surprend, signalez-le via le canal de retours de l'application. Ces signalements aident vraiment les chercheurs à trouver des cas d'échec.

Les chercheurs ne disent pas que les agents IA sont trop dangereux à utiliser. Ils disent que les outils ont besoin d'une vérification de confiance avant d'agir. C'est une chose raisonnable à exiger.