Cinq points essentiels que les dirigeants d'entreprise doivent connaître avant de déployer des agents IA
Intel a réalisé des milliers d'expériences sur les charges de travail d'IA agentive et constaté que la plupart des organisations mesurent les mauvaises métriques. Voici ce qui compte vraiment quand on va au-delà des chatbots.
Points clés
- Intel a réalisé des milliers d'expériences sur les charges de travail d'IA agentive pour mesurer la performance des agents IA sur des systèmes d'entreprise complets, et pas seulement les réponses du modèle IA.
- La plupart des outils d'évaluation existants mesurent uniquement la performance du modèle IA sous-jacent, en ignorant complètement le tableau système plus large.
- La bonne métrique de capacité est le nombre d'agents par processeur virtuel (vCPU), une unité informatique qui représente une partie du power de traitement d'un serveur, et non le nombre total d'agents.
- Le suivi de l'utilisation moyenne du processeur peut masquer des ralentissements graves ; la latence des tâches, c'est-à-dire le temps réel qu'une tâche met à se terminer, est un meilleur indicateur d'alerte.
- Répartir les charges de travail sur plusieurs serveurs, plutôt que de mettre à niveau une grande machine, est généralement l'approche la moins chère et la plus fiable pour exécuter des agents à grande échelle.
Les agents IA sont des logiciels capables de planifier et d'exécuter des tâches multiples autonomes, comme réserver des réunions, trier les tickets d'assistance, exécuter des tests de code, sans qu'un humain ne clique à chaque étape. Les entreprises misent beaucoup sur eux. Mais les nouvelles conclusions d'Intel suggèrent que la plupart des organisations abordent le problème de manière incorrecte.
Intel a étendu Terminal-Bench, un framework de test open-source utilisé pour évaluer le comportement des agents IA, en ajoutant des outils de profilage et de la télémétrie (données collectées sur le fonctionnement réel des logiciels). Les tâches variaient des requêtes de base de données au transcodage vidéo. Les conclusions ont été publiées sous forme de guide pratique pour les équipes technologiques des entreprises et ont d'abord été présentées par MIT Technology Review en tant que contenu sponsorisé par Intel.
C'est un schéma que notre article antérieur « Votre chatbot IA ne fonctionne pas mal. C'est votre pipeline de données qui ne fonctionne pas. » avait relevé en juillet : les équipes d'entreprise accusent constamment le modèle alors que le vrai problème se trouve ailleurs dans le système.
Où se trompent les entreprises ?
La plupart des équipes mesurent le modèle IA lui-même : la précision et la rapidité de réponse. Cela ignore la majorité de ce qui rend un agent lent ou peu fiable en pratique.
Un agent fait bien plus que interroger un modèle de langage. Il lit des données, appelle des outils, vérifie les résultats et recommence quand quelque chose casse. Chaque étape prend du temps et des ressources informatiques. Intel a constaté que la performance du modèle seule ne vous dit presque rien sur la capacité de votre parc d'agents à supporter la charge réelle du business.
Les six métriques recommandées par Intel sont : le taux de réussite des tâches, le coût par tâche, le temps par tâche, le débit des tâches (nombre de tâches que le système complète dans une période donnée), la densité d'agents (agents par vCPU) et la latence de bout en bout.
Comment les équipes doivent-elles planifier l'expansion ?
Dimensionnez votre système selon la densité d'agents, non selon le nombre total d'agents. Dix agents sur un serveur à 8 vCPU se comportent quasi identiquement à 20 agents sur un serveur à 16 vCPU, car la densité est la même. Cette seule analyse permet aux architectes de comparer équitablement différentes tailles de serveur.
Les cibles de densité dépendent aussi de ce que font les agents. Les agents destinés aux employés ont besoin de temps de réponse rapides, vous maintenez donc la densité basse. Les tâches batch d'arrière-plan, comme les workflows informatiques automatisés ou les exécutions de tests de code nocturnes, peuvent fonctionner à une densité plus élevée sans que quiconque ne remarque un léger délai.
| Type de charge de travail | Densité recommandée | Raison |
|---|---|---|
| Copilote interactif / assistant orienté utilisateur | Densité inférieure | Le temps de réponse est visible pour les utilisateurs |
| Workflows informatiques ou de test batch | Densité supérieure | Les légers délais sont acceptables |
| Tâches de calcul parallèle intensif | Augmenter la puissance (serveur unique plus puissant) | Nécessite une puissance de traitement concentrée |
| La plupart des autres charges de travail d'entreprise | Augmenter le nombre de serveurs (scale-out) | Moins cher, plus résilient, plus facile à développer |
Ajouter plus de serveurs (scale-out) surpasse la mise à niveau d'une seule machine (scale-up) pour presque toutes les charges de travail agentive standard. Les agents sont largement indépendants les uns des autres, donc les répartir sur plusieurs machines améliore la disponibilité et réduit les coûts à mesure que le parc grandit.
Qu'est-ce que cela signifie pour les personnes qui exploitent ces systèmes ?
Surveillez la latence des tâches P95, le temps en dessous duquel 95 % des tâches sont terminées, plutôt que l'utilisation moyenne du processeur. L'utilisation moyenne a l'air correcte jusqu'au moment où les files d'attente s'accumulent et où les utilisateurs commencent à attendre. La latence P95 détecte ce problème plus tôt.
Les organisations qui voient des résultats concrets ne réalisent pas d'expériences. Elles encapsulent les agents autour de workflows qui ont déjà des règles claires : revue de code, tests de régression (vérifications automatisées pour s'assurer que les nouveaux logiciels n'ont pas cassé les anciennes fonctionnalités), triage des tickets et audits de sécurité. Ce sont les domaines où les agents produisent des gains de productivité mesurables sans exiger que l'organisation repense tout d'un coup.
À dire vrai sur ce rapport : les conclusions d'Intel sont directionnellement judicieuses et le framework Terminal-Bench est open-source, donc les équipes peuvent vérifier sa structure elles-mêmes. Mais les chiffres spécifiques n'ont pas été répliqués de manière indépendante, et les entreprises devraient les traiter comme un framework de démarrage plutôt que comme des benchmarks établis.
Questions fréquemment posées
Ai-je besoin de matériel spécial pour exécuter des agents IA ?
Pas nécessairement. Les conclusions d'Intel suggèrent que l'ajout de serveurs standard supplémentaires fonctionne mieux que l'achat d'une seule machine puissante pour la plupart des charges de travail agentive. Le matériel spécialisé vaut la peine d'être envisagé uniquement lorsque les agents ont besoin de calcul parallèle intensif ou partagent un état d'une façon qui rend impratique de les répartir sur plusieurs serveurs.
En quoi un agent IA diffère-t-il d'un chatbot ?
Un chatbot répond aux questions. Un agent planifie une séquence d'étapes, utilise des outils comme des bases de données ou des compilateurs de code, vérifie si chaque étape a fonctionné et recommence si ce n'est pas le cas. Cette complexité supplémentaire explique pourquoi bien exécuter les agents nécessite de réfléchir au système complet, pas seulement au modèle IA au centre de celui-ci.
Ces conclusions sont-elles des recherches évaluées par les pairs ?
Non. Ce travail provient des propres expériences internes d'Intel et a été publié en tant que contenu sponsorisé par un fournisseur. Le framework Terminal-Bench sous-jacent est open-source et disponible pour un examen indépendant, mais les conclusions spécifiques n'ont pas été répliquées indépendamment ni publiées dans un journal évalué par les pairs.
