L'acheminement IA semblait promettre des économies faciles. La réalité a coûté deux fois plus cher.

Points clés

• Sur 417 tâches, Claude Sonnet 4.5 a coûté 79 $ au total (0,19 $ par tâche) tandis que GPT-4.1 a coûté 155 $ (0,37 $ par tâche), malgré les tarifs publiés plus bas de GPT-4.1.
• L'écart provenait de la mise en cache : Sonnet réutilisait le contexte stocké à moindre coût, éliminant l'avantage tarifaire affiché de GPT-4.1.
• L'acheminement des requêtes IA, la pratique consistant à diriger automatiquement les tâches vers le modèle IA le plus approprié, est un problème système, non un simple problème de tri.
• Un routeur léger basé sur l'optimisation a atteint 84 % de précision à 93 $ par exécution, réduisant les coûts de 21 % et la latence de 9 % par rapport à l'utilisation seule d'un modèle haut de gamme.

L'idée semble logique. Vous disposez de plusieurs modèles IA, chacun avec des prix et des forces différents. Vous construisez donc un routeur, un logiciel qui dirige automatiquement chaque tâche entrante vers le modèle le plus approprié. Les demandes faciles vont aux modèles moins chers. Les difficiles vont aux modèles puissants et coûteux. Les coûts baissent. La qualité se maintient. Mission accomplie.

C'est la théorie. L'équipe de Hugging Face en a construit un en pratique, et les chiffres racontaient une histoire différente.

Ils ont exécuté 417 tâches identiques sur deux modèles : Claude Sonnet et GPT-4.1. GPT-4.1 affiche des prix publiés plus bas par mot traité. Il aurait dû être moins cher. Il a coûté 155 $. Sonnet a coûté 79 $, moins de la moitié.

Le coupable était la mise en cache. Lorsqu'une IA traite une longue tâche, elle peut enregistrer certains éléments de ce travail et les réutiliser à des étapes ultérieures, de la même manière qu'un navigateur stocke une page web pour qu'elle se charge plus rapidement la prochaine fois. Sonnet facture moins la lecture à partir de ce magasin enregistré. Comme les tâches impliquaient beaucoup de contexte répété, l'avantage de mise en cache de Sonnet a entièrement éliminé le tarif affiché plus bas de GPT-4.1.

Le barème tarifaire racontait une histoire. La facture réelle en racontait une autre.

Cela importe-t-il si vous utilisez simplement un outil IA, plutôt que de en construire un ?

Oui, indirectement. Chaque produit IA que vous utilisez, d'un chatbot de service clientèle à un assistant de rédaction, achemine presque certainement vos requêtes en arrière-plan. La qualité de cet acheminement affecte la vitesse que vous expérimentez, la qualité de la réponse que vous obtenez, et finalement le prix que l'entreprise vous facture.

Au-delà du coût, l'équipe a trouvé deux autres surprises.

D'abord, la difficulté des tâches est souvent invisible au préalable. Une demande qui semble simple, « résumez ce contrat », peut déclencher une chaîne d'étapes : recherche de documents, vérifications de conformité, appels d'outils externes. Vous ne savez rarement à quel point un travail est difficile avant que l'IA n'y soit déjà engagée.

Deuxièmement, la latence, c'est-à-dire le temps d'attente d'une réponse, dépend de bien plus que la taille du modèle. Le matériel sur lequel le modèle s'exécute, que son cache soit « chaud », et le taux d'occupation du serveur peuvent importer plus que le modèle lui-même. Ajouter un routeur ajoute aussi son propre délai, surtout si le routeur prend une décision nouvelle à chaque étape d'une tâche.

La solution de l'équipe a été d'arrêter de se demander « quel modèle est le meilleur ? » et de commencer à se demander « quelle combinaison de coût, de vitesse et de précision fonctionne le mieux maintenant ? » Leur routeur exécute cette optimisation en environ 6 millisecondes et utilise environ 2 kilooctets de mémoire, assez petit pour ne pas devenir le goulot d'étranglement.

Le constat honnête : si vous payez pour un outil IA et qu'il vous semble lentement incohérent ou étonnamment cher, la couche d'acheminement vaut la peine de poser la question. Et si vous intégrez des fonctionnalités IA dans votre propre produit, traitez l'évaluation comparative des coûts comme une expérience en direct, non comme un exercice de feuille de calcul unique. Le prix sur la fiche du modèle est rarement le prix que vous paierez réellement.