Réduisez votre facture IA de 40 % sans toucher au modèle : voici comment une entreprise l'a fait

Points clés

• L'équipe de recherche de Writer a réduit le coût moyen par tâche IA de 41 %, passant de 21 cents à 12 cents, en repensant la couche d'orchestration autour du modèle plutôt que le modèle lui-même.
• La consommation de tokens, le volume de texte traité dans chaque tâche, a baissé de 38 %, passant de 14 200 tokens à 8 800 tokens par tâche.
• Les taux de réussite des tâches sont restés stables ou ont légèrement augmenté, passant de 78 % à 81 %, tandis que le temps médian d'exécution a chuté de 44 %, passant de 48 secondes à 27 secondes.
• Les gains d'efficacité se sont maintenus de manière fiable uniquement sur les deux modèles les plus performants testés : le Palmyra X6 de Writer et le Claude Sonnet 4.6 d'Anthropic.
• Les chercheurs ont publié leurs résultats dans un article que toute équipe d'ingénierie peut appliquer dès maintenant, car il ne nécessite aucune modification du modèle IA sous-jacent.

L'IA est coûteuse. Toute entreprise qui a dépassé le stade d'une petite démonstration et a commencé à exécuter des outils IA à grande échelle l'a senti dans son tableau de bord de facturation. Un nouvel article de recherche de Writer, une entreprise de logiciels IA pour entreprises, donne maintenant des chiffres précis sur les raisons pour lesquelles les coûts s'envolent, et montre une solution pratique qui ne nécessite pas de remplacer votre modèle IA ni de réentraîner quoi que ce soit.

En bref : le problème n'est pas le modèle. C'est la tuyauterie autour.

Qu'est-ce qu'un « harnais IA » exactement et pourquoi devriez-vous vous en soucier ?

Un harnais IA, parfois appelé couche d'orchestration, est le logiciel qui se situe entre votre application et le modèle IA lui-même. Pensez-y comme à un régisseur. Il décide quelles instructions envoyer au modèle, quels documents lui fournir, comment gérer les erreurs et quand faire appel à des outils spécialisés. La plupart des équipes de développement construisent cette couche rapidement et la traitent comme du code de liaison jetable. Les chercheurs de Writer soutiennent que c'est actuellement la plus grosse erreur coûteuse en ingénierie IA.

L'article teste six modèles IA différents, notamment le Claude Sonnet 4.6 d'Anthropic, le Gemini Flash 3.5 de Google et le Palmyra X6 de Writer, sur 22 tâches commerciales standardisées. Ils ont gardé les modèles et les tâches identiques, puis ont comparé un harnais standard à un harnais soigneusement optimisé. Les résultats ont surpris même les chercheurs.

Les coûts ont chuté de 41 %. Le temps d'exécution des tâches a baissé de 44 %. La qualité n'a pas diminué du tout.

Où s'en allait le gaspillage avant ? Le coupable a un nom dans l'industrie : « tokenmaxxing ». Un token est un petit morceau de texte, environ trois quarts d'un mot, qu'un modèle IA lit et génère. Les fournisseurs facturent par token. Le tokenmaxxing est l'habitude de déverser d'énormes quantités de texte dans chaque requête IA, en espérant que le modèle trouvera la solution, plutôt que d'ingénier soigneusement la requête.

Le directeur de la technologie de Writer, Waseem AlShikh, l'a dit clairement à VentureBeat : « Votre facture est tokens-par-tâche multiplié par prix-par-token, et la plupart des équipes ne regardent que le deuxième chiffre. »

Les baisses de prix des fournisseurs d'IA semblent apaisantes. Mais si votre système brûle trois fois plus de tokens que nécessaire, des tokens moins chers signifient toujours une facture gonflée.

Le harnais optimisé corrige cela par quatre mesures : mettre en cache les parties du prompt qui ne changent jamais afin que vous ne payer pas à nouveau pour le même texte à chaque appel ; compresser l'historique des conversations afin que l'ancien contexte ne s'accumule pas ; envoyer les tâches de recherche à de petits sous-agents spécialisés plutôt que de fourrer des documents bruts dans la conversation principale ; et éliminer les boucles de retry sans contrainte qui font monter en flèche les comptes de tokens quand le modèle rencontre une erreur.

Une mise en garde mérite d'être signalée. L'approche du sous-agent, où vous déléguez des tâches à des modèles spécialisés plus petits, n'a fonctionné de manière fiable que sur les deux modèles les plus puissants testés. Les modèles plus légers comme Gemini Flash 3.5 ont obtenu des scores en dessous du seuil de fiabilité utilisable sur ces tâches de délégation. Si votre équipe fonctionne avec un modèle plus petit et moins cher, certains de ces gains seront plus difficiles à capturer.

Mais la leçon plus large tient indépendamment du modèle que vous utilisez. Structurez vos prompts afin que les parties statiques viennent en premier et les parties dynamiques en dernier. Ce seul changement fait réellement fonctionner la mise en cache des prompts et vous empêche de payer deux fois pour les mêmes instructions.

Le seul enseignement honnête : avant de dépenser un autre dollar pour un modèle IA plus puissant, auditez le nombre de tokens que votre système actuel brûle par tâche. Ce chiffre, et non le prix par token, est l'endroit où se cachent vos véritables coûts IA.