Quatre startups parient sur la prochaine vague d'IA basée sur quelque chose de meilleur que les transformers

Points clés

• Des chercheurs de Google ont inventé le réseau neuronal transformer en 2017, et il soutient désormais tous les grands chatbots d'IA du marché.
• OpenAI devrait dépenser 50 milliards de dollars en informatique en 2025, largement parce que les transformers sont coûteux à exploiter à grande échelle.
• L'Agence internationale de l'énergie prévoit que la consommation d'électricité des centres de données doublera d'ici 2030.
• Au moins quatre startups développent des architectures d'IA alternatives qu'elles affirment être plus rapides, moins chères et mieux adaptées aux tâches complexes.
• L'une de ces sociétés, Liquid AI, a enregistré près de 34 millions de téléchargements pour des modèles qui fonctionnent sur un ordinateur de hobbyiste à 50 dollars.

À l'été 2017, une équipe de Google a publié un article intitulé « Attention Is All You Need ». Il décrivait un nouveau type de réseau neuronal (pensez à un réseau neuronal comme un logiciel vaguement modélisé sur la façon dont les cellules du cerveau se connectent) appelé transformer. Les transformers se sont avérés extraordinairement bons pour lire et générer du texte, et ils sont devenus le moteur de chaque chatbot d'IA dont vous avez entendu parler, de ChatGPT à Claude en passant par Gemini.

Sept ans plus tard, les transformers sont en train de plier sous leur propre succès.

Quel est le problème réel ?

Pour comprendre le sens d'une phrase, un transformer compare chaque mot avec tous les autres mots. Cela fonctionne brillamment pour les textes courts. Pour les documents longs, cela devient rapidement coûteux : un document de 10 000 mots peut nécessiter 50 millions de calculs individuels. Plus vous entrez de texte, plus c'est mauvais.

Cette faim de calcul a un coût réel. OpenAI prévoit de dépenser 50 milliards de dollars en informatique cette année, selon le président de l'entreprise, Greg Brockman. L'Agence internationale de l'énergie affirme que la consommation totale d'électricité par les centres de données doublera d'ici 2030.

Les transformers ont également du mal avec les tâches mêmes que les entreprises d'IA vendent désormais. Les modèles de raisonnement, qui prennent des notes en résolvant un problème, produisent de grandes quantités de texte supplémentaire que le transformer doit ensuite traiter. Les agents d'IA, des logiciels qui peuvent effectuer des tâches à plusieurs étapes de manière autonome, ont besoin de jongler avec des informations provenant de nombreuses sources à la fois. Les deux poussent les transformers vers leur limite.

Quelles sont les alternatives ?

Quatre entreprises attaquent le problème sous différents angles.

Subquadratic, une startup de Miami, affirme qu'elle a construit un modèle appelé SubQ qui utilise une « attention clairsemée ». Au lieu de comparer chaque mot avec tous les autres mots, l'attention clairsemée ne sélectionne que les pairages qui comptent, réduisant considérablement le nombre de calculs. L'entreprise affirme que SubQ rivalise avec les grands modèles de langage grand public pour les tâches de recherche et de codage, bien que certains chercheurs restent sceptiques. Des milliers d'utilisateurs seraient sur sa liste d'attente.

Manifest AI, basée à San Francisco, va plus loin et remplace entièrement le mécanisme d'attention. Son approche, appelée « power retention », donne au modèle un résumé continu de ce qu'il a lu jusqu'à présent, supprimant les informations qui ne sont plus pertinentes au fur et à mesure que du nouveau matériel arrive. Pensez à un lecteur qui prend de bonnes notes plutôt que de mémoriser chaque mot. L'entreprise a utilisé cette technique pour construire PowerCoder, basé sur un modèle de codage existant en open-source, et Brumby, qu'elle dit rivaliser avec certaines versions du populaire modèle open-source Qwen d'Alibaba.

Liquid AI, une spinout du MIT basée à Cambridge, Massachusetts, adopte une approche hybride. Ses modèles, appelés LFMs (liquid foundation models), mélangent les transformers avec une technologie différente appelée réseaux de neurones liquides, inspirée par les systèmes nerveux simples des vers. Le résultat : des modèles assez petits pour fonctionner sur un Raspberry Pi, un ordinateur de hobbyiste à 50 dollars, et pourtant l'entreprise affirme qu'ils égalent les performances de rivaux quatre fois plus grands. Liquid AI a enregistré près de 34 millions de téléchargements. Mercedes figure parmi ses clients.

Qu'est-ce que cela signifie pour les gens ordinaires ?

Rien ne change dans votre chatbot demain. Les transformers sont profondément intégrés aux produits, et les remplacer prend des années. Mais la direction importe.

Si ces approches alternatives fonctionnent à grande échelle, les services d'IA pourraient devenir moins chers à exploiter, ce qui signifierait probablement des coûts réduits pour les entreprises et, finalement, les utilisateurs. Les modèles plus petits et plus efficaces pourraient également s'exécuter sur les appareils que vous possédez déjà, en conservant vos données sur votre téléphone plutôt que sur un serveur distant.

MIT Technology Review, qui a d'abord soulevé plusieurs de ces entreprises, appelle cette nouvelle génération de modèles « LLMs+ ». Que l'une des startups d'aujourd'hui soit celle qui la construit est une question ouverte. Mais le problème qu'elles tentent de résoudre est très réel.

Questions courantes

Dois-je faire quelque chose de différent en tant qu'utilisateur d'IA en ce moment ?

Non. Ces changements se produisent au niveau de l'ingénierie, à l'intérieur des entreprises qui construisent des outils d'IA. Pour l'instant, les produits que vous utilisez ont la même apparence de l'extérieur.

Ces alternatives remplaceront-elles définitivement les transformers ?

Pas nécessairement. Les transformers ont survécu à des prédictions de leur remplacement auparavant. Chacune de ces startups doit encore prouver que son approche s'adapte à la taille des modèles qui alimentent les principaux produits, ce qui représente un défi technique et financier important.