Cette IA ignore les maths. Elle pourrait fonctionner sur un pansement.

Points clés

• L'équipe de Lizy K. John à l'Université du Texas à Austin a construit des réseaux de neurones qui remplacent la multiplication par des tables de consultation, réduisant la consommation énergétique jusqu'à 1 000 fois sur les tâches de surveillance médicale.
• Le détecteur d'arythmie de l'équipe, un appareil qui surveille les rythmes cardiaques dangereux, tient sur une puce de plastique flexible avec seulement environ 10 000 portes logiques, comparé à des milliards sur une puce standard.
• Pour une tâche de détection de mots clés, leur modèle utilise 42 à 79 nanojoules par décision, contre plus de 5 000 nanojoules pour le modèle leader actuel de l'industrie.
• L'approche a déjà remplacé environ la moitié d'un modèle transformer, l'architecture derrière les chatbots comme ChatGPT, mais la prise en charge complète des modèles de langage est encore en cours.
• La technique n'est pas nouvelle, mais presque aucune équipe de recherche ne travaille dessus.

Chaque fois qu'un chatbot répond à votre question, un réseau de neurones, le système mathématique en couches qui donne à l'IA son pouvoir de reconnaissance de motifs, effectue des millions ou des milliards de multiplications. Multipliez un nombre d'entrée par un poids appris. Additionnez-le. Répétez. Pour une seule phrase, cette arithmétique s'exécute à une échelle que la plupart des gens ont du mal à imaginer.

Lizy K. John pense que c'est beaucoup de travail inutile.

John est professeure d'électronique et d'informatique à l'Université du Texas à Austin. Pendant les cinq dernières années, elle s'est concentrée sur ce qu'elle appelle les réseaux de neurones sans poids. Au lieu de multiplier des nombres ensemble, ces réseaux font passer des simples signaux oui-ou-non à travers une série de tables de consultation, de petites listes stockées qui retournent une réponse précalculée instantanément, de la même manière qu'un livre de tables de multiplication imprimé retourne 7x8=56 sans vous faire faire le calcul à partir de zéro. Le résultat est un réseau qui peut, selon la tâche, fonctionner en utilisant 1 000 fois moins d'énergie ou tenir dans une puce 1 000 fois plus petite qu'un modèle conventionnel, tout en obtenant des réponses d'une précision comparable.

Le travail a été couvert par IEEE Spectrum.

Pourquoi l'élimination de la multiplication est-elle si importante ?

La multiplication est coûteuse en termes matériels : elle nécessite des transistors, du temps et de l'énergie. Une table de consultation ne fait que lire la mémoire, ce qui est beaucoup moins cher. Le cerveau humain, comme le souligne John, utilise environ 20 watts pour tenir une conversation. Aucune multiplication impliquée.

Le résultat le plus frappant de son équipe jusqu'à présent est un modèle qui détecte l'arythmie, un battement cardiaque irrégulier qui peut signaler des problèmes cardiaques graves, sur une puce construite sur une feuille de plastique flexible. Ce plastique ne peut accueillir que environ 10 000 portes logiques. Une puce de smartphone moderne en contient des milliards. Un modèle d'IA conventionnel ne peut pas fonctionner sur quelque chose d'aussi petit. Le sien peut.

Pour les tâches de surveillance médicale incluant les lectures ECG (signaux électriques du cœur), les lectures EEG (signaux électriques du cerveau) et la pression artérielle, les modèles de son équipe correspondent à la précision standard avec une fraction de l'énergie. Le meilleur modèle petit concurrent pour un problème qu'ils ont étudié fait 17 mégaoctets. Le leur fait 14 kilooctets, environ 1 200 fois plus petit. Parce que le modèle tient sur le capteur lui-même, les données de santé n'ont jamais besoin de quitter l'appareil pour être traitées. C'est à la fois une économie d'énergie et une protection de la vie privée.

Quels changements les patients pourraient-ils réellement constater ?

À court terme, la première cible de John est la surveillance médicale continue. Elle décrit un patch capteur que vous portez comme un pansement pendant une semaine, qui traite les lectures localement et signale un problème sans avoir besoin d'un téléphone ou d'une connexion hospitalière. En ce moment, la plupart des capteurs portables collectent les données brutes et les envoient sans fil à un serveur parce que la puce du capteur est trop petite et trop énergivore pour exécuter une analyse elle-même. Un réseau sans poids inverse la situation.

Pour la détection de mots clés, le processus où un appareil comme un haut-parleur Alexa écoute constamment son mot de réveil, le modèle de son équipe utilise 42 à 79 nanojoules par décision. Le modèle leader de l'industrie actuel utilise plus de 5 000 nanojoules pour la même tâche. C'est la différence entre un appareil qui dure des semaines sur batterie et un qui ne dure que des jours.

Cela peut-il atteindre les chatbots ?

Pas encore, mais l'équipe y travaille. Un modèle transformer, l'architecture derrière ChatGPT et la plupart des assistants IA modernes, a deux sections principales qui se répètent en séquence : une couche d'attention, qui pèse la façon dont les mots se rapportent les uns aux autres, et un perceptron multicouche, qui effectue l'essentiel des calculs numériques. L'équipe de John a déjà remplacé la moitié du perceptron multicouche par un équivalent basé sur des tables de consultation. La couche d'attention reste non résolue.

La technologie n'est pas nouvelle non plus : une entreprise au Royaume-Uni a construit un produit commercial l'utilisant dans les années 1980 pour la reconnaissance de motifs, puis l'approche a largement disparu. Les chercheurs de l'Université fédérale de Rio de Janeiro ont gardé l'idée vivante discrètement pendant des années. La contribution de John est de la faire fonctionner efficacement sur du vrai matériel, d'abord sur une FPGA, une puce flexible qui peut être reconfigurée pour différentes tâches, et maintenant sur des substrats spécialement conçus.

L'entraînement se fait toujours sur des GPU conventionnels, les puces spécialisées de calcul numérique qui alimentent la plupart de la recherche en IA. Mais comme les FPGA contiennent déjà de petites tables de consultation par conception, John croit qu'elles pourraient éventuellement gérer l'entraînement aussi, fermant la boucle.

La mise en garde honnête : tous les résultats jusqu'à présent proviennent de petites tâches spécifiques. Aucune démonstration révisée par les pairs n'existe encore pour les grands modèles de langage. John est honnête à ce sujet. La confiance que cela s'échelonnera simplement n'existe pas encore, en dehors de son propre laboratoire.