Muse Glimmer de Meta est une IA avec 30 milliards de paramètres que vous pouvez exécuter sur votre propre ordinateur

Points clés

• Meta a publié Muse Glimmer le même jour que cette annonce, sous la licence open-source Apache 2.0, ce qui signifie que n'importe qui peut l'utiliser ou le modifier gratuitement.
• Le modèle compte 30 milliards de paramètres, une mesure approximative de sa complexité, ce qui le rend plus petit et moins coûteux à exécuter que de nombreux systèmes d'IA de pointe.
• Muse Glimmer peut traiter du texte, des images et des vidéos au sein d'un seul modèle, et peut appeler des outils externes comme un service météorologique de manière autonome.
• Hugging Face a fourni un support pour le modèle dès le premier jour sur cinq cadres logiciels majeurs.
• Un accélérateur de vitesse intégré appelé brouillon de décodage spéculatif est particulièrement efficace pour générer des résultats structurés comme du code.

Meta vient de publier un nouveau modèle d'IA, et le fait marquant est l'endroit où il s'exécute : sur votre propre ordinateur, et non sur un serveur d'une entreprise.

Muse Glimmer est un modèle multimodal avec 30 milliards de paramètres, ce qui signifie qu'il traite le texte, les images et les vidéos à la fois plutôt que nécessitant des outils séparés pour chacun. Il est dérivé d'un modèle Meta plus volumineux appelé Muse, un processus un peu comme créer une édition concise pour étudiants à partir d'un manuel volumineux. Le résultat est un modèle suffisamment compact pour s'exécuter localement tout en gérant des tâches complexes.

Que peut-il vraiment faire ?

Muse Glimmer peut répondre à des questions sur des photos, analyser des documents, écrire et expliquer du code, et agir comme un assistant personnel qui prend des mesures en votre nom. Si vous lui montrez une photo d'une ville et lui demandez quoi emporter, il peut reconnaître le lieu et interroger automatiquement un service météorologique pour vous donner une réponse réelle.

La vidéo est également supportée. Le modèle traite les séquences à jusqu'à 96 images par clip, en échantillonnant deux images par seconde, et horodate chaque image pour qu'il comprenne quand les choses se produisent, pas seulement ce qui est montré.

Le modèle est aussi ce que les ingénieurs appellent agentif, ce qui signifie qu'il peut décomposer un objectif en étapes et les exécuter sans que quelqu'un dirige chacune d'elles manuellement. Pensez-y moins comme à un moteur de recherche et plus comme à un stagiaire compétent qui peut lire, consulter des informations et agir.

Pourquoi est-ce important d'exécuter localement ?

Exécuter le modèle sur votre propre matériel signifie que vos documents, photos et conversations ne quittent jamais votre machine. C'est important pour quiconque traite des informations sensibles : dossiers médicaux, contrats légaux, dépôts de code privés.

Cela réduit également les coûts. Les services d'IA cloud facturent par requête ; un modèle exécuté localement ne coûte que l'électricité nécessaire pour l'exécuter.

La licence Apache 2.0 est du type permissif : les entreprises peuvent construire des produits commerciaux sur Muse Glimmer sans payer de redevances.

Quelle est sa vitesse ?

À l'intérieur du modèle se trouve un module de vitesse optionnel appelé brouillon de décodage spéculatif, construit sur un système appelé DFlash. Le décodage spéculatif est une technique où un modèle plus petit et plus rapide devine les prochains mots et le modèle principal vérifie les suppositions en masse, réduisant le temps pour générer chaque réponse. Le compromis est une utilisation légèrement supérieure de la mémoire. Meta affirme que le brouillon fonctionne particulièrement bien lorsque le modèle écrit du contenu structuré comme du code.

Comme l'a rapporté Hugging Face, les cadres logiciels nécessaires pour exécuter Muse Glimmer sur les cartes graphiques NVIDIA, AMD et Intel (les puces spécialisées sur lesquelles les modèles d'IA s'appuient pour les calculs intensifs) sont tous prêts aujourd'hui, y compris la populaire bibliothèque transformers et llama.cpp, un outil conçu pour exécuter des modèles volumineux sur du matériel informatique ordinaire.

Que se passe-t-il ensuite ?

Meta positionne Muse Glimmer directement auprès des développeurs et des utilisateurs soucieux de la confidentialité qui souhaitent une IA puissante sans abonnement ni accord de partage de données. Le fait que les charges de travail qui nécessitaient autrefois un service cloud migrent vers des modèles locaux dépend largement de la façon dont la taille de 30 milliards de paramètres se compare aux tâches qui nécessitent aujourd'hui des systèmes beaucoup plus volumineux.

La collection complète du modèle est disponible sur Hugging Face.