Muse Glimmer di Meta è un'IA con 30 miliardi di parametri che puoi eseguire sul tuo computer

Punti chiave

• Meta ha rilasciato Muse Glimmer nello stesso giorno di questo annuncio, secondo la licenza open-source Apache 2.0, il che significa che chiunque può usarlo o modificarlo gratuitamente.
• Il modello ha 30 miliardi di parametri, una misura approssimativa della sua complessità, rendendolo più piccolo e più economico da eseguire rispetto a molti sistemi di intelligenza artificiale all'avanguardia.
• Muse Glimmer può elaborare testo, immagini e video all'interno di un singolo modello, e può chiamare strumenti esterni come un servizio meteorologico in autonomia.
• Hugging Face ha fornito il supporto per il modello dal primo giorno su cinque framework software principali.
• Un acceleratore di velocità integrato chiamato speculative decoding drafter è particolarmente efficace nella generazione di output strutturati come il codice.

Meta ha appena rilasciato un nuovo modello di intelligenza artificiale, e il dato più rilevante è dove viene eseguito: sul tuo computer, non sul server di un'azienda.

Muse Glimmer è un modello multimodale con 30 miliardi di parametri, il che significa che gestisce testo, immagini e video tutti contemporaneamente piuttosto che richiedere strumenti separati per ciascuno. È distillato da un modello Meta più grande chiamato Muse, un processo un po' simile a creare un'edizione concisa per studenti da un manuale articolato. Il risultato è un modello sufficientemente compatto per essere eseguito localmente mantenendo comunque la capacità di gestire attività complesse.

Cosa può effettivamente fare?

Muse Glimmer può rispondere a domande su foto, analizzare documenti, scrivere e spiegare codice e fungere da assistente personale che compie azioni per tuo conto. Se gli mostri una foto di una città e gli chiedi cosa mettere in valigia, può riconoscere la posizione e interrogare automaticamente un servizio meteorologico per darti una risposta reale.

Anche i video sono supportati. Il modello elabora filmati fino a 96 fotogrammi per clip, campionando due fotogrammi al secondo, e contrassegna ogni fotogramma con il suo timestamp in modo da comprendere quando accadono le cose, non solo cosa viene mostrato.

Il modello è anche quello che gli ingegneri chiamano agentico, il che significa che può suddividere un obiettivo in passaggi e portarli a termine senza che qualcuno dirija manualmente ognuno. Pensalo meno come un motore di ricerca e più come un interno capace che sa leggere, cercare informazioni e agire.

Perché è importante eseguirlo localmente?

Eseguire il modello sul tuo hardware significa che i tuoi documenti, foto e conversazioni non lasciano mai il tuo computer. Questo è importante per chiunque gestisca informazioni sensibili: appunti medici, contratti legali, repository di codice privato.

Riduce anche i costi. I servizi di intelligenza artificiale cloud addebitano per richiesta; un modello eseguito localmente costa solo l'elettricità per farlo funzionare.

La licenza Apache 2.0 è del tipo permissivo: le aziende possono costruire prodotti commerciali su Muse Glimmer senza pagare royalty.

Quanto è veloce?

All'interno del modello c'è un modulo di velocità opzionale chiamato speculative decoding drafter, costruito su un sistema chiamato DFlash. La speculative decoding è una tecnica in cui un modello più piccolo e veloce prevede le prossime diverse parole e il modello principale verifica le previsioni in massa, riducendo il tempo per generare ogni risposta. Il compromesso è un utilizzo leggermente maggiore della memoria. Meta afferma che il drafter funziona particolarmente bene quando il modello scrive contenuti strutturati come il codice.

Come riportato da Hugging Face, i framework software necessari per eseguire Muse Glimmer su schede grafiche NVIDIA, AMD e Intel (i chip specializzati su cui i modelli di intelligenza artificiale si affidano per il calcolo numerico) sono tutti pronti oggi, inclusa la popolare libreria transformers e llama.cpp, uno strumento progettato per eseguire modelli di grandi dimensioni su hardware consumer ordinario.

Cosa succede dopo?

Meta sta posizionando Muse Glimmer chiaramente verso sviluppatori e utenti consapevoli della privacy che desiderano intelligenza artificiale potente senza abbonamento o accordo di condivisione dei dati. Se i carichi di lavoro che una volta richiedevano un servizio cloud migreranno verso modelli locali dipende in gran parte da quanto bene la dimensione di 30 miliardi di parametri si comporterà rispetto alle attività che oggi richiedono sistemi molto più grandi.

L'intera collezione di modelli è disponibile su Hugging Face.