Quattro startup scommettono che la prossima ondata di AI si basa su qualcosa di meglio dei transformer

Punti chiave

• I ricercatori di Google hanno inventato la rete neurale transformer nel 2017, e ora sostiene ogni major AI chatbot sul mercato.
• OpenAI sta per spendere 50 miliardi di dollari in computing nel 2025, principalmente perché i transformer sono costosi da eseguire su larga scala.
• L'Agenzia Internazionale dell'Energia prevede che il consumo di elettricità dei data centre raddoppierà entro il 2030.
• Almeno quattro startup stanno costruendo architetture AI alternative che affermano essere più veloci, economiche e più adatte a compiti complessi.
• Una di queste aziende, Liquid AI, ha registrato quasi 34 milioni di download per modelli che girano su un computer hobbistico da 50 dollari.

Nel giugno del 2017, un team di Google ha pubblicato un articolo intitolato "Attention Is All You Need". Descriveva un nuovo tipo di rete neurale (pensa a una rete neurale come software debolmente modellato su come si connettono le cellule cerebrali) chiamato transformer. I transformer si sono rivelati straordinariamente bravi nel leggere e generare testo, e sono diventati il motore all'interno di ogni AI chatbot di cui hai sentito parlare, da ChatGPT a Claude a Gemini.

Sette anni dopo, i transformer stanno crollando sotto il peso del loro stesso successo.

Qual è il problema reale?

Per comprendere il significato di una frase, un transformer confronta ogni parola con ogni altra parola. Funziona brillantemente per testi brevi. Per documenti lunghi diventa velocemente costoso: un documento di 10.000 parole può richiedere 50 milioni di calcoli individuali. Più testo inserisci, più peggiorano le cose.

Questo appetito computazionale ha un costo reale. OpenAI prevede di spendere 50 miliardi di dollari in computing quest'anno, secondo il presidente dell'azienda Greg Brockman. L'Agenzia Internazionale dell'Energia afferma che l'elettricità totale consumata dai data centre raddoppierà entro il 2030.

I transformer faticano anche con i compiti che le aziende AI stanno ora vendendo. I modelli di ragionamento, che scrivono note a se stessi mentre lavorano su un problema, producono grandi quantità di testo extra che il transformer deve poi elaborare. Gli agenti AI, software che può svolgere compiti multi-step in modo autonomo, hanno bisogno di mantenere in memoria informazioni da molte fonti contemporaneamente. Entrambi spingono i transformer verso il loro limite.

Quali sono le alternative?

Quattro aziende stanno affrontando il problema da angolazioni diverse.

Subquadratic, una startup di Miami, afferma di aver costruito un modello chiamato SubQ che utilizza "sparse attention". Invece di confrontare ogni parola con ogni altra parola, sparse attention sceglie solo i pairings che contano, riducendo drasticamente il numero di calcoli. L'azienda sostiene che SubQ sia paragonabile ai principali large language model su compiti di ricerca e codifica, anche se alcuni ricercatori rimangono scettici. Apparentemente migliaia di utenti sono nella sua lista d'attesa.

Manifest AI, con sede a San Francisco, va oltre e sostituisce completamente il meccanismo di attention. Il suo approccio, chiamato "power retention", fornisce al modello un riassunto continuo di ciò che ha letto finora, eliminando le informazioni che non sono più rilevanti man mano che arrivano nuovi materiali. Pensa a un lettore che prende buoni appunti piuttosto che memorizzare ogni parola. L'azienda ha utilizzato la tecnica per costruire PowerCoder, basato su un modello di codifica open-source esistente, e Brumby, che afferma di competere con alcune versioni del popolare Qwen open-source di Alibaba.

Liquid AI, uno spinout del MIT con sede a Cambridge, Massachusetts, adotta un approccio ibrido. I suoi modelli, chiamati LFM (liquid foundation models), mixano i transformer con una tecnologia diversa chiamata liquid neural networks, ispirata dai semplici sistemi nervosi dei vermi. Il risultato: modelli abbastanza piccoli da girare su un Raspberry Pi, un computer hobbistico da 50 dollari, eppure l'azienda afferma che corrispondono alle prestazioni di rivali quattro volte più grandi. Liquid AI ha registrato quasi 34 milioni di download. Mercedes è tra i suoi clienti.

Cosa significa per le persone comuni?

Domani nulla cambia nel tuo chatbot. I transformer sono profondamente integrati nei prodotti, e sostituirli richiede anni. Ma la direzione conta.

Se questi approcci alternativi funzionano su larga scala, i servizi AI potrebbero diventare più economici da gestire, il che probabilmente significherebbe costi inferiori trasferiti alle aziende e, eventualmente, agli utenti. Modelli più piccoli e efficienti potrebbero anche girare su dispositivi che già possiedi, mantenendo i tuoi dati sul tuo telefono piuttosto che su un server remoto.

MIT Technology Review, che ha scoperto per prima diverse di queste aziende, chiama questa prossima generazione di modelli "LLM+". Se una di queste startup odierne sarà quella che la costruisce è una domanda ancora aperta. Ma il problema che stanno cercando di risolvere è molto reale.

Domande comuni

Devo fare qualcosa di diverso come utente AI adesso?

No. Questi cambiamenti stanno accadendo a livello ingegneristico, all'interno delle aziende che costruiscono strumenti AI. Per ora, i prodotti che usi sembrano uguali da fuori.

Queste alternative sostituiranno definitivamente i transformer?

Non necessariamente. I transformer hanno superato previsioni di sostituzione prima. Ognuna di queste startup deve ancora provare che il suo approccio scala fino alla dimensione dei modelli che alimentano i principali prodotti, il che è una sfida tecnica e finanziaria significativa.