Un'IA che salta la matematica. Potrebbe funzionare su un cerotto.

Punti chiave

• Il team di Lizy K. John presso l'Università del Texas ad Austin ha costruito reti neurali che sostituiscono la moltiplicazione con tabelle di consultazione, riducendo il consumo energetico fino a 1.000 volte nei compiti di monitoraggio medico.
• Il rilevatore di aritmie del team, un dispositivo che monitora i ritmi cardiaci pericolosi, si adatta a un chip di plastica flessibile con solo circa 10.000 porte logiche, rispetto ai miliardi di un chip standard.
• Per un compito di riconoscimento di parole chiave, il loro modello utilizza 42-79 nanojoule per decisione, rispetto a più di 5.000 nanojoule del modello leader del settore.
• L'approccio ha già sostituito approssimativamente metà di un modello transformer, l'architettura alla base di chatbot come ChatGPT, ma il supporto completo per i modelli linguistici è ancora in corso.
• La tecnica non è nuova, ma quasi nessun team di ricerca la sta sviluppando.

Ogni volta che un chatbot risponde alla tua domanda, una rete neurale, il sistema matematico stratificato che conferisce alla IA il suo potere di riconoscimento dei modelli, esegue milioni o miliardi di moltiplicazioni. Moltiplica un numero di input per un peso imparato. Sommalo. Ripeti. Per una singola frase, questo calcolo aritmetico avviene su una scala che la maggior parte delle persone fatica a immaginare.

Lizy K. John pensa che sia un sacco di lavoro inutile.

John è professoressa di ingegneria elettrica e informatica presso l'Università del Texas ad Austin. Per gli ultimi cinque anni si è concentrata su quello che chiama reti neurali senza pesi. Anziché moltiplicare numeri insieme, queste reti passano semplici segnali sì-o-no attraverso una serie di tabelle di consultazione, piccoli elenchi memorizzati che restituiscono un'risposta precalcolata istantaneamente, nello stesso modo in cui un libro di tabelline cartaceo restituisce 7x8=56 senza farti fare i calcoli da zero. Il risultato è una rete che può, a seconda del compito, funzionare con 1.000 volte meno energia oppure stare in un chip 1.000 volte più piccolo di un modello convenzionale, ottenendo risultati di precisione comparabili.

Il lavoro è stato coperto da IEEE Spectrum.

Perché eliminare la moltiplicazione è così importante?

La moltiplicazione è costosa in termini hardware: richiede transistor, tempo e potenza. Una tabella di consultazione legge semplicemente dalla memoria, che è molto più economica. Il cervello umano, sottolinea John, utilizza circa 20 watt per mantenere una conversazione. Nessuna moltiplicazione coinvolta.

Il risultato più evidente del suo team finora è un modello che rileva l'aritmia, un battito cardiaco irregolare che può segnalare gravi problemi cardiaci, su un chip costruito su un foglio di plastica flessibile. Quella plastica può contenere solo circa 10.000 porte logiche. Un moderno chip per smartphone ne contiene miliardi. Un modello di IA convenzionale non può funzionare su qualcosa di così piccolo. Il suo sì.

Per i compiti di monitoraggio medico incluse letture ECG (segnali elettrici del cuore), letture EEG (segnali elettrici del cervello) e pressione sanguigna, i modelli del suo team corrispondono alla precisione standard con una frazione dell'energia. Il miglior modello piccolo concorrente per uno dei problemi che hanno studiato è 17 megabyte. La loro versione è 14 kilobyte, approssimativamente 1.200 volte più piccola. Poiché il modello si adatta al sensore stesso, i dati di salute non hanno mai bisogno di lasciare il dispositivo per l'elaborazione. Questo è sia un risparmio energetico che una protezione della privacy.

Quali cambiamenti potrebbero effettivamente vedere i pazienti?

Nel breve termine, il primo target di John è il monitoraggio medico continuo. Descrive un cerotto sensore che indossi come un adesivo per una settimana, uno che elabora le letture localmente e segnala un problema senza aver bisogno di un telefono o di una connessione ospedaliera. Attualmente, la maggior parte dei sensori indossabili raccoglie dati grezzi e li trasmette via wireless a un server perché il chip sul sensore è troppo piccolo e consuma troppa energia per eseguire l'analisi da solo. Una rete senza pesi capovolge questo.

Per il riconoscimento di parole chiave, il processo con cui un dispositivo come un altoparlante Alexa ascolta costantemente la sua parola di attivazione, il modello del suo team utilizza 42-79 nanojoule per decisione. Il modello leader del settore attuale utilizza più di 5.000 nanojoule per lo stesso compito. Questa è la differenza tra un dispositivo che dura settimane con una batteria e uno che dura giorni.

Può questo mai raggiungere i chatbot?

Non ancora, ma il team sta lavorandoci. Un modello transformer, l'architettura dietro ChatGPT e la maggior parte degli assistenti di IA moderni, ha due sezioni principali che si ripetono in sequenza: uno strato di attenzione, che pesa il modo in cui le parole si relazionano l'una all'altra, e un perceptron multistrato, che esegue la maggior parte del calcolo numerico. Il team di John ha già sostituito la metà del perceptron multistrato con un equivalente basato su consultazione. Lo strato di attenzione rimane irrisolto.

La tecnologia inoltre non è nuova: un'azienda nel Regno Unito ha costruito un prodotto commerciale utilizzandola negli anni '80 per il riconoscimento di modelli, quindi l'approccio è in gran parte scomparso. I ricercatori presso l'Università Federale di Rio de Janeiro hanno mantenuto l'idea viva tranquillamente per anni. Il contributo di John è renderla funzionare efficientemente su hardware reale, prima su un FPGA, un chip flessibile che può essere riconfigurato per diversi compiti, e ora su substrati costruiti appositamente.

L'addestramento avviene ancora su GPU convenzionali, i chip specializzati di calcolo numerico che alimentano la maggior parte della ricerca sull'IA. Ma poiché gli FPGA contengono già piccole tabelle di consultazione per progettazione, John crede che potrebbero eventualmente gestire anche l'addestramento, chiudendo il ciclo.

L'avvertenza onesta: ogni risultato finora proviene da compiti piccoli e specifici. Non esiste ancora una dimostrazione sottoposta a revisione paritaria per i modelli linguistici su larga scala. John è schietta su questo divario. La fiducia che si ridimensionerà semplicemente non c'è ancora, al di fuori del suo laboratorio.