I ricercatori di Apple hanno trovato un modo più intelligente per rendere la generazione di video AI molto più veloce

Punti chiave

• Apple ML Research ha pubblicato un articolo descrivendo un metodo chiamato calibrated sparse attention che accelera la generazione di video da testo a IA.
• I ricercatori hanno scoperto che una grande percentuale di calcoli interni nei modelli video attuali produce risultati prossimi a zero e può essere saltata in sicurezza.
• I modelli di salto si ripetono in modo affidabile in diverse richieste di video, quindi il sistema può apprenderli in anticipo piuttosto che riscoprirli ogni volta.
• Eliminare questi calcoli ridondanti riduce il tempo di elaborazione senza cambiare visibilmente la qualità del video di output.

Generare un breve video da un prompt di testo sembra semplice. Digita "un gatto che cammina tra le foglie autunnali" e il modello costruisce ogni fotogramma, pixel per pixel. In pratica ci vuole molto tempo, perché l'IA deve gestire enormi quantità di informazioni su come ogni parte di ogni fotogramma si relaziona a ogni altra parte.

Il nome tecnico per questo atto di gestione è attenzione spatiotemporale, il che significa semplicemente che il modello verifica come ogni piccola patch del video si connette a ogni altra patch, sia nello spazio che nel tempo. Questi controlli sono costosi. I modelli video moderni li eseguono miliardi di volte per generazione.

I ricercatori della Apple ML Research hanno notato qualcosa di utile sepolto in questi calcoli. Una frazione significativa delle connessioni tra patch ottiene punteggi così vicini a zero che cambiano l'immagine finale essenzialmente di nulla. Saltarli non dovrebbe importare.

Ancora meglio, quelle connessioni con punteggio basso tendono a comparire negli stessi posti, indipendentemente da quello che digita l'utente. I modelli sono coerenti e ripetibili.

Questa coerenza è l'intuizione chiave. Poiché le connessioni che meritano di essere saltate si ripetono in diversi prompt, il sistema può essere calibrato in anticipo: eseguire il modello su un piccolo set di riferimento di video, mappare quali connessioni ottengono costantemente punteggi vicini a zero, quindi incorporare quella mappa. Da quel momento in poi, il modello sa in anticipo quali calcoli saltare, senza bisogno di verificare ogni volta.

La tecnica funziona a due livelli. Le singole patch con connessioni quasi-zero vengono saltate. Lo stesso vale per piccoli gruppi locali di patch, chiamati token block, quando le connessioni dell'intero gruppo sono trascurabili insieme.

I video avranno un aspetto peggiore?

No, almeno non in modo visibile allo spettatore. Poiché i calcoli saltati stavano già contribuendo quasi nulla all'immagine finale, rimuoverli non cambia quello che appare sullo schermo. I ricercatori descrivono l'effetto sulla qualità dell'output come trascurabile.

Per le persone comuni questo importa perché influisce sulla velocità con cui gli strumenti di video AI possono rispondere a una richiesta. Una generazione più veloce significa costi computazionali inferiori per le aziende che eseguono questi modelli e potenzialmente risultati più rapidi per gli utenti di strumenti video consumer costruiti su di essi. Potrebbe anche rendere più pratico eseguire modelli video capaci su hardware meno potente.

L'approccio non richiede un riallenamento del modello sottostante da zero, il che lo rende più facile per gli sviluppatori da inserire nei sistemi esistenti. Questo è un vantaggio pratico rispetto a molti metodi di accelerazione, che richiedono ricostruzioni costose.

Apple non ha annunciato un prodotto basato su questa ricerca, ma la tecnica punta verso strumenti di video AI che sono più economici da eseguire e più veloci a rispondere.