NVIDIA Cosmos 3 Edge: i cervelli dei robot arrivano sulla terra

Punti chiave

• NVIDIA ha rilasciato Cosmos 3 Edge nel 2025, un modello di IA world model da 4 miliardi di parametri progettato per funzionare su piccoli dispositivi edge piuttosto che su server di grandi data centre.
• Il modello si classifica al primo posto tra modelli di dimensioni simili su VANTAGE-Bench, un test di benchmark per compiti di IA basati su visione in edifici intelligenti e robotica.
• In esecuzione su hardware NVIDIA Jetson Thor, il modello elabora 32 azioni robotiche previste per ciclo di inferenza a 15 fotogrammi al secondo, abbastanza veloce per il controllo in tempo reale.
• NVIDIA ha anche rilasciato un modello di policy complementare addestrato sul dataset DROID, una collezione pubblicamente disponibile di registrazioni di manipolazione robotica, per compiti di pick-and-place.

Immaginate un braccio robotico in una sala di stoccaggio di un ospedale. Deve individuare una scatola, raggiungerla, prevedere cosa accade quando le sue dita entrano in contatto, e adattarsi se qualcosa si sposta. Fino a poco tempo fa, fare tutto questo contemporaneamente richiedeva una connessione a un potente server lontano. NVIDIA vuole cambiare le cose.

Martedì, NVIDIA ha pubblicato Cosmos 3 Edge su Hugging Face, il repository di IA open-source dove i ricercatori condividono gratuitamente i modelli. Il modello è abbastanza compatto da funzionare direttamente sul dispositivo che svolge il lavoro, che sia un robot di magazzino, una telecamera di fabbrica o un veicolo autonomo.

L'espressione chiave qui è "world model". Un world model, in generale, è un software di IA che impara come una scena cambia nel tempo. Non si limita a riconoscere gli oggetti. Prevede come si muoveranno, cosa causerà un'azione e quale mossa fare dopo. È come dare a una macchina una rozza immagine mentale di causa ed effetto.

Cosmos 3 Edge lo fa con 4 miliardi di parametri, dove un parametro è un singolo numero regolabile all'interno del modello che modella il modo in cui pensa. Sembra un numero grande, ma i principali modelli di IA utilizzati per i chatbot portano centinaia di miliardi. Con 4 miliardi, il modello si adatta ai dispositivi edge, i piccoli computer integrati nelle macchine sui pavimenti di fabbrica e nei corridoi degli ospedali, piuttosto che stare in un data centre nel cloud.

Come controlla effettivamente un robot?

Il modello prevede cosa fare e mostra cosa dovrebbe accadere dopo nello stesso passaggio. Fornitegli un'immagine di un tavolo con una banana e l'istruzione "prendi la banana e mettila nel piatto", e fornisce sia i movimenti fisici per il braccio robotico che una simulazione visiva di come la scena dovrebbe apparire dopo quei movimenti.

NVIDIA ha costruito il modello con due sistemi di elaborazione collegati che funzionano da una comprensione condivisa della scena. Un sistema gestisce il ragionamento linguistico e visivo. L'altro gestisce la previsione e la generazione di azioni. Condividono uno strato di attenzione comune, la parte del modello che decide quali informazioni sono più importanti in qualsiasi momento, così entrambi i lati rimangono sincronizzati.

Le azioni di macchine molto diverse, un gripper robotico, una telecamera su un carrello elevatore, un sistema di sterzo di un veicolo, vengono tutti tradotti nello stesso formato matematico compatto. Ciò significa che un modello può potenzialmente servire diversi tipi di macchine con un minimo di riadattamento.

Per gli sviluppatori, NVIDIA sta rilasciando script di addestramento e una versione pronta all'uso ottimizzata per compiti robotici di pick-and-place. I team possono adattare il modello di base utilizzando un piccolo cluster di GPU di fascia alta, i chip specializzati che eseguono i calcoli pesanti necessari all'IA, prima di spingerlo su hardware edge più economico sul campo.

NVIDIA ha anche rilasciato una versione più veloce di un modello complementare più grande che riduce il numero di passaggi di elaborazione interni da fino a 50 a soli 4, fornendo generazione di immagini e video fino a 25 volte più veloce.

Cosmos 3 Edge è disponibile ora come download gratuito da Hugging Face.