Cosmos 3 Edge da NVIDIA Traz Inteligência de Robôs para o Terreno

Pontos principais

• A NVIDIA lançou o Cosmos 3 Edge em 2025, um modelo de IA com 4 mil milhões de parâmetros concebido para funcionar em pequenos dispositivos periféricos em vez de servidores de grandes centros de dados.
• O modelo ocupa o primeiro lugar entre modelos de tamanho semelhante no VANTAGE-Bench, um teste de referência para tarefas de IA baseadas em visão em edifícios inteligentes e robótica.
• Executando em hardware NVIDIA Jetson Thor, o modelo processa 32 ações de robô previstas por ciclo de inferência a 15 fotogramas por segundo, suficientemente rápido para controlo em tempo real.
• A NVIDIA também lançou um modelo de política complementar treinado no conjunto de dados DROID, uma colecção disponível publicamente de gravações de manipulação de robôs, para tarefas de apanha e colocação.

Imagine um braço robótico numa sala de armazenamento de um hospital. Precisa de identificar uma caixa, alcançá-la, prever o que acontece quando os seus dedos entram em contacto e ajustar-se se algo se deslocar. Até recentemente, fazer tudo isto simultaneamente exigia uma ligação a um servidor poderoso a quilómetros de distância. A NVIDIA quer mudar isso.

Na terça-feira, a NVIDIA publicou o Cosmos 3 Edge no Hugging Face, o repositório de IA de código aberto onde os investigadores partilham modelos gratuitamente. O modelo é suficientemente compacto para funcionar directamente no dispositivo que está a fazer o trabalho, seja um robô de armazém, uma câmara de fábrica ou um veículo autoguiado.

A frase-chave aqui é "modelo de mundo". Um modelo de mundo, em termos gerais, é software de IA que aprende como uma cena muda ao longo do tempo. Não se limita a reconhecer objectos. Prevê como se vão mover, o que uma acção vai causar e qual o movimento a fazer a seguir. Pense nisto como dar a uma máquina uma imagem mental aproximada de causa e efeito.

O Cosmos 3 Edge faz isto com 4 mil milhões de parâmetros, onde um parâmetro é um único número ajustável dentro do modelo que molda a forma como pensa. Isto parece grande, mas os principais modelos de IA utilizados para chatbots contêm centenas de mil milhões. Com 4 mil milhões, o modelo cabe em dispositivos periféricos, os pequenos computadores integrados em máquinas nos pisos de fábricas e corredores de hospitais, em vez de estar num centro de dados na nuvem.

Como é que controla efectivamente um robô?

O modelo prevê o que fazer e mostra o que deveria acontecer a seguir no mesmo passo. Forneça-lhe uma imagem de uma mesa com uma banana e a instrução "pegue na banana e coloque-a no prato", e produz tanto os movimentos físicos para o braço do robô como uma simulação visual de como a cena deveria parecer uma vez realizados esses movimentos.

A NVIDIA construiu o modelo com dois sistemas de processamento ligados que trabalham a partir de uma compreensão comum da cena. Um sistema lida com raciocínio linguístico e visual. O outro lida com previsão e geração de ações. Partilham uma camada de atenção comum, a parte do modelo que decide quais as informações que mais importam a qualquer momento, para que ambos os lados se mantenham sincronizados.

Ações de máquinas muito diferentes, uma pinça de robô, uma câmara numa empilhadeira, um sistema de direção de um veículo, todas são traduzidas para o mesmo formato matemático compacto. Isto significa que um modelo pode potencialmente servir vários tipos diferentes de máquinas com retreinamento mínimo.

Para programadores, a NVIDIA está a lançar scripts de treinamento e uma versão pronta a usar afinada para tarefas de robô de apanha e colocação. As equipas podem adaptar o modelo base utilizando um pequeno cluster de GPUs de alta gama, os chips especializados que realizam o trabalho pesado de cálculos que a IA necessita, antes de o colocar em hardware periférico mais barato no terreno.

A NVIDIA também lançou uma versão mais rápida de um modelo complementar maior que reduz o número de passos de processamento interno de até 50 para apenas 4, oferecendo geração de imagem e vídeo até 25 vezes mais rápida.

O Cosmos 3 Edge está disponível agora como uma transferência gratuita a partir do Hugging Face.