Cosmos 3 Edge de NVIDIA lleva el cerebro de los robots a la realidad

Puntos clave

• NVIDIA lanzó Cosmos 3 Edge, un modelo de mundo de IA con 4 mil millones de parámetros diseñado para ejecutarse en dispositivos periféricos pequeños en lugar de servidores de centros de datos grandes.
• El modelo ocupa el primer lugar entre modelos de tamaño similar en VANTAGE-Bench, una prueba de referencia para tareas de IA basadas en visión en edificios inteligentes y robótica.
• Al ejecutarse en hardware NVIDIA Jetson Thor, procesa 32 acciones de robot predichas por ciclo de inferencia a 15 fotogramas por segundo, lo suficientemente rápido para el control en tiempo real.
• NVIDIA también lanzó un modelo de política complementario entrenado en el conjunto de datos DROID, una colección disponible públicamente de grabaciones de manipulación robótica, para tareas de selección y colocación.

Imagina un brazo robótico en una sala de suministros de un hospital. Necesita detectar una caja, extender el brazo hacia ella, predecir qué sucede cuando sus dedos hacen contacto y ajustarse si algo se desplaza. Hasta hace poco, hacer todo eso a la vez requería una conexión a un servidor potente a kilómetros de distancia. NVIDIA quiere cambiar eso.

NVIDIA publicó Cosmos 3 Edge en Hugging Face, el repositorio de IA de código abierto donde los investigadores comparten modelos de forma gratuita. Primero cubrimos el modelo el 19 de julio en nuestro informe sobre el impulso del cerebro robótico de NVIDIA y sus asociaciones de IA japonesas; este lanzamiento proporciona los detalles técnicos.

La frase "modelo del mundo" tiene un peso real aquí. Un modelo del mundo es software de IA que aprende cómo cambia una escena con el tiempo: no solo reconoce objetos, sino que predice cómo se moverán, qué causará una acción y qué movimiento hacer a continuación. Piénsalo como darle a una máquina una comprensión aproximada de causa y efecto.

Cosmos 3 Edge hace esto con 4 mil millones de parámetros, donde un parámetro es un número ajustable único dentro del modelo que forma cómo piensa. Los modelos de chatbot principales llevan cientos de miles de millones. Con 4 mil millones, el modelo cabe en dispositivos periféricos, las pequeñas computadoras integradas en máquinas en pisos de fábrica y pasillos de hospitales, en lugar de estar en un centro de datos en la nube.

¿Cómo controla realmente un robot?

El modelo predice qué hacer y muestra qué debería suceder a continuación en el mismo paso. Proporciónale una imagen de una mesa con un plátano e la instrucción "recoge el plátano y ponlo en el plato", y genera tanto los movimientos físicos del brazo robótico como una simulación visual de cómo debería verse la escena una vez realizados esos movimientos.

NVIDIA construyó el modelo con dos sistemas de procesamiento vinculados que comparten una comprensión común de la escena. Uno se encarga del razonamiento del lenguaje y visual; el otro se encarga de la predicción y la generación de acciones. Comparten una capa de atención común, la parte del modelo que decide qué piezas de información importan más en cualquier momento, manteniendo ambos lados sincronizados.

Las acciones de máquinas muy diferentes, un gripper robótico o un sistema de dirección de vehículo, se traducen todas en el mismo formato matemático compacto. Un modelo puede potencialmente servir a varios tipos de máquinas con un reentrenamiento mínimo, que es la ventaja práctica con la que más se importarán los desarrolladores.

Para desarrolladores, NVIDIA está lanzando scripts de entrenamiento y una versión lista para usar ajustada para tareas de robot de selección y colocación. Los equipos pueden adaptar el modelo base usando un pequeño clúster de GPUs H100, los chips especializados que realizan el trabajo de números pesado que la IA necesita, antes de enviarlo al hardware periférico más barato en el campo.

NVIDIA también lanzó una versión más rápida de un modelo complementario más grande que reduce los pasos de procesamiento interno de hasta 50 a solo 4, brindando generación de imágenes y video hasta 25 veces más rápida.

Cosmos 3 Edge está disponible ahora como descarga gratuita desde Hugging Face.