NVIDIA Cosmos 3 Edge: робототехнике не нужны серверы

Ключевые моменты

• NVIDIA выпустила Cosmos 3 Edge в 2025 году — модель мировой системы ИИ с 4 миллиардами параметров, предназначенную для работы на небольших пограничных устройствах вместо мощных серверов центра обработки данных.
• Модель занимает первое место среди моделей аналогичного размера в тесте VANTAGE-Bench для визуальных задач ИИ в умных зданиях и робототехнике.
• Работая на оборудовании NVIDIA Jetson Thor, модель обрабатывает 32 предсказанных робот-действия за цикл вывода при 15 кадрах в секунду — достаточно быстро для управления в реальном времени.
• NVIDIA также выпустила сопутствующую модель политики, обученную на наборе данных DROID — общедоступной коллекции записей манипуляций робота для задач захвата и размещения.

Представьте себе манипулятор-робот в больничной кладовой. Ему нужно заметить коробку, протянуться к ней, предсказать, что произойдёт при контакте пальцев, и скорректировать действие, если что-то сместится. До недавних пор для выполнения всего этого требиралось подключение к мощному серверу в километрах от места действия. NVIDIA хочет это изменить.

Во вторник NVIDIA опубликовала Cosmos 3 Edge на Hugging Face — репозиторий открытого исходного кода ИИ, где исследователи свободно обмениваются моделями. Модель настолько компактна, что может работать прямо на устройстве, выполняющем работу — будь то робот на складе, фабричная камера или автономный транспорт.

Ключевое словосочетание здесь — "мировая система". Мировая система в широком смысле — это программное обеспечение ИИ, которое изучает, как сцена меняется со временем. Оно не просто узнаёт объекты. Оно предсказывает, как они будут двигаться, к чему приведёт то или иное действие и какой ход сделать дальше. Думайте об этом как о предоставлении машине приблизительного понимания причины и следствия.

Cosmos 3 Edge делает это с использованием 4 миллиардов параметров, где каждый параметр — это одно регулируемое число внутри модели, которое формирует её логику. Звучит много, но топовые модели ИИ, используемые для чат-ботов, содержат сотни миллиардов. При 4 миллиардах модель умещается на пограничные устройства — небольшие компьютеры, встроенные в машины на фабриках и в больничных коридорах, — вместо размещения в облачном центре обработки данных.

Как это на самом деле управляет роботом?

Модель предсказывает, что нужно делать, и показывает, как должна выглядеть сцена дальше, за один шаг. Если дать ей изображение стола с бананом и инструкцию «возьми банан и положи его на тарелку», она выдаст как физические движения манипулятора робота, так и визуальную имитацию того, как должна выглядеть сцена после этих движений.

NVIDIA построила модель на основе двух связанных систем обработки, работающих с единым пониманием сцены. Одна система отвечает за понимание языка и визуальное мышление. Другая отвечает за предсказание и генерацию действий. Они используют общий уровень внимания — часть модели, которая определяет, какая информация наиболее важна в данный момент, — поэтому обе системы остаются синхронизированными.

Действия совершенно разных машин — захват робота, камера на вилочном погрузчике, система управления направлением транспорта — всё переводится в один компактный математический формат. Это означает, что одна модель потенциально может обслуживать несколько типов машин с минимальной переподготовкой.

Для разработчиков NVIDIA выпускает скрипты обучения и готовую версию, дополнительно обученную для задач захвата и размещения роботом. Команды могут адаптировать базовую модель, используя небольшой кластер высокопроизводительных GPU — специализированные чипы, выполняющие интенсивные вычисления для ИИ, — прежде чем развёртывать её на более дешёвое пограничное оборудование в полевых условиях.

NVIDIA также выпустила более быструю версию большей сопутствующей модели, которая сокращает количество внутренних этапов обработки с до 50 до всего 4, обеспечивая ускорение генерации изображений и видео вплоть до 25 раз.

Cosmos 3 Edge доступна прямо сейчас для бесплатной загрузки с Hugging Face.