Теперь каждый может помочь обучать роботов захватывать предметы
Новый инструмент с открытым исходным кодом Grabette позволяет обычным людям записывать тренировочные данные для роботов дома, без наличия самого робота.
Ключевые моменты
- Grabette, выпущенный Pollen Robotics в 2025 году, — это портативный захват, который записывает данные манипуляций роботом без необходимости в реальном роботе.
- Устройство стоит примерно 490 евро и собирается из стандартных готовых компонентов.
- Записанные демонстрации автоматически загружаются на Hugging Face Hub — общедоступную платформу для обмена инструментами и наборами данных ИИ.
- Вспомогательный захват робота под названием Gripette, стоящий около 120 евро, крепится к манипулятору робота и воспроизводит записанные Grabette движения.
- Все конструкции оборудования, программное обеспечение и данные полностью открыты.
Самое большое препятствие в обучении роботов манипулированию предметами — это не сам ИИ. Это острая нехватка тренировочных данных: реальные примеры того, как руки захватывают предметы, открывают ящики, расставляют чашки.
Обычно сбор таких данных требует наличия робота, дорогостоящих систем телеуправления (когда человек дистанционно управляет движениями робота) и множество часов кропотливой работы в лаборатории. Большинство исследовательских групп не могут себе это позволить в масштабах.
Pollen Robotics, французская компания в области робототехники, считает, что решение — обойтись без робота вообще.
Их новое устройство Grabette — это портативный захват, который вы держите в своей руке. Вы берете его, выполняете задачу и нажимаете кнопку. Две камеры записывают, что вы делали. Одна широкоугольная рыбий глаз-камера захватывает окружающую сцену вокруг руки. Одна камера глубины отслеживает точное положение и поворот захвата в пространстве — этот параметр называется 6-DoF (шесть степеней свободы, означающих каждое направление и угол движения). Небольшой компьютер под названием Raspberry Pi сохраняет все локально.
Затем вы открываете панель управления в веб-браузере, выбираете нужные записи и нажимаете один раз. Система загружает данные, проверяет, что отслеживание движений не дало сбой, преобразует все в стандартный формат LeRobot dataset и отправляет на Hugging Face Hub, как первоначально сообщила Hugging Face. Никакого программного обеспечения для установки. Никакой командной строки.
Grabette напрямую вдохновлен Universal Manipulation Interface от Стэнфорда — исследовательским проектом, который доказал, что портативные устройства для демонстрации могут обучать реальные робототехнические алгоритмы. Цель Pollen заключалась в том, чтобы убрать все оставшиеся препятствия.
Записанные данные не остаются без использования. Pollen продемонстрировал полную цепочку, используя 200 демонстраций для обучения диффузионной политике — типа модели ИИ, которая учится копировать паттерны движения, работая на одной графической карте потребительского класса. Обученная модель затем управляла реальным манипулятором робота, оснащенным Gripette — моторизованным захватом-двойником, стоящим около 120 евро, с одинаковой конструкцией и ДНК Grabette.
Ничто в системе не привязывает вас к одному бренду робота или одному методу ИИ. Формат данных является стандартом, поэтому одни и те же записи могут обучать разные роботы.
Что это значит для людей вне робототехнических лабораторий?
Это означает, что создание общедоступных наборов данных для обучения роботов больше не требует бюджета университета или склада полного оборудования. Учитель, желающий продемонстрировать сортировку перерабатываемых материалов, физиотерапевт, которому нужно зафиксировать упражнение для реабилитации, небольшой производитель, которому нужен робот для работы с определенной деталью — каждый из них может записать демонстрации на рабочем столе и внести вклад в растущий общедоступный набор данных.
Pollen открыто просит сообщество делать именно это. Каждая новая запись делает общий набор данных шире и менее предвзятым в отношении задач, которые думают включать только хорошо финансируемые лаборатории.
Устройство с камерой на голове под названием Casquette, предназначенное для захвата вида от первого лица, уже находится в разработке в качестве вспомогательного инструмента.
Все конструкции оборудования, код и наборы данных открыто доступны на GitHub и Hugging Face Hub.
