Тепер кожен може допомогти навчати роботів захоплювати предмети

Ключові моменти

• Grabette, випущений Pollen Robotics у 2025 році, — це ручний гриффер, який записує дані маніпуляції робота без потреби в реальному роботі.
• Вартість пристрою становить приблизно 490 євро для виготовлення зі стандартних комерційно доступних деталей.
• Записані демонстрації автоматично завантажуються на Hugging Face Hub, відкриту платформу для спільного використання інструментів та наборів даних AI.
• Супутній гриффер робота під назвою Gripette, який коштує близько 120 євро для виготовлення, кріпиться до робочої руки та повторює те, що записав Grabette.
• Усі проекти обладнання, програмне забезпечення та дані мають повністю відкритий вихідний код.

Найбільшою перешкодою навчанню роботів обробці предметів є не сам AI. Це гостра нестача навчальних даних: реальні приклади рук, що підбирають предмети, відкривають ящики, розставляють чашки.

Збір таких даних зазвичай вимагає наявності робота, дорогих систем телеуправління (систем, де людина дистанційно керує рухами робота) та багатогодинної виснажливої роботи в лабораторії. Більшість дослідницьких груп не можуть собі це дозволити в масштабі.

Pollen Robotics, французька компанія з робототехніки, вважає, що відповідь полягає в тому, щоб взагалі відмовитися від робота.

Їхній новий пристрій Grabette — це ручний гриффер, який ви тримаєте в руці. Ви беретесь за нього, виконуєте завдання та натискаєте кнопку. Дві камери записують те, що ви робили. Одна ширококутна камера з рибин'ячим оком фіксує сцену навколо руки. Одна камера глибини відстежує точне розташування та поворот гриффера в просторі — вимір, який називається 6-DoF (шість ступенів свободи, означає кожен напрямок і кут руху). Невеликий комп'ютер під назвою Raspberry Pi зберігає все локально.

Потім ви відкриваєте інформаційну панель у браузері, вибираєте записи, які хочете, та клікаєте один раз. Система завантажує дані, перевіряє, чи не збився відстежувач руху, перетворює все в стандартний формат, називаний LeRobot dataset, і передає на Hugging Face Hub, який, як спочатку повідомив Hugging Face, є платформою розповсюджування. Ніякого програмного забезпечення для встановлення. Без командного рядка.

Grabette безпосередньо натхнений Universal Manipulation Interface від Stanford, дослідницьким проектом, який доказав, що ручні пристрої демонстрації можуть навчати реальні політики робота. Мета Pollen була усунути кожну залишкову перешкоду.

Записані дані не залишаються без використання. Pollen продемонстрував повний ланцюжок, використовуючи 200 демонстрацій для навчання дифузійної політики — типу моделі AI, яка вчиться копіювати закономірності руху, запущеної на одній комерційній графічній карті. Тренована модель потім керувала реальною робочою рукою, обладнаною Gripette, моторизованим гриффером-близнюком, який коштує близько 120 євро для виготовлення та має ту саму генетику дизайну, що й Grabette.

Ніщо в системі не прив'язує вас до одного бренду робота чи одного методу AI. Формат даних є стандартним, тому одні й ті ж записи можуть навчати різні робота.

Що це означає для людей поза робототехнічними лабораторіями?

Це означає, що створення спільних наборів навчальних даних для робота більше не вимагає бюджету університету чи складу, повного обладнання. Вчитель, який хоче продемонструвати, як сортувати вторсировину, фізіотерапевт, який хоче записати вправу реабілітації, малий виробник, якому потрібен робот для обробки конкретної деталі: кожен із них міг би записати демонстрації на верстаті та внести внесок у постійно зростаючий відкритий набір даних.

Pollen відкрито просить спільноту робити саме це. Кожен новий запис робить спільний набір даних ширшим і менш упередженим щодо завдань, які приходять до голови лише добре фінансованим лабораторіям.

Пристрій камери, закріплений на голові, під назвою Casquette, призначений для захоплення виду від першої особи, вже розробляється як супутній інструмент.

Усі проекти обладнання, код та набори даних загально доступні на GitHub та Hugging Face Hub.