Новий робоподібний мозок Google може спостерігати, планувати та співпрацювати з іншими робомашинами
Gemini Robotics ER 2 дає машинам розумніший высокоуровневий 'мислитель', що відстежує прогрес на відео та передає фактичні рухи нижчерівневому контролеру.
Ключові моменти
- Google DeepMind запустив Gemini Robotics ER 2 — нову модель 'втіленого мислення', яка виконує роль високомурівневого мозку для робомашин.
- Модель набирає 57,4% при класифікації прогресу та 91,3% при пошуку моментів — виявленні точного кадру відео, коли завершується етап завдання.
- Вона підтримує багатороботну співпрацю, дозволяючи колісному робомашинам та гуманоїду поділяти завдання через спільне розуміння.
- Розробники можуть спробувати це зараз через Gemini API та Google AI Studio, з приватним попереднім переглядом на платформі Gemini Enterprise Agent Platform.
- Демонстрація поєднує модель з робомашиною Spot від Boston Dynamics для отримання предметів за голосовою командою.
Google DeepMind випустив нову модель, яка хоче бути мислячою частиною голови робомашини. Вона називається Gemini Robotics ER 2, де ER розшифровується як 'embodied reasoning' — витончений спосіб сказати, що модель розуміє фізичний світ навколо неї.
Ось простого картина. Модель спостерігає через камеру робомашини, слухає вас, планує кроки, а потім говорить окремому нижчерівневому контролеру, як насправді рухати руки та колеса. Той нижчерівневий контролер називається моделлю vision-language-action, або VLA: програмне забезпечення, яке перетворює план на конкретні моторні рухи.
Подумайте про ER 2 як про менеджера, а про VLA — як про руки.
Що вона насправді може робити?
Вона може спостерігати безперервне відео, відстежувати прогрес роботи та переходити на наступний етап у потрібний момент. Це основна зміна порівняно з попередньою версією ER 1.6.
Припустимо, робомашина наливає каву. ER 2 покликана бачити точний кадр, коли чашка повна, і говорити руці зупинитися. Власне тестування Google дає їй 91,3% точності при цій навичці 'пошуку момент', із середньою помилкою синхронізації менше секунди.
Вона також обробляє відстеження прогресу завдання, класифікуючи кожен кадр відео в одну з п'яти категорій від 0% виконано до 100% виконано. Це дає робомашині розуміння: 'я майже готовий, чи я щось напортив і мені потрібно спробувати знову?'
Чим це відрізняється від іншого штучного інтелекту для робомашин?
Швидкість та багатозадачність. ER 2 підключається до Gemini Live API — двостороннього потокового з'єднання, спеціально розробленого для низької затримки, тому робомашина не зависає кожного разу, коли їй потрібно подумати.
Вона також може викликати зовнішні інструменти під час завдання, такі як Google Search, або спеціальну функцію, яку розробник напише. Google показав демонстрацію з Spot — жовтою чотириногою робомашиною від Boston Dynamics, яка отримує пакет попкорну за усну команду.
Ще одна нова навичка: кілька робомашин, які працюють разом. Колісна робомашина та гуманоїд тепер можуть поділяти семантичне розуміння завдання та передавати завдання один одному. Google показав це з гуманоїдом Apollo 2 від Apptronik та рукою Franka F3 Duo.
Цифри, які мають значення
| Можливість | Оцінка ER 2 | Що це означає |
|---|---|---|
| Класифікація прогресу | 57,4% | Наскільки добре вона відстежує прогрес завдання на відео |
| Точність пошуку моментів | 91,3% | Виявлення точного кадру, коли відбувається подія |
| Синхронізація пошуку моментів | середня помилка 0,96с | Реакція в частині секунди, достатньо швидко для реальних робомашин |
Хто може її використовувати, і скільки це коштує?
Розробники можуть отримати доступ до ER 2 сьогодні через Gemini API та Google AI Studio, з приватним попереднім переглядом на платформі Gemini Enterprise Agent Platform. Google не опублікував ціноутворення для робоніки за токеном, тому любителям слід очікувати стандартних ставок Gemini API плюс вартість будь-якого обладнання, на яке ви його спрямуєте. Приклад коду доступний на GitHub.
Це спрямовано на розробників робомашин та компанії, а не на споживачів. Ви не можете купити робомашину ER 2 в магазині.
А що щодо безпеки?
Google каже, що ER 2 — це його найбезпечніша модель для робомашин, з кращими результатами в 'дотриманні інструкцій безпеки' та 'близькості до людини', що означає, що вона обережніше триматися подалі від людей та відмовляти небезпечні команди. На папері це заспокійливо. Справжня перевірка буде в домах, складах та лікарнях, де пролита каву — неприємність, але невдала розмах руки — уже не те.
Одна примітка про приватність простою мовою: будь-яка робомашина, що працює на цій моделі, передає відео та аудіо на сервери Google для обробки. Якщо ці машини одного дня опиняться на вашій кухні, про це варто пам'ятати. На даний момент це інструмент для розробників, і камери знаходяться в лабораторіях.
