Новый робот-помощник Google может наблюдать, планировать и работать в команде с другими роботами
Gemini Robotics ER 2 дает машинам более интеллектуальный высокоуровневый «мозг», который отслеживает прогресс на видео и передает управление низкоуровневому контроллеру.
Ключевые моменты
- Google DeepMind запустила Gemini Robotics ER 2 — новую модель «воплощенного мышления», которая служит высокоуровневым мозгом для роботов.
- Модель достигает 57,4% точности при классификации прогресса и 91,3% при поиске момента, определяя точный кадр видео завершения этапа задачи.
- Она поддерживает сотрудничество нескольких роботов, позволяя колесному роботу и гуманоиду выполнять задачу совместно благодаря общему пониманию.
- Разработчики могут попробовать её прямо сейчас через Gemini API и Google AI Studio, с приватной предпросмотром на платформе Gemini Enterprise Agent Platform.
- Демонстрация объединяет модель с роботом Spot от Boston Dynamics для сбора предметов по голосовой команде.
Google DeepMind выпустила новую модель, которая должна стать думающей частью мозга робота. Она называется Gemini Robotics ER 2, где ER расшифровывается как «embodied reasoning» (воплощенное мышление) — это причудливый способ сказать, что модель понимает физический мир вокруг неё.
Вот простое объяснение. Модель наблюдает через камеру робота, слушает вас, планирует этапы работы, а затем сообщает отдельному низкоуровневому контроллеру, как именно двигать руками и колёсами. Этот низкоуровневый контроллер называется vision-language-action моделью, или VLA: программное обеспечение, которое превращает план в конкретные двигательные команды.
Думайте о ER 2 как о менеджере, а о VLA как о руках.
Что она может делать?
Она может наблюдать непрерывное видео, отслеживать ход выполнения задания и переходить к следующему этапу в нужный момент. Это главное улучшение по сравнению с предыдущей версией ER 1.6.
Скажем, робот наливает кофе. ER 2 должна увидеть точный кадр, когда чашка полная, и сказать руке остановиться. По результатам тестирования Google точность этого навыка «поиска момента» составляет 91,3%, с средней временной ошибкой менее одной секунды.
Она также отслеживает прогресс задачи, классифицируя каждый кадр видео в одну из пяти категорий от 0% выполнено до 100% выполнено. Это дает роботу представление о том, «я почти готов, или я ошибся и нужно попробовать снова?»
Чем это отличается от другого робот-ИИ?
Скоростью и многозадачностью. ER 2 подключается к Gemini Live API, двусторонней потоковой связи, разработанной для низкой задержки, поэтому робот не зависает каждый раз, когда ему нужно думать.
Она также может вызывать внешние инструменты во время выполнения задачи, такие как Google Search или пользовательская функция, которую написал разработчик. Google показал демонстрацию со Spot, жёлтым четырёхногим роботом от Boston Dynamics, который берёт пакет попкорна по голосовой команде.
Ещё одна новинка: несколько роботов, работающих вместе. Колесный робот и гуманоид теперь могут разделять семантическое понимание задачи и передавать друг другу отдельные операции. Google показала это на примере гуманоида Apollo 2 от Apptronik и руки Franka F3 Duo.
Важные числа
| Способность | Результат ER 2 | Что это означает |
|---|---|---|
| Классификация прогресса | 57,4% | Насколько хорошо модель отслеживает прогресс задачи на видео |
| Точность поиска момента | 91,3% | Определение точного кадра возникновения события |
| Время реакции при поиске момента | 0,96 с средней ошибки | Реакция менее секунды, достаточно быстро для реальных роботов |
Кто может её использовать и сколько это стоит?
Разработчики могут получить доступ к ER 2 уже сегодня через Gemini API и Google AI Studio, с приватной предпросмотром на платформе Gemini Enterprise Agent Platform. Google не опубликовала цены по токенам для робототехники, поэтому энтузиастам следует ожидать стандартных тарифов Gemini API плюс стоимость любого оборудования. Примеры кода доступны на GitHub.
Это предназначено для разработчиков робототехники и компаний, а не для потребителей. Вы не можете купить робота ER 2 в обычном магазине.
А как насчёт безопасности?
Google говорит, что ER 2 — это самая безопасная модель робототехники, с лучшими результатами по «соблюдению инструкций безопасности» и «близости к людям», то есть она более осторожна при сохранении расстояния до людей и отказывается выполнять небезопасные команды. На бумаге это звучит обнадёживающе. Настоящий тест произойдёт в домах, складах и больницах, где пролитый кофе — это неприятность, а неправильный взмах руки — совсем другое дело.
Одно примечание о конфиденциальности простыми словами: любой робот, использующий эту модель, транслирует видео и звук на серверы Google для обработки. Если такие машины когда-нибудь окажутся на вашей кухне, это стоит помнить. На данный момент это инструмент для разработчиков, и камеры находятся в лабораториях.
