Le nouveau cerveau robotique de Google peut observer, planifier et collaborer avec d'autres robots
Gemini Robotics ER 2 donne aux machines un « penseur » de haut niveau plus intelligent qui suit la progression via vidéo et confie les mouvements réels à un contrôleur de niveau inférieur.
Points clés
- Google DeepMind a lancé Gemini Robotics ER 2, un nouveau modèle de « raisonnement incarné » qui agit comme cerveau de haut niveau pour les robots.
- Le modèle obtient 57,4 % en classification de progression et 91,3 % en détection de moment, identifiant l'image vidéo exacte où une étape de tâche est terminée.
- Il prend en charge la collaboration multi-robots, permettant à un robot sur roues et à un humanoïde de partager une tâche grâce à une compréhension commune.
- Les développeurs peuvent l'essayer dès maintenant via l'API Gemini et Google AI Studio, avec une préversion privée sur la plateforme Gemini Enterprise Agent.
- Une démo associe le modèle au robot Spot de Boston Dynamics pour récupérer des objets sur commande vocale.
Google DeepMind a lancé un nouveau modèle destiné à être la partie pensante du cerveau d'un robot. Il s'appelle Gemini Robotics ER 2, où ER signifie « raisonnement incarné », une façon sophistiquée de dire que le modèle comprend le monde physique qui l'entoure.
Voici le principe simple. Le modèle observe à travers la caméra du robot, vous écoute, planifie les étapes, puis indique à un contrôleur de niveau inférieur séparé comment bouger réellement les bras et les roues. Ce contrôleur de niveau inférieur s'appelle un modèle vision-langage-action, ou VLA : un logiciel qui transforme un plan en mouvements moteurs spécifiques.
Pensez à ER 2 comme le gestionnaire et au VLA comme les mains.
Qu'est-ce qu'il peut vraiment faire ?
Il peut observer une vidéo continue, suivre la progression d'une tâche et passer à l'étape suivante au bon moment. C'est le changement majeur par rapport à la version précédente, ER 1.6.
Supposons qu'un robot verse du café. ER 2 est censé voir l'image exacte où la tasse est pleine et dire au bras de s'arrêter. Les tests de Google le situent à 91,3 % de précision sur cette compétence de « détection de moment », avec une erreur de synchronisation moyenne inférieure à une seconde.
Il gère aussi le suivi de la progression des tâches, classant chaque image vidéo dans l'une des cinq catégories allant de 0 % à 100 % terminé. Cela donne au robot une perception : « suis-je presque arrivé, ou ai-je échoué et dois-je réessayer ? »
En quoi est-ce différent des autres IA robotiques ?
La vitesse et la polyvalence. ER 2 s'intègre à l'API Gemini Live, une connexion en streaming bidirectionnel conçue pour une faible latence, de sorte que le robot ne se fige pas chaque fois qu'il doit réfléchir.
Il peut aussi appeler des outils externes en cours de tâche, comme Google Search, ou une fonction personnalisée qu'un développeur écrit. Google a montré une démo avec Spot, le robot quadrupède jaune de Boston Dynamics, récupérant un sac de pop-corn sur demande vocale.
Nouveau tour : plusieurs robots travaillant ensemble. Un robot sur roues et un humanoïde peuvent désormais partager une compréhension sémantique de la tâche et se déléguer des travaux. Google a démontré cela avec l'humanoïde Apollo 2 d'Apptronik et un bras Franka F3 Duo.
Les chiffres qui comptent
| Capacité | Score ER 2 | Ce que cela signifie |
|---|---|---|
| Classification de progression | 57,4 % | Sa capacité à suivre la progression des tâches en vidéo |
| Précision de détection de moment | 91,3 % | Identifier l'image exacte où un événement se produit |
| Synchronisation de détection de moment | Erreur moyenne de 0,96 s | Réaction inférieure à la seconde, assez rapide pour des robots réels |
Qui peut l'utiliser et quel est le coût ?
Les développeurs peuvent accéder à ER 2 dès aujourd'hui via l'API Gemini et Google AI Studio, avec une préversion privée sur la plateforme Gemini Enterprise Agent. Google n'a pas publié de tarification robotique par jeton, donc les amateurs doivent s'attendre aux tarifs standard de l'API Gemini plus le matériel que vous y pointez. Un code d'exemple est disponible sur GitHub.
Cela s'adresse aux développeurs de robotique et aux entreprises, pas aux consommateurs. Vous ne pouvez pas acheter un robot ER 2 chez Argos.
Qu'en est-il de la sécurité ?
Google affirme qu'ER 2 est son modèle robotique le plus sûr à ce jour, avec de meilleurs scores en « suivi d'instructions de sécurité » et « proximité humaine », ce qui signifie qu'il est plus prudent pour rester loin des gens et refuser les commandes dangereuses. C'est rassurant sur le papier. Le vrai test se fera dans les maisons, les entrepôts et les hôpitaux, où un café renversé est une gêne mais un swing de bras mal jugé ne l'est pas.
Une note de confidentialité en clair : tout robot exécutant ce modèle diffuse vidéo et audio aux serveurs de Google pour réfléchir. Si ces machines se retrouvent un jour dans votre cuisine, c'est worth remembering. Pour l'instant, c'est un outil de développement, et les caméras sont en laboratoire.
