Googles neues Robotergehirn kann beobachten, planen und mit anderen Robotern zusammenarbeiten
Gemini Robotics ER 2 gibt Maschinen einen intelligenteren übergeordneten „Denker", der Fortschritte in Videos verfolgt und die eigentlichen Bewegungen an einen untergeordneten Controller delegiert.
Wichtigste Punkte
- Google DeepMind hat Gemini Robotics ER 2 gestartet, ein neues „Embodied-Reasoning"-Modell, das als übergeordnetes Gehirn für Roboter fungiert.
- Das Modell erreicht 57,4% bei der Fortschrittsklassifizierung und 91,3% beim Moment-Finding und erkennt den genauen Videorahmen, wenn ein Aufgabenschritt abgeschlossen ist.
- Es unterstützt Mehrroboter-Zusammenarbeit und ermöglicht es einem Radroboter und einem humanoiden Roboter, eine Aufgabe durch gemeinsames Verständnis zu teilen.
- Entwickler können es jetzt über die Gemini API und Google AI Studio ausprobieren, mit einer privaten Vorschau auf der Gemini Enterprise Agent Platform.
- Eine Demo verbindet das Modell mit Spot von Boston Dynamics, um Objekte auf Sprachbefehl zu holen.
Google DeepMind hat ein neues Modell veröffentlicht, das den Denkprozess im Kopf eines Roboters übernehmen soll. Es heißt Gemini Robotics ER 2, wobei ER für „Embodied Reasoning" steht – eine elegante Art zu sagen, dass das Modell die physische Welt um sich herum versteht.
Das Grundprinzip ist einfach: Das Modell beobachtet über die Kamera des Roboters, hört dir zu, plant die Schritte und teilt dann einem separaten untergeordneten Controller mit, wie er tatsächlich die Arme und Räder bewegen soll. Dieser untergeordnete Controller wird Vision-Language-Action-Modell genannt, oder VLA: Software, die einen Plan in spezifische Motorenbewegungen umwandelt.
Denk dir ER 2 als Manager und VLA als die Hände.
Was kann es eigentlich tun?
Es kann kontinuierliches Video beobachten, verfolgen, wie gut eine Aufgabe vorangeht, und zum richtigen Zeitpunkt zum nächsten Schritt übergehen. Das ist die Hauptneuerung gegenüber der vorherigen Version, ER 1.6.
Sagen wir, ein Roboter gießt Kaffee ein. ER 2 soll den exakten Rahmen erkennen, in dem die Tasse voll ist, und dem Arm den Befehl zum Stoppen geben. Googles eigene Tests belegen eine Genauigkeit von 91,3% bei dieser „Moment-Finding"-Fähigkeit, mit einem durchschnittlichen Fehler unter einer Sekunde.
Es verarbeitet auch die Verfolgung des Aufgabenfortschritts und ordnet jeden Videorahmen in eine von fünf Kategorien von 0% bis 100% erledigt ein. Das gibt dem Roboter ein Gefühl dafür: „Bin ich fast fertig, oder bin ich schiefgelaufen und muss es erneut versuchen?"
Wie unterscheidet sich das von anderer Roboter-KI?
Geschwindigkeit und Multitasking. ER 2 nutzt die Gemini Live API, eine bidirektionale Streamingverbindung, die für niedrige Latenzen optimiert ist, damit der Roboter nicht jedes Mal einfriert, wenn er überlegen muss.
Es kann auch während einer Aufgabe externe Tools aufrufen, wie Google Search oder eine benutzerdefinierte Funktion, die ein Entwickler schreibt. Google zeigte eine Demo mit Spot, dem gelben vierbeinigen Roboter von Boston Dynamics, der eine Popcorntüte auf Sprachbefehl holt.
Ein weiterer neuer Trick: mehrere Roboter, die zusammenarbeiten. Ein Radroboter und ein humanoider Roboter können nun ein gemeinsames semantisches Verständnis der Aufgabe haben und Aufgaben untereinander delegieren. Google zeigte dies mit dem Apollo 2 Humanoiden von Apptronik und einem Franka F3 Duo Arm.
Die Zahlen, die zählen
| Fähigkeit | ER 2 Wert | Was es bedeutet |
|---|---|---|
| Fortschrittsklassifizierung | 57,4% | Wie gut es den Aufgabenfortschritt in Video verfolgt |
| Moment-Finding-Genauigkeit | 91,3% | Erkennung des genauen Rahmens, wenn ein Ereignis stattfindet |
| Moment-Finding-Timing | 0,96s durchschnittlicher Fehler | Sub-Sekunden-Reaktion, schnell genug für echte Roboter |
Wer kann es nutzen und was kostet es?
Entwickler können auf ER 2 heute über die Gemini API und Google AI Studio zugreifen, mit einer privaten Vorschau auf der Gemini Enterprise Agent Platform. Google hat keine spezifischen Preise für Robotik-Token veröffentlicht, daher sollten Hobbyisten mit Standard-Gemini-API-Tarifen plus der Hardware, auf die du es anwendest, rechnen. Beispielcode ist auf GitHub verfügbar.
Dies richtet sich an Robotik-Entwickler und Unternehmen, nicht an Verbraucher. Du kannst keinen ER 2 Roboter bei Argos kaufen.
Was ist mit Sicherheit?
Google sagt, ER 2 sei sein sicherstes Robotik-Modell bisher, mit besseren Ergebnissen beim „Befolgen von Sicherheitsanweisungen" und „Menschliche Nähe", was bedeutet, dass es vorsichtiger beim Abstand zu Menschen ist und unsichere Befehle ablehnt. Das klingt auf dem Papier beruhigend. Der echte Test wird in Häusern, Lagern und Krankenhäusern stattfinden, wo verschütteter Kaffee ärgerlich ist, aber ein fehlberechneter Armschwung nicht.
Eine Datenschutzbemerkung in klaren Worten: Jeder Roboter, der dieses Modell ausführt, streamt Video und Audio an Googles Server, um zu denken. Falls diese Maschinen eines Tages in deiner Küche landen, ist das einen Gedanken wert. Derzeit ist es ein Entwicklertool und die Kameras sind in Laboren.
