NVIDIAs Cosmos 3 Edge bringt Roboter-Intelligenz in die Nähe

Wichtige Punkte

• NVIDIA veröffentlichte Cosmos 3 Edge 2025, ein KI-Weltmodell mit 4 Milliarden Parametern, das auf kleinen Edge-Geräten statt auf großen Rechenzentrumsservern läuft.
• Das Modell rangiert unter ähnlich großen Modellen auf VANTAGE-Bench an erster Stelle, einem Benchmark-Test für visionsbasierte KI-Aufgaben in intelligenten Gebäuden und der Robotik.
• Das Modell verarbeitet auf der NVIDIA Jetson Thor Hardware 32 vorhergesagte Roboter-Aktionen pro Inferenzzykus bei 15 Bildern pro Sekunde, schnell genug für Echtzeitsteuerung.
• NVIDIA veröffentlichte auch ein begleitendes Policy-Modell, das auf dem DROID-Datensatz trainiert wurde, einer öffentlich verfügbaren Sammlung von Roboter-Manipulationsaufnahmen für Pick-and-Place-Aufgaben.

Stellen Sie sich einen Roboterarm in einem Krankenhaus-Lagerraum vor. Er muss ein Kästchen erkennen, danach greifen, vorhersagen, was passiert, wenn seine Finger Kontakt machen, und sich anpassen, wenn sich etwas verschiebt. Bis vor kurzem erforderte das alles auf einmal eine Verbindung zu einem leistungsstarken Server Meilen entfernt. NVIDIA möchte das ändern.

Am Dienstag veröffentlichte NVIDIA Cosmos 3 Edge auf Hugging Face, dem Open-Source-KI-Repository, in dem Forscher Modelle kostenlos teilen. Das Modell ist kompakt genug, um direkt auf dem Gerät zu laufen, das die Arbeit verrichtet, ob das ein Lagerroboter, eine Fabrikcamera oder ein autonomes Fahrzeug ist.

Der Schlüsselbegriff hier ist „Weltmodell". Ein Weltmodell ist im Grunde KI-Software, die lernt, wie sich eine Szene im Laufe der Zeit verändert. Es erkennt nicht nur Objekte. Es prognostiziert, wie sie sich bewegen werden, was eine Aktion bewirken wird und welcher Schritt als nächstes zu unternehmen ist. Stellen Sie sich vor, Sie geben einer Maschine ein grobes mentales Bild von Ursache und Wirkung.

Cosmos 3 Edge macht dies mit 4 Milliarden Parametern, wobei ein Parameter eine einzelne einstellbare Zahl im Modell ist, die beeinflusst, wie es denkt. Das klingt groß, aber Top-KI-Modelle, die für Chatbots verwendet werden, enthalten hunderte Milliarden. Bei 4 Milliarden passt das Modell auf Edge-Geräte, die kleinen Computer, die in Maschinen auf Fabrikböden und Krankenhausfluren eingebaut sind, anstatt in einem Cloud-Rechenzentrum zu sitzen.

Wie steuert es tatsächlich einen Roboter?

Das Modell prognostiziert, was zu tun ist, und zeigt in demselben Schritt, wie die nächste Szene aussehen sollte. Geben Sie ihm ein Bild eines Tisches mit einer Banane und die Anweisung „nimm die Banane und lege sie auf den Teller", und es gibt sowohl die physischen Bewegungen für den Roboterarm als auch eine visuelle Simulation aus, wie die Szene nach diesen Bewegungen aussehen sollte.

NVIDIA baute das Modell mit zwei verknüpften Verarbeitungssystemen, die von einem gemeinsamen Verständnis der Szene ausgehen. Ein System behandelt Sprach- und visuelle Reasoning. Das andere behandelt Vorhersage und Aktionsgenerierung. Sie teilen sich eine gemeinsame Aufmerksamkeitsschicht, den Teil des Modells, der entscheidet, welche Informationen in jedem Moment am wichtigsten sind, damit beide Seiten synchron bleiben.

Aktionen von sehr verschiedenen Maschinen, eine Robotergreifer, eine Kamera auf einem Gabelstapler, ein Fahrzeuglenkungssystem, werden alle in das gleiche kompakte mathematische Format übersetzt. Das bedeutet, ein Modell kann potenziell mehrere verschiedene Maschinentypen mit minimalem Umtraining bedienen.

Für Entwickler veröffentlicht NVIDIA Trainings-Skripte und eine einsatzbereite Version, die für Pick-and-Place-Roboter-Aufgaben feinabgestimmt ist. Teams können das Basismodell mit einem kleinen Cluster von High-End-GPUs anpassen, den spezialisierten Chips, die die rechenintensive KI-Arbeit leisten, bevor es auf günstigere Edge-Hardware vor Ort übertragen wird.

NVIDIA veröffentlichte auch eine schnellere Version eines größeren Begleitmodells, das die Anzahl der internen Verarbeitungsschritte von bis zu 50 auf nur 4 reduziert, was bis zu 25-mal schnellere Bilder- und Videogenerierung ermöglicht.

Cosmos 3 Edge ist jetzt kostenlos von Hugging Face zum Download verfügbar.