OlmoEarth-Plattform scannt einen ganzen Kontinent in 30 Stunden mit knapp 1.000 GPUs

Wichtigste Punkte

• Das Allen Institute for AI (Ai2) hat die OlmoEarth-Plattform gestartet, um großflächige KI-Analysen an Satellitenbildern für Umweltorganisationen durchzuführen.
• Ein einzelner Durchlauf zur Erstellung einer Waldbrandrisikokarte für Nordamerika nutzte 19.600 CPUs und 994 GPUs parallel und wurde in etwa 30,5 Stunden abgeschlossen – statt der geschätzten 4.737 Stunden.
• Die Plattform verarbeitet Dutzende von Terabyte an Bildern zu Kosten im Bruchteil eines Cent pro Quadratkilometer.
• Regierungen und Nichtregierungsorganisationen nutzen bereits die zugrundeliegenden OlmoEarth-Modelle für die Überwachung von Entwaldung, Bewertungen der Ernährungssicherheit und Kartierung von Waldbrandrisiken.
• OlmoEarth wurde mit etwa 10 Terabyte an Satellitendaten vortrainiert und ist offen für Organisationen, um darauf aufzubauen.

Satelliten fotografieren ständig jeden Zentimeter der Erde. Die Schwierigkeit liegt darin, all diese Bilder schnell genug zu verarbeiten, um darauf reagieren zu können.

Das Allen Institute for AI, bekannt als Ai2, hat eine Infrastruktur namens OlmoEarth-Plattform entwickelt, um genau das zu tun. Sie setzt ihre Familie von OlmoEarth-Modellen ein – KI-Systeme, die speziell an etwa 10 Terabyte an Satellitenbildern trainiert wurden – und führt sie in einem Maßstab aus, den die meisten Organisationen eigenständig niemals bewältigen könnten.

Was hat dieses System tatsächlich erreicht?

Um das Waldbrandrisiko über ganz Nordamerika zu kartieren, teilte die Plattform den Kontinent in Tausende kleiner Abschnitte auf, analysierte jeden einzeln und kombinierte die Ergebnisse dann wieder zu einer einzigen Karte. Bei maximaler Auslastung lief sie gleichzeitig auf 19.600 CPUs (Prozessoren für allgemeine Zwecke) und 994 GPUs (spezialisierte Chips, die die rechenintensive Arbeit durchführen, die KI benötigt). Der Netzwerkverkehr zwischen Maschinen erreichte 168 Gigabyte pro Sekunde. Der gesamte Auftrag wurde in etwa 30,5 Stunden abgeschlossen. Ohne diesen Parallelismus (mehrere Aufgaben gleichzeitig statt nacheinander ausführen) hätte die gleiche Arbeit etwa 4.737 Stunden gedauert, ungefähr 197 Tage.

Die Kosten liegen im Bruchteil eines Cent pro Quadratkilometer, was kontinentale Scans für Nichtregierungsorganisationen und Regierungsbehörden finanziell realistisch macht.

Warum ist Satelliten-KI so viel schwieriger als normale KI?

Die meisten KI-Modelle verarbeiten ein paar Megabyte Daten und geben eine Antwort in unter einer Sekunde. Satelliteninferenz ist eine völlig andere Problemkategorie. Ein einzelner Analysejob kann Terabyte an Daten verschieben und Stunden andauern.

Die Bilder stammen von mehreren Anbietern, die jeweils unterschiedliche Koordinatensysteme und Auflösungen verwenden. Wolken blockieren optische Sensoren. Einige Daten treffen Minuten nach der Erfassung ein, andere Datensätze lagern um Tage. Jede Vorhersage muss präzise auf einem geografischen Raster ausgerichtet sein, damit die endgültige Ausgabe eine genaue Karte ist und nicht ein Flickenteppich.

Das Herunterladen und Vorbereiten von Bildern dauert oft länger als die Ausführung des KI-Modells selbst.

Wie verwaltet die Plattform all das?

Ai2 unterteilt jeden Auftrag in drei Phasen, die auf verschiedene Hardware abgestimmt sind. CPUs verwalten das Abrufen, Ausrichten und Formatieren von Rohbildern. GPUs führen die tatsächliche KI-Analyse durch. CPUs behandeln wieder die abschließende Zusammensetzung und den Export in Formate wie GeoTIFF, ein in Kartensoftware verwendeter Standard-Dateityp.

GPUs nur bei der KI-Bearbeitung (statt sie bei Dateidownloads zu verschwenden) ist das, was die Wirtschaftlichkeit ermöglicht.

Um Satellitendatenanbieter vor Tausenden gleichzeitiger Anfragen zu bewahren, behält die Plattform einen eigenen internen Index verfügbarer Bilder, der aktualisiert wird, wenn neue Szenen veröffentlicht werden. Das bedeutet, dass Anfragen an externe Dienste ein stetetes Rinnsal bleiben und nicht plötzlich ansteigen.

Für wen ist das bestimmt, und was bedeutet es für normale Menschen?

Ai2 bemerkt, dass die meisten Umweltorganisationen – diejenigen, die Entwaldung überwachen oder Risiken für die Lebensmittelversorgung in dürregefährdeten Regionen verfolgen – nicht über die technischen Teams verfügen, um diese Art von Infrastruktur selbst zu betreiben. Die OlmoEarth-Plattform soll diese Lücke schließen.

Für Menschen, die in waldbrandgefährdeten Gebieten oder Regionen mit Lebensmittelunsicherheit leben, bedeuten schnellere und günstigere Satellitenanalysen, dass die Organisationen, die diese Bedrohungen überwachen, ihre Karten häufiger aktualisieren und früher handeln können.

Die OlmoEarth-Modelle selbst sind offen, das heißt, jede Organisation mit einem fähigen technischen Team kann sie übernehmen und direkt darauf aufbauen, wie zuerst von Hugging Face berichtet. Die Plattform ist die darauf aufgebaute Schicht für alle anderen.

Häufig gestellte Fragen

Bedeutet das, dass KI jetzt Waldbrände vorhersagen kann?

Nicht genau. Die Plattform erstellt Risikokarten basierend auf aktuellen Satellitendaten und zeigt, welche Bereiche Bedingungen haben, die mit höherer Brandgefahr verbunden sind. Es ist ein Überwachungs- und Frühwarnungswerkzeug, keine genaue Vorhersage.

Kann das OlmoEarth-Modell kostenlos verwendet werden?

Die zugrundeliegenden OlmoEarth-Modelle sind offen, das heißt, Organisationen können sie herunterladen und anpassen. Die OlmoEarth-Plattform, die verwaltete Infrastruktur zum Ausführen in großem Maßstab, ist ein separates Produkt von Ai2 und zielt auf Organisationen ohne große technische Teams ab.