La plateforme OlmoEarth analyse un continent entier en 30 heures avec près de 1 000 GPU

Points clés

• L'Institut Allen pour l'IA (Ai2) a lancé la plateforme OlmoEarth pour exécuter des analyses d'IA à grande échelle sur des images satellites destinées aux organisations environnementales.
• Une seule exécution de cartographie des risques d'incendie de forêt en Amérique du Nord a utilisé 19 600 CPU et 994 GPU en parallèle, finissant en environ 30,5 heures au lieu des 4 737 heures estimées.
• La plateforme traite des dizaines de téraoctets d'images à un coût de fractions de centime par kilomètre carré.
• Des gouvernements et des ONG utilisent déjà les modèles OlmoEarth pour la surveillance de la déforestation, l'évaluation de la sécurité alimentaire et la cartographie des risques d'incendie.
• OlmoEarth a été préentraîné sur environ 10 téraoctets de données satellites et est ouvert aux organisations pour construire dessus.

Les satellites photographient chaque centimètre de la Terre en permanence. La partie difficile est de donner un sens à toutes ces images assez rapidement pour agir.

L'Institut Allen pour l'IA, connu sous le nom d'Ai2, a construit une infrastructure appelée la plateforme OlmoEarth pour faire exactement cela. Elle prend sa famille de modèles OlmoEarth, qui sont des systèmes d'IA entraînés spécifiquement sur environ 10 téraoctets d'images satellites, et les exécute à une échelle que la plupart des organisations ne pourraient jamais gérer seules.

Qu'a réellement accompli ce système ?

Pour cartographier le risque d'incendie de forêt sur toute l'Amérique du Nord, la plateforme a divisé le continent en milliers de petits patchs, analysé chacun séparément, puis recousu les résultats en une seule carte. À charge maximale, elle fonctionnait sur 19 600 CPU (processeurs d'ordinateur à usage général) et 994 GPU (les puces spécialisées qui effectuent le calcul numérique intensif dont l'IA a besoin) en même temps. Le trafic réseau entre les machines a atteint 168 gigaoctets par seconde. L'ensemble du travail s'est terminé en environ 30,5 heures. Sans ce parallélisme (exécution de nombreuses tâches à la fois plutôt qu'une après l'autre), le même travail aurait pris un estimé de 4 737 heures, environ 197 jours.

Le coût s'élève à des fractions de centime par kilomètre carré, ce qui rend les analyses à l'échelle continentale financièrement réalistes pour les ONG et les agences gouvernementales.

Pourquoi l'IA satellite est-elle tellement plus difficile que l'IA ordinaire ?

La plupart des modèles d'IA traitent quelques mégaoctets de données et retournent une réponse en moins d'une seconde. L'inférence satellite est une catégorie de problème entièrement différente. Un seul travail d'analyse peut déplacer des téraoctets de données et s'exécuter pendant des heures.

Les images proviennent de plusieurs fournisseurs, chacun utilisant des systèmes de coordonnées et des résolutions différents. Les nuages bloquent les capteurs optiques. Certaines données arrivent minutes après la capture ; d'autres ensembles de données accusent un retard de jours. Chaque prédiction doit s'aligner précisément sur une grille géographique pour que le résultat final soit une carte exacte, pas un patchwork.

Le téléchargement et la préparation des images prennent souvent plus de temps que l'exécution du modèle d'IA lui-même.

Comment la plateforme gère-t-elle tout cela ?

Ai2 divise chaque travail en trois étapes adaptées à des matériels différents. Les CPU gèrent la récupération, l'alignement et le formatage des images brutes. Les GPU exécutent l'analyse d'IA réelle. Les CPU gèrent à nouveau l'assemblage final et l'export dans des formats tels que GeoTIFF, un type de fichier standard utilisé dans les logiciels de cartographie.

Garder les GPU occupés uniquement sur l'étape d'IA (plutôt que de les gaspiller sur les téléchargements de fichiers) est ce qui rend l'économie viable.

Pour éviter d'inonder les fournisseurs de données satellites avec des milliers de demandes simultanées, la plateforme conserve son propre index interne des images disponibles, mis à jour au fur et à mesure que de nouvelles scènes sont publiées. Cela signifie que les demandes aux services externes restent à un flux constant plutôt qu'une soudaine augmentation.

À qui s'adresse-t-elle et que signifie-t-elle pour les gens ordinaires ?

Ai2 note que la plupart des organisations environnementales, celles qui assurent la surveillance de la déforestation ou le suivi des risques d'approvisionnement alimentaire dans les régions sujettes à la sécheresse, n'ont pas les équipes d'ingénierie pour exécuter eux-mêmes ce genre d'infrastructure. La plateforme OlmoEarth est conçue pour combler cette lacune.

Pour les personnes vivant dans des zones sujettes aux incendies de forêt ou des régions à risque d'insécurité alimentaire, une analyse satellite plus rapide et moins chère signifie que les organisations qui surveillent ces menaces peuvent mettre à jour leurs cartes plus fréquemment et agir plus tôt.

Les modèles OlmoEarth eux-mêmes sont ouverts, ce qui signifie que toute organisation disposant d'une équipe technique capable peut les prendre et construire directement, comme l'a rapporté pour la première fois Hugging Face. La plateforme est la couche construite dessus pour tous les autres.

Questions fréquemment posées

Cela signifie-t-il que l'IA peut maintenant prédire les incendies de forêt ?

Pas exactement. La plateforme produit des cartes de risque basées sur les données satellites actuelles, montrant quelles zones ont des conditions associées à un danger d'incendie plus élevé. C'est un outil de surveillance et d'alerte précoce, pas une prévision précise.

Le modèle OlmoEarth est-il gratuit à utiliser ?

Les modèles OlmoEarth sous-jacents sont ouverts, ce qui signifie que les organisations peuvent les télécharger et les adapter. La plateforme OlmoEarth, l'infrastructure gérée pour les exécuter à grande échelle, est un produit distinct d'Ai2 destiné aux organisations sans grandes équipes d'ingénierie.