La Plataforma OlmoEarth Escanea un Continente Completo en 30 Horas Utilizando Casi 1,000 GPUs

Puntos clave

• El Allen Institute for AI (Ai2) lanzó la Plataforma OlmoEarth para ejecutar análisis de IA a gran escala en imágenes satelitales para organizaciones ambientales.
• Una única ejecución del mapa de riesgo de incendios forestales de América del Norte utilizó 19,600 CPUs y 994 GPUs en paralelo, finalizando en aproximadamente 30,5 horas en lugar de las 4,737 horas estimadas.
• La plataforma procesa docenas de terabytes de imágenes a un costo de fracciones de centavo por kilómetro cuadrado.
• Gobiernos y organizaciones no gubernamentales ya están utilizando los modelos OlmoEarth subyacentes para monitoreo de deforestación, evaluaciones de seguridad alimentaria y mapeo de riesgo de incendios.
• OlmoEarth fue preentrenado en aproximadamente 10 terabytes de datos satelitales y está abierto para que las organizaciones construyan sobre él.

Los satélites fotografían cada rincón de la Tierra constantemente. La parte difícil es procesar todas esas imágenes lo suficientemente rápido para actuar sobre ellas.

El Allen Institute for AI, conocido como Ai2, ha construido una infraestructura llamada Plataforma OlmoEarth para hacer exactamente eso. Toma su familia de modelos OlmoEarth, que son sistemas de IA entrenados específicamente en aproximadamente 10 terabytes de imágenes satelitales, y los ejecuta a una escala que la mayoría de las organizaciones nunca podrían manejar por sí solas.

¿Qué logró realmente este sistema?

Para mapear el riesgo de incendios forestales en toda América del Norte, la plataforma dividió el continente en miles de pequeñas parcelas, analizó cada una por separado y luego unió los resultados en un único mapa. A carga máxima, se ejecutó en 19,600 CPUs (procesadores de propósito general) y 994 GPUs (los chips especializados que realizan los cálculos pesados que requiere la IA) simultáneamente. El tráfico de red entre máquinas alcanzó 168 gigabytes por segundo. El trabajo completo se finalizó en aproximadamente 30,5 horas. Sin ese paralelismo (ejecutar muchas tareas a la vez en lugar de una tras otra), el mismo trabajo habría tardado aproximadamente 4,737 horas, alrededor de 197 días.

El costo es de fracciones de centavo por kilómetro cuadrado, lo que hace que los escaneos a nivel continental sean financieramente viables para organizaciones no gubernamentales y agencias gubernamentales.

¿Por qué es tan difícil la IA satelital comparada con la IA ordinaria?

La mayoría de los modelos de IA manejan unos pocos megabytes de datos y devuelven una respuesta en menos de un segundo. La inferencia satelital es una categoría de problema completamente diferente. Un único trabajo de análisis puede mover terabytes de datos y ejecutarse durante horas.

Las imágenes provienen de múltiples proveedores, cada uno utilizando diferentes sistemas de coordenadas y resoluciones. Las nubes bloquean los sensores ópticos. Algunos datos llegan minutos después de la captura; otros conjuntos de datos se retrasan días. Cada predicción debe alinearse precisamente en una cuadrícula geográfica para que el resultado final sea un mapa preciso, no un patchwork.

Descargar y preparar imágenes a menudo toma más tiempo que ejecutar el modelo de IA en sí.

¿Cómo maneja la plataforma todo eso?

Ai2 divide cada trabajo en tres etapas adaptadas a diferentes hardware. Las CPUs manejan la obtención, alineación y formateo de imágenes brutas. Las GPUs ejecutan el análisis de IA real. Las CPUs nuevamente manejan la unión final y la exportación a formatos como GeoTIFF, un tipo de archivo estándar utilizado en software de mapeo.

Mantener las GPUs ocupadas únicamente en el paso de IA (en lugar de desperdiciarlas en descargas de archivos) es lo que hace que los números funcionen.

Para evitar inundar a los proveedores de datos satelitales con miles de solicitudes simultáneas, la plataforma mantiene su propio índice interno de imágenes disponibles, actualizado a medida que se publican nuevas escenas. Eso significa que las solicitudes a servicios externos se mantienen en un goteo constante en lugar de un aumento repentino.

¿Para quién es esto y qué significa para la gente común?

Ai2 señala que la mayoría de las organizaciones ambientales, las que realizan monitoreo de deforestación o rastrean riesgos de suministro de alimentos en regiones propensas a sequías, carecen de equipos de ingeniería para ejecutar este tipo de infraestructura por sí solas. La Plataforma OlmoEarth está diseñada para cerrar esa brecha.

Para las personas que viven en áreas propensas a incendios forestales o regiones en riesgo de inseguridad alimentaria, un análisis satelital más rápido y económico significa que las organizaciones que vigilan esas amenazas pueden actualizar sus mapas con más frecuencia y actuar antes.

Los modelos OlmoEarth en sí son abiertos, lo que significa que cualquier organización con un equipo técnico capaz puede obtenerlos y construir directamente, como informó por primera vez Hugging Face. La plataforma es la capa construida sobre ella para todos los demás.

Preguntas frecuentes

¿Significa esto que la IA ahora puede predecir incendios forestales?

No exactamente. La plataforma produce mapas de riesgo basados en datos satelitales actuales, mostrando qué áreas tienen condiciones asociadas con mayor peligro de incendio. Es una herramienta de monitoreo y alerta temprana, no un pronóstico preciso.

¿Es el modelo OlmoEarth gratuito para usar?

Los modelos OlmoEarth subyacentes son abiertos, lo que significa que las organizaciones pueden descargarlos y adaptarlos. La Plataforma OlmoEarth, la infraestructura administrada para ejecutarlos a escala, es un producto separado de Ai2 dirigido a organizaciones sin grandes equipos de ingeniería.