Plataforma OlmoEarth Analisa um Continente Inteiro em 30 Horas Utilizando Quase 1.000 GPUs

Pontos-chave

• O Allen Institute for AI (Ai2) lançou a Plataforma OlmoEarth para executar análises de IA em larga escala em imagens de satélite para organizações ambientais.
• Uma única execução do mapa de risco de incêndios na América do Norte utilizou 19.600 CPUs e 994 GPUs em paralelo, terminando em aproximadamente 30,5 horas em vez de um tempo estimado de 4.737 horas.
• A plataforma processa dezenas de terabytes de imagens com um custo de frações de cêntimo por quilómetro quadrado.
• Governos e ONG já estão a utilizar os modelos OlmoEarth subjacentes para monitorização de desflorestação, avaliações de segurança alimentar e mapeamento de risco de incêndios.
• O OlmoEarth foi pré-treinado em aproximadamente 10 terabytes de dados de satélite e está aberto para que as organizações construam sobre ele.

Os satélites fotografam cada centímetro da Terra constantemente. A dificuldade reside em compreender todas essas imagens com rapidez suficiente para agir com base nelas.

O Allen Institute for AI, conhecido como Ai2, construiu uma infraestrutura chamada Plataforma OlmoEarth para fazer exatamente isso. Utiliza a sua família de modelos OlmoEarth, que são sistemas de IA treinados especificamente em aproximadamente 10 terabytes de imagens de satélite, e executa-os numa escala que a maioria das organizações nunca conseguiria gerir por si própria.

O que é que este sistema realmente conseguiu?

Para mapear o risco de incêndios em toda a América do Norte, a plataforma dividiu o continente em milhares de pequenos fragmentos, analisou cada um separadamente e depois reuniu os resultados num único mapa. Na carga máxima, executava 19.600 CPUs (processadores de computador de uso geral) e 994 GPUs (os chips especializados que realizam as operações de computação pesada necessárias para a IA) simultaneamente. O tráfego de rede entre máquinas atingiu 168 gigabytes por segundo. Todo o trabalho foi concluído em aproximadamente 30,5 horas. Sem esse paralelismo (executar várias tarefas simultaneamente em vez de uma após a outra), o mesmo trabalho teria levado um tempo estimado de 4.737 horas, aproximadamente 197 dias.

O custo situa-se em frações de cêntimo por quilómetro quadrado, o que torna as análises contínentais financeiramente viáveis para ONG e agências governamentais.

Porque é que a IA de satélite é muito mais difícil do que a IA comum?

A maioria dos modelos de IA processam alguns megabytes de dados e devolvem uma resposta em menos de um segundo. A inferência de satélite é uma categoria de problema completamente diferente. Um único trabalho de análise pode processar terabytes de dados e executar durante horas.

As imagens provêm de múltiplos fornecedores, cada um utilizando sistemas de coordenadas e resoluções diferentes. As nuvens bloqueiam os sensores ópticos. Alguns dados chegam minutos após a captura; outros conjuntos de dados atrasam-se dias. Cada previsão deve alinhar-se com precisão numa grelha geográfica para que o resultado final seja um mapa preciso, não um mosaico.

Fazer o download e preparar imagens muitas vezes leva mais tempo do que executar o próprio modelo de IA.

Como é que a plataforma lida com tudo isto?

A Ai2 divide cada trabalho em três fases ajustadas a diferentes hardware. Os CPUs lidam com a obtenção, alinhamento e formatação de imagens brutas. Os GPUs executam a análise de IA real. Os CPUs novamente lidam com a junção final e exportação para formatos como GeoTIFF, um tipo de ficheiro padrão utilizado em software de mapeamento.

Manter os GPUs ocupados apenas na etapa de IA (em vez de perdê-los em descarregamentos de ficheiros) é o que torna a economia viável.

Para evitar inundar os fornecedores de dados de satélite com milhares de pedidos simultâneos, a plataforma mantém o seu próprio índice interno de imagens disponíveis, atualizado à medida que novas cenas são publicadas. Isso significa que os pedidos aos serviços externos mantêm-se num fluxo constante em vez de um pico repentino.

Para quem é isto e o que significa para as pessoas comuns?

A Ai2 assinala que a maioria das organizações ambientais, as que fazem monitorização de desflorestação ou rastreiam riscos de abastecimento alimentar em regiões propensas a secas, carecem de equipas de engenharia para executar este tipo de infraestrutura por si próprias. A Plataforma OlmoEarth foi concebida para colmatar essa lacuna.

Para as pessoas que vivem em áreas propensas a incêndios florestais ou regiões em risco de insegurança alimentar, uma análise de satélite mais rápida e mais barata significa que as organizações que vigiam essas ameaças podem atualizar os seus mapas com maior frequência e agir mais cedo.

Os próprios modelos OlmoEarth são abertos, o que significa que qualquer organização com uma equipa técnica capaz pode utilizá-los e construir diretamente, conforme foi relatado pela primeira vez pela Hugging Face. A plataforma é a camada construída em cima para todos os outros.

Perguntas comuns

Isto significa que a IA pode agora prever incêndios florestais?

Nem exatamente. A plataforma produz mapas de risco baseados em dados de satélite atuais, mostrando quais áreas têm condições associadas a um maior perigo de incêndio. É uma ferramenta de monitorização e aviso prévio, não uma previsão precisa.

O modelo OlmoEarth é gratuito para usar?

Os modelos OlmoEarth subjacentes são abertos, o que significa que as organizações podem descarregá-los e adaptá-los. A Plataforma OlmoEarth, a infraestrutura gerida para executá-los em larga escala, é um produto separado da Ai2 destinado a organizações sem grandes equipas de engenharia.