Платформа OlmoEarth сканирует весь континент за 30 часов, используя почти 1000 GPU

Ключевые моменты

• Allen Institute for AI (Ai2) запустил платформу OlmoEarth для выполнения крупномасштабного анализа с помощью ИИ на спутниковых снимках для экологических организаций.
• Однократное создание карты риска лесных пожаров в Северной Америке использовало 19 600 процессоров и 994 GPU параллельно, завершившись примерно за 30,5 часов вместо расчётных 4737 часов.
• Платформа обрабатывает десятки терабайт снимков с затратами в доли цента за квадратный километр.
• Правительства и НПО уже используют базовые модели OlmoEarth для мониторинга вырубки лесов, оценки продовольственной безопасности и картирования риска лесных пожаров.
• OlmoEarth был предварительно обучен на примерно 10 терабайтах спутниковых данных и открыт для организаций, которые будут на нём строить.

Спутники постоянно фотографируют каждый уголок Земли. Сложная часть — обработать все эти снимки достаточно быстро, чтобы на них реагировать.

Институт искусственного интеллекта Allen Institute for AI, известный как Ai2, создал инфраструктуру под названием OlmoEarth Platform, чтобы сделать ровно это. Она использует семейство моделей OlmoEarth — системы ИИ, специально обученные на примерно 10 терабайтах спутниковых снимков — и запускает их в масштабе, который большинство организаций никогда не смогли бы обеспечить самостоятельно.

Чего на самом деле добилась эта система?

Чтобы создать карту риска лесных пожаров по всей Северной Америке, платформа разделила континент на тысячи мелких участков, проанализировала каждый отдельно, а затем собрала результаты обратно в единую карту. На пиковой нагрузке она работала на 19 600 процессорах (универсальных процессорах) и 994 GPU (специализированных чипах, выполняющих интенсивные вычисления, необходимые для ИИ) одновременно. Сетевой трафик между машинами достигал 168 гигабайт в секунду. Вся работа была завершена примерно за 30,5 часов. Без такого параллелизма (одновременное выполнение множества задач вместо их последовательного выполнения) та же работа заняла бы расчётные 4737 часов, примерно 197 дней.

Стоимость составляет доли цента за квадратный километр, что делает сканирование континента финансово реалистичным для НПО и государственных учреждений.

Почему спутниковый ИИ намного сложнее, чем обычный ИИ?

Большинство моделей ИИ обрабатывают несколько мегабайт данных и возвращают ответ менее чем за секунду. Спутниковый анализ — это совсем другая категория задач. Одна задача анализа может перемещать терабайты данных и выполняться часами.

Изображения поступают от нескольких поставщиков, каждый использует разные системы координат и разрешение. Облака блокируют оптические датчики. Некоторые данные поступают через минуты после съёмки, другие наборы данных отстают на дни. Каждый прогноз должен точно совпадать с географической сеткой, чтобы конечный результат был точной картой, а не лоскутным одеялом.

Загрузка и подготовка снимков часто занимает больше времени, чем сам запуск модели ИИ.

Как платформа с этим справляется?

Ai2 разделяет каждую задачу на три этапа, соответствующие разному оборудованию. Процессоры обрабатывают получение, выравнивание и форматирование исходных снимков. GPU запускают фактический анализ ИИ. Процессоры снова обрабатывают окончательное соединение и экспорт в форматы, такие как GeoTIFF, стандартный тип файла, используемый в программном обеспечении для картирования.

Загруженность GPU только на этапе ИИ (вместо их попусту потраченного времени на загрузку файлов) — вот что делает экономику работающей.

Чтобы избежать наводнения поставщиков спутниковых данных тысячами одновременных запросов, платформа ведёт собственный внутренний индекс доступных снимков, обновляемый при публикации новых сцен. Это означает, что запросы к внешним сервисам остаются стабильным потоком, а не внезапным скачком.

Для кого это предназначено и что это означает для обычных людей?

Ai2 отмечает, что большинство экологических организаций, занимающихся мониторингом вырубки лесов или отслеживанием рисков снабжения продовольствием в засушливых регионах, не имеют инженерных команд для самостоятельного запуска такой инфраструктуры. Платформа OlmoEarth разработана, чтобы закрыть этот пробел.

Для людей, живущих в районах, подверженных лесным пожарам, или в регионах, подверженных продовольственной небезопасности, более быстрый и дешевый спутниковый анализ означает, что организации, следящие за этими угрозами, могут чаще обновлять свои карты и действовать раньше.

Сами модели OlmoEarth открыты, что означает, что любая организация с опытной технической командой может взять их и использовать напрямую, как первоначально сообщило Hugging Face. Платформа — это слой, построенный сверху для всех остальных.

Часто задаваемые вопросы

Означает ли это, что ИИ теперь может прогнозировать лесные пожары?

Не совсем. Платформа создаёт карты риска на основе текущих спутниковых данных, показывающие, какие области имеют условия, связанные с более высокой опасностью пожара. Это инструмент мониторинга и раннего предупреждения, а не точный прогноз.

Бесплатна ли модель OlmoEarth в использовании?

Базовые модели OlmoEarth открыты, то есть организации могут загружать и адаптировать их. OlmoEarth Platform, управляемая инфраструктура для их запуска в масштабе, — это отдельный продукт от Ai2, предназначенный для организаций без больших инженерных команд.