Платформа OlmoEarth сканує весь континент за 30 годин, використовуючи майже 1000 графічних процесорів
Інститут штучного інтелекту Аллена побудував систему, яка може запустити модель оцінки ризику лісних пожеж AI на території всієї Північної Америки приблизно за день, при вартості дрібниці за квадратний кілометр. Ось що це насправді означає.
Ключові моменти
- Інститут штучного інтелекту Аллена (Ai2) запустив платформу OlmoEarth для запуску великомасштабного аналізу AI на супутникових знімках для екологічних організацій.
- Один запуск карти ризику лісних пожеж Північної Америки використав 19 600 процесорів та 994 графічних процесори паралельно, завершившись за приблизно 30,5 години замість розрахункових 4737 годин.
- Платформа обробляє десятки терабайтів знімків за вартість дрібниці за квадратний кілометр.
- Уряди та неурядові організації вже використовують базові моделі OlmoEarth для моніторингу вирубок лісів, оцінки продовольчої безпеки та картування ризику лісних пожеж.
- OlmoEarth був попередньо навчений приблизно на 10 терабайтах супутникових даних і відкритий для організацій, які хочуть будувати на його основі.
Супутники фотографують кожен дюйм Землі постійно. Складне завдання — швидко розібратися в усіх цих зображеннях, щоб мати можливість діяти на їх основі.
Інститут штучного інтелекту Аллена, відомий як Ai2, побудував інфраструктурний компонент під назвою платформу OlmoEarth для вирішення саме цієї задачі. Вона використовує свою сімейство моделей OlmoEarth, які представляють собою системи AI, навчені спеціально на приблизно 10 терабайтах супутникових знімків, і запускає їх у масштабах, які більшість організацій ніколи не змогли б досягти самостійно.
Що саме досягла ця система?
Для картування ризику лісних пожеж на території всієї Північної Америки платформа розділила континент на тисячі малих ділянок, проаналізувала кожну окремо, а потім об'єднала результати назад у єдину карту. На максимальному навантаженні вона запускалась на 19 600 процесорах загального призначення та 994 спеціалізованих графічних процесорах, які виконують масивні обчислення, необхідні для AI, одночасно. Мережевий трафік між машинами досяг 168 гігабайтів в секунду. Вся робота завершилась приблизно за 30,5 години. Без такого паралелізму (запуск багатьох завдань одночасно замість послідовно) та ж робота тривала б розраховано 4737 годин, приблизно 197 днів.
Вартість становить дрібницю за квадратний кілометр, що робить континентальні скани фінансово реалістичними для неурядових організацій та урядових агентств.
Чому супутниковий AI набагато складніший за звичайний AI?
Більшість моделей AI обробляють кілька мегабайтів даних і повертають відповідь менш ніж за секунду. Супутниковий висновок — це зовсім інша категорія проблеми. Одна робота аналізу може переміщувати терабайти даних і тривати години.
Зображення надходять від кількох постачальників, кожен з яких використовує різні системи координат та роздільну здатність. Хмари блокують оптичні датчики. Деякі дані надходять за хвилини після захоплення, інші набори даних відстають на кілька днів. Кожне передбачення має точно вирівнятись на географічній сітці, щоб кінцевий результат був точною картою, а не покривалом.
Завантаження та підготовка знімків часто займають більше часу, ніж сам запуск моделі AI.
Як платформа впорається з усім цим?
Ai2 розділяє кожну роботу на три етапи, узгоджені з різним обладнанням. Процесори обробляють отримання, вирівнювання та форматування вихідних знімків. Графічні процесори запускають фактичний аналіз AI. Процесори знову обробляють фінальне об'єднання та експорт у формати, такі як GeoTIFF, стандартний тип файлів, який використовується в програмному забезпеченні для картування.
Утримання графічних процесорів зайнятими лише на етапі AI (замість того, щоб витрачати їх на завантаження файлів), — це те, що робить економіку дієвою.
Щоб уникнути забруднення постачальників супутникових даних тисячами одночасних запитів, платформа зберігає свій власний внутрішній індекс доступних знімків, оновлюючи його у міру опублікування нових сцен. Це означає, що запити до зовнішніх служб залишаються на рівні стійкого потоку замість раптової хвилі.
Для кого це і що це означає для звичайних людей?
Ai2 зазначає, що більшість екологічних організацій, які займаються моніторингом вирубок лісів або стежать за ризиками постачання продовольства в регіонах, схильних до посух, не мають інженерних команд для самостійного запуску такої інфраструктури. Платформа OlmoEarth призначена для закриття цієї прогалини.
Для людей, які живуть у регіонах, схильних до лісних пожеж, або у регіонах, які ризикують повною або часткової продовольчої небезпеки, більш швидкий та дешевший супутниковий аналіз означає, що організації, які стежать за цими загрозами, можуть частіше оновлювати свої карти та діяти раніше.
Моделі OlmoEarth самі по собі відкриті, що означає, що будь-яка організація з компетентною технічною командою може взяти їх і будувати безпосередньо, як першою повідомила Hugging Face. Платформа — це рівень, побудований зверху для всіх інших.
Часті запитання
Чи це означає, що AI тепер може передбачати лісні пожежі?
Не зовсім. Платформа створює карти ризику на основі поточних супутникових даних, показуючи, які зони мають умови, пов'язані з вищим ризиком пожеж. Це інструмент моніторингу та раннього попередження, а не точний прогноз.
Чи модель OlmoEarth безкоштовна для використання?
Базові моделі OlmoEarth відкриті, що означає, що організації можуть їх завантажити та адаптувати. Платформа OlmoEarth, керована інфраструктура для їх запуску у масштабах, — це окремий продукт від Ai2, призначений для організацій без великих інженерних команд.
