OlmoEarth प्लेटफ़ॉर्म ने लगभग 1,000 GPUs का उपयोग करके 30 घंटों में एक पूरे महाद्वीप को स्कैन किया
एलन इंस्टीट्यूट फॉर AI ने एक सिस्टम बनाया है जो पूरे उत्तरी अमेरिका में वाइल्डफायर-जोखिम मॉडल को लगभग एक दिन में चला सकता है, प्रति वर्ग किलोमीटर के अंश की लागत पर। यहाँ है कि इसका वास्तव में क्या मतलब है।
मुख्य बिंदु
- एलन इंस्टीट्यूट फॉर AI (Ai2) ने OlmoEarth Platform लॉन्च किया ताकि पर्यावरणीय संगठनों के लिए उपग्रह कल्पना पर बड़े पैमाने पर AI विश्लेषण चलाया जा सके।
- एक एकल उत्तरी अमेरिका वाइल्डफायर-जोखिम मानचित्र रन ने 19,600 CPUs और 994 GPUs को समानांतर में उपयोग किया, अनुमानित 4,737 घंटों की बजाय लगभग 30.5 घंटों में समाप्त हुआ।
- प्लेटफ़ॉर्म दर्जनों टेराबाइट कल्पना को प्रति वर्ग किलोमीटर के अंश की लागत पर संसाधित करता है।
- सरकारें और NGOs पहले से ही वनों की कटाई की निगरानी, खाद्य सुरक्षा आकलन और वाइल्डफायर जोखिम मानचित्रण के लिए अंतर्निहित OlmoEarth मॉडल का उपयोग कर रहे हैं।
- OlmoEarth को लगभग 10 टेराबाइट उपग्रह डेटा पर प्रशिक्षित किया गया था और संगठनों के लिए इसे आगे बढ़ाने के लिए खुला है।
उपग्रह लगातार पृथ्वी के हर इंच की तस्वीर लेते हैं। कठिन हिस्सा इन सभी तस्वीरों को इतनी तेजी से समझना है कि उन पर कार्य किया जा सके।
एलन इंस्टीट्यूट फॉर AI, जिसे Ai2 कहा जाता है, ने ठीक यही करने के लिए OlmoEarth Platform नामक एक बुनियादी ढांचे का निर्माण किया है। यह अपने OlmoEarth मॉडल के परिवार को लेता है, जो AI सिस्टम हैं जो विशेष रूप से लगभग 10 टेराबाइट उपग्रह कल्पना पर प्रशिक्षित हैं, और उन्हें एक पैमाने पर चलाता है जो अधिकांश संगठन अपने आप पर कभी प्रबंधित नहीं कर सकते।
इस सिस्टम ने वास्तव में क्या हासिल किया?
पूरे उत्तरी अमेरिका में वाइल्डफायर जोखिम को मानचित्रित करने के लिए, प्लेटफ़ॉर्म ने महाद्वीप को हजारों छोटे पैच में विभाजित किया, प्रत्येक का अलग से विश्लेषण किया, फिर परिणामों को एक एकल मानचित्र में वापस सिल दिया। अधिकतम भार पर, यह एक साथ 19,600 CPUs (सामान्य-उद्देश्य कंप्यूटर प्रोसेसर) और 994 GPUs (विशेष चिप्स जो भारी संख्या-क्रंचिंग करते हैं जो AI को चाहिए) पर चलाया। मशीनों के बीच नेटवर्क ट्रैफ़िक 168 गीगाबाइट प्रति सेकंड तक पहुंचा। पूरी नौकरी लगभग 30.5 घंटों में समाप्त हुई। समानांतरवाद के बिना (एक के बाद एक की बजाय एक साथ कई कार्य चलाना), वही काम लगभग 4,737 घंटे, लगभग 197 दिन लगते।
लागत प्रति वर्ग किलोमीटर के अंश में बैठती है, जो NGOs और सरकारी एजेंसियों के लिए महाद्वीप-व्यापी स्कैन को वित्तीय रूप से यथार्थवादी बनाती है।
उपग्रह AI साधारण AI से इतना अधिक कठिन क्यों है?
अधिकांश AI मॉडल कुछ मेगाबाइट डेटा को संभालते हैं और एक सेकंड में उत्तर देते हैं। उपग्रह अनुमान एक पूरी तरह से अलग श्रेणी की समस्या है। एक एकल विश्लेषण नौकरी टेराबाइट डेटा को स्थानांतरित कर सकती है और घंटों चल सकती है।
चित्र कई प्रदाताओं से आते हैं, प्रत्येक अलग समन्वय प्रणाली और संकल्प का उपयोग करते हैं। बादल ऑप्टिकल सेंसर को अवरुद्ध करते हैं। कुछ डेटा कैप्चर के मिनट बाद आता है; अन्य डेटासेट दिनों से पिछड़ जाते हैं। हर भविष्यवाणी को एक भौगोलिक ग्रिड पर बिल्कुल संरेखित करना चाहिए ताकि अंतिम आउटपुट एक सटीक मानचित्र हो, एक पैच-काम नहीं।
कल्पना को डाउनलोड और तैयार करना अक्सर AI मॉडल को चलाने से अधिक समय लेता है।
प्लेटफ़ॉर्म इन सभी को कैसे संभालता है?
Ai2 प्रत्येक नौकरी को तीन चरणों में विभाजित करता है जो विभिन्न हार्डवेयर के अनुरूप हैं। CPUs कच्ची कल्पना के फेच, संरेखण और स्वरूपण को संभालते हैं। GPUs वास्तविक AI विश्लेषण चलाते हैं। CPUs फिर से GeoTIFF जैसे प्रारूपों में अंतिम सिलाई और निर्यात को संभालते हैं, एक मानक फ़ाइल प्रकार जो मानचित्रण सॉफ़्टवेयर में उपयोग किया जाता है।
GPUs को केवल AI चरण पर व्यस्त रखना (फ़ाइल डाउनलोड पर उन्हें बर्बाद करने के बजाय) वही है जो अर्थशास्त्र को काम करता है।
उपग्रह डेटा प्रदाताओं को हजारों एक साथ अनुरोधों से बाढ़ आने से बचने के लिए, प्लेटफ़ॉर्म उपलब्ध कल्पना का अपना आंतरिक सूचकांक रखता है, जो नए दृश्य प्रकाशित होने पर अपडेट किया जाता है। इसका मतलब है कि बाहरी सेवाओं के लिए अनुरोध अचानक वृद्धि के बजाय एक स्थिर बूंद पर रहते हैं।
यह किसके लिए है, और साधारण लोगों के लिए इसका क्या मतलब है?
Ai2 नोट करता है कि अधिकांश पर्यावरणीय संगठन, जो वनों की कटाई की निगरानी कर रहे हैं या सूखे-प्रवण क्षेत्रों में खाद्य आपूर्ति जोखिम को ट्रैक कर रहे हैं, इस तरह के बुनियादी ढांचे को चलाने के लिए इंजीनियरिंग टीमों की कमी है। OlmoEarth Platform उस अंतर को बंद करने के लिए डिज़ाइन किया गया है।
वाइल्डफायर-प्रवण क्षेत्रों या खाद्य असुरक्षा के जोखिम वाले क्षेत्रों में रहने वाले लोगों के लिए, तेजी से और सस्ता उपग्रह विश्लेषण मतलब है कि उन खतरों को देखने वाले संगठन अपने मानचित्रों को अधिक बार अपडेट कर सकते हैं और पहले कार्य कर सकते हैं।
OlmoEarth मॉडल स्वयं खुले हैं, जिसका मतलब है कि किसी भी सक्षम तकनीकी टीम वाले संगठन उन्हें लेकर सीधे निर्माण कर सकते हैं, जैसा पहली बार Hugging Face द्वारा रिपोर्ट किया गया था। प्लेटफ़ॉर्म बाकी सभी के लिए इसके ऊपर बनाई गई परत है।
सामान्य प्रश्न
क्या इसका मतलब है कि AI अब वाइल्डफायर की भविष्यवाणी कर सकता है?
ठीक नहीं। प्लेटफ़ॉर्म वर्तमान उपग्रह डेटा के आधार पर जोखिम मानचित्र तैयार करता है, जो दर्शाता है कि किन क्षेत्रों में उच्च आग का खतरा से जुड़ी स्थितियां हैं। यह एक निगरानी और प्रारंभिक-चेतावनी उपकरण है, सटीक पूर्वानुमान नहीं।
क्या OlmoEarth मॉडल उपयोग करने के लिए मुफ्त है?
अंतर्निहित OlmoEarth मॉडल खुले हैं, जिसका मतलब है कि संगठन उन्हें डाउनलोड और अनुकूलित कर सकते हैं। OlmoEarth Platform, बड़ी इंजीनियरिंग टीमों के बिना संगठनों के लिए लक्षित Ai2 से अलग उत्पाद है, उन्हें पैमाने पर चलाने के लिए प्रबंधित बुनियादी ढांचा।
