विशाल AI मॉडल को सिकोड़ने की लागत में नाटकीय कमी का नया तरीका
शोधकर्ताओं ने विशाल AI मॉडल से छोटे, सस्ते AI मॉडल को प्रशिक्षित करने का एक तरीका खोजा है जो पहले की आवश्यक मेमोरी का एक अंश ही उपयोग करता है, जिससे ऐसे प्रयोग संभव हो गए हैं जिनके लिए पहले हार्डवेयर के गोदामों की जरूरत थी।
मुख्य बिंदु
- ज्ञान आसवन, किसी बड़े AI मॉडल के व्यवहार को एक छोटे में कॉपी करने के लिए, आमतौर पर सैकड़ों विशेषज्ञ चिप्स और सावधानीपूर्वक समन्वय की आवश्यकता होती है।
- एक नया पेपर बड़े मॉडल के आउटपुट को पहले से कैश करता है, ताकि प्रशिक्षण के दौरान इसे फिर कभी चलाने की जरूरत न पड़े, जिससे मेमोरी का उपयोग काफी कम हो जाता है।
- दूसरी तकनीक, जिसे फ्यूज्ड चंक्ड KL लॉस कहा जाता है, प्रशिक्षण डेटा को एक बार में सब कुछ के बजाय छोटे स्लाइस में प्रोसेस करती है, जिससे बहुत लंबे इनपुट पर भी पीक मेमोरी लगभग समान रहती है।
- 32,000 टोकन के संदर्भ में, पीक मेमोरी 85.2 गीगाबाइट से घटकर 5.45 गीगाबाइट हो जाती है, जो 15.6 गुना की कमी है।
- मेमोरी-कुशल हानि फ़ंक्शन के लिए पूर्ण कोड GitHub पर सार्वजनिक रूप से उपलब्ध है।
दुनिया के सबसे बड़े AI मॉडल लगभग असंभव रूप से विशाल हैं। इस साल जारी किया गया Kimi-K3 में 2.8 ट्रिलियन पैरामीटर हैं (पैरामीटर को मॉडल के अंदर के लाखों छोटे डायल के रूप में सोचें जिन्हें प्रशिक्षण के दौरान ट्यून किया जाता है) और केवल लोड करने के लिए लगभग तीन टेराबाइट विशेषज्ञ मेमोरी की आवश्यकता होती है। यह बीस से अधिक उच्च-अंत उपभोक्ता ग्राफिक्स कार्ड के स्थान के बराबर है।
चूंकि इस आकार के मॉडल को चलाना बहुत महंगा है, शोधकर्ता उन्हें नियमित रूप से छोटे संस्करणों में संपीड़ित करते हैं जो चलाने के लिए कम खर्चीले होते हैं। मानक विधि को ज्ञान आसवन कहा जाता है: आप बड़े "शिक्षक" मॉडल को पाठ के ढेर पर चलाते हैं, रिकॉर्ड करते हैं कि यह कैसे प्रतिक्रिया देगा, फिर एक छोटे "छात्र" मॉडल को उन प्रतिक्रियाओं की यथासंभव बारीकी से नकल करने के लिए प्रशिक्षित करते हैं। छात्र को चलाना बहुत सस्ता हो जाता है जबकि शिक्षक की अधिकांश गुणवत्ता बनी रहती है।
यह सस्ते में करना इतना मुश्किल क्यों है?
खर्च दो जगहों से आता है। पहला, मानक दृष्टिकोण शिक्षक और छात्र दोनों को मेमोरी में एक ही समय पर रखता है। दूसरा, उनके आउटपुट की तुलना करने के लिए एक विशाल ग्रिड बनाने की आवश्यकता होती है: मॉडल की शब्दावली में प्रत्येक शब्द के लिए एक पंक्ति (अक्सर 100,000 से अधिक शब्द), इनपुट में प्रत्येक स्थिति के लिए एक कॉलम। इन्हें एक लंबे पाठ में गुणा करें और आप जल्दी ही हर चिप को भर देंगे।
एक ठोस उदाहरण: एक लोकप्रिय ओपन मॉडल, gpt-oss-120b, में 201,088 शब्दों की शब्दावली है। 32,000 टोकन की अनुक्रम लंबाई (लगभग एक छोटे उपन्यास के बराबर पाठ) और एक बार में चार उदाहरणों के मामूली बैच आकार पर, केवल शिक्षक के आउटपुट टेंसर में लगभग 50 गीगाबाइट की आवश्यकता होती है। छात्र मॉडल, ग्रेडिएंट और प्रशिक्षण प्रक्रिया के लिए आवश्यक सब कुछ जोड़ें, और एक एकल प्रशिक्षण चरण लगभग 250 गीगाबाइट तक बढ़ सकता है, जो H200, आज उपलब्ध सबसे शक्तिशाली AI चिप्स में से एक, से अधिक है।
शोधकर्ताओं ने क्या बदला?
दो चीजें, एक साथ काम कर रही हैं। दोनों को CompactifAI की टीम द्वारा प्रकाशित एक पेपर में वर्णित किया गया है, जिसे पहली बार Hugging Face पर साझा किया गया था।
पहला परिवर्तन ऑफलाइन आसवन है। शिक्षक को हर प्रशिक्षण चरण पर फिर से चलाने के बजाय, शोधकर्ता इसे एक बार चलाते हैं और प्रति स्थिति केवल 100 सबसे संभावित शब्द की भविष्यवाणियों को सहेजते हैं। यह कैश डिस्क पर लिखा जाता है। शिक्षक को फिर पूरी तरह से बंद कर दिया जाता है, और छात्र केवल सहेजी गई कैश के विरुद्ध प्रशिक्षण लेता है। क्योंकि कैश को कई अलग-अलग प्रयोगों में पुनः उपयोग किया जा सकता है, महंगा शिक्षक रन एक बार का खर्च बन जाता है।
दूसरा परिवर्तन फ्यूज्ड चंक्ड KL लॉस है। KL विचलन दो प्रायिकता वितरणों में कितना अंतर है इसका एक गणितीय माप है, यहां, छात्र की शब्द भविष्यवाणियां शिक्षक की कितनी भिन्न हैं। इसे गणना करने का मानक तरीका उस पूर्ण शब्दावली-क्रम ग्रिड को एक बार में बनाता है और इसे पूरी तरह से मेमोरी में रखता है। नई विधि अनुक्रम को छोटे हिस्सों में काटती है, प्रत्येक हिस्से को गणना करती है और छोड़ देती है, अगले पर जाने से पहले, और पिछड़ी पास के दौरान इसे संग्रहीत करने के बजाय इसे पुनः गणना करती है।
| विधि | पीक मेमोरी (8K संदर्भ) | पुनरावृत्ति समय |
|---|---|---|
| ऑनलाइन आसवन | 102.8 GB | 25.9 s |
| ऑफलाइन, घना KL | 78.3 GB | 18.5 s |
| ऑफलाइन, आगे-चंक्ड KL | 61.8 GB | 18.4 s |
| ऑफलाइन, फ्यूज्ड चंक्ड KL | 58.3 GB | 20.2 s |
सभी चार विधियां लगभग समान प्रशिक्षण परिणाम देती हैं, जिसका मतलब है कि पूर्ण शिक्षक वितरण के बजाय कैश की गई शीर्ष-100 भविष्यवाणियों का उपयोग करने से गुणवत्ता में हानि नगण्य है।
क्या यह लंबे दस्तावेजों के लिए मायने रखता है?
हां, और लंबाई के साथ अंतर तेजी से बढ़ता है। फ्यूज्ड चंक्ड दृष्टिकोण की मेमोरी लाभ 8,000 टोकन पर मामूली है लेकिन लंबी लंबाई पर नाटकीय है। 32,000 टोकन पर, पीक मेमोरी मानक दृष्टिकोण के 85.2 गीगाबाइट से नई विधि के साथ 5.45 गीगाबाइट तक गिरती है। 64,000 टोकन पर घना हानि पूरी तरह विफल हो जाती है। 256,000 टोकन पर, फ्यूज्ड चंक्ड विधि अगली सबसे अच्छी विकल्प के 134.2 गीगाबाइट के विरुद्ध 11.6 गीगाबाइट का उपयोग करती है।
सरल शब्दों में: प्रयोग जिनमें पहले सैकड़ों चिप्स के एक रैक की आवश्यकता थी, अब एक एकल उच्च-अंत कार्ड पर चलाए जा सकते हैं। यह छोटी अनुसंधान टीमों और कंपनियों के लिए आज उपलब्ध सबसे बड़े ओपन-सोर्स AI सिस्टम से संपीड़ित मॉडल बनाना यथार्थवादी बनाता है।
सामान्य प्रश्न
क्या छोटा मॉडल मूल से भी बदतर हो जाता है?
रिपोर्ट किए गए बेंचमार्क में, छात्र मॉडल की प्रशिक्षण हानि सभी चार विधियों में लगभग समान थी, नई सस्ती दृष्टिकोण सहित। गुणवत्ता पूर्ण शिक्षक आउटपुट के बजाय प्रति स्थिति केवल शीर्ष 100 शब्द भविष्यवाणियों का उपयोग करने के बावजूद बनी रही।
क्या कोई भी इस तकनीक का उपयोग कर सकता है?
चंक्ड हानि कोड ओपन सोर्स है और CompactifAI द्वारा GitHub पर सार्वजनिक रूप से पोस्ट किया गया है। कोई भी एक आधुनिक AI चिप और एक बड़े ओपन-सोर्स मॉडल की कॉपी के साथ, सिद्धांत रूप में, इसके साथ अपने स्वयं के आसवन प्रयोग चला सकता है।
कौन पहले लाभान्वित होता है?
छोटी AI अनुसंधान टीमें और कंपनियां जो सस्ते तैनाती के लिए बड़े ओपन-सोर्स मॉडल को संपीड़ित करना चाहते हैं, सबसे पहले अंतर को महसूस करेंगे। अंतिम उपयोगकर्ता बाद में लाभान्वित हो सकते हैं क्योंकि अधिक सस्ते संपीड़ित मॉडल उत्पादों और सेवाओं तक पहुंचते हैं।
