Apple का AI शॉर्टकट: कैसे एक 'ड्राफ्ट और जांच' ट्रिक रीजनिंग मॉडल को दोगुना तेज़ बनाता है

मुख्य बिंदु

• Apple ML Research ने Arbitrage नामक एक तकनीक प्रकाशित की है जो AI रीजनिंग मॉडल को 2 गुना तक तेज़ करती है बिना उत्तर की गुणवत्ता में कोई समझौता किए।
• यह विधि Speculative Decoding नामक एक मौजूदा स्पीड ट्रिक में सुधार करती है क्योंकि यह यह आकलन करती है कि एक ड्राफ्ट उत्तर पर्याप्त है या नहीं, केवल शब्द-दर-शब्द सही होने के बजाय।
• लंबी Chain-of-Thought रीजनिंग, वह चरण-दर-चरण आंतरिक विचार जो AI को कठिन समस्याओं को हल करने में मदद करता है, चलाने के लिए विशेष रूप से महंगा है, जिससे यहां स्पीड लाभ असामान्य रूप से मूल्यवान है।
• यह तकनीक बड़े भाषा मॉडल को लक्षित करती है, ChatGPT और Claude जैसे चैटबॉट के पीछे की तकनीक, इनफेरेंस स्टेज में, जो वह क्षण है जब AI वास्तव में किसी उपयोगकर्ता के लिए एक उत्तर बनाता है।

हर बार जब आप एक शक्तिशाली AI चैटबॉट से कोई कठिन सवाल पूछते हैं, तो पर्दे के पीछे कुछ महंगा होता है। मॉडल समस्या के माध्यम से चरण-दर-चरण सोचता है, एक प्रक्रिया जिसे शोधकर्ता Chain-of-Thought रीजनिंग कहते हैं, आपको एक उत्तर देने से पहले। यह सारी सोच-विचार कंप्यूटिंग शक्ति को तेज़ी से जला देती है।

Apple ML Research ने Arbitrage नामक एक तकनीक का वर्णन करते हुए एक पत्र प्रकाशित किया है जो इस प्रक्रिया को काफी सस्ता बना सकता है।

यह किस समस्या को हल कर रहा है?

AI उद्योग के पास पहले से ही Speculative Decoding नामक एक स्पीड ट्रिक है। विचार सरल है: एक छोटे, तेज़ लेकिन कम सटीक मॉडल का उपयोग करके उत्तर का एक मोटा ड्राफ्ट लिखें, शब्द-दर-शब्द। फिर बड़े, सटीक मॉडल को उस ड्राफ्ट को एक बार में जांचने दें। थोक में जांच करना शुरुआत से उत्पन्न करने से तेज़ है।

समस्या? बड़ा मॉडल शब्दों को तुरंत बाहर निकाल देता है जब वे अपनी खुद की भविष्यवाणी से बिल्कुल मेल नहीं खाते, भले ही अर्थ पूरी तरह से ठीक हो। यदि ड्राफ्ट "therefore" कहता है और बड़ा मॉडल "so" लिखता होता है, तो यह एक विफलता के रूप में गिना जाता है। ड्राफ्ट अस्वीकृत हो जाता है और काम फिर से शुरू होता है। वह बर्बाद प्रयास है।

Arbitrage इसे एक स्मार्ट सवाल पूछकर ठीक करता है। "क्या यह शब्द समान है?" के बजाय, यह पूछता है "क्या यह उत्तर सही परिणाम की ओर ले जाता है?"

यह वास्तव में कैसे काम करता है?

सिस्टम एक छोटे स्कोरिंग मॉडल को प्रशिक्षित करता है, जिसे एक advantage model कहा जाता है, यह आकलन करने के लिए कि क्या एक ड्राफ्ट चरण रखने के लिए पर्याप्त अच्छा है, भले ही शब्दावली अलग हो। Arbitrage का नाम उस मूल्य को खोजने के विचार से आता है जो दूसरों को याद है: ड्राफ्ट टोकन ढूंढना, अलग-अलग शब्द-चंक जो एक AI उत्पन्न करता है, जो सार में सही हैं भले ही वे पूर्ण मेल न हों।

क्योंकि कम ड्राफ्ट को फेंका जाता है, तेज़ छोटा मॉडल कहीं अधिक उपयोगी काम में योगदान देता है। बड़ा मॉडल शुरुआत से चरणों को फिर से उत्पन्न करने में कम समय बिताता है।

परीक्षण में, दृष्टिकोण केवल बड़े मॉडल को चलाने की तुलना में 2 गुना तक गति तक पहुंचा, जबकि उत्तर की गुणवत्ता स्तर रही।

यह साधारण उपयोगकर्ताओं के लिए क्यों महत्वपूर्ण है?

तेजी से इनफेरेंस, यानी तेजी से उत्तर उत्पन्न करना, सीधे प्रतीक्षा समय और AI उत्पाद बनाने वाली कंपनियों के लिए कम चलाने की लागत में अनुवाद करता है। कम लागत सस्ता सदस्यता, तेजी से प्रतिक्रिया, या कम कंप्यूटिंग शक्ति वाले डिवाइस तक पहुंचने वाली AI सुविधाएं का मतलब हो सकता है।

Chain-of-Thought रीजनिंग वही है जो आधुनिक AI को गणित की समस्याओं, कानूनी विश्लेषण, कोडिंग और जटिल योजना को संभालने देता है। इसे चलाना सस्ता बनाने का मतलब है कि ये क्षमताएं अधिक लोगों तक पहुंच सकती हैं।

Arbitrage आज आपकी स्क्रीन पर जो दिखता है वह नहीं बदलेगा। लेकिन जो इंटरनल सिस्टम इसमें सुधार करता है वह लगभग हर गंभीर AI उत्पाद के तहत है जो आप पहले से उपयोग कर रहे हैं।

आम सवाल

क्या यह AI उत्तरों को कम विश्वसनीय बनाता है?

नहीं। advantage model को केवल ड्राफ्ट चरणों को स्वीकार करने के लिए प्रशिक्षित किया जाता है जब वे सही परिणामों की ओर ले जाते हैं। Apple के परीक्षणों में उत्तर की गुणवत्ता स्थिर रही जबकि गति बढ़ी।

क्या यह Apple के अपने उत्पादों में दिखाई देगा?

Apple ML Research ने इसे शैक्षणिक अनुसंधान के रूप में प्रकाशित किया। अभी तक कोई उत्पाद घोषणा नहीं है, लेकिन इस तरह की तकनीकें नियमित रूप से शोध पत्रों से एक से दो साल के भीतर शिपिंग उत्पादों में जाती हैं।