CLaRa AI को स्मार्ट तरीके से पढ़ना सिखाता है, लंबा नहीं
Apple ML Research का एक नया फ्रेमवर्क दस्तावेजों को कॉम्पैक्ट सारांश में संपीड़ित करता है और फिर AI को भेजता है, जिससे अनावश्यक जानकारी दूर हो जाती है और सटीक उत्तर मिलते हैं।
मुख्य बातें
- CLaRa एक नया AI फ्रेमवर्क है जो स्रोत दस्तावेजों को घने सारांश वेक्टर में संपीड़ित करता है और फिर उन्हें भाषा मॉडल को भेजता है, जिससे मॉडल को पढ़ने के लिए आवश्यक पाठ की मात्रा कम हो जाती है।
- यह सिस्टम SCP नामक एक विधि का उपयोग करता है जो प्रश्न-उत्तर जोड़े और पुनर्निर्माण से प्रशिक्षण डेटा बनाता है, जिससे AI को यह सिखाया जाता है कि दस्तावेज के कौन से हिस्से वास्तव में महत्वपूर्ण हैं।
- CLaRa अपने संपीड़न और उत्तर-निर्माण चरणों को अलग-अलग नहीं, बल्कि एक साथ प्रशिक्षित करता है, जिससे शोधकर्ताओं के अनुसार समग्र सटीकता में सुधार होता है।
- यह कार्य RAG प्रणालियों में एक ज्ञात कमजोरी को लक्षित करता है, जहां बहुत अधिक पुनर्प्राप्त पाठ मॉडल को भ्रमित करता है और उत्तर की गुणवत्ता को नीचे ले जाता है।
एक शोधकर्ता की कल्पना करें जिसे 50-पृष्ठ की रिपोर्ट में दफन एक उत्तर की आवश्यकता है। सामान्य दृष्टिकोण: सभी 50 पृष्ठों को AI को भेजें और आशा करें कि वह प्रासंगिक पैराग्राफ खोज ले। यह काम करता है, मुश्किल से। लेकिन जितना अधिक पाठ आप डालते हैं, उतना ही अधिक AI शोर से भ्रमित हो जाता है।
RAG नामक एक विधि, जिसका अर्थ पुनर्प्राप्ति-संवर्धित निर्माण है, पहले से ही इसे ठीक करने का प्रयास कर रही है। RAG प्रणाली, जो भाषा मॉडल (ChatGPT जैसे उपकरणों के पीछे की सॉफ्टवेयर इंजन) को उत्तर देने से पहले बाहरी दस्तावेजों को खींचने की क्षमता देती है, व्यावसायिक खोज उपकरणों में व्यापक रूप से उपयोग की जाती है। समस्या यह है कि दस्तावेजों को पुनर्प्राप्त करना और उत्तर लिखना दो पूरी तरह से अलग नौकरियों के रूप में प्रशिक्षित किए जाते हैं। एक हाथ को शायद ही कभी पता होता है कि दूसरा क्या कर रहा है।
Apple ML Research ने CLaRa (Continuous Latent Reasoning) नामक एक फ्रेमवर्क प्रकाशित किया जो एक अलग दृष्टिकोण लेता है। CLaRa कच्चे दस्तावेज़ पृष्ठों को सीधे उत्तर देने वाले मॉडल को भेजने के बजाय, पहले प्रत्येक दस्तावेज़ को घने वेक्टर के एक छोटे से सेट में संपीड़ित करता है। यहाँ एक वेक्टर को एक कॉम्पैक्ट संख्यात्मक फिंगरप्रिंट के रूप में सोचें जो किसी पैसेज के अर्थ को कैप्चर करता है बिना हर शब्द को रखे।
यह संपीड़न चरण शोधकर्ताओं द्वारा SCP नामक एक तकनीक का उपयोग करके प्रशिक्षित किया जाता है। SCP प्रश्न-उत्तर जोड़े और पुनर्निर्माण से अभ्यास उदाहरण बनाता है, जिससे कंप्रेसर को बिल्कुल वह तथ्य संरक्षित करने के लिए सिखाया जाता है जो एक प्रश्न को चाहिए और बाकी सब कुछ छोड़ दिया जाता है। परिणाम भाषा मॉडल के लिए पढ़ने के लिए एक बहुत छोटा इनपुट है, संकेत को बढ़ाया जाता है और शोर को कम किया जाता है।
महत्वपूर्ण रूप से, CLaRa कंप्रेसर और उत्तर-जनरेटर को एक ही समय में, एक ही साझा स्थान में प्रशिक्षित करता है। पहली प्रणालियों ने उन्हें अलग-अलग प्रशिक्षित किया और फिर उन्हें एक साथ बांधा, जिससे जो कुछ पुनर्प्राप्तकर्ता को महत्वपूर्ण लगा और जो जनरेटर को वास्तव में आवश्यक था, के बीच एक अंतराल छोड़ गया।
सामान्य उपयोगकर्ताओं के लिए, लाभ व्यावहारिक है। इस तरह की तकनीक पर बनाए गए AI सहायक बड़े पाठ के दीवारों को संसाधित करने के लिए अधिक शक्तिशाली, महंगे हार्डवेयर की आवश्यकता के बिना अधिक सटीकता से सवालों के जवाब दे सकते हैं। तेजी से प्रतिक्रिया, कम चलने की लागत, बेहतर उत्तर।
शोध की पहली रिपोर्ट Apple ML Research द्वारा की गई थी, और इसके प्रभाव कॉर्पोरेट खोज से कहीं अधिक दूर तक पहुंचते हैं। गेम स्टूडियो जो गतिशील इन-गेम कथा उत्पन्न करने के लिए AI का उपयोग करते हैं, खेल विश्लेषक जो हजारों मैच रिपोर्टों से आंकड़े निकालते हैं, पोकर प्रशिक्षण उपकरण जो हाथ की इतिहास को सारांशित करते हैं: कोई भी आवेदन जो AI को दस्तावेजों में डूबा देता है, स्मार्ट संपीड़न से लाभ उठा सकता है।
कंप्रेसर केवल स्कैन नहीं करता। इसे वह जानकारी रखने के लिए प्रशिक्षित किया गया है जो एक प्रश्न को वास्तव में चाहिए। यह एक सूक्ष्म लेकिन महत्वपूर्ण बदलाव है, सब कुछ पढ़ने से अच्छी तरह पढ़ने तक।
