चार स्टार्टअप दांव लगा रहे हैं कि अगली पीढ़ी का एआई ट्रांसफॉर्मर से बेहतर किसी चीज पर चलेगा

मुख्य बातें

• गूगल के शोधकर्ताओं ने 2017 में ट्रांसफॉर्मर न्यूरल नेटवर्क का आविष्कार किया, और यह अब बाजार के हर बड़े एआई चैटबॉट का आधार है।
• ओपनएआई 2025 में कंप्यूटिंग पर 50 अरब डॉलर खर्च करने के लिए तैयार है, ज्यादातर इसलिए कि ट्रांसफॉर्मर बड़े पैमाने पर चलाने के लिए महंगे हैं।
• अंतर्राष्ट्रीय ऊर्जा एजेंसी भविष्यवाणी करती है कि डेटा-सेंटर विद्युत उपयोग 2030 तक दोगुना हो जाएगा।
• कम से कम चार स्टार्टअप वैकल्पिक एआई आर्किटेक्चर बना रहे हैं जो वे कहते हैं कि तेज़, सस्ते हैं, और जटिल कार्यों के लिए बेहतर अनुकूल हैं।
• उन कंपनियों में से एक, लिक्विड एआई, ने उन मॉडल्स के लिए लगभग 34 मिलियन डाउनलोड दर्ज किए हैं जो 50 डॉलर के शौकीन कंप्यूटर पर चलते हैं।

2017 की गर्मियों में, गूगल की एक टीम ने "अटेंशन इज़ ऑल यू नीड" नामक एक पेपर प्रकाशित किया। इसने एक नए प्रकार के न्यूरल नेटवर्क का वर्णन किया (एक न्यूरल नेटवर्क को मस्तिष्क की कोशिकाओं के जुड़ने के तरीके के अनुसार ढीले से बनाया गया सॉफ्टवेयर के रूप में सोचें) जिसे ट्रांसफॉर्मर कहा जाता है। ट्रांसफॉर्मर पाठ को पढ़ने और उत्पन्न करने में असाधारण रूप से अच्छे साबित हुए, और वे हर एआई चैटबॉट के अंदर इंजन बन गए जिसके बारे में आपने सुना है, चैटजीपीटी से लेकर क्लॉड से लेकर जेमिनी तक।

सात साल बाद, ट्रांसफॉर्मर अपनी ही सफलता के तहत तनाव में हैं।

वास्तविक समस्या क्या है?

किसी वाक्य का अर्थ समझने के लिए, एक ट्रांसफॉर्मर हर शब्द की तुलना हर दूसरे शब्द से करता है। यह छोटे पाठ के लिए शानदार ढंग से काम करता है। लंबे दस्तावेज़ों के लिए यह तेज़ी से महंगा हो जाता है: एक 10,000-शब्द के दस्तावेज़ के लिए 50 मिलियन व्यक्तिगत गणनाओं की आवश्यकता हो सकती है। जितना अधिक पाठ आप खिलाते हैं, उतना बुरा हो जाता है।

उस कम्प्यूटेशनल भूख का वास्तविक लागत है। ओपनएआई इस साल कंप्यूटिंग पर 50 अरब डॉलर खर्च करने की योजना बना रहा है, कंपनी के राष्ट्रपति ग्रेग ब्रॉकमैन के अनुसार। अंतर्राष्ट्रीय ऊर्जा एजेंसी कहती है कि डेटा सेंटर द्वारा खपत की गई कुल विद्युत 2030 तक दोगुनी हो जाएगी।

ट्रांसफॉर्मर उन कार्यों में भी संघर्ष करते हैं जो एआई कंपनियां अब बेच रही हैं। रीज़निंग मॉडल्स, जो किसी समस्या को काम करने के दौरान अपने लिए नोट्स लिखते हैं, बड़ी मात्रा में अतिरिक्त पाठ का उत्पादन करते हैं जिसे ट्रांसफॉर्मर को फिर से प्रक्रिया करनी चाहिए। एआई एजेंट्स, सॉफ्टवेयर जो कई-चरणीय कार्य स्वयं को संभालने में सक्षम हैं, को एक साथ कई स्रोतों से जानकारी को संभालने की आवश्यकता है। दोनों ट्रांसफॉर्मर को उनकी सीमा की ओर धकेलते हैं।

विकल्प क्या हैं?

चार कंपनियां अलग-अलग कोणों से समस्या पर हमला कर रही हैं।

सबक्वाड्रैटिक, एक मियामी स्टार्टअप, कहता है कि इसने सबक्यू नामक एक मॉडल बनाया है जो "स्पार्स अटेंशन" का उपयोग करता है। हर शब्द की तुलना हर दूसरे शब्द से करने के बजाय, स्पार्स अटेंशन केवल उन जोड़ियों को चुनता है जो महत्वपूर्ण हैं, गणनाओं की संख्या में नाटकीय रूप से कटौती करता है। कंपनी का दावा है कि सबक्यू खोज और कोडिंग कार्यों पर मुख्यधारा की बड़ी भाषा मॉडल्स के साथ प्रतिद्वंद्वी है, हालांकि कुछ शोधकर्ता संशय रखते हैं। हज़ारों उपयोगकर्ताओं को कथित तौर पर इसकी प्रतीक्षा सूची में रखा गया है।

मैनिफेस्ट एआई, सैन फ्रांसिस्को में स्थित, आगे बढ़ता है और अटेंशन मैकेनिज़्म को पूरी तरह से बदल देता है। इसका दृष्टिकोण, जिसे "पावर रिटेंशन" कहा जाता है, मॉडल को अब तक पढ़े गए का एक रोलिंग सारांश देता है, उस जानकारी को हटाता है जो अब प्रासंगिक नहीं है क्योंकि नई सामग्री आती है। इसे एक ऐसे पाठक के रूप में सोचें जो अच्छे नोट्स रखता है बजाय हर शब्द को याद रखने के। कंपनी ने तकनीक का उपयोग पावरकोडर बनाने के लिए किया है, जो एक मौजूदा ओपन-सोर्स कोडिंग मॉडल पर आधारित है, और ब्रुम्बी, जो वह कहता है कि अलीबाबा के लोकप्रिय ओपन-सोर्स क्वेन मॉडल के कुछ संस्करणों के साथ प्रतिस्पर्धा करता है।

लिक्विड एआई, मैसाचुसेट्स के कैम्ब्रिज में स्थित एमआईटी का एक स्पिनआउट, एक हाइब्रिड दृष्टिकोण लेता है। इसके मॉडल्स, जिन्हें एलएफएम (लिक्विड फाउंडेशन मॉडल्स) कहा जाता है, ट्रांसफॉर्मर को तरल न्यूरल नेटवर्क नामक एक अलग तकनीक के साथ मिलाते हैं, जो कीड़ों की सरल तंत्रिका प्रणाली से प्रेरित है। परिणाम: मॉडल्स काफी छोटे हैं कि वे राज़बेरी पाई पर चल सकें, एक 50 डॉलर का शौकीन कंप्यूटर, फिर भी कंपनी कहती है कि वे अपने आकार से चार गुना बड़े प्रतिद्वंद्वियों के प्रदर्शन से मेल खाते हैं। लिक्विड एआई ने लगभग 34 मिलियन डाउनलोड दर्ज किए हैं। मर्सिडीज इसके ग्राहकों में से एक है।

इसका मतलब साधारण लोगों के लिए क्या है?

कल आपके चैटबॉट में कुछ नहीं बदलता। ट्रांसफॉर्मर उत्पादों में गहराई से अंतर्निहित हैं, और उन्हें बदलने में सालों लगते हैं। लेकिन दिशा महत्वपूर्ण है।

यदि ये वैकल्पिक दृष्टिकोण बड़े पैमाने पर काम करते हैं, तो एआई सेवाएं चलाने में सस्ती हो सकती हैं, जिसका अर्थ है कि व्यवसायों को कम लागत प्रदान की जा सकती है और अंततः उपयोगकर्ताओं को। छोटे, अधिक कुशल मॉडल्स भी उन डिवाइस पर चल सकते हैं जो आप पहले से ही मालिक हैं, आपके डेटा को दूर के सर्वर के बजाय आपके फोन पर रखते हैं।

एमआईटी टेक्नोलॉजी रिव्यू, जिसने पहले इन कंपनियों में से कई को सामने लाया, इस अगली पीढ़ी के मॉडल्स को "एलएलएम+" कहता है। चाहे आज के स्टार्टअप में से कोई भी वह है जो इसे बनाता है एक खुला सवाल है। लेकिन समस्या जिसे वे हल करने की कोशिश कर रहे हैं वह बहुत वास्तविक है।

सामान्य प्रश्न

क्या मुझे अभी एक एआई उपयोगकर्ता के रूप में कुछ अलग तरीके से करना चाहिए?

नहीं। ये परिवर्तन इंजीनियरिंग स्तर पर हो रहे हैं, एआई उपकरण बनाने वाली कंपनियों के अंदर। फिलहाल, जो उत्पाद आप उपयोग करते हैं वे बाहर से समान दिखते हैं।

क्या ये विकल्प निश्चित रूप से ट्रांसफॉर्मर को बदल देंगे?

आवश्यक नहीं। ट्रांसफॉर्मर उनके प्रतिस्थापन की भविष्यवाणियों से पहले बच गए हैं। इन स्टार्टअप में से प्रत्येक को अभी भी अपने दृष्टिकोण को मुख्य उत्पादों को शक्ति देने वाले मॉडल्स के आकार तक बढ़ाने के लिए साबित करना होगा, जो एक महत्वपूर्ण तकनीकी और वित्तीय चुनौती है।