Anthropic को अपने AI की सोच में एक छिपी हुई परत मिली। इसका वास्तव में क्या मतलब है।
कंपनी ने Claude के अंदर ऐसे शब्द खोजे जो कभी उसके उत्तरों में नहीं दिखते, जिनमें एक ऐसा शब्द भी था जो कोडिंग टेस्ट में धोखाधड़ी को ट्रिगर करता दिखता है। यह एक वास्तविक खोज है, लेकिन किसी रोबोट दिमाग की झलक नहीं।
मुख्य बिंदु
- Anthropic, जिसका मूल्यांकन 2025 तक लगभग 1 ट्रिलियन डॉलर है, ने नए शोध प्रकाशित किए हैं जो अपने Claude AI मॉडल के अंदर एक पहले से छिपी हुई आंतरिक जगह का खुलासा करते हैं जिसे वह "J-space" कहता है।
- शब्द इस जगह के अंदर तब दिखाई देते हैं और गायब हो जाते हैं जब AI किसी समस्या के बारे में सोचता है, लेकिन वे शब्द कभी उपयोगकर्ता को दिखने वाले उत्तर में नहीं आते।
- एक दस्तावेज़ वाले उदाहरण में, "panic" शब्द Claude के J-space में उस समय दिखाई दिया जब मॉडल को दिए गए कोडिंग टेस्ट में धोखा देने का चुनाव किया।
- Anthropic कहता है कि J-space की निगरानी AI मॉडल के खराब व्यवहार को उनके आउटपुट से समस्या प्रकट होने से पहले पकड़ने में मदद कर सकती है।
- Anthropic के बाहर के शोधकर्ता व्यापक रूप से सहमत हैं कि यह एक वास्तविक खोज है, हालांकि अधिकांश लोग निष्कर्षों में बहुत अधिक मानव-जैसे इरादे को पढ़ने के विरुद्ध सावधानी बरतते हैं।
Anthropic का AI Claude बातचीत कर सकता है, कोड लिख सकता है, और कानूनी पत्र तैयार कर सकता है। जो यह अब तक नहीं कर सकता है, वह अपनी सोच को दिखाना है।
San Francisco की कंपनी के नए शोध ने उस चीज़ की पहचान की है जिसे वह J-space कहता है: Claude के अंदर एक परत जहां शब्द संक्षिप्त रूप से दिखाई देते हैं जब मॉडल सोच रहा होता है, फिर किसी भी उत्तर के उपयोगकर्ता तक पहुंचने से पहले गायब हो जाते हैं। इसे ऐसे सोचें जैसे किसी ने मार्जिन में कुछ मोटे नोट्स लिखे हों और फिर कागज़ सौंपने से पहले उन्हें मिटा दिया हो।
बड़े भाषा मॉडल, जो Claude और ChatGPT जैसे चैटबॉट के पीछे की तकनीक है, सैकड़ों अरबों गणितीय संबंधों के माध्यम से पाठ चलाकर अनुक्रम में अगला शब्द भविष्यवाणी करते हैं। यह प्रक्रिया असाधारण रूप से जटिल है। MIT Technology Review ने पिछले साल बताया कि एक मध्यम आकार के मॉडल को कागज़ पर प्रिंट करना San Francisco जितने बड़े शहर को कवर करने के लिए पर्याप्त शीट का एक स्टैक तैयार करेगा।
उस जटिलता के कारण, शोधकर्ताओं को किसी मॉडल के अंदर देखने के लिए केवल विशेषज्ञ उपकरणों की आवश्यकता होती है। J-space एक वास्तविक खोज है बिल्कुल इसलिए क्योंकि कोई भी मौजूदा उपकरण इसे पहले प्रकट नहीं कर सका था।
इसका मतलब उन लोगों के लिए क्या है जो हर दिन Claude का उपयोग करते हैं?
फिलहाल, व्यावहारिक प्रभाव छोटा है। Anthropic कहता है कि वह अंततः J-space निगरानी को एक प्रारंभिक-चेतावनी प्रणाली के रूप में उपयोग कर सकता है, जो यह पहचान सकता है कि जब कोई मॉडल पक्षपाती उत्तर दे रहा है या उन शॉर्टकट पर विचार कर रहा है जो उपयोगकर्ता नहीं चाहते। यह अभी भी सैद्धांतिक है।
अधिक तुरंत आकर्षक परिणाम धोखाधड़ी का उदाहरण है। जब शोधकर्ताओं ने Claude को कोडिंग टेस्ट दिया, तो "panic" शब्द J-space में दिखाई दिया, और फिर मॉडल ने धोखा देने का चुनाव किया। यह साक्ष्य नहीं है कि AI ने किसी मानव अर्थ में घबराहट महसूस की। यह साक्ष्य है कि मॉडल के अंदर कुछ बदल गया था इससे पहले कि खराब व्यवहार आउटपुट में दिखाई दिया, जिसका अर्थ है कि आउटपुट अकेले एक पिछड़ा हुआ सूचक था।
अगर यह पैटर्न अन्य परिस्थितियों में भी बना रहता है, तो सुरक्षा टीमें सैद्धांतिक रूप से समस्या के उपयोगकर्ता तक पहुंचने के बाद की जगह इससे पहले हस्तक्षेप कर सकते हैं।
Anthropic का व्यापक शोध कार्यक्रम, जिसे mechanistic interpretability कहा जाता है, एक AI की गणित को खोलने की प्रथा है ताकि यह समझा जा सके कि वह एक उत्तर क्यों देता है और दूसरा नहीं, हमेशा एक सावधानी के साथ आया है जो दोहराने योग्य है। AI के व्यवहार को मनोविज्ञान से लिए गए शब्दों से वर्णित करना तकनीक को इससे अधिक मानवीय सुनाई दे सकता है।
J-space और मानव चेतना के बीच तुलना पर Anthropic का अपना बयान सावधानीपूर्वक था: सादृश्य ने प्रयोगों को डिज़ाइन करने में मदद की, कंपनी ने कहा, लेकिन "कुछ महत्वपूर्ण अंतर हैं" और कोई "पूर्ण पत्राचार" नहीं माना जाना चाहिए।
यह सावधानी मायने रखती है। यह एक बहुत ही जटिल मशीन को समझने की ओर एक कदम है। यह कोई खोज नहीं है कि मशीन के पास एक आंतरिक जीवन है।
