इससे पहले कि आपका AI सहायक वायर ट्रांसफर भेजे, क्या वह जानता है कि वह कितना आत्मविश्वासी है?

मुख्य बिंदु

• Apple ML Research ने AI function-calling के लिए uncertainty quantification (UQ) पर एक अध्ययन प्रकाशित किया, चेतावनी दी कि अत्यधिक आत्मविश्वासी AI agents अपरिवर्तनीय नुकसान पहुंचा सकते हैं।
• बड़े भाषा मॉडल का उपयोग तेजी से वास्तविक दुनिया के कार्यों को करने के लिए किया जा रहा है जैसे पैसे स्थानांतरित करना, उड़ानें बुक करना, या उपयोगकर्ता की ओर से फाइलें हटाना।
• अनुसंधान तर्क देता है कि कार्य करने से पहले एक AI मॉडल के आत्मविश्वास को मापना महंगी, कठिन-से-उलटी गई गलतियों को रोक सकता है।
• वर्तमान function-calling सिस्टम अक्सर बिना किसी आंतरिक जांच के कार्यों को निष्पादित करते हैं कि AI वास्तव में सुनिश्चित है कि वह सही काम कर रहा है।

कल्पना करें कि आप एक वॉयस असिस्टेंट से अपनी बिजली का बिल देने के लिए कहते हैं। यह आपके निर्देश को सुनता है, तय करता है कि किस बैंक खाते का उपयोग करना है, राशि चुनता है, और भुगतान भेजता है। हो गया। सिवाय इसके कि: क्या अगर इसने आपके निर्देश को गलत पढ़ा? क्या अगर इसने दस गुना राशि भेज दी? पैसा चला गया।

यह समस्या है जिसे हल करने के लिए Apple ML Research के शोधकर्ताओं ने काम किया। उनका काम इस बात पर केंद्रित है कि क्या होता है जब एक बड़े भाषा मॉडल को, ChatGPT और Claude जैसे चैटबॉट्स के पीछे की तकनीक, functions को कॉल करने की क्षमता दी जाती है, जिसका अर्थ है कि यह दुनिया में वास्तव में चीजें कर सकता है और केवल एक चैट विंडो में सवालों के जवाब नहीं दे सकता।

Function-calling पहले से ही हर जगह है। जब कोई AI रेस्तरां बुक करता है, डेटाबेस को क्वेरी करता है, या आपकी ओर से ईमेल भेजता है, तो यह इस क्षमता का उपयोग कर रहा है। सुविधा वास्तविक है। जोखिम भी है।

शोधकर्ता एक ऐसे अंतर को इंगित करते हैं जिसके बारे में अधिकांश उपयोगकर्ता कभी पूछने के बारे में नहीं सोचते: क्या AI कार्य करने से पहले जानता है कि यह कितना आत्मविश्वासी है? अभी तक, अधिकांश सिस्टम जांच नहीं करते। मॉडल एक निर्णय लेता है और कार्य चलता है, भले ही AI 95 प्रतिशत निश्चित था या केवल अनुमान लगा रहा था।

Uncertainty quantification, या UQ, उस आत्मविश्वास स्तर को मापने के लिए तकनीकी शब्द है। इसे एक सर्जन की चेकलिस्ट की तरह सोचें: इससे पहले कि आप कट करें, आप पुष्टि करते हैं कि आपके पास सही रोगी है, सही प्रक्रिया है, सही स्थान है। यहाँ विचार AI agents को एक समान रोक देना है, एक अंतर्निहित क्षण जहाँ सिस्टम अपने आप से पूछता है कि क्या यह वास्तव में आगे बढ़ने के लिए पर्याप्त निश्चित है।

यह अपरिवर्तनीय कार्यों के लिए सबसे महत्वपूर्ण है। फाइल हटाना, भुगतान भेजना, सदस्यता रद्द करना: ये वे कदम हैं जहाँ एक गलत कॉल महंगी है या पूर्ववत करना असंभव है। एक आत्मविश्वासी, गलत AI agent बहुत बड़ी समस्या है जो एक संकोची agent की तुलना में है जो पुष्टि मांगता है।

Apple ML Research तर्क देता है कि UQ methods को function-calling pipeline में ही निर्मित किया जाना चाहिए, बाद में नहीं जोड़ा जाना चाहिए।

क्या साधारण उपयोगकर्ताओं को अभी चिंता करनी चाहिए?

तुरंत नहीं, लेकिन आपको इस बात पर ध्यान देना चाहिए कि आप AI agents को कौन से कार्य सौंपते हैं। जैसे-जैसे AI tools को आपके खातों, फाइलों और सेवाओं तक अधिक पहुंच मिलती है, जोखिम बढ़ता है। कुछ व्यावहारिक चीजें जिन पर ध्यान देना है:

• यदि कोई ऐप वित्तीय कार्यों के लिए AI automation प्रदान करता है, तो जांचें कि क्या यह लेनदेन पूरा करने से पहले आपसे पुष्टि मांगता है।
• AI tools को व्यापक अनुमतियां प्रदान करने के बारे में सावधान रहें। संकीर्ण पहुंच, केवल उस कार्य तक सीमित जिसकी आपको आवश्यकता है, किसी भी गलती के प्रभाव को कम करता है।
• यदि कोई AI असिस्टेंट इस तरह से काम करता है जो आपको आश्चर्यचकित करता है, तो ऐप के प्रतिक्रिया चैनल के माध्यम से इसकी रिपोर्ट करें। ये रिपोर्टें शोधकर्ताओं को विफलता के मामलों को खोजने में वास्तव में मदद करती हैं।

शोधकर्ता यह नहीं कह रहे हैं कि AI agents का उपयोग करने के लिए बहुत खतरनाक हैं। वे कह रहे हैं कि उपकरणों को कार्य करने से पहले एक आत्मविश्वास जांच की आवश्यकता है। यह माँगने के लिए एक उचित बात है।