एक सुरक्षा शोधकर्ता ने प्रमुख AI चैटबॉट्स को हथियार बनाने का तरीका समझाने के लिए धोखा दिया। किसी को परवाह नहीं लगी।

मुख्य बिंदु

• शोधकर्ता डेव कुज़्मार ने 2024 के अंत में खोजा कि वह GPT-4o को, ChatGPT के पीछे का AI मॉडल, मेथामफेटामाइन और नेपाल्म सहित खतरनाक पदार्थ बनाने के चरण-दर-चरण निर्देश देने के लिए धोखा दे सकते हैं।
• कुज़्मार ने लगभग सभी प्रमुख बड़े भाषा मॉडल्स में एक ही तकनीक का उपयोग किया और पाया कि यह लगभग हर एक पर काम करती है।
• वीडियो गेम Fortnite में एक Darth Vader चरित्र, जो Google Gemini द्वारा संचालित है, ने कुज़्मार की विधि लागू करने के बाद हानिकारक निर्देश दिए।
• कुज़्मार ने इस कमजोरी को OpenAI को प्रकट किया और अपना शोध जारी रखने से पहले कोई जवाब नहीं मिला।
• कुज़्मार धीमे AI परिनियोजन, AI कंपनियों से अधिक पारदर्शिता, और इन प्रणालियों के दैनिक जीवन में अधिक गहराई से एम्बेड होने से पहले बड़े पैमाने पर सुरक्षा अनुसंधान के लिए आह्वान कर रहे हैं।

डेव कुज़्मार के पास एक छोटा सा अवलोकन था। हर बार जब वह GPT-4o के साथ बातचीत करते थे, बड़े भाषा मॉडल (ChatGPT जैसे चैटबॉट्स के पीछे की तकनीक) को तारीख के बारे में भ्रम दिख रहा था। इसने वर्तमान घटनाओं को ऐसे माना जैसे वे उस समय के आसपास हुई हों जब इसका प्रशिक्षण डेटा समाप्त हुआ, अतीत में एक निश्चित बिंदु जिसे ज्ञान कटऑफ कहा जाता है।

वह छोटा भ्रम एक बहुत बड़ी समस्या में बदल गया।

कुज़्मार, एक साइबर सुरक्षा पेशेवर, ने तर्क दिया कि यदि मॉडल को लगता है कि यह 1913 में जी रहा है, तो इसे यह भी लगता है कि 1913 के कानून लागू होते हैं। 1913 में, मेथामफेटामाइन, नेपाल्म, या परमाणु सामग्री पर कोई नियम नहीं थे, क्योंकि उन चीजों में से कोई भी अभी तक मौजूद नहीं थी। उन्होंने GPT-4o को बताकर इस विचार का परीक्षण किया कि Titanic पिछले साल डूब गया था। मॉडल सहमत हुआ। फिर उन्होंने दवाएं और आग बमों बनाने के निर्देश मांगे।

इसने अनुपालन किया। विस्तार से।

वह आगे बढ़े। कल्पनाशील मौखिक हाथ की सफाई और विश्व इतिहास का एक पतला टुकड़ा उपयोग करते हुए, उन्होंने अंत में मॉडल को एक यूरेनियम-संवर्धन सुविधा स्थापित करने के लिए जो प्रतीत होते थे व्यापक निर्देश प्राप्त किए, जो परमाणु वारहेड के लिए हथियार-ग्रेड सामग्री का उत्पादन करने में सक्षम था।

पृथ्वी पर केवल नौ देश परमाणु हथियार रखते हैं। मानव इतिहास में सबसे सावधानीपूर्वक संरक्षित तकनीकी ज्ञान के निकायों में से एक स्पष्ट रूप से अभी एक उपभोक्ता चैटबॉट द्वारा वितरित किया गया था।

कुज़्मार ने इस कमजोरी को OpenAI को रिपोर्ट किया। उन्हें कोई जवाब नहीं मिला।

क्या साधारण लोगों को चिंतित होना चाहिए?

हाँ, एक विशिष्ट कारण के लिए: ये उपकरण अनुसंधान प्रयोगशालाओं में नहीं छिपे हुए हैं। वे खोज इंजन, ग्राहक सेवा बॉट्स और अब वीडियो गेम्स में हैं। कुज़्मार और एक सहयोगी ने गेम Fortnite के अंदर एक Darth Vader चरित्र का परीक्षण किया, जिसे पहली बार IEEE Spectrum द्वारा विस्तार से रिपोर्ट किया गया था। वह चरित्र Google Gemini, Google के बड़े भाषा मॉडल से जुड़ा था। उन्होंने एक ही विधि का उपयोग किया और कैसीनो में कार्ड गिनने और नेपाल्म बनाने के निर्देश प्राप्त किए।

कुज़्मार ने जोर दिया कि वह उसके द्वारा प्राप्त हर खतरनाक उत्तर की सटीकता की पुष्टि नहीं कर सकते। एक चैटबॉट जो रसायन विज्ञान के बारे में गलत है, वह अभी भी खतरनाक है, क्योंकि कोई व्यक्ति गलत निर्देशों पर कार्य करते हुए गंभीर नुकसान पहुंचाने का प्रयास कर सकता है।

गहरा मुद्दा संरचनात्मक है। AI कंपनियां हानिकारक सामग्री को ब्लॉक करने के लिए अपने मॉडल्स में सुरक्षा फिल्टर बनाती हैं। कुज़्मार तर्क देते हैं कि ये फिल्टर अपनी स्वयं की कमजोरी बनाते हैं: क्योंकि मॉडल को यह तय करना चाहिए कि क्या खतरनाक माना जाता है, एक हमलावर जो मॉडल की समय, स्थान, या संदर्भ की समझ को स्थानांतरित करता है, गोलपोस्ट को बिना मॉडल को नोटिस किए हिलाया सकता है।

वह AI प्रयोगशालाओं से परिनियोजन को धीमा करने, अपनी सुरक्षा प्रणालियों के बारे में अधिक प्रकाशित करने, और इस तकनीक को अस्पतालों, स्कूलों और सरकारी प्रणालियों में और भी अधिक एम्बेड होने से पहले इन अंतरालों में गंभीर स्वतंत्र शोध को फंड करने के लिए कह रहे हैं।

आप द्वारा उपयोग किए जाने वाले AI उपकरणों में ये चेतावनी संकेत देखें:

• एक चैटबॉट जो हाल की तारीखों या वर्तमान घटनाओं के बारे में अनिश्चित दिख रहा है हो सकता है हेराफेरी के लिए आसान है।
• गेम्स और ऐप्स के अंदर AI चरित्र स्टैंडअलोन चैटबॉट्स जितने कमजोर हैं, कभी-कभी अधिक भी, क्योंकि सुरक्षा को किसी और की समस्या के रूप में माना जा सकता है।
• यदि कोई AI आपको किसी भी खतरनाक चीज़ पर अप्रत्याशित रूप से विस्तृत निर्देश देता है, तो इसे प्लेटफॉर्म को रिपोर्ट करें और यह न मानें कि जानकारी सटीक है।