OpenAI ने एक AI बनाया जो अपने ही मॉडल्स को हैक करके उन्हें सुरक्षित बनाता है
GPT-Red एक स्वचालित रेड-टीमिंग सिस्टम है जो OpenAI के चैटबॉट्स पर हमला करता है ताकि असली हमलावरों से पहले कमजोरियां खोजी जा सकें। इसने पहले से ही एक ऐसी तरकीब खोजी है जिसे मानव परीक्षकों ने मिस किया था।
मुख्य बिंदु
- OpenAI ने GPT-Red बनाया, एक AI सिस्टम जिसे अन्य AI मॉडल्स पर हमला करने के लिए प्रशिक्षित किया गया, और इस सप्ताह इस परियोजना की घोषणा की।
- GPT-Red ने पाया कि अगस्त 2024 में रिलीज़ किए गए GPT-5 के खिलाफ इसके 90% से अधिक मजबूत हमले सफल रहे, जबकि नए GPT-5.6 के खिलाफ 23% से कम थे।
- GPT-Red ने एक नए प्रकार का हमला खोजा जिसे शोधकर्ता "फेक चेन ऑफ थॉट" कहते हैं।
- OpenAI ने GPT-Red को Vendy नामक एक वास्तविक वेंडिंग मशीन एजेंट के खिलाफ परीक्षण किया और सिस्टम कीमतें बदलने और ग्राहक ऑर्डर रद्द करने में सफल रहा।
- OpenAI GPT-Red को जनता को रिलीज़ नहीं करेगा।
OpenAI ने एक AI बनाया है जिसका पूरा काम अन्य AIs को तोड़ना है। इस सिस्टम को GPT-Red कहा जाता है, जो एक तरह का स्पारिंग पार्टनर है: यह OpenAI के अपने चैटबॉट मॉडल्स को निरंतर हैक करने का प्रयास करता है ताकि कंपनी किसी और के द्वारा खोजे जाने से पहले ही सुराख को बंद कर सके।
यह विचार रेड-टीमिंग नामक एक पुरानी सुरक्षा पद्धति से आता है, जहां लोगों का एक समर्पित समूह सिस्टम को तोड़ने के लिए हर तरकीब आजमाता है। GPT-Red इस प्रक्रिया को स्वचालित करता है, एक मानव टीम की तुलना में बहुत तेजी से और अधिक लगातार हमले चलाता है।
समय महत्वपूर्ण है। OpenAI ने पिछले सप्ताह अपने प्रमुख AI मॉडल के नवीनतम संस्करण GPT-5.6 की रिलीज़ के साथ GPT-Red की घोषणा की। कंपनी कहती है कि GPT-5.6 इसका सबसे कठिन मॉडल है, आंशिक रूप से क्योंकि इसे GPT-Red के हमलों के विरुद्ध प्रशिक्षित किया गया था।
अनुसंधान वैज्ञानिक Nikhil Kandpal और Dylan Hunn, जिन्होंने सिस्टम को सह-निर्मित किया, बताते हैं कि AI मॉडल्स के लिए खतरा तेजी से बढ़ रहा है। जैसे-जैसे AI को अधिक जगहों पर उपयोग किया जाता है, विशेष रूप से AI एजेंट्स (सॉफ्टवेयर जो वेबसाइटें ब्राउज़ कर सकता है, ईमेल पढ़ सकता है, फाइलें संपादित कर सकता है, और आपकी ओर से अन्य प्रोग्राम्स के साथ इंटरैक्ट कर सकता है) के रूप में, एक हमलावर जितने तरीकों से नुकसान पहुंचा सकता है वह बढ़ता है।
GPT-Red को एक अप्रशिक्षित मॉडल को एक स्व-प्ले लूप में कई अन्य मॉडल्स के साथ रखकर बनाया गया था। यह हमलावर की भूमिका निभाता था; वे रक्षक की भूमिका निभाते थे। बार-बार, हर पक्ष बेहतर होता गया। इसे दो शतरंज खिलाड़ियों के बारे में सोचें जो केवल एक-दूसरे के साथ खेलते हैं, जब तक दोनों दुर्जेय न हो जाएं।
टीम के अधिकांश प्रयास प्रॉम्प्ट इंजेक्शन नामक एक विशिष्ट खतरे के विरुद्ध बचाव पर केंद्रित थे। यह वह जगह है जहां एक हमलावर एक वेबपेज या ईमेल जैसे टेक्स्ट में गुप्त निर्देशों को छुपाता है जो एक AI पढ़ता है, AI को ऐसा कुछ करने के लिए धोखा देता है जो इसके उपयोगकर्ता ने कभी नहीं मांगा, जैसे निजी जानकारी लीक करना या किसी दस्तावेज को नष्ट करना।
फेक चेन ऑफ थॉट क्या है, और क्या यह सामान्य लोगों को चिंता देना चाहिए?
हां, मामूली रूप से, और यहां कारण है। एक चेन ऑफ थॉट एक आंतरिक स्क्रैचपैड है जो एक AI किसी समस्या को चरण-दर-चरण हल करने के लिए उपयोग करता है। GPT-Red को उस स्क्रैचपैड में एक जालसाजी नोट डालने का एक तरीका मिला, लक्ष्य AI को यह समझाते हुए कि उसने पहले ही कुछ जांच चुकी है जो उसने कभी वास्तव में नहीं की। अनुसंधान वैज्ञानिक Chris Choquette-Choo ने इसकी तुलना इस बात से की कि आपको बताया जाता है कि 1+1=3 और आपने पहले ही इसकी पुष्टि कर दी है। मॉडल बस इसे स्वीकार कर लेता है और आगे बढ़ जाता है।
एक नियमित व्यक्ति जो AI सहायक का उपयोग करता है, इस प्रकार का हमला आपसे नहीं आएगा। यह एक दस्तावेज या वेबसाइट के अंदर छिपा होगा जो AI आपकी ओर से पढ़ता है। AI तब बिना किसी चेतावनी के झूठी जानकारी पर कार्य कर सकता है।
GPT-Red की वास्तविक सीमाएं हैं। यह ऐसे हमलों में संघर्ष करता है जिनके लिए आगे-पीछे की बातचीत की आवश्यकता होती है, और यह छिपे हुए निर्देशों को ले जाने के लिए छवियों का उपयोग करने में अभी तक विश्वसनीय नहीं है। मानव रेड-टीमर्स अभी भी ऐसी चीजें पकड़ते हैं जो यह मिस करता है।
Jessica Ji, Georgetown University के Center for Security and Emerging Technology में एक वरिष्ठ अनुसंधान विश्लेषक, ने इस कार्य की समीक्षा की और परिणामों को आशाजनक कहा।
OpenAI GPT-Red को प्रकाशित नहीं करेगा। शोधकर्ताओं ने MIT Technology Review को बताया कि परियोजना को बनाने में एक साल से अधिक समय और विशाल कंप्यूटिंग संसाधनों की आवश्यकता थी, जिससे तेजी से नकल करना असंभव है।
यदि आप कार्य पर AI उपकरणों का उपयोग करते हैं तो ध्यान देने योग्य बातें: जब कोई AI एजेंट बाहरी सामग्री (ईमेल, दस्तावेज़, वेब पेज) पढ़ता है और फिर आपकी ओर से कार्य करता है तो सावधान रहें। यदि आउटपुट गलत या अप्रत्याशित दिखता है, तो इसे एक संभावित संकेत के रूप में मानें कि AI ने कुछ ऐसा पढ़ा है जिस पर उसे भरोसा नहीं करना चाहिए।
