एक जहरीला ईमेल आपके एआई असिस्टेंट की मेमोरी को चुपचाप फिर से लिख सकता है

मुख्य बिंदु

• MemGhost एक नया वर्णित हमला है जो उपयोगकर्ता के ज्ञान के बिना एक एआई असिस्टेंट की दीर्घकालिक मेमोरी में झूठी, स्थायी जानकारी डालने के लिए एक ईमेल का उपयोग करता है।
• यह हमला एआई एजेंटों पर काम करता है, सॉफ्टवेयर जो आपका ईमेल पढ़ता है और आपकी ओर से कार्रवाई करता है, जिनमें दीर्घकालिक मेमोरी फीचर सक्षम है।
• यह तकनीक प्रॉम्प्ट इंजेक्शन का एक रूप है, छिपी हुई निर्देश जो सामान्य सामग्री में दफन होती हैं जिसे एआई आदेशों के रूप में पढ़ता है।
• OpenAI के ChatGPT, Anthropic के Claude, और Google के Gemini सहित उत्पाद सभी अब मेमोरी फीचर प्रदान करते हैं जिन्हें निशाना बनाया जा सकता है।
• उपयोगकर्ता अधिकांश प्रमुख एआई असिस्टेंटों की सेटिंग्स में संग्रहित मेमोरी को चेक और डिलीट कर सकते हैं।

एक एआई असिस्टेंट को मेमोरी और मेलबॉक्स दें, और आपने एक हमलावर को इस बात को चुपचाप फिर से लिखने का तरीका दे दिया है कि वह आपके बारे में क्या सोचता है। यह MemGhost के पीछे का कठोर निष्कर्ष है, एक नई हमले की विधि जिसे पहली बार ThreatVectr द्वारा विस्तार से बताया गया था, जो हमारी बहन प्रकाशन है।

यांत्रिकी अपनी सरलता में चिंताजनक हैं। एक हमलावर लक्ष्य को एक ईमेल भेजता है। किसी मानव को इसे खोलने या कुछ भी क्लिक करने की आवश्यकता नहीं है। एआई एजेंट, सॉफ्टवेयर जो आपके इनबॉक्स को पढ़ता है और आपकी ओर से कार्य करता है, इसे स्वचालित रूप से खोलता है और टेक्स्ट में दफन निर्देश पाता है। वे निर्देश असिस्टेंट को आपके बारे में एक झूठा तथ्य संग्रहीत करने और इसके बारे में चुप रहने के लिए कहते हैं। असिस्टेंट मान जाता है।

उस क्षण से, हर भविष्य की बातचीत रोपी गई झूठ से आकार पाती है।

क्या उपयोगकर्ताओं को चिंता करनी चाहिए?

हां, कुछ महत्वपूर्ण संदर्भ के साथ। यह हमला वास्तविक और तकनीकी रूप से ध्वनि है, लेकिन इसके काम करने के लिए एक विशिष्ट सेटअप की आवश्यकता है: आपके एआई असिस्टेंट के पास इनबॉक्स एक्सेस और दीर्घकालिक मेमोरी फीचर दोनों को चालू करना चाहिए। हर सेटअप दोनों नहीं रखता है।

फिर भी, वह संयोजन आम हो रहा है। मेमोरी फीचर अब मुख्यधारा के उत्पादों में मानक हैं। ChatGPT, Claude, और Gemini सभी स्थायी स्मरण प्रदान करते हैं, अलग-अलग बातचीत के बीच आपके बारे में तथ्यों को ले जाने की क्षमता। कई व्यवसाय एआई एजेंटों को कॉर्पोरेट ईमेल सिस्टम में भी सीधे जोड़ रहे हैं। हमले की सतह बढ़ रही है।

अंतर्निहित ट्रिक, प्रॉम्प्ट इंजेक्शन, नया नहीं है। शोधकर्ताओं ने पहली बार 2022 में इसे सार्वजनिक रूप से प्रलेखित किया, और यह बड़े भाषा मॉडल अनुप्रयोगों के लिए Open Worldwide Application Security Project की जोखिम सूची के शीर्ष पर है, ChatGPT जैसे चैटबॉट्स के पीछे की तकनीक। MemGhost जो जोड़ता है वह कुछ पुरानी है जो पुराने हमलों में कमी थी: स्थायित्व। एक मानक प्रॉम्प्ट इंजेक्शन समाप्त होता है जब आप चैट विंडो को बंद करते हैं। एक जहरीली मेमोरी हर भविष्य के सत्र में बनी रहती है।

व्यावहारिक खतरा नाटकीय बजाय सूक्ष्म है। एक हेराफेरी किया गया असिस्टेंट आपके निर्णयों को निर्देशित कर सकता है, एक सारांश को विकृत कर सकता है, या सिफारिश को धक्का दे सकता है, सभी एक 'तथ्य' पर आकर्षण करते हुए जो एक हमलावर ने महीने पहले लिखा था।

आप अभी क्या कर सकते हैं। यदि आप मेमोरी सक्षम के साथ एक एआई असिस्टेंट का उपयोग करते हैं, तो इसकी सेटिंग्स खोलें और देखें कि इसने क्या संग्रहीत किया है। ChatGPT, Claude, और Gemini सभी व्यक्तिगत मेमोरी को देखने और हटाने देते हैं। कोई भी ऐसी मेमोरी हटाएं जिसे आप नहीं पहचानते। किसी भी एआई एजेंट को अनुपर्यवेक्षित, 24/7 इनबॉक्स एक्सेस देने से पहले दो बार सोचें जो अजनबियों से मेल प्राप्त करता है, खासकर कार्य खाते के लिए।

एआई एजेंटों को तैनात करने वाली कंपनियों के लिए, मार्गदर्शन तीव्र है। एजेंट द्वारा पढ़े गए प्रत्येक दस्तावेज़, ईमेल और वेब पृष्ठ को अविश्वसनीय इनपुट के रूप में मानें। एजेंट मेमोरी में लिखता है सबकुछ लॉग करें। एजेंट को मंजूरी देने से पहले एक मानव को किसी भी नई संग्रहीत तथ्य को स्वीकार करने की आवश्यकता है। मान लें कि प्रॉम्प्ट इंजेक्शन के प्रयास आएंगे, क्योंकि वे आएंगे।