क्या AI मॉडल को सब कुछ भूलना ही पड़ता है? Apple शोधकर्ता कहते हैं नहीं
एक नए अध्ययन में पाया गया है कि AI को 'भूलने' के लिए हम जो कुछ भी कहते हैं, उसका अधिकांश हिस्सा शुरुआत में ही मॉडल के लिए महत्वहीन था, जो गोपनीयता समाधान की लागत में भारी कटौती कर सकता है।
मुख्य बिंदु
- Apple ML Research ने प्रशिक्षण डेटा के उप-समूह की पहचान की है जिनका मॉडल के आउटपुट पर इतना कम प्रभाव है कि उन्हें हटाना अनावश्यक हो सकता है।
- वर्तमान AI unlearning तरीके प्रत्येक डेटा को समान रूप से मानते हैं, भले ही कुछ डेटा का मॉडल के व्यवहार पर लगभग कोई प्रभाव नहीं पड़ा हो।
- इन कम प्रभाव वाले डेटा बिंदुओं को हटाने को छोड़ देने से गोपनीयता-संबंधी मॉडल अपडेट के कंप्यूटिंग समय और लागत में कमी आ सकती है।
- निष्कर्ष भाषा मॉडल (जो चैटबॉट को शक्ति देते हैं) और विजन मॉडल (AI जो छवियों का विश्लेषण करता है) दोनों पर लागू होते हैं।
जब आप किसी कंपनी से अपना डेटा हटाने के लिए कहते हैं, तो आप शायद यह मानते हैं कि जिस AI को इसमें प्रशिक्षित किया गया था, वह बदल जाएगा। Apple ML Research के शोधकर्ता अब सुझाव दे रहे हैं कि यह धारणा अक्सर गलत है, और प्रत्याशा और वास्तविकता के बीच यह अंतराल वास्तव में बहुत पैसा बचा सकता है।
पृष्ठभूमि यह है। AI मॉडल भारी मात्रा में डेटा को संसाधित करके सीखते हैं। प्रशिक्षण के बाद, उस डेटा का कुछ हिस्सा मॉडल के व्यवहार पर एक मजबूत छाप छोड़ता है। अन्य डेटा बमुश्किल पंजीकृत होते हैं। नया शोध दूसरी श्रेणी पर केंद्रित है।
शोधकर्ताओं द्वारा उपयोग किया जाने वाला तकनीकी शब्द machine unlearning है, जिसका अर्थ है एक प्रशिक्षित AI मॉडल को सिखाना कि वह डेटा के एक विशिष्ट टुकड़े को कभी देखा ही नहीं। कई देशों में गोपनीयता कानून पहले से ही कंपनियों को इस क्षमता की ओर ले जा रहे हैं। समस्या यह है कि वर्तमान unlearning तरीके महंगे हैं। वे "भूलने की सूची" में प्रत्येक आइटम को समान रूप से मानते हैं, चाहे वह आइटम मॉडल को भारी रूप से आकार दे या बमुश्किल इसे स्पर्श करे।
Apple टीम ने influence functions नामक एक उपकरण का उपयोग किया, एक तकनीक जो मापती है कि कोई भी एकल प्रशिक्षण उदाहरण मॉडल के अंतिम व्यवहार को कितना स्थानांतरित करता है। इसे एक पार्टी के बाद रसीदों की जांच करने जैसा सोचें: कुछ खरीदारी कुल बिल पर बदलाव लाई, अन्य इतनी छोटी थीं कि वे शोर थीं। शोधकर्ताओं को पता चला कि प्रशिक्षण डेटा का एक सार्थक हिस्सा शोर की श्रेणी में आता है।
उनका तर्क सीधा है: यदि एक डेटा बिंदु का मॉडल पर नगण्य प्रभाव था, तो इसके औपचारिक हटाने को छोड़ देने से पूर्ण deletion जितना ही समान परिणाम मिलते हैं, लेकिन कंप्यूटिंग लागत का एक अंश मिलता है। GPU, विशेष चिप्स जो AI को भारी संख्या-क्रंचिंग करते हैं, चलाने में महंगे होते हैं। कोई भी विधि जो GPU घंटों को कम करती है, वास्तविक पैसे की बचत में अनुवाद करती है।
यह निष्कर्ष दो अलग-अलग प्रकार के AI कार्यों में मजबूत रहा: भाषा और छवि पहचान।
क्या इसका मतलब यह है कि कंपनियां deletion requests को अनदेखा कर सकती हैं?
नहीं। यह शोध कंपनियों को गोपनीयता अनुरोधों को अनदेखा करने के लिए कानूनी अनुमति नहीं देता है। यह सुझाव देता है कि unlearning उपकरण बनाने वाले इंजीनियर उच्च-प्रभाव डेटा बिंदुओं को प्राथमिकता दे सकते हैं और कम-प्रभाव वाले बिंदुओं को सुरक्षित रूप से तेज कर सकते हैं, परिणाम को नुकसान पहुंचाए बिना लागत में कटौती कर सकते हैं।
सामान्य लोगों के लिए, ईमानदार निहितार्थ यह है: आप जो डेटा एक AI सिस्टम में योगदान देते हैं, वह उस सिस्टम को समान रूप से प्रभावित नहीं करता है। आपकी बातचीत गठनकारी हो सकती है, या यह पृष्ठभूमि शोर हो सकती है।
Survivorship bias यहाँ भी ध्यान देने योग्य है। शोधकर्ताओं ने कम-प्रभाव वाले मामलों की पहचान की, लेकिन कठिन और महंगा काम उच्च-प्रभाव डेटा के लिए बना हुआ है, बिल्कुल वे संवेदनशील रिकॉर्ड जो वास्तविक गोपनीयता विवाद में सबसे अधिक मायने रखते हैं।
निष्कर्ष: यदि आप ऐसा व्यवसाय चलाते हैं जो AI मॉडल और उपयोगकर्ता डेटा को संभालता है, तो अपनी तकनीकी टीम से पूछें कि आपके प्रशिक्षण सेट में कौन सा डेटा वास्तव में महत्वपूर्ण है। आप ऐसी चीजें "भूलने" के लिए भुगतान कर सकते हैं जो मॉडल ने कभी वास्तव में सीखी ही नहीं।
