क्यों AI इमेज मॉडल अभी भी चीजें बना रहे हैं, और Apple के शोधकर्ता इसके बारे में क्या कर रहे हैं

मुख्य बिंदु

• मल्टीमोडल बड़े भाषा मॉडल, AI सिस्टम जो इमेज और टेक्स्ट दोनों को संसाधित करते हैं, अक्सर "मतिभ्रम" करते हैं और ऐसे विवरण उत्पन्न करते हैं जो वास्तव में किसी चित्र में जो है उससे विरोधाभास रखते हैं।
• प्राथमिकता संरेखण, एक प्रशिक्षण विधि जो एक मॉडल को संभावित सुनने वाले उत्तरों की तुलना में सटीक उत्तरों को प्राथमिकता देना सिखाती है, टेक्स्ट-केवल AI के लिए अच्छी तरह से स्थापित है लेकिन इमेज-समझ मॉडल के लिए बहुत कम अध्ययन किया गया है।
• Apple ML Research ने एक व्यापक अध्ययन प्रकाशित किया जो जांचता है कि संरेखण तकनीकें इमेज-भाषा मॉडलों को कैसे प्रभावित करती हैं, जिसमें यह शामिल है कि क्या काम करता है, क्या नहीं, और क्यों।
• ये निष्कर्ष शोध प्रयोगशालाओं से परे मायने रखते हैं: ये मॉडल इमेज कैप्शनिंग, विजुअल सर्च और एक्सेसिबिलिटी टूल जैसी सुविधाओं को शक्ति देते हैं जिन्हें लाखों लोग रोज़ाना उपयोग करते हैं।

AI को एक फोटो का वर्णन करने के लिए कहें और वह आमतौर पर अधिकांश चीजें सही बता देगा। लेकिन कभी-कभी यह आत्मविश्वास से वस्तुओं, लोगों या पाठ को जोड़ता है जो बस चित्र में नहीं हैं। शोधकर्ता इसे मतिभ्रम कहते हैं, और यह AI सिस्टम की एक श्रेणी के साथ एक ज्ञात, जिद्दी समस्या है जिसे मल्टीमोडल बड़े भाषा मॉडल, या MLLMs कहा जाता है, जो AI मॉडल हैं जो एक ही समय में इमेज और लिखित भाषा दोनों को समझने के लिए प्रशिक्षित होते हैं।

टेक्स्ट-केवल चैटबॉट के लिए, मतिभ्रम का मतलब एक गलत तथ्य बताना है। एक इमेज मॉडल के लिए, इसका मतलब कुछ अधिक भ्रमकारी हो सकता है: एक लाल कार को नीली के रूप में वर्णित करना, एक दुकान की दीवार पर एक संकेत का आविष्कार करना, या दावा करना कि एक व्यक्ति मुस्कुरा रहा है जब वे नहीं हैं। मॉडल झूठ नहीं बोल रहा है, इसके पास बस अपने सामने की इमेज के लिए कोई विश्वसनीय एंकर नहीं है।

यह बार-बार क्यों होता है?

टेक्स्ट-केवल AI मॉडलों को प्राथमिकता संरेखण नामक एक प्रशिक्षण चरण से बहुत लाभ हुआ है। संक्षिप्त संस्करण: प्रारंभिक प्रशिक्षण के बाद, शोधकर्ता मॉडल को उत्तरों के जोड़े दिखाते हैं और इसे अधिक सटीक, सहायक एक को प्राथमिकता देना सिखाते हैं। हज़ारों उदाहरणों पर, मॉडल स्वयं को ठीक करना सीखता है।

समस्या यह है कि इस सुधार चरण का इमेजों को संभालने वाले मॉडलों के लिए बहुत कम अध्ययन किया गया है। एक मॉडल जो मुख्य रूप से पाठ पर प्रशिक्षित है, इसके बारे में मजबूत प्रवृत्ति विकसित करता है कि वाक्य कैसे सुनाई देने चाहिए। जब आप इमेज जोड़ते हैं, तो ये प्रवृत्तियां स्वचालित रूप से दृश्य तथ्यों की जांच के लिए हस्तांतरित नहीं होती हैं।

Apple अध्ययन में क्या पाया गया?

Apple ML Research द्वारा प्रकाशित और पहली बार एक व्यापक प्रीप्रिंट समीक्षा में सामने आया शोध, समस्या को व्यवस्थित रूप से मैप करने के लिए निकला। टीम ने जांचा कि कैसे विभिन्न प्राथमिकता संरेखण रणनीतियां इमेज-भाषा मॉडलों के व्यवहार को बदलती हैं, यह परीक्षण करते हुए कि कौन सी दृष्टिकोण मतिभ्रम को कम करती हैं और कौन सी कमजोर पड़ती हैं।

एक मुख्य अंतर्दृष्टि जो अध्ययन सामने लाता है वह यह है कि MLLMs के लिए संरेखण सटीकता के दूसरे आयाम को ध्यान में रखना चाहिए: केवल "क्या यह वाक्य तथ्यात्मक रूप से सही है?" नहीं बल्कि "क्या यह वाक्य इमेज में जो है उससे मेल खाता है?" ये अलग-अलग प्रश्न हैं, और टेक्स्ट अकेले के लिए बनाई गई प्रशिक्षण विधियां स्वचालित रूप से दृश्य जांच को संभालती नहीं हैं।

अध्ययन व्यापक शोध समुदाय के लिए एक संसाधन के रूप में तैनात किया गया है, यह मैप करता है कि क्या समझा जाता है, क्या खुला रहता है, और सबसे आशाजनक दिशाएं कहां हैं।

सामान्य उपयोगकर्ताओं के लिए इसका क्या मतलब है?

यदि आप एक ऐसा ऐप्लिकेशन उपयोग करते हैं जो इमेज विवरण पढ़ता है, स्वचालित रूप से फोटो को टैग करता है, या आप जो तस्वीरें अपलोड करते हैं उनके बारे में प्रश्नों का उत्तर देता है, तो आप इस तकनीक पर निर्भर हैं। उन संदर्भों में मतिभ्रम केवल एक जिज्ञासा से अधिक है: एक्सेसिबिलिटी टूल में एक गलत विवरण वास्तव में एक दृष्टिहीन उपयोगकर्ता को गुमराह कर सकता है।

बेहतर संरेखण प्रशिक्षण मॉडल के ऐसे तरीकों की ओर सबसे स्पष्ट पथों में से एक है जो जो वे वास्तव में देखते हैं उसके बारे में ईमानदार रहते हैं। यहां प्रगति को उपयोगकर्ताओं को कुछ अलग तरीके से करने की आवश्यकता नहीं है। यह प्रशिक्षण प्रक्रिया के अंदर होता है, उस समय से बहुत पहले जब कोई उत्पाद आपके फोन तक पहुंचता है।

सामान्य प्रश्न

क्या इमेज मॉडलों में मतिभ्रम टेक्स्ट चैटबॉट्स की तरह ही समस्या है?

बिल्कुल नहीं। टेक्स्ट चैटबॉट्स गलत तथ्य बताकर मतिभ्रम करते हैं। इमेज मॉडलें वह भी कर सकते हैं, लेकिन वे उनके सामने सही दृश्य साक्ष्य के विरोधाभास भी कर सकते हैं, ऐसी चीजें बता सकते हैं जो वहां नहीं हैं या ऐसी चीजें मिस कर सकते हैं जो स्पष्ट रूप से हैं।

क्या यह अध्ययन अभी कोई भी उत्पाद बदलता है जिसका मैं उपयोग कर सकता हूं?

नहीं। यह मौलिक शोध है, कोई उत्पाद घोषणा नहीं। इसका मूल्य अन्य शोधकर्ताओं को समस्या का एक स्पष्ट मानचित्र देने में है ताकि भविष्य के मॉडलों को, कई कंपनियों में, शुरुआत से ही मजबूत संरेखण प्रशिक्षण के साथ बनाया जा सके।