AI निष्पक्षता नियमों की जांच करना आसान है। साबित करना कि वे काम करते हैं, बिल्कुल अलग समस्या है
नए शोध में पाया गया है कि दो प्रकार की AI ऑडिटिंग को जोड़ने वाली एक गणितीय शॉर्टकट उस पल टूट जाती है जब आप यह सत्यापित करने का प्रयास करते हैं, न कि केवल परीक्षण करते हैं, कि एक सिस्टम सुसंगत व्यवहार करता है।
मुख्य बिंदु
- Apple ML Research के शोधकर्ताओं ने निष्कर्ष प्रकाशित किए जो दिखाते हैं कि स्थान-अपरिवर्तनीय गुणों की परीक्षा और सत्यापन, AI सिस्टम द्वारा डेटा को संभालने के तरीके के बारे में गणितीय नियमों का एक वर्ग, एक जैसे व्यवहार नहीं करते हैं।
- एक संबंध जो इन गुणों की परीक्षा को सरल बनाता था, सत्यापन के लिए कोई मदद नहीं देता, जो सबूत के एक कठोर मानदंड को निर्धारित करता है।
- यह अंतराल किसी भी व्यक्ति के लिए महत्वपूर्ण है जो यह प्रमाणित करने का प्रयास कर रहा है कि एक AI मॉडल समान इनपुट को सुसंगत रूप से संभालता है, एक चिंता जो निष्पक्षता और विश्वसनीयता ऑडिटिंग के मूल में है।
- यह कार्य सैद्धांतिक है लेकिन नियामकों और डेवलपर्स के लिए व्यावहारिक निहितार्थ हैं जो पैमाने पर AI व्यवहार की ऑडिट करने के लिए सांख्यिकीय शॉर्टकट पर निर्भर करते हैं।
AI ऑडिटिंग के एक बड़े हिस्से में एक शांत धारणा है: अगर दो गणितीय समस्याएं संरचनात्मक रूप से समान दिखती हैं, तो एक के लिए एक चतुर समाधान दूसरे में भी काम करना चाहिए। Apple ML Research का नया सैद्धांतिक कार्य सुझाता है कि यह धारणा उन तरीकों से विफल हो सकती है जो महत्वपूर्ण हैं।
शोध स्थान-अपरिवर्तनीय गुणों नामक कुछ पर केंद्रित है। यह एक सरल विचार के लिए एक औपचारिक नाम है: एक फ़ंक्शन के बारे में एक नियम, एक गणितीय वस्तु जो इनपुट को आउटपुट पर मैप करती है, जो केवल यह परवाह करती है कि प्रत्येक आउटपुट मान कितनी बार दिखाई देता है, न कि यह कहां दिखाई देता है। इसे एक प्लेलिस्ट का मूल्यांकन करने जैसा सोचें कि प्रत्येक गीत कितनी बार बजता है, क्रम की परवाह किए बिना।
यह निकला कि यह परीक्षण करना कि क्या एक फ़ंक्शन के पास इस तरह की गुणवत्ता है, यह परीक्षण करने से निकटता से संबंधित है कि क्या एक संभाव्यता वितरण, एक विवरण कि विभिन्न परिणामों की संभावना कितनी है, मेल खाने वाली गुणवत्ता है। शोधकर्ता इसे वर्षों से जानते थे और इसे उपयोगी पाते थे। इसका मतलब था कि एक क्षेत्र से तकनीकें दूसरे क्षेत्र में जा सकती हैं।
लेकिन नया पत्र सत्यापन पर एक कठोर सीमा खींचता है।
सत्यापन परीक्षण से अधिक कठोर है। परीक्षण नमूनाकरण द्वारा एक गुणवत्ता की जांच करता है: आप सीमित संख्या में इनपुट को देखते हैं और तय करते हैं कि क्या नियम संभवतः काम करता है। सत्यापन का मतलब है कि आप जो जांच कर रहे हैं उस सिस्टम के एक विश्वसनीय विवरण को देखते हुए इसे निश्चित रूप से काम करता है यह पुष्टि करना। शोधकर्ता दिखाते हैं कि फ़ंक्शन और वितरण के बीच सुंदर संबंध, परीक्षा में इतना सहायक, सत्यापन सेटिंग में पूरी तरह से टूट जाता है।
यह गणित के बाहर क्यों महत्वपूर्ण है?
क्या ऑडिटर को चिंतित होना चाहिए?
हां, एक विशिष्ट और व्यावहारिक तरीके से। डेवलपर्स और नियामक तेजी से यह प्रमाणित करना चाहते हैं कि AI सिस्टम सुसंगत व्यवहार करते हैं, न कि केवल यह सुझाव देते हैं कि वे संभवतः करते हैं। अगर एक शॉर्टकट जो सांख्यिकीय स्पॉट-चेक के लिए काम करता है औपचारिक गारंटी के लिए काम नहीं करता है, तो उस शॉर्टकट पर बने उपकरण और प्रमाण विधियां झूठा आत्मविश्वास दे सकते हैं।
यह विभाजन कई तकनीकी सेटिंग्स में रहता है जो पत्र परीक्षा करता है, केवल एक किनारे के मामले में नहीं। यह एक संरचनात्मक खोज है, कोई जिज्ञासा नहीं।
अभी के लिए, यह सैद्धांतिक शोध है। यह एक टूटे हुए उत्पाद या एक त्रुटिपूर्ण ऑडिट की ओर इशारा नहीं करता है जो वास्तविक दुनिया में हुई हो। यह जो करता है वह टूलकिट को संकीर्ण करता है: विधियां जो संभाव्यता परीक्षण के लिए मान्य हैं, कोई भी उन्हें सुसंगतता गारंटी प्रमाणित करने के लिए उपयोग करने से पहले अलग, कठिन न्यायसंगति की आवश्यकता है।
रोगियों, ग्राहकों, या कर्मचारियों के लिए जिनके जीवन AI निर्णयों द्वारा आकार दिए जाते हैं, निष्कर्ष अप्रत्यक्ष लेकिन वास्तविक है। AI निष्पक्षता नियमों का औपचारिक सत्यापन दिखने की तुलना में कठिन है, और यह पत्र बिल्कुल बताता है कि क्यों।
