पाकिस्तान के एआई जज सहायक ने प्रति जज 38 अतिरिक्त मामले मासिक रूप से साफ़ किए। यहाँ देखें कि वास्तव में क्या काम आया।

मुख्य बिंदु

• 1,559 पाकिस्तानी न्यायाधीशों के बीच एक परीक्षण में पाया गया कि एक कस्टम एआई कानूनी उपकरण ने 2024 में नौ महीने में हल किए गए मामलों में 6.3% की वृद्धि की।
• पाकिस्तान की अदालतों के पास 2.26 मिलियन मामलों का बैकलॉग है और प्रति 100,000 लोगों पर दो से कम न्यायाधीश हैं, जबकि यूरोपीय संघ में 22 हैं।
• प्रशिक्षित न्यायाधीशों ने प्रति माह लगभग 38.5 अधिक मामले पूरे किए, चलाने के लिए प्रत्येक $1 में $38.50 की न्यायिक लागत बचाई।
• जिन न्यायाधीशों को छह प्रशिक्षण सत्र मिले उन्होंने औसतन 56 बार उपकरण में लॉगिन किया और 212 प्रश्न भेजे, जबकि जिन्हें केवल सामान्य प्रशिक्षण मिला उन्होंने केवल 10 बार लॉगिन किया।
• लगभग पाँच में से एक प्रश्न में न्यायाधीशों ने एआई से निर्णय लेने या न्यूनतम मानव इनपुट के साथ राय लिखने के लिए कहा, जिससे गुणवत्ता संबंधी चिंताएँ उत्पन्न हुईं।

पाकिस्तान की अदालतें डूब रही हैं। 2.26 मिलियन से अधिक मामले बैकलॉग में बैठे हैं, और देश के पास प्रति 100,000 लोगों पर दो से कम न्यायाधीश हैं। यूरोपीय संघ प्रति 100,000 लोगों पर 22 न्यायाधीशों को संचालित करता है; ब्राज़ील 8 को चलाता है। कुछ देना ही था।

तो मास्को के न्यू इकोनॉमिक स्कूल के अर्थशास्त्री सुल्तान महमूद ने, ईटीएच ज्यूरिख के इलियट एश सहित सहयोगियों के साथ, जज जीपीटी नामक एक उपकरण बनाया और एक कार्यशील अदालत प्रणाली के अंदर एआई का परीक्षण किया जो शायद पहला बड़े पैमाने पर स्वतंत्र परीक्षण है। उनके निष्कर्ष, पहले आईईईई स्पेक्ट्रम एआई द्वारा रिपोर्ट किए गए थे, एक अजीब समय पर आते हैं: कई देशों के न्यायाधीशों को पहले से ही वाणिज्यिक एआई चैटबॉट का उपयोग गुप्त रूप से ऐसे तरीकों से करते हुए पकड़ा गया है जो अदालतों ने कभी मंजूरी नहीं दी।

जज जीपीटी क्या है और यह कैसे काम करता है?

जज जीपीटी विशेष रूप से पाकिस्तानी अदालतों के लिए बनाया गया एक कस्टम एआई सहायक है। टीम ने ओपेनएआई के जीपीटी-4 को परतदार किया, बड़ी भाषा मॉडल (एक एआई सिस्टम जिसे भाषा उत्पन्न करने और विश्लेषण करने के लिए पाठ की विशाल मात्रा पर प्रशिक्षित किया गया है) जो कई वाणिज्यिक चैटबॉट को भी शक्ति देता है, 128,292 पाकिस्तानी न्यायिक विचारों और 943 क़ानूनों के डेटाबेस के शीर्ष पर।

सटीकता के लिए मुख्य सुधार पुनर्प्राप्ति-संवर्धित पीढ़ी नामक एक तकनीक थी, या आरएजी। इसे एआई को उत्तर देने से पहले जांचने के लिए एक निजी पुस्तकालय देने के रूप में सोचें। अनुमान लगाने के बजाय केस कानून में, उपकरण डेटाबेस में खोज करता है, प्रासंगिक दस्तावेज़ खींचता है, और फुटनोट में अपने स्रोत दिखाता है। एश इसे स्पष्ट रूप से कहते हैं: "यह पता चला कि वास्तव में भ्रम को ठीक करने का तरीका केवल अधिक बुद्धिमान मॉडल नहीं है। यह मॉडल को एक ऐसे उपकरण से जोड़ना है जो खोज और सत्यापन कर सकता है।" एआई शब्दों में भ्रम का अर्थ है मॉडल आत्मविश्वास से ऐसे तथ्यों का आविष्कार करना जो मौजूद नहीं हैं।

पहले परीक्षण किए गए वाणिज्यिक चैटबॉट पाकिस्तानी कानूनी प्रश्नों में बुरी तरह विफल रहे थे, नियमित रूप से केस उद्धरण का आविष्कार करते हुए। जज जीपीटी इसे रोकने के लिए बनाया गया था।

क्या इसने वास्तव में न्यायाधीशों को बेहतर बनाया या केवल तेज़?

तेज़, स्पष्ट रूप से। बेहतर, संभवतः, हालांकि सावधानियों के साथ।

जब 487 न्यायाधीशों ने प्रशिक्षण कार्यक्रम पूरा कर लिया था, तब तक माध्यिका जिले ने हल किए गए मामलों में 6.3% की वृद्धि दर्ज की। अपील दरें हल्की गिरीं, एक संकेत कि गति स्पष्ट रूप से सटीकता की कीमत पर नहीं आ रही थी। प्रत्येक प्रशिक्षित न्यायाधीश ने आधार रेखा की तुलना में प्रति माह लगभग 38.5 अधिक मामले हल किए।

मेट्रिक	परिणाम
परीक्षण में न्यायाधीश	1,559
बैकलॉग में मामले	2,260,000
उत्पादकता में वृद्धि	6.3%
प्रशिक्षित न्यायाधीश प्रति माह अतिरिक्त मामले	38.5
खर्च किए गए प्रत्येक $1 पर लागत बचत	$38.50
प्रशिक्षण के बाद न्यायाधीश प्रति लॉगिन	56
प्रशिक्षण के बाद न्यायाधीश प्रति प्रश्न	212

गुणवत्ता का आकलन करने के लिए, टीम ने एक ही न्यायाधीश से निर्णयों की जोड़ियों की तुलना करने के लिए ओपेनएआई के जीपीटी-5-मिनी (नवीनतम जीपीटी मॉडल का एक हल्का, तेज़ संस्करण) का उपयोग किया, प्रशिक्षण से पहले और बाद में। एआई ने 59% समय प्रशिक्षण-बाद के निर्णय को चुना। दो अनुभवी पाकिस्तानी वकीलों ने उन चुनावों से 70.6% समय सहमत किए, और एक दूसरे से 73% समय सहमत हुए, यह सुझाव देते हुए कि एआई गुणवत्ता स्कोर एक उचित लेकिन अपूर्ण प्रॉक्सी है।

एमआईटी के अर्थशास्त्र के प्रोफेसर डेविड ऑटर ने परिणाम को विश्वसनीय कहा। "6.3% उत्पादकता बूस्ट भारी नहीं है," उन्होंने कहा, "लेकिन यह विश्वसनीय है और जैसे-जैसे उपकरण का अधिक व्यापक रूप से उपयोग किया जाएगा, यह सुधार की संभावना है।"

यहाँ ईमानदार चिंता क्या है?

प्रशिक्षण स्वयं सॉफ़्टवेयर से अधिक मायने रखता था। जिन न्यायाधीशों को छह 90-मिनट के सत्र मिले जो एआई कैसे काम करता है, इसकी सीमाएँ, और पूर्वाग्रह और भ्रम का जोखिम कवर करते हुए, उन्होंने पूरे नौ महीने के लिए लगातार उपकरण का उपयोग किया। जिन्हें केवल सामान्य तकनीकी प्रशिक्षण मिला उन्होंने कुछ बार लॉगिन किया। जिन्हें कुछ नहीं मिला उन्होंने लगभग एक महीने के लिए इसे आजमाया और रुक गए।

बड़ी चिंता प्रतिनिधिमंडन है। लगभग पाँच में से एक प्रश्न ने जज जीपीटी से पूछा कि सही निर्णय क्या होना चाहिए, या इसे न्यायाधीश इनपुट के साथ कानूनी राय लिखने के लिए कहा। यह अधिकांश कानूनी प्रणालियों द्वारा दृढ़ता से खींची गई सीमा को पार करता है। प्रशिक्षण ने उस अनुपात को कम किया, लेकिन इसे समाप्त नहीं किया।

ऑस्ट्रेलिया के ला ट्रोब विश्वविद्यालय में कानून और प्रौद्योगिकी के प्रोफेसर जॉन ज़ेलेजनिकोव अंतर को अच्छी तरह से व्यक्त करते हैं: "जो स्पष्ट नहीं है वह यह है कि क्या आप जिसे न्याय की गुणवत्ता कहते हैं वह बेहतर है।"

लेकिन जिस न्यायाधीश ने गुमनाम रूप से शोधकर्ताओं से बात की, उनके लिए दैनिक वास्तविकता सरल है। वे एक दशक से अधिक समय से 1,000 से अधिक सक्रिय मामले ले जा रहे हैं। "शोध के लिए, यह बस एक प्रश्न दूर है," उन्होंने कहा, "जबकि पहले मुझे घंटों तक पूर्वदृष्टांत और कानूनों की खोज करनी पड़ती थी।"

मुख्य निष्कर्ष: यदि आपकी कार्यक्षेत्र एक एआई उपकरण पायलट कर रहा है, तो केवल लॉगिन और पासवर्ड के बजाय संरचित प्रशिक्षण के लिए जोर दें। यह अध्ययन दिखाता है कि शिक्षा के बिना पहुंच कौतूहल का एक महीना और फिर त्याग पैदा करता है। छह सत्रों ने सब कुछ बदल दिया।