एक छोटा AI मॉडल जो केवल एक भाषा पर प्रशिक्षित है, ब्राज़ील के पुर्तगाली पढ़ने में दो बड़े, नए मॉडलों को हराता है
DharmaOCR ने पुर्तगाली पढ़ने की परीक्षा में मिस्त्राल OCR4 और अनलिमिटेड-OCR दोनों को पीछे छोड़ा, और इसका कारण आकार नहीं, बल्कि फोकस है।
मुख्य बिंदु
- DharmaOCR ने ब्राज़ील के पुर्तगाली बेंचमार्क पर 0.925 का स्कोर हासिल किया, जबकि मिस्त्राल OCR4 के लिए 0.798 और अनलिमिटेड-OCR के लिए 0.7587 रहा।
- दोनों प्रतिद्वंद्वी मॉडल DharmaOCR के बाद जारी किए गए थे और बड़ी शोध टीमों द्वारा समर्थित थे।
- DharmaOCR को दो चरणों में प्रशिक्षित किया गया था: पहले विशेष रूप से पुर्तगाली दस्तावेज़ों पर, फिर त्रुटियों को कम करने और अनावश्यक कंप्यूटिंग समय को कम करने के लिए तुलनात्मक प्रतिक्रिया पर।
- यह अंतर ENEM निबंधों जैसे वास्तविक दुनिया के ब्राज़ील के दस्तावेज़ों पर सबसे अधिक दिखाई दिया, जो ब्राज़ील की राष्ट्रीय हाई स्कूल परीक्षा है।
- यह लाभ एकाग्रता से आता है: मॉडल का हर हिस्सा दर्जनों भाषाओं की बजाय एक भाषा पर केंद्रित है।
एक छोटा, केंद्रित AI मॉडल ब्राज़ील के पुर्तगाली में पाठ पढ़ने में दो नए, बेहतर संसाधनों वाले प्रतिद्वंद्वियों से बेहतर प्रदर्शन करता है। अंतर बहुत बड़ा था।
DharmaOCR, एक OCR मॉडल (सॉफ्टवेयर जो स्कैन किए गए दस्तावेज़ों और छवियों से पाठ पढ़ता है और इसे संपादन योग्य शब्दों में परिवर्तित करता है) विशेष रूप से ब्राज़ील के पुर्तगाली के लिए बनाया गया, ने एक समर्पित पुर्तगाली बेंचमार्क पर 0.925 का स्कोर हासिल किया। मिस्त्राल OCR4 को 0.798 मिला। अनलिमिटेड-OCR को 0.7587 मिला। यह छोटे, पुराने, अधिक विशेष उपकरण के पक्ष में 13 से 16 प्रतिशत अंकों का अंतर है।
शोधकर्ताओं ने Hugging Face पर अपने निष्कर्ष साझा किए, जो वह मंच है जहां AI टीमें मॉडल और पेपर प्रकाशित करती हैं।
अधिक विशेष मॉडल क्यों जीता?
विशेषज्ञता जीती क्योंकि मॉडल का हर हिस्सा एक ही लक्ष्य पर केंद्रित था। जब कोई AI दर्जनों भाषाओं में प्रशिक्षित होता है, तो इसकी क्षमता कमजोर हो जाती है। जब इसे एक भाषा पर प्रशिक्षित किया जाता है, तो हर पैरामीटर, हर आंतरिक कनेक्शन, उस भाषा की शब्दावली, वर्तनी के पैटर्न और दस्तावेज़ की विचित्रताओं पर ध्यान केंद्रित कर सकता है।
DharmaOCR को दो चरणों में बनाया गया था। पहले चरण में विभिन्न जटिलता स्तरों पर पुर्तगाली-भाषा दस्तावेज़ों की एक विस्तृत श्रृंखला पर मॉडल को प्रशिक्षित किया गया था। दूसरे चरण में डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन नामक एक तकनीक का उपयोग किया गया, जहां मॉडल न केवल सही उत्तर क्या था यह सीखता है, बल्कि दो प्रतिस्पर्धी आउटपुट में से कौन बेहतर था। दूसरे चरण ने AI टेक्स्ट टूल में एक सामान्य विफलता को कम किया: दबाव में लूप करने, दोहराने या गलत जानकारी देने की प्रवृत्ति।
इस संयोजन ने मॉडल को सटीक और स्थिर दोनों बनाया।
व्यावहारिक अंतर ENEM निबंधों पर स्पष्ट रूप से दिखाई दिया, ब्राज़ील की राष्ट्रीय हाई स्कूल परीक्षा से हस्तलिखित परीक्षा पत्र। ये दस्तावेज़ कर्सिव लेखन को नामों, स्लैंग और सांस्कृतिक संदर्भों के साथ मिलाते हैं जो ब्राज़ील के लिए विशिष्ट हैं।
मिस्त्राल OCR4 ने चिको बुअरके (ब्राज़ील के सबसे प्रसिद्ध संगीतकारों और कवियों में से एक) के नाम को "चिको बार्क" के रूप में पढ़ा। अनलिमिटेड-OCR ने उसी नाम को "चिको बिक" के रूप में प्रस्तुत किया और एक बुअरके उद्धरण को लगभग अपूर्ण बनाया। DharmaOCR दोनों को सही तरीके से पढ़ा।
ये यादृच्छिक त्रुटियां नहीं हैं। एक मॉडल जो ब्राज़ील के पुर्तगाली पर हल्के तरीके से प्रशिक्षित है, ठीक उन शब्दों पर विफल होगा जो ब्राज़ील के पुर्तगाली को अलग बनाते हैं। प्रसिद्ध नाम सीमांत मामले नहीं हैं। उन्हें गलत पढ़ना इस बात का संकेत है कि मॉडल ने इस विशेष भाषाई स्थान में पर्याप्त समय नहीं बिताया।
यहां व्यापक सबक किसी के लिए भी महत्वपूर्ण है जो एक विशिष्ट काम के लिए AI उपकरण चुन रहा है। एक मॉडल जो सब कुछ करता है, वह हर चीज़ को उस से कम अच्छी तरह करता है जो आपके सटीक कार्य के लिए बनाया गया है। यह अस्तित्व पूर्वाग्रह विपरीत रूप में काम कर रहा है: एक बड़े बहुभाषी मॉडल से हेडलाइन संख्याएं प्रभावशाली लग सकती हैं, लेकिन आपके दस्तावेज़ों पर, आपकी भाषा में या आपके उद्योग में, एक केंद्रित उपकरण सरल रूप से जीत सकता है।
मुख्य बात: सबसे बड़ा उपलब्ध AI उपकरण खरीदने से पहले, वह परीक्षण करें जो आपके सटीक कार्य के लिए बनाया गया है। व्यापक परीक्षणों पर बेंचमार्क स्कोर हमेशा यह अनुमान नहीं लगाते कि आपके विशिष्ट दस्तावेज़ों पर क्या होता है।
