Google DeepMind का SL2T मॉडल Pixel फोन पर अमेरिकी सांकेतिक भाषा डिक्टेशन लाता है
एक नया अनुवाद सिस्टम हस्ताक्षर इनपुट को Gboard और Live Transcribe के अंदर टेक्स्ट में बदल देता है, Pixel 11 पर ASL से अंग्रेजी से शुरू होकर।
मुख्य बिंदु
- Google DeepMind ने SL2T लॉन्च किया है, एक सांकेतिक भाषा-से-टेक्स्ट मॉडल जो अमेरिकी सांकेतिक भाषा को फोन पर लिखित अंग्रेजी में बदल देता है।
- SL2T पहले Pixel 11 पर Gboard (Google की कीबोर्ड ऐप) और Live Transcribe (इसका कैप्शनिंग टूल) के अंदर आता है।
- मॉडल को 50 से अधिक सांकेतिक भाषाओं में हस्ताक्षर के 100,000 घंटों पर प्रशिक्षित किया गया था, जिसमें लगभग एक चौथाई ASL में था।
- FLEURS-ASL बेंचमार्क पर, SL2T ने 70 BLEURT जीरो-शॉट स्कोर किया, जिसे टीम पहले की किसी भी रिपोर्ट किई गई संख्या से कहीं अधिक बताती है।
- गोपनीयता की सुरक्षा के लिए, फोन सर्वर को केवल शरीर-बिंदु निर्देशांक भेजता है, कैमरा वीडियो नहीं, और मूल फुटेज को हटा देता है।
दशकों से, आवाज डिक्टेशन ने सुनने वाले लोगों को टाइप करने के बजाय अपने फोन से बात करने दी है। बहरे उपयोगकर्ता ज्यादातर इस सुविधा से बाहर रह गए हैं।
Google DeepMind इसे बदलना चाहता है। लैब ने SL2T, सांकेतिक भाषा-से-टेक्स्ट के लिए संक्षिप्त, एक मॉडल जारी किया है जो किसी को संकेत देता हुआ देखता है और दूसरी भाषा में लिखित टेक्स्ट तैयार करता है। यह अब Pixel 11 पर दो ऐप्स में बनाया गया है: Gboard, कीबोर्ड, और Live Transcribe, जो बोली जाने वाली शब्दों को कैप्शन के रूप में दिखाता है।
पहला संस्करण अमेरिकी सांकेतिक भाषा को अंग्रेजी में संभालता है। अधिक उपकरण और अधिक भाषाओं का वादा किया गया है।
एक उपयोगकर्ता वास्तव में इसके साथ क्या कर सकता है?
जहां वे सामान्यतः टाइप करते हैं, वहां संकेत दें। यह पिच है, और यह एक ठोस है।
Gboard में, एक बहरा उपयोगकर्ता वेब खोज करने, एक संदेश लिखने, एक दस्तावेज तैयार करने, या Gemini (Google का चैटबॉट) को एक कार्य करने के लिए कह सकता है। Live Transcribe में, वे आमने-सामने की बातचीत के दौरान ASL में संकेत देकर जवाब दे सकते हैं, बजाय अंग्रेजी में टेक्स्ट टाइप करने के। Google के परीक्षकों ने कहा कि ASL में संकेत देना अंग्रेजी में टाइप करने की तुलना में तेजी और अधिक स्वाभाविक महसूस हुआ।
यह महत्वपूर्ण है क्योंकि सांकेतिक भाषाएं हाथों से प्रदान की गई अंग्रेजी नहीं हैं। ये उनके व्याकरण के साथ पूर्ण भाषाएं हैं, हाथों, बाहों, चेहरे, सिर और धड़ की गतिविधियों से बनी हुई हैं जो एक साथ होती हैं।
मॉडल कैसे काम करता है?
SL2T एक साथ दो कठिन काम करता है: यह शरीर को सावधानी से देखता है, फिर दो अलग-अलग भाषाओं के बीच अनुवाद करता है।
MediaPipe Holistic नामक एक ऑन-डिवाइस टूल हस्ताक्षरकर्ता पर बिंदुओं को ट्रैक करता है, जैसे कि नकल, कोहनी और चेहरे के स्थान। केवल वे निर्देशांक Google के सर्वर पर जाते हैं। कैमरा वीडियो फोन पर रहता है और हटा दिया जाता है। वह डिज़ाइन पसंद गोपनीयता की कहानी है, और यह एक अर्थपूर्ण है।
सर्वर-साइड मॉडल फिर सीधे अंग्रेजी टेक्स्ट में चलने वाले बिंदुओं का अनुवाद करता है। पुरानी प्रणालियां अक्सर "ग्लॉस" नामक एक मध्यवर्ती लिखित संक्षिप्त संकेतन के माध्यम से जाती थीं। SL2T उस कदम को छोड़ देता है, जिसे Google कहता है कि शब्दावली को सीमित करने से बचता है और अधिक डेटा आने पर गुणवत्ता में सुधार करने देता है।
प्रशिक्षण 50 से अधिक सांकेतिक भाषाओं में हस्ताक्षर के 100,000 घंटों का उपयोग किया। मोटे तौर पर एक चौथाई ASL था। कई भाषाओं पर एक साथ प्रशिक्षण, टीम कहती है, मॉडल को उनमें साझा संरचनाएं सीखने में मदद करते हैं।
यह वास्तव में कितना अच्छा है?
अच्छा, ईमानदार सीमाओं के साथ। FLEURS-ASL पर, ASL-से-अंग्रेजी अनुवाद के लिए एक सार्वजनिक टेस्ट सेट, SL2T ने किसी भी कार्य-विशिष्ट फाइन-ट्यूनिंग के बिना 70 BLEURT स्कोर किया। BLEURT अनुवाद के लिए एक स्वचालित गुणवत्ता स्कोर है। Google उस संख्या को पहले के परिणामों से अच्छी तरह से आगे बताता है।
बेंचमार्क पूरी कहानी नहीं हैं। टीम वास्तविक विफलता मोड सूचीबद्ध करती है: दुर्लभ संकेत, तेजी से फिंगरस्पेलिंग (एक उदाहरण "शिकार" को "ग्रे" में बदल गया), निष्क्रिय वाक्य, और संदर्भ पतला होने पर काल। इंजीनियरों ने समस्याओं पर भी काम किया जो एक बेंचमार्क नहीं पकड़ेगा, जिसमें स्ट्रीमिंग विलंब, जब कोई संकेत नहीं दे रहा है तो मतिभ्रम टेक्स्ट, फोन पकड़ते हुए एक हाथ से संकेत देना, और लगभग 10% हस्ताक्षरकर्ताओं के लिए उचित प्रदर्शन जो बाएं हाथ के हैं।
इसे किसने आकार दिया?
बहरे सहयोगी, शुरुआत से ही। परियोजना की कल्पना Sam Sepah, Google के एक बहरे इंजीनियर द्वारा की गई थी, और बहरे भागीदारों ने डेटा संग्रह, उपयोगकर्ता परीक्षण और प्रभाव समीक्षा में भाग लिया।
Google ने एक AI सांकेतिक भाषा सलाहकार समिति भी स्थापित की जिसमें बहरे संगठन और विशेषज्ञ हैं, और Gboard और Live Transcribe में SL2T 1.0 रिलीज़ के साथ एक संयुक्त प्रभाव रिपोर्ट प्रकाशित की।
पाठकों को इससे क्या लेना चाहिए?
यदि आप या कोई ऐसा व्यक्ति जो आप जानते हैं ASL का उपयोग करता है और Pixel 11 का मालिक है, तो संकेत डिक्टेशन अब कीबोर्ड और Live Transcribe में एक बिल्ट-इन विकल्प है। दुर्लभ या तेजी से संकेतों पर खुरदरे किनारों की उम्मीद करें। भाषा सूची बढ़ने की उम्मीद करें।
बाकी सभी के लिए, यह पहली बार में से एक है कि एक सांकेतिक भाषा AI ने अनुसंधान प्रयोगशाला को छोड़ा है और एक शिपिंग उपभोक्ता उत्पाद में उतरा है।
