वॉयस एआई बात तो कर सकता है, पर क्या वह सुन भी सकता है?
एक बड़े पैमाने पर मानव अध्ययन में पाया गया कि आज के सर्वश्रेष्ठ वॉयस मॉडल अक्सर उन रुकावटों, हिचकिचाहट और टोन परिवर्तनों को मिस करते हैं जो वास्तविक बातचीत को काम करने देते हैं।
मुख्य बिंदु
- ह्यूम एआई ने 10 लाख से अधिक मानव रेटिंग का उपयोग करके 60 से अधिक मापदंडों में 40 से अधिक वॉयस मॉडल का परीक्षण किया।
- कोई भी एकल वॉयस मॉडल परीक्षण किए गए सभी आठ क्षमता समूहों में शीर्ष पाँच में स्थान नहीं पा सका, जिसका अर्थ है कि कोई स्पष्ट समग्र विजेता नहीं है।
- शोरगुल वाली परिस्थितियों में, प्रतिलेखन त्रुटि दरें संगीत-समर्थित ऑडियो की तुलना में लगभग चार गुना अधिक थीं, एक विफलता अंतर जो मानक बेंचमार्क छुपाते हैं।
- एआई-आधारित स्वचालित मूल्यांकनकर्ता स्पष्ट-कट कार्यों पर मानव रेटर्स से सहमत हुए, लेकिन भावना, पहचान और टोन से जुड़े निर्णयों पर काफी हद तक भिन्न थे।
- रियल वर्ल्ड वॉयसईक्यू नामक बेंचमार्क अब सार्वजनिक रूप से उपलब्ध है, जो स्वामित्व और खुले स्रोत वॉयस सिस्टम की तुलना करने वाली एक लीडरबोर्ड के रूप में कार्य करता है।
आपने शायद इसे नोटिस किया होगा। आप एक वॉयस असिस्टेंट से कुछ सरल पूछते हैं, वह सही जवाब देता है, लेकिन पूरा आदान-प्रदान थोड़ा गलत महसूस होता है। थोड़ा सपाट। थोड़ा अजीब।
तकनीकी रूप से सही और वास्तव में प्राकृतिक के बीच यह अंतर ठीक वही है जो एक नया बेंचमार्क, रियल वर्ल्ड वॉयसईक्यू, मापने की कोशिश करता है। ह्यूम एआई द्वारा निर्मित और ह्यूजिंग फेस के माध्यम से प्रकाशित, यह अब तक वॉयस एआई का सबसे बड़ा मानव-नेतृत्व वाला मूल्यांकन है, जो विभिन्न उच्चारण, जनसांख्यिकी और सुनने के वातावरण में श्रोताओं से दस लाख से अधिक व्यक्तिगत रेटिंग पर आधारित है।
मुख्य निष्कर्ष स्पष्ट है: वॉयस मॉडल बोलना बेहतर हो गए हैं। वे इसे समझने में उतने अच्छे नहीं हुए हैं।
सामान्य उपयोगकर्ताओं के लिए यह क्यों मायने रखता है?
यह महत्वपूर्ण है क्योंकि वॉयस तेजी से लाखों लोगों के लिए एआई के साथ बातचीत करने का तरीका बन रहा है, चाहे वह ग्राहक-सेवा बॉट के माध्यम से, स्वास्थ्य सहायक के माध्यम से, या स्मार्ट स्पीकर के माध्यम से। यदि ये सिस्टम टोन, हिचकिचाहट या भावनात्मक संकेतों को नहीं समझ सकते हैं, तो वे महत्वपूर्ण गलतियाँ करते हैं।
ह्यूम की टीम एक ठोस उदाहरण प्रदान करती है। एक बैंकिंग धोखाधड़ी एजेंट पूछता है कि क्या आप एक संदिग्ध लेनदेन को पहचानते हैं। एक आत्मविश्वासी "हाँ" और एक लंबा, अनिश्चित "...हाँ..." लिखित प्रतिलेख पर समान हैं। एक मानव तुरंत अंतर सुनता है। आज के कई वॉयस मॉडल नहीं करते।
यह पैरालिंगुइस्टिक समस्या है: वह जानकारी जो कुछ कहने के तरीके में रहती है, न कि केवल क्या कहा गया है। गति। मात्रा। एक मामूली लड़खड़ाहट। वर्तमान मॉडल प्रतिलेख-संचालित होते हैं, शब्दों को संसाधित करते हैं और बाकी सब कुछ को बड़े पैमाने पर अनदेखा करते हैं।
बेंचमार्क वॉयस तकनीक की चार व्यापक श्रेणियों का परीक्षण करता है। स्वचालित भाषण मान्यता, या एएसआर, बोले गए शब्दों को पाठ में बदलता है। पाठ-से-भाषण, या टीटीएस, पाठ को बोली गई शब्दों में बदल देता है। भाषण-से-भाषण, या एस2एस, बोली गई इनपुट को संसाधित करता है और सीधे भाषण में जवाब देता है। और भाषण समझ यह मापती है कि एक सिस्टम कितनी अच्छी तरह से कहे गए शब्दों के पीछे के अर्थ और भावना को समझता है।
परिणाम पारंपरिक बेंचमार्क से कहीं अधिक भिन्न थे। शोर से समर्थित भाषण पर प्रतिलेखन त्रुटि दरें संगीत से समर्थित भाषण पर की तुलना में लगभग चार गुना अधिक थीं, एक विशाल अंतर जो एक एकल औसत स्कोर पूरी तरह से छुपा देता है।
अध्ययन ने बेंचमार्क गेमिंग के बारे में एक चिंता को भी रेखांकित किया। कई मॉडल मानक संदर्भ प्रतिलेखों में पाई गई ज्ञात त्रुटियों को पुन: प्रस्तुत करते हैं और यहां तक कि ऐसे शब्दों का पुनर्निर्माण भी करते हैं जो ऑडियो में बिल्कुल नहीं थे। यह सुझाता है कि कुछ सिस्टम वास्तविक बातचीत में अच्छा प्रदर्शन करने के बजाय प्रकाशित परीक्षणों पर अच्छा स्कोर करने के लिए ट्यून किए जा सकते हैं।
स्वचालित एआई मूल्यांकनकर्ता, कभी-कभी भाषण-भाषा मॉडल कहलाते हैं, भी सीमाएं दिखाते हैं। वे उच्चारण सटीकता जैसे स्पष्ट, सत्यापन योग्य कार्यों पर मानव रेटर्स के साथ अच्छी तरह से संरेखित होते हैं। समझौता तेजी से गिरता है जब निर्णय के लिए सामाजिक व्याख्या की आवश्यकता होती है, जैसे कि क्या कोई आवाज लंबी कॉल में भावनात्मक रूप से सुसंगत लगती है।
एआई स्वास्थ्य सहायकों का उपयोग करने वाले रोगियों के लिए, परेशानी में एक स्वचालित समर्थन लाइन पर कॉल करने वाले लोगों के लिए, या मानक प्रशिक्षण डेटा के बाहर एक उच्चारण रखने वाले किसी के लिए, ये अंतराल मामूली नहीं हैं। वे तय करते हैं कि बातचीत सुरक्षित और समझदारी भरी महसूस होती है या नहीं।
ह्यूम का कहना है कि बेंचमार्क और इसकी सार्वजनिक लीडरबोर्ड अब उपलब्ध हैं, और लैब और कंपनियां विशिष्ट वास्तविक दुनिया की स्थितियों के विरुद्ध अपने स्वयं के मॉडल का परीक्षण करने के लिए अंतर्निहित मूल्यांकन प्लेटफॉर्म का उपयोग कर सकते हैं।
