NVIDIA का मुफ़्त, ओपन वॉइस AI अब 12 भाषाओं में बोलता है और एक दशमलव सेकंड से कम में जवाब देता है
NVIDIA के Magpie टेक्स्ट-टू-स्पीच मॉडल का नया संस्करण अरबी, कोरियाई और ब्राज़ीलियाई पुर्तगाली जोड़ता है, और आपके अपने हार्डवेयर पर काफी तेज़ी से चलता है ताकि वॉइस असिस्टेंट प्राकृतिक महसूस हों।
मुख्य बिंदु
- NVIDIA Magpie Multilingual TTS, एक मुफ़्त ओपन-वेट्स टेक्स्ट-टू-स्पीच मॉडल, अपनी नवीनतम रिलीज़ में अरबी, कोरियाई और ब्राज़ीलियाई पुर्तगाली जोड़ने के बाद अब 12 भाषाओं का समर्थन करता है।
- NVIDIA के सबसे तेज़ वर्तमान चिप B200 पर, मॉडल मात्र 32 मिलीसेकंड में पहली बोली गई ऑडियो उत्पन्न करता है, जो उस सीमा से बहुत अंदर है जहां मनुष्य देरी महसूस करते हैं।
- डेवलपर्स मॉडल को पूरी तरह से अपने कंप्यूटर या सर्वर पर डाउनलोड और चला सकते हैं, NVIDIA के क्लाउड को कोई डेटा नहीं भेजा जाता है।
- फ्रेंच कैरेक्टर एरर रेट, जो मापता है कि मॉडल शब्दों का उच्चारण कितनी सटीकता से करता है, पिछले संस्करण की तुलना में 2.70% से घटकर 1.54% हो गया।
- मॉडल की आर्किटेक्चर और बेंचमार्क एक पेपर में दलील दिए गए हैं जो ICASSP 2026 को स्वीकार किया गया है, एक प्रमुख ऑडियो रिसर्च कॉन्फ्रेंस।
जब आप वॉइस असिस्टेंट से कोई सवाल पूछते हैं, तो एक छोटी घड़ी उसी पल से गिनती शुरू करती है जब आप बोलना बंद करते हैं। आपके शब्दों को ट्रांसक्राइब किया जाता है, एक AI जवाब निकालता है, और फिर एक टेक्स्ट-टू-स्पीच इंजन, सॉफ़्टवेयर जो लिखे गए पाठ को कृत्रिम आवाज़ में ज़ोर से पढ़ता है, उस जवाब को ध्वनि में बदलता है। अंतिम चरण वह है जिसका आपके कान सबसे कठोरता से आकलन करते हैं। यदि आवाज़ बोलना शुरू करने में बहुत अधिक समय लेती है, तो संपूर्ण वार्तालाप सुस्त महसूस होती है।
NVIDIA इसे Magpie Multilingual TTS के साथ ठीक करना चाहता है, एक टेक्स्ट-टू-स्पीच मॉडल जिसे वह ओपन वेट्स के रूप में रिलीज़ कर रहा है, जिसका अर्थ है कि पूरी प्रशिक्षित मॉडल फ़ाइलें कहीं भी डाउनलोड और चलाने के लिए मुफ़्त हैं। नवीनतम अपडेट, पहले Hugging Face पर विस्तृत, मॉडल को 12 भाषाओं तक विस्तारित करता है और कई मौजूदा भाषाओं में यह कितना प्राकृतिक लगता है इसमें सुधार करता है।
NVIDIA ने वास्तव में क्या बदला?
तीन नई भाषाएं आती हैं: आधुनिक मानक अरबी, कोरियाई और ब्राज़ीलियाई पुर्तगाली, कुल को 12 तक लाते हुए। मॉडल 364 मिलियन पैरामीटर है, इसकी जटिलता का एक मोटा माप, और सभी 12 भाषाओं को एक ही डाउनलोड में संभालता है बजाय प्रति भाषा एक अलग मॉडल की आवश्यकता के।
मौजूदा भाषाओं के लिए गुणवत्ता भी मापने योग्य रूप से सुधरी। फ्रेंच उच्चारण सटीकता में तेज़ी से सुधार हुआ, और स्पैनिश ने निकटता से पालन किया।
| भाषा | पहले एरर रेट | अब एरर रेट | पहले वॉइस मैच | अब वॉइस मैच |
|---|---|---|---|---|
| फ्रेंच | 2.70% | 1.54% | 0.703 | 0.747 |
| स्पैनिश | 1.14% | 0.60% | 0.715 | 0.793 |
| जर्मन | 0.66% | 0.80% | 0.626 | 0.742 |
स्रोत: Magpie TTS Multilingual मॉडल कार्ड। कम एरर रेट बेहतर है; उच्च वॉइस मैच स्कोर बेहतर है।
यह वास्तव में कितनी तेज़ी से बोलता है?
काफी तेज़ी से कि अधिकांश लोग विराम को नोटिस नहीं करेंगे। एक NVIDIA B200 चिप पर, जो उच्च-अंत डेटा सेंटर में पाया जाता है, मॉडल पाठ दिए जाने के 32 मिलीसेकंड बाद ऑडियो उत्पन्न करना शुरू करता है। वह लगभग एक सेकंड का तीसवां हिस्सा है। यहां तक कि एक NVIDIA A100, एक पुरानी और अधिक व्यापक रूप से तैनात चिप पर भी, वह पहली-ऑडियो देरी 79 मिलीसेकंड है।
संदर्भ के लिए, मनुष्य जब प्रतिक्रियाएं लगभग 200 मिलीसेकंड से अधिक समय लेती हैं तो वार्तालाप को शर्मनाक मानते हैं। Magpie का भाषण चरण पाइपलाइन के अन्य भागों के लिए उस बजट का अधिकांश भाग मुक्त छोड़ता है।
दो इंजीनियरिंग विकल्पें गति को चलाते हैं। पहला, मॉडल प्रत्येक प्रसंस्करण चरण के दौरान दो ऑडियो चंक की भविष्यवाणी करता है, आवश्यक चरणों की संख्या को आधा करता है। दूसरा, एक छोटा अतिरिक्त नेटवर्क जिसे स्थानीय ट्रांसफॉर्मर कहा जाता है, किसी भी गुणवत्ता नुकसान को साफ करता है जो दो चंक एक बार में करने से आता है, आवाज़ को प्राकृतिक लगता रखते हुए।
इसे स्वयं चलाना क्यों महत्वपूर्ण है?
अधिकांश व्यावसायिक टेक्स्ट-टू-स्पीच सेवाएं क्लाउड-आधारित हैं: आपका पाठ एक दूरस्थ सर्वर में यात्रा करता है, ऑडियो में परिवर्तित होता है, और वापस यात्रा करता है। इन प्रत्येक यात्रा का समय खर्च होता है और एक तीसरा पक्ष आपके डेटा को संभालता है।
क्योंकि Magpie के वेट्स खुले हैं, एक अस्पताल, बैंक या कोई भी संगठन सख्त गोपनीयता नियमों के साथ मॉडल को अपने सर्वर पर चला सकता है। ऑडियो कभी भवन से बाहर नहीं जाता है। डेवलपर्स मॉडल को अपने वॉइस सैंपल या विशेषज्ञ शब्दावली पर भी फ़ाइन-ट्यून कर सकते हैं, कुछ एक लॉक किया गया व्यावसायिक API अनुमति नहीं देगा।
रोज़मर्रा के उपयोगकर्ताओं के लिए, व्यावहारिक प्रभाव Magpie पर निर्मित ऐप्स में वॉइस असिस्टेंट हैं जो अधिक प्रतिक्रिया शील महसूस करते हैं और क्लाउड प्रदाता को प्रति-वर्ण शुल्क का भुगतान किए बिना अधिक भाषाओं को संभाल सकते हैं।
