Apple के शोधकर्ताओं ने AI वीडियो जनरेशन को बहुत तेज़ बनाने का स्मार्ट तरीका खोजा
Apple ML Research की एक नई तकनीक AI को पाठ प्रॉम्प्ट से वीडियो बनाने में लगने वाले समय को कम करती है, जिससे मॉडल को उन गणनाओं को छोड़ना सिखाया जाता है जिनकी वास्तव में जरूरत नहीं है।
मुख्य बातें
- Apple ML Research ने कैलिब्रेटेड स्पार्स अटेंशन नामक एक विधि का वर्णन करने वाला एक पत्र प्रकाशित किया जो AI पाठ-से-वीडियो जनरेशन को तेज़ करता है।
- शोधकर्ताओं को पता चला कि वर्तमान वीडियो मॉडल के अंदर आंतरिक गणनाओं का एक बड़ा हिस्सा शून्य के करीब परिणाम देता है और सुरक्षित रूप से छोड़ा जा सकता है।
- छोड़ने के पैटर्न विभिन्न वीडियो अनुरोधों में विश्वसनीय रूप से दोहराए जाते हैं, इसलिए सिस्टम उन्हें पहले से सीख सकता है बजाय हर बार उन्हें फिर से खोजने के।
- उन अनावश्यक गणनाओं को काटने से आउटपुट वीडियो की गुणवत्ता को दृश्यमान रूप से बदले बिना प्रोसेसिंग समय कम होता है।
एक पाठ प्रॉम्प्ट से एक छोटा वीडियो बनाना आसान लगता है। "एक बिल्ली शरद ऋतु की पत्तियों के बीच चल रही है" टाइप करें और मॉडल हर फ्रेम को, पिक्सल दर पिक्सल बनाता है। व्यावहारिक रूप से इसमें बहुत समय लगता है, क्योंकि AI को हर फ्रेम के हर हिस्से से कैसे संबंधित है इस बारे में जानकारी के विशाल भार को संभालना पड़ता है।
उस संतुलन कार्य का तकनीकी नाम स्पैशियोटेम्पोरल अटेंशन है, जिसका अर्थ है कि मॉडल जांचता है कि वीडियो का प्रत्येक छोटा पैच हर दूसरे पैच से कैसे जुड़ता है, स्थान और समय दोनों में। ये जांचें महंगी हैं। आधुनिक वीडियो मॉडल प्रति जनरेशन अरबों बार उन्हें चलाते हैं।
Apple ML Research के शोधकर्ताओं ने उन गणनाओं में कुछ उपयोगी पाया। पैच के बीच कनेक्शन का एक महत्वपूर्ण अंश शून्य के इतना करीब स्कोर करता है कि वे अंतिम चित्र को अनिवार्य रूप से कुछ नहीं बदलते। उन्हें छोड़ना कोई समस्या नहीं होनी चाहिए।
और भी बेहतर, वे कम-स्कोरिंग वाले कनेक्शन एक ही जगह दिखाई देते हैं, भले ही उपयोगकर्ता क्या टाइप करे। पैटर्न सुसंगत और दोहराए जाने योग्य हैं।
यह सामंजस्य मुख्य अंतर्दृष्टि है। क्योंकि छोड़ने योग्य कनेक्शन विभिन्न प्रॉम्प्ट में दोहराए जाते हैं, सिस्टम को पहले से कैलिब्रेट किया जा सकता है: वीडियो के एक छोटे संदर्भ सेट पर मॉडल चलाएं, यह मानचित्र करें कि कौन से कनेक्शन लगातार शून्य के पास स्कोर करते हैं, फिर उस मानचित्र को बेक करें। उस बिंदु से आगे, मॉडल को पहले से पता है कि कौन सी गणनाओं को छोड़ना है, हर बार जांच किए बिना।
तकनीक दो स्तरों पर काम करती है। शून्य के करीब कनेक्शन वाले व्यक्तिगत पैच को छोड़ दिया जाता है। छोटे स्थानीय पैच समूह, जिन्हें टोकन ब्लॉक कहा जाता है, को भी छोड़ दिया जाता है, जब पूरे समूह के कनेक्शन नगण्य होते हैं।
क्या वीडियो बदतर दिखेंगे?
नहीं, कम से कम किसी ऐसे तरीके से नहीं जो दर्शक को दिखाई दे। क्योंकि छोड़ी गई गणनाएं पहले से ही अंतिम छवि में लगभग कुछ भी योगदान नहीं दे रही थीं, उन्हें हटाने से यह नहीं बदलता कि स्क्रीन पर क्या दिखाई देता है। शोधकर्ता आउटपुट गुणवत्ता पर प्रभाव को नगण्य बताते हैं।
साधारण लोगों के लिए यह महत्वपूर्ण है क्योंकि यह प्रभावित करता है कि AI वीडियो टूल कितनी जल्दी किसी अनुरोध का जवाब दे सकते हैं। तेज़ जनरेशन इन मॉडल को चलाने वाली कंपनियों के लिए कम कंप्यूटिंग लागत का मतलब है, और संभावित रूप से उनके शीर्ष पर निर्मित उपभोक्ता वीडियो टूल के उपयोगकर्ताओं के लिए तेज़ परिणाम। यह कम शक्तिशाली हार्डवेयर पर सक्षम वीडियो मॉडल चलाना अधिक व्यावहारिक बना सकता है।
इस दृष्टिकोण को अंतर्निहित मॉडल को स्क्रैच से फिर से प्रशिक्षित करने की आवश्यकता नहीं है, जो डेवलपर्स के लिए इसे मौजूदा सिस्टम में डालना आसान बनाता है। यह कई गति-बढ़ाने वाली विधियों के लिए एक व्यावहारिक लाभ है, जिनमें महंगी पुनर्निर्माण की मांग होती है।
Apple ने इस शोध के आधार पर निर्मित कोई उत्पाद की घोषणा नहीं की है, लेकिन यह तकनीक AI वीडियो टूल की ओर इशारा करती है जो चलाने के लिए सस्ते हैं और जवाब देने के लिए तेज़ हैं।
