Liquid AI ने दो हल्के एनकोडर मॉडल जारी किए जो लंबे दस्तावेजों को तेजी से पढ़ते हैं, यहां तक कि लैपटॉप पर भी
LFM2.5-Encoder-230M और LFM2.5-Encoder-350M पूरे अनुबंध को सामान्य कंप्यूटर हार्डवेयर पर 30 सेकंड से कम में स्कैन कर सकते हैं, किसी विशेष चिप की आवश्यकता नहीं है।
मुख्य बिंदु
- Liquid AI ने दो एनकोडर मॉडल जारी किए, LFM2.5-Encoder-230M और LFM2.5-Encoder-350M, Hugging Face पर 2026 में एक अनिर्दिष्ट तारीख को।
- छोटा 230M मॉडल लंबे इनपुट पर मानक लैपटॉप CPU पर तुलनीय ModernBERT-base मॉडल की तुलना में लगभग 3.7 गुना तेजी से चलता है।
- दोनों मॉडल 8,192 टोकन तक संभालते हैं, घने पाठ के लगभग छह से आठ पृष्ठ, एक ही पास में।
- LFM2.5-Encoder-350M परीक्षण किए गए 14 मॉडलों में से चौथा स्थान प्राप्त किया, केवल अपने आकार से दस गुना बड़े मॉडलों द्वारा हराया गया।
- दोनों मॉडल खुले-वजन वाले हैं और आज Hugging Face से डाउनलोड करने के लिए मुक्त हैं।
Liquid AI, एक बोस्टन-स्थित AI कंपनी, ने दो नए एनकोडर मॉडल जारी किए हैं, एक प्रकार का AI मॉडल जो पाठ को पढ़ता और समझता है बजाय इसे खरोंच से उत्पन्न करने के। मॉडलों को LFM2.5-Encoder-230M और LFM2.5-Encoder-350M कहा जाता है, और वे अब Hugging Face पर उपलब्ध हैं, खुला-स्रोत AI मंच जहां शोधकर्ता और विकासकर्ता मॉडल साझा करते हैं।
यदि आपने कभी एनकोडर के बारे में नहीं सुना है, तो इसे इस तरह सोचें। ChatGPT जैसा एक चैटबॉट नए वाक्य शब्द दर शब्द लिखता है। एनकोडर विपरीत काम करता है: यह पाठ के एक टुकड़े को पढ़ता है और निर्णय लेता है कि इसका मतलब क्या है, चाहे वह ईमेल को स्पैम के रूप में लेबल करना हो, किसी दस्तावेज़ में व्यक्तिगत डेटा को फ्लैग करना हो, या ग्राहक प्रश्न को सही विभाग में भेजना हो। व्यवसाय इन कार्यों को लगातार, दिन भर चलाते हैं, जिससे गति और लागत निर्णायक कारक बन जाते हैं।
लैपटॉप CPU पर चलाना क्यों मायने रखता है?
अधिकांश अत्याधुनिक AI मॉडलों को उपयोगी गति पर चलाने के लिए GPU नामक महंगे विशेष चिप्स की आवश्यकता होती है। ये एनकोडर नहीं करते। एक साधारण लैपटॉप प्रोसेसर पर, 230M मॉडल पूरे 8,192-टोकन दस्तावेज़ को संसाधित करता है, लगभग छह से आठ पृष्ठ का पाठ, लगभग 28 सेकंड में। सबसे करीबी प्रतिद्वंद्वी मॉडल, ModernBERT-base, समान हार्डवेयर पर समान लंबाई के लिए 90 सेकंड से अधिक लगता है।
यह 3.7 गुना गति अंतर मुख्य दावा है, और यह सबसे अधिक छोटी टीमों या ऐसी कंपनियों के लिए मायने रखता है जो नियमित वर्गीकरण कार्य के लिए क्लाउड GPU बिल का भुगतान नहीं करना चाहती हैं।
परिणाम कितने अच्छे हैं?
गति बिना सटीकता के बहुत कम मायने रखती है। Liquid AI ने GLUE और SuperGLUE से लिए गए 17 कार्यों पर दोनों मॉडलों का परीक्षण किया, दो मानक बेंचमार्क सूट जो शोधकर्ता एक मॉडल कितनी अच्छी तरह भाषा को समझता है यह स्कोर करने के लिए उपयोग करते हैं। तुलना में 14 मॉडलों में से, LFM2.5-Encoder-350M चौथा स्थान पर आया। इसके आगे का हर मॉडल बड़ा था, जिसमें 3.5 बिलियन पैरामीटर पर लगभग दस गुना बड़ा भी शामिल था।
छोटा 230M मॉडल ModernBERT-base और EuroBERT के हर वेरिएंट को हराता है, भले ही यह उनमें से अधिकांश की तुलना में शारीरिक रूप से छोटा हो।
| मॉडल | पैरामीटर | GLUE/SuperGLUE रैंक |
|---|---|---|
| LFM2.5-Encoder-350M | 350M | 14 में से 4वां |
| LFM2.5-Encoder-230M | 230M | ModernBERT-base को हराता है |
| ModernBERT-base | ~149M | दोनों LFM2.5 मॉडलों के नीचे |
कोई व्यक्ति इसके साथ वास्तव में क्या बना सकता है?
Liquid AI कई तैयार-से-चलाने वाले डेमो की सूची देता है: एक उपकरण जो 16 भाषाओं में 40 प्रकार की व्यक्तिगत जानकारी को खोजता है और हटाता है, एक नीति चेकर जो पाठ को सादे अंग्रेजी में लिखी गई कंपनी नियमों के विरुद्ध स्कैन करता है, और एक प्रॉम्प्ट राउटर जो उपयोगकर्ता अनुरोधों को स्वचालित रूप से सही सेवा में भेजता है। सभी डेमो कोई सेटअप किए बिना एक ब्राउज़र में चलते हैं।
डेवलपर किसी भी मॉडल को डाउनलोड कर सकते हैं और इसे एक विशिष्ट कार्य के लिए अनुकूलित कर सकते हैं, जिसे फाइन-ट्यूनिंग कहा जाता है, Hugging Face के मानक उपकरणों का उपयोग करके। Liquid AI ने लंबे कानूनी दस्तावेजों पर उस प्रक्रिया के माध्यम से चलने वाली एक ट्यूटोरियल प्रकाशित की।
सामान्य प्रश्न
क्या मुझे इन मॉडलों का उपयोग करने के लिए एक शक्तिशाली कंप्यूटर की आवश्यकता है?
नहीं। दोनों मॉडल एक मानक लैपटॉप या सर्वर CPU पर चलाने के लिए डिज़ाइन किए गए हैं। आपको GPU की आवश्यकता नहीं है, हालांकि एक का उपयोग करने से छोटे दस्तावेजों पर वह और भी तेजी से चलेंगे।
क्या ये मॉडल मुक्त में उपयोग के लिए हैं?
हाँ। LFM2.5-Encoder-230M और LFM2.5-Encoder-350M दोनों खुले-वजन वाले हैं, जिसका अर्थ है कि कोई भी व्यावसायिक परियोजनाओं सहित उन्हें बिना किसी लागत के डाउनलोड और उपयोग कर सकता है, Hugging Face पर लाइसेंस शर्तों के अधीन।
मुझे कौन सा आकार चुनना चाहिए?
Liquid AI का अपना मार्गदर्शन सीधा है: 350M मॉडल चुनें जब सटीकता प्राथमिकता हो, और 230M मॉडल चुनें जब आपको प्रति घंटे अधिक दस्तावेजों को संसाधित करने की आवश्यकता हो या आपका हार्डवेयर सीमित हो।
