Inkling-Small अपने पूर्ववर्ती का एक चौथाई आकार है और लगभग उतना ही सक्षम है
Thinking Machines ने अपने पहले मॉडल के मात्र दो सप्ताह बाद एक दूसरा ओपन-सोर्स AI मॉडल जारी किया है। यह छोटा संस्करण चलाने में कम खर्चीला है, कई कोडिंग परीक्षणों में बेहतर स्कोर करता है, और व्यावसायिक-अनुकूल लाइसेंस के साथ आता है।
मुख्य बिंदु
- Thinking Machines ने 9 जुलाई 2025 को Inkling-Small जारी किया, मूल Inkling मॉडल लॉन्च करने के मात्र दो सप्ताह बाद।
- Inkling-Small के कुल 276 बिलियन पैरामीटर हैं लेकिन एक समय में केवल 12 बिलियन का उपयोग करता है, मूल Inkling के कुल 975 बिलियन और 41 बिलियन सक्रिय के मुकाबले।
- तीसरे पक्ष के बेंचमार्किंग साइट Artificial Analysis ने Inkling-Small को अपने Intelligence Index पर 40 का स्कोर दिया, Inkling के 41 से एक बिंदु नीचे।
- Inkling-Small, Inkling को कोडिंग परीक्षणों पर पीछे छोड़ देता है, जिसमें SWE-bench Verified पर 80.2% बनाम 77.6% शामिल है, जो एक मानक कोडिंग बेंचमार्क है।
- मॉडल Apache 2.0 ओपन-सोर्स लाइसेंस के तहत जारी किया गया है, जो कंपनियों को न्यूनतम प्रतिबंधों के साथ इसका उपयोग, संशोधन और वाणिज्यिकीकरण करने देता है।
दो सप्ताह। यही समय लगा Thinking Machines को, जो पूर्व OpenAI मुख्य प्रौद्योगिकी अधिकारी Mira Murati द्वारा स्थापित स्टार्टअप है, अपने डेब्यू AI मॉडल के बाद एक छोटे, सस्ते, लगभग-उतने-ही-सक्षम उत्तराधिकारी के साथ आने में।
नया मॉडल Inkling-Small कहलाता है। यह एक मल्टीमॉडल रीजनिंग मॉडल है, अर्थात यह टेक्स्ट, इमेज और ऑडियो ले सकता है और जवाब में टेक्स्ट का उत्पादन कर सकता है। नाम के बावजूद, यह किसी भी सामान्य माप से छोटा नहीं है, लेकिन यह अपने सहोदर की तुलना में नाटकीय रूप से हल्का है, और प्रदर्शन अंतर आश्चर्यजनक रूप से संकीर्ण है।
यह मूल Inkling से कैसे तुलना करता है?
Artificial Analysis के Intelligence Index पर, एक तीसरे पक्ष की स्कोरिंग प्रणाली जो दर्जनों परीक्षणों में AI मॉडल को रैंक करती है, Inkling-Small को 40 की तुलना में Inkling के 41 से स्कोर करता है। एक ऐसे मॉडल से केवल एक बिंदु का पृथक्करण जो लगभग चार गुना बड़ा है।
आकार का अंतर आर्किटेक्चर पर निर्भर करता है। Inkling-Small एक sparse Mixture-of-Experts मॉडल नामक डिज़ाइन का उपयोग करता है। इसे विशेषज्ञों की एक बड़ी टीम की तरह सोचें: मॉडल के पास 256 विशेषज्ञ उप-नेटवर्क हैं, जिन्हें विशेषज्ञ कहा जाता है, लेकिन किसी भी शब्द या वाक्यांश के लिए जो वह संसाधित करता है, वह केवल छह का परामर्श लेता है साथ ही दो सामान्य-उद्देश्य विशेषज्ञ जो हमेशा सक्रिय होते हैं। यही कारण है कि मॉडल में कुल 276 बिलियन पैरामीटर (प्रशिक्षण के दौरान सीखे गए मूल्य) हैं, फिर भी एक समय में केवल 12 बिलियन सक्रिय करता है। प्रति चरण कम काम का अर्थ है कम कंप्यूटिंग लागत।
कई कोडिंग और रीजनिंग बेंचमार्क पर, Inkling-Small वास्तव में अपने बड़े सहोदर को हराता है। यह SWE-bench Verified पर 80.2% स्कोर करता है, वास्तविक दुनिया के सॉफ्टवेयर बग फिक्सिंग की एक परीक्षा, Inkling के लिए 77.6% के मुकाबले। यह SciCode नामक एक विज्ञान कोडिंग बेंचमार्क पर और Humanity's Last Exam पर भी आगे है, जो विशेषज्ञ-स्तर के रीजनिंग की एक परीक्षा है।
यह लाभ सार्वभौमिक नहीं है। Inkling तथ्यात्मक ज्ञान कार्यों पर एक स्पष्ट लाभ बनाए रखता है: एक बैंकिंग-डोमेन परीक्षा पर 23.7% बनाम 15.5%। उच्च-दांव तथ्यात्मक क्वेरी के लिए मॉडल का उपयोग करने वाले एंटरप्राइज को इसे पुनर्प्राप्ति उपकरण और मानव समीक्षा के साथ जोड़ने की आवश्यकता होगी।
क्या आप वास्तव में इसे स्वयं चला सकते हैं?
लैपटॉप पर नहीं। Inkling-Small के पूर्ण-सटीकता संस्करण को कम से कम 600 GB संयुक्त GPU मेमोरी की आवश्यकता है, जो कि सर्वर कक्षों में पाई जाने वाली विशेष कंप्यूटिंग शक्ति है, घर के कार्यालयों में नहीं। Thinking Machines दो समर्थित हार्डवेयर सेटअप को सूचीबद्ध करता है: चार NVIDIA B300 चिप्स या आठ NVIDIA H200 चिप्स।
एक संपीड़ित संस्करण उस आवश्यकता को लगभग 180 GB तक काट देता है, और कंपनी कहती है कि यह संस्करण एक एकल B300 चिप पर चल सकता है। फिर भी, यह दृढ़ता से एंटरप्राइज क्षेत्र में है।
"Small" लेबल Inkling के सापेक्ष है, न कि हल्के वजन के मॉडल की व्यापक दुनिया से जो उपभोक्ता हार्डवेयर पर चलते हैं। कहा जा रहा है, पूर्ण मॉडल वेट Hugging Face पर स्वतंत्र रूप से उपलब्ध हैं, ओपन AI मॉडल साझा करने के लिए मुख्य प्लेटफॉर्म, और ओपन-सोर्स समुदाय आने वाले सप्ताहों में निश्चित रूप से और भी अधिक संपीड़ित संस्करण तैयार करेगा।
API के माध्यम से इसका उपयोग करने में क्या खर्च है?
Thinking Machines वर्तमान में एक लॉन्च डिस्काउंट की पेशकश कर रहा है, जिससे मूल्य निर्धारण मानक 64,000-संदर्भ संस्करण के लिए $0.58 प्रति मिलियन इनपुट टोकन और $1.44 प्रति मिलियन आउटपुट टोकन लाया गया है। एक टोकन लगभग एक शब्द के तीन-चौथाई है, इसलिए एक मिलियन टोकन पाठ की एक बड़ी मात्रा को कवर करता है।
| मूल्य निर्धारण स्तर | प्रति मिलियन टोकन लागत |
|---|---|
| इनपुट (प्रीफिल) | $0.58 |
| आउटपुट (नमूना) | $1.44 |
| प्रशिक्षण | $1.73 |
| कैश्ड इनपुट | $0.116 |
मॉडल को कवर करने वाला Apache 2.0 लाइसेंस ध्यान देने योग्य है। यह कंपनियों को Inkling-Small के ऊपर बिना राजस्व सीमा या ब्रांडिंग शर्तों के उपयोग, संशोधन, फाइन-ट्यून करने और वाणिज्यिक उत्पाद बनाने की अनुमति देता है जो कुछ अन्य AI मॉडल लाइसेंस में दिखाई देते हैं। कानूनी और खरीद टीमों के लिए, यह एक सार्थक सरलीकरण है।
सामान्य प्रश्न
क्या "ओपन सोर्स" का मतलब है कि कोई भी इसका स्वतंत्र रूप से उपयोग कर सकता है?
Apache 2.0 सॉफ्टवेयर में सबसे अनुमतिशील मानक लाइसेंसों में से एक है। कंपनियां Inkling-Small पर निर्मित उत्पादों का उपयोग, संशोधन और बिक्री कर सकती हैं, जब तक वे लाइसेंस के attribution नियमों का पालन करें और Thinking Machines द्वारा इसके साथ प्रकाशित किसी भी स्वीकार्य-उपयोग नीति की समीक्षा करें।
क्या यह मॉडल महत्वपूर्ण निर्णयों के लिए विश्वास करने के लिए सुरक्षित है?
Inkling-Small के तथ्यात्मक ज्ञान स्कोर बड़े Inkling से पीछे रह जाते हैं, और एक तथ्यात्मक सूचकांक पर इसका स्कोर नकारात्मक है, जिसका अर्थ है कि यह व्यापक ज्ञान कवरेज पर आधारस्तर से नीचे गिरता है। चिकित्सा, कानूनी या वित्तीय निर्णयों के लिए इसका उपयोग करने वाले किसी भी संगठन को सत्यापित स्रोतों से पुनर्प्राप्ति और आउटपुट की मानव समीक्षा में निर्माण करना चाहिए।
