AI रूटिंग सस्ती बचत जैसी लगी। वास्तविकता में दोगुनी कीमत आई।

मुख्य बिंदु

• 417 कार्यों में, Claude Sonnet 4.5 की कुल लागत $79 ($0.19 प्रति कार्य) थी जबकि GPT-4.1 की $155 ($0.37 प्रति कार्य) थी, हालांकि GPT-4.1 की प्रकाशित कीमत कम थी।
• अंतर कैशिंग से आया: Sonnet ने संग्रहीत संदर्भ को कम कीमत पर दोबारा इस्तेमाल किया, जिससे GPT-4.1 का मूल्य लाभ गायब हो गया।
• AI अनुरोधों की रूटिंग, कार्यों को सबसे उपयुक्त AI मॉडल तक स्वचालित रूप से निर्देशित करने की प्रथा, एक सरल छँटाई समस्या नहीं, बल्कि एक सिस्टम समस्या है।
• एक हल्का अनुकूलन-आधारित राउटर 84% सटीकता हासिल करते हुए $93 प्रति रन की लागत पर काम किया, जो अकेले शीर्ष स्तरीय मॉडल चलाने की तुलना में 21% लागत और 9% विलंबता में कटौती करता है।

यह विचार समझदारी भरा लगता है। आपके पास कई AI मॉडल उपलब्ध हैं, प्रत्येक की अलग कीमत और शक्तियाँ हैं। तो आप एक राउटर बनाते हैं, एक सॉफ्टवेयर जो आने वाले प्रत्येक कार्य को स्वचालित रूप से सबसे उपयुक्त मॉडल तक निर्देशित करता है। आसान अनुरोध सस्ते मॉडल को जाते हैं। मुश्किल वाले महंगे, शक्तिशाली मॉडल को जाते हैं। लागत गिरती है। गुणवत्ता बनी रहती है। काम पूरा।

यह सिद्धांत है। Hugging Face की टीम ने व्यावहारिक रूप से इनमें से एक राउटर बनाया, और संख्याओं ने एक अलग कहानी बताई।

उन्होंने दो मॉडल के माध्यम से 417 समान कार्य चलाए: Claude Sonnet और GPT-4.1। GPT-4.1 की प्रकाशित कीमत प्रसंस्कृत शब्द के लिए कम है। यह सस्ता होना चाहिए था। इसकी कीमत $155 थी। Sonnet की कीमत $79 थी, आधे से भी कम।

दोषी कैशिंग था। जब AI एक लंबे कार्य को प्रोसेस करता है, तो वह उस काम के कुछ हिस्से को सहेज सकता है और बाद के कदमों में उन्हें दोबारा इस्तेमाल कर सकता है, जिस तरह ब्राउज़र किसी वेबपेज को स्टोर करता है ताकि वह अगली बार तेजी से लोड हो। Sonnet उस सहेजे गए स्टोर से पढ़ने के लिए कम शुल्क लेता है। चूंकि कार्यों में बहुत सारे दोहराए गए संदर्भ शामिल थे, Sonnet का कैशिंग लाभ GPT-4.1 की कम सूचीबद्ध दर को पूरी तरह मिटा गया।

मूल्य निर्धारण शीट ने एक कहानी बताई। वास्तविक बिल ने दूसरी।

क्या यह मायने रखता है यदि आप सिर्फ AI टूल का उपयोग कर रहे हैं, न कि एक बना रहे हैं?

हाँ, अप्रत्यक्ष रूप से। आप जो भी AI उत्पाद उपयोग करते हैं, ग्राहक सेवा चैटबॉट से लेकर लेखन सहायक तक, लगभग निश्चित रूप से पर्दे के पीछे आपके अनुरोधों को रूट करते हैं। वह रूटिंग कितनी अच्छी तरह काम करती है, यह आपके द्वारा अनुभव की गई गति, आपको मिलने वाले उत्तर की गुणवत्ता और अंततः कंपनी आपसे जो कीमत वसूलती है, उसे प्रभावित करती है।

लागत से परे, टीम को दो और आश्चर्य मिले।

पहला, कार्य की कठिनाई अक्सर शुरुआत में दिखाई नहीं देती। एक अनुरोध जो सरल दिखता है, "इस अनुबंध का सारांश दें", कई कदमों की एक श्रंखला को ट्रिगर कर सकता है: दस्तावेजों की खोज, अनुपालन जांच चलाना, बाहरी उपकरण कॉल करना। जब तक AI पहले से ही इसे नहीं कर रहा हो, तब तक आप शायद ही कभी जानते हैं कि कोई काम कितना कठिन है।

दूसरा, विलंबता, मतलब आप एक उत्तर के लिए कितने समय का इंतजार करते हैं, मॉडल आकार से कहीं अधिक पर निर्भर करती है। मॉडल किस हार्डवेयर पर चलता है, उसका कैश गर्म है या नहीं, और सर्वर कितना व्यस्त है, यह मॉडल से अधिक महत्वपूर्ण हो सकता है। राउटर जोड़ने से इसकी अपनी देरी भी आती है, खासकर यदि राउटर किसी कार्य के हर एक कदम पर एक नया निर्णय लेता है।

टीम का समाधान "कौन सा मॉडल सर्वश्रेष्ठ है?" पूछना बंद करना और "लागत, गति और सटीकता का कौन सा संयोजन अभी सबसे अच्छा काम करता है?" पूछना शुरू करना था। उनका राउटर लगभग 6 मिलीसेकंड में उस अनुकूलन को चलाता है और लगभग 2 किलोबाइट मेमोरी का उपयोग करता है, बोतल की गर्दन बनने के लिए काफी छोटा।

ईमानदार निष्कर्ष: यदि आप AI टूल के लिए भुगतान कर रहे हैं और यह असंगत रूप से धीमा या आश्चर्यजनक रूप से महंगा लगता है, तो रूटिंग परत के बारे में पूछना उचित है। और यदि आप अपने स्वयं के उत्पाद में AI सुविधाएं बना रहे हैं, तो लागत बेंचमार्किंग को एक-बार की स्प्रेडशीट व्यायाम के रूप में नहीं, बल्कि एक सक्रिय प्रयोग के रूप में मानें। मॉडल कार्ड पर की गई कीमत शायद ही कभी वह कीमत होती है जो आप वास्तव में देंगे।