होस्टेड API बनाम मध्यम आकार के मॉडल के लिए GPU किराए पर लेना
अपडेट किया गया · उस तारीख पर जाँचे गए दाम
4-बिट में एक मध्यम आकार का ओपन-वेइट मॉडल एक 48 GB GPU पर फिट हो जाता है, इसलिए सेल्फ-होस्टिंग यथार्थवादी है। कि यह फायदेमंद साबित होता है या नहीं, यह इस बात पर निर्भर करता है कि आप हर महीने कितने टोकन का उपयोग करते हैं।
मुख्य बिंदु
- 4-बिट में, 30–40B पैरामीटर वाला मॉडल लगभग 20–25 GB लेता है, इसलिए एक 64,000-टोकन संदर्भ के लिए एक 48 GB कार्ड पर्याप्त है।
- RunPod पर किराये की L40S की कीमत $0.79–$1.09 प्रति घंटे है: लगभग $577–$796 प्रति माह, 24/7।
- Dolphin LLM की कीमतों पर, $577 से एक सामान्य 80/20 इनपुट/आउटपुट मिश्रण में मासिक रूप से लगभग 2.6B टोकन खरीदे जा सकते हैं।
- स्थिर, बहुत अधिक वॉल्यूम पर सेल्फ-होस्टिंग तर्कसंगत है; उससे नीचे होस्टेड API कम लागत वाला होता है और इसमें कोई रखरखाव नहीं चाहिए।
इस प्रकार के मॉडल को किस हार्डवेयर की आवश्यकता है
4-बिट में, 30–40B पैरामीटर वाले मॉडल के वजन लगभग 20–25 GB लेते हैं। एक 48 GB कार्ड पर, KV कैश के लिए लगभग 20 GB शेष बचते हैं, जो कुछ समवर्ती अनुरोधों के साथ 64,000-टोकन कॉन्टेक्स्ट के लिए पर्याप्त है। 262,144-टोकन विंडो को स्वयं सेवा प्रदान करने के लिए उससे कहीं अधिक कैश मेमोरी की आवश्यकता होती है, या कम समवर्ती अनुरोध। लंबे कॉन्टेक्स्ट या अधिक समवर्ती उपयोगकर्ताओं के लिए अधिक मेमोरी या अधिक कार्डों की आवश्यकता होती है।
किराया मूल्य
| GPU | कहाँ | प्रति घंटा | प्रति माह, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / सुरक्षित | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (4 ऑफ़र का मध्यिका) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / सुरक्षित | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod सुरक्षित (PCIe) | $2.89 | $2,110 |
मासिक आंकड़े घड़ी की कीमत × 730 घंटे हैं, भंडारण, ट्रैफ़िक या कार्ड के निष्क्रिय रहने के समय के बिना।
ब्रेक-ईवन
Dolphin LLM पर 80% इनपुट और 20% आउटपुट टोकन के एक सामान्य मिश्रण के लिए 1M टोकन की लागत $0.22 आती है। इसलिए, किराये पर ली गई कार्ड की मासिक कीमत से खरीदा जा सकता है:
| मासिक बजट | Dolphin LLM पर बराबर | प्रति दिन |
|---|---|---|
| $241 (RTX A6000, Community) | लगभग 1.1B टोकन | लगभग 36M |
| $577 (L40S, Community) | लगभग 2.6B टोकन | लगभग 87M |
| $796 (L40S, Secure) | लगभग 3.6B टोकन | लगभग 120M |
यदि आप इससे कम टोकन का उपयोग करते हैं, तो होस्टेड API सस्ता है। इसके ऊपर, एक किराए पर ली गई कार्ड जीत सकती है, बशर्ते वह दिन के अधिकांश समय व्यस्त हो।
मूल सूची पर न होने वाली लागतें
- सेटअप और अपडेट: इनफरेंस सर्वर, ड्राइवर, मॉडल डाउनलोड, मॉनिटरिंग।
- Idle time: जब कोई अनुरोध नहीं भेजा जाता है, तो रात में किराए पर ली गई कार्ड की लागत समान रहती है।
- चोटियाँ: एक कार्ड सीमित संख्या में समानांतर अनुरोधों की सेवा देता है; अधिक उपयोगकर्ताओं का अर्थ अधिक कार्ड हैं।
किसका चयन करें
- अगर आपके पास स्थिर, बहुत उच्च वॉल्यूम है, आपको स्टैक पर पूर्ण नियंत्रण चाहिए या 262,144 टोकन से लंबा संदर्भ चाहिए, तो स्वयं होस्ट करें।
- अगर आपका वॉल्यूम ब्रेक-ईवन पॉइंट से नीचे है, दिन-प्रतिदिन बदलता रहता है, या आप सर्वर चलाना नहीं चाहते, तो Dolphin LLM का उपयोग करें।
स्रोत
कीमतें बदलती रहती हैं। निर्णय लेने से पहले प्रत्येक प्रदाता की पृष्ठताला देखें।
प्रश्न और उत्तर
क्या मैं अपने कंप्यूटर पर इस आकार का मॉडल चला सकता हूँ?
हाँ, यदि GPU में पर्याप्त मेमोरी हो: 4-बिट में ऐसा मॉडल लगभग 20–25 GB लेता है, इसलिए 48 GB कार्ड आरामदायक है और 24 GB कार्ड उपयोगी संदर्भ के लिए बहुत छोटा है।
क्या होस्टेड API, स्थानीय GPU से धीमा है?
यह जनरेशन समय के ऊपर नेटवर्क लेटेंसी जोड़ता है। जनरेशन स्पीड शेयर्ड सर्वर्स पर लोड पर निर्भर करती है; चैट और अधिकांश बैच वर्क के लिए अंतर नगण्य है।
अधिक गाइड
Dolphin LLM बनाम OpenAI APIDolphin LLM OpenAI GPT-6 Luna और GPT-6.1 Terra के साथ: प्रति 1M टोकन कीमत, कॉन्टेक्स्ट विंडो, डेटा नीति, बिलिंग और प्रत्येक कब उपयुक्त है।
OpenRouter पर मध्यम आकार के ओपन मॉडल्स के साथ Dolphin LLM की तुलनाOpenRouter प्रोवाइडर्स और DeepInfra पर एक लोकप्रिय मध्यम आकार के ओपन-वेइट चैट मॉडल के लिए 1M टोकन प्रति कीमत, Dolphin LLM के बगल में, plus क्रेडिट शुल्क, कॉन्टेक्स्ट और यह कि कौन सा सस्ता है।