मुख्य बिंदु
- Dolphin कम्युनिटी फाइन-ट्यून्स का एक परिवार है, इसलिए साइन इन करने के लिए कोई एक आधिकारिक API नहीं है।
- आप इसे एक स्थानीय मशीन पर सर्व कर सकते हैं, एक किराये के GPU पर सर्व कर सकते हैं, या एक होस्टेड एंडपॉइंट को कॉल कर सकते हैं।
- एक होस्टेड OpenAI-संगत एंडपॉइंट केवल एक बेस URL, एक कुंजी और मॉडल ID uncensored की आवश्यकता होती है।
- यहाँ होस्टेड मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, बिना किसी सब्सक्रिप्शन के।
लोग Dolphin मॉडल से क्या मतलब लेते हैं
Dolphin ओपन-वेट बेस मॉडल्स की कम्युनिटी फाइन-ट्यून्स की एक श्रृंखला का नाम है। ट्यूनिंग डेटा को फ़िल्टर किया गया है ताकि मॉडल निर्देशों का पालन करे बिना व्याख्यान दिए या सामान्य अनुरोधों को अस्वीकार किए। चूँकि बेस मॉडल रिलीज़ के बीच बदल जाता है, इसलिए एक एकल Dolphin विक्रेता के पास एक आधिकारिक एंडपॉइंट नहीं है। जब कोई dolphin llm api माँगता है, तो वे आमतौर पर उस शैली के किसी भी API का मतलब लेते हैं जो एक बिना सेंसर मॉडल सर्व करता है।
यह आपके योजना बनाने के तरीके के लिए मायने रखता है। आप एक ब्रांड नहीं चुन रहे हैं, आप यह चुन रहे हैं कि वजन कहाँ चलता है और उन्हें कौन संचालित करता है। मॉडल की गुणवत्ता बेस मॉडल और ट्यून पर निर्भर करती है, और संचालन पक्ष उस रास्ते पर निर्भर करता है जिसे आप नीचे चुनते हैं।
स्कोप पर एक नोट: ये मॉडल कानूनी वयस्क उपयोग के लिए ट्यून किए गए हैं। यहाँ कोई प्रदाता, और कहीं भी कोई समझदार प्रदाता, नाबालिगों में शामिल यौन सामग्री सर्व नहीं करेगा। इसे अपने आवेदन में भी एक निश्चित सीमा के रूप में मानें।
मार्ग 1: अपने स्वयं के मशीन पर इसे चलाएं
प्रति टोकन सबसे सस्ता रास्ता वह मॉडल है जिसके लिए आपके पास पहले से ही हार्डवेयर है। Ollama और llama.cpp जैसे टूल्स क्वांटीज़्ड वजन डाउनलोड करते हैं और एक स्थानीय सर्वर प्रकट करते हैं। दोनों localhost पर एक OpenAI-शैली का एंडपॉइंट प्रदान कर सकते हैं, इसलिए आपका क्लाइंट कोड किसी भी होस्टेड सेवा के लिए वैसे ही दिखता है।
मुख्य बाधा मेमोरी है। एक क्वांटाइज़्ड मॉडल को अपनी फ़ाइल के आकार के बराबर RAM या VRAM, और कॉन्टेक्स्ट कैश के लिए जगह की आवश्यकता होती है। छोटे मॉडल लैपटॉप पर फिट हो जाते हैं, लेकिन बड़े मॉडलों को अधिक मेमोरी वाले GPU की आवश्यकता होती है, और लंबे प्रॉम्प्ट कैश को बढ़ाते हैं। यदि मॉडल VRAM में फिट नहीं होता है, तो यह सिस्टम RAM में चला जाता है और गति तेज़ी से गिर जाती है।
लोकल सेटअप तब अच्छा विकल्प है जब आप ऑफ़लाइन काम करते हैं, जब डेटा कभी भी आपकी मशीन से बाहर नहीं जाना चाहिए, या जब आप विभिन्न फाइन-ट्यून्स के साथ प्रयोग करना चाहते हैं। यह उपयोगकर्ताओं वाले उत्पाद के लिए एक खराब विकल्प है, क्योंकि आपका लैपटॉप सर्वर बन जाता है। लोकल साइड की पूरी गाइड के लिए, Dolphin-शैली मॉडल चलाने के बारे में अलग लेख देखें।
रूट 2: GPU किराए पर लें और इसे स्वयं सर्व करें
GPU को घंटे के हिसाब से किराए पर लेने से आपको बिना हार्डवेयर खरीदे बड़े मॉडल मिलते हैं। आप vLLM या llama.cpp के सर्वर जैसे सर्विंग स्टैक को इंस्टॉल करते हैं, वेट्स लोड करते हैं, और एक पोर्ट एक्सपोज़ करते हैं। फिर आप इसके आसपास सब कुछ स्वयं संभालते हैं।
- ड्राइवर, सर्विंग सॉफ़्टवेयर और TLS सेटअप करना।
- प्रमाणीकरण जोड़ना ताकि अजनबी आपका GPU उपयोग न कर सकें।
- क्रैश के बाद रीस्टार्ट करना और मेमोरी पर नज़र रखना।
- बॉक्स चालू रहने के घंटों के लिए भुगतान करना, चाहे कोई अनुरोध भेज रहा हो या न हो।
वह आखिरी बिंदु वास्तविक लागत चालक है। एक GPU जो रात भर आइडल रहता है, उसके लिए भी बिल आता है। यह रूट तभी फायदेमंद होता है जब आपके पास स्थिर, उच्च ट्रैफ़िक हो और कोई संचालन के लिए तैयार हो। एक साइड प्रोजेक्ट के लिए जिसमें उपयोग की बर्स्ट होती है, आप मुख्य रूप से आइडल समय के लिए भुगतान करते हैं। प्रदाता की अपनी प्राइसिंग पेज पर वर्तमान घंटे दरें जाँचें, क्योंकि वे बदलती रहती हैं।
मार्ग 3: एक होस्टेड OpenAI-कम्पैटिबल एंडपॉइंट पर कॉल करें
एक होस्टेड एंडपॉइंट ऑपरेटिंग वर्क को हटा देता है। आप HTTPS अनुरोध भेजते हैं और अपने उपयोग के टोकन के लिए भुगतान करते हैं। यह साइट वह प्रदान करती है: एक होस्टेड, OpenAI-कम्पैटिबल टेक्स्ट API एकल ओपन-वेट मॉडल के लिए, एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना कंटेंट रिफ्यूज़ के जवाब देने के लिए ट्यून्ड किया गया है। स्पष्ट करने के लिए कि यह क्या नहीं है: यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है, और यह कई मॉडल के बीच एक रूटर नहीं है। मॉडल ID uncensored है।
चूंकि API OpenAI-कम्पैटिबल है, इसलिए Base URL और कुंजी बदलने के बाद कोई भी OpenAI SDK काम करेगा। यहाँ एक न्यूनतम Python कॉल है:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)curl में वही अनुरोध:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'स्ट्रीमिंग (stream: true), टूल कॉलिंग, JSON मोड और सामान्य सैम्पलिंग पैरामीटर OpenAI API की तरह काम करते हैं। कॉन्टेक्स्ट विंडो 100,000 टोकन की है, प्रॉम्प्ट और कंप्लीशन सहित। API दस्तावेज़ीकरण में प्रत्येक समर्थित एंडपॉइंट और पैरामीटर सूचीबद्ध है।
साइड-बाय-साइड तुलना
| कारक | स्थानीय | किराये पर ली गई GPU | होस्टेड एंडपॉइंट |
|---|---|---|---|
| अग्रिम कार्य | इंस्टॉल और डाउनलोड | सर्वर सेटअप, प्रमाणीकरण, TLS | कुंजी प्राप्त करें |
| लागत मॉडल | आपका अपना हार्डवेयर | घंटे के हिसाब से, आइडल समय शामिल | प्रति टोकन, प्रीपेड |
| मॉडल साइज़ | आपकी VRAM द्वारा सीमित | आपके द्वारा किराए पर लिए गए GPU द्वारा सीमित | एक मॉडल, स्थिर |
| मॉडल चयन | कोई भी फाइन-ट्यून जिसे आप डाउनलोड कर सकते हैं | कोई भी फाइन-ट्यून जिसे आप लोड कर सकते हैं | केवल प्रदान किया गया मॉडल |
| डेटा स्थान | आपके मशीन पर ही रहता है | किराए के बॉक्स पर | प्रदाता को भेजा गया |
| रखरखाव | आप | आप | प्रदाता |
जो पंक्ति अधिकांश मामलों का निर्णय लेती है, वह मॉडल चयन है। यदि आपको किसी विशिष्ट Dolphin ट्यून की आवश्यकता है, तो केवल पहले दो रास्ते आपको वह प्रदान करते हैं। यदि आपको एक सक्षम बिना सेंसर मॉडल चाहिए जो स्थिर API के पीछे हो और आपको यह नहीं देखना है कि वह सटीक रूप से कौन सा ट्यून है, तो होस्टेड रास्ता आपको ऑपरेशनल कार्य से बचाता है।
होस्टेड कॉल की लागत
मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, जो प्रीपेड क्रेडिट से कटाया जाता है। कोई सब्सक्रिप्शन नहीं है, विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट कभी समाप्त नहीं होता है। 2,000 इनपुट टोकन और 500 आउटपुट टोकन वाले एक सामान्य चैट टर्न की लागत होती है:
- इनपुट: 2,000 × $0.15 / 1,000,000 = $0.0003
- आउटपुट: 500 × $0.50 / 1,000,000 = $0.00025
- कुल: प्रति अनुरोध $0.00055, या 1,000 अनुरोधों के लिए $0.55
टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि पर होते हैं, $50 से +5%, $100 से +10% और $200 से +15%। आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं। मूल्य निर्धारण पृष्ठ पर वर्तमान विवरण उपलब्ध हैं।
एक GPU की तुलना करने के लिए जिसे आप किराए पर लेते हैं, अपनी वास्तविक ट्रैफ़िक के आधार पर एक घंटे में आप जितने अनुरोध प्रदान कर सकते हैं, उस संख्या से प्रति घंटे की दर को विभाजित करें। कम या बर्स्टी वॉल्यूम पर प्रति-टोकन मॉडल आमतौर पर बेहतर होता है, क्योंकि आप आइडल समय के लिए कभी भुगतान नहीं करते हैं।
भुगतान करने से पहले इसे आजमाएं
नए उपयोगकर्ता साइन-अप के बाद कुंजी पृष्ठ पर एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं। यह एक व्यक्ति के लिए एक बार है, 7 दिनों के लिए मान्य है, और इसके लिए कार्ड की आवश्यकता नहीं है। साइन-अप Google या ईमेल और पासवर्ड से होता है। ऊपर दी गई कीमतों पर, $0.50 उदाहरण में दिए गए 2,000 इन, 500 आउट वाले अनुरोधों के लिए लगभग 900 कवर करता है, जो यह परीक्षण करने के लिए पर्याप्त है कि क्या मॉडल का टोन आपके उपयोग के लिए उपयुक्त है। ट्रायल कुंजियाँ 2 समानांतर अनुरोधों और प्रति मिनट 60 अनुरोधों तक सीमित हैं।
अपनी API कुंजी पृष्ठ पर प्राप्त करें। यदि आप एक ऐसे मॉडल की तलाश में हैं जिसमें कोई साइन इन न हो, तो बिना लॉगिन वाले LLM लेख देखें, और चैट फ्रंटएंड में क्लाइंट सेटअप के लिए Open WebUI endpoints के बारे में पढ़ें।
