LibreChat में Dolphin LLM को एक कस्टम एंडपॉइंट के रूप में जोड़ें

एंडपॉइंट ब्लॉक

खुला librechat.yaml LibreChat फोल्डर में (कॉपी librechat.example.yaml यदि आपके पास अभी तक कोई नहीं है) और इसे जोड़ें endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

का उपयोग करें version आपके LibreChat रिलीज द्वारा अपेक्षित मान (यह शीर्ष पर है, librechat.example.yaml). fetch: false सूची को केवल एक मॉडल तक सीमित रखता है; साथ fetch: true LibreChat पूछता है GET /v1/models, जो एक ही मॉडल लौटाता है।

कुंजी को .env में डालें

# .env
DOLPHIN_API_KEY=YOUR_KEY

अपने खाते में कुंजी बनाएं (साइन अप करें पहले यदि आपके पास कोई नहीं है; खाता खोलते समय $0.50 का ट्रायल क्रेडिट जोड़ा जाता है)। कभी भी .env git तक।

यदि आपके इंस्टॉल के हर उपयोगकर्ता को अपने स्वयं के बैलेंस से भुगतान करना है, तो सेट करें apiKey: "user_provided" इसके बजाय। LibreChat फिर हर उपयोगकर्ता से Dolphin LLM चुनने पर पहली बार एक कुंजी मांगता है, और उसे उनके लिए स्टोर कर लेता है।

डॉकर: फ़ाइल माउंट करें और रीस्टार्ट करें

मानक Docker सेटअप के साथ, LibreChat पढ़ता है librechat.yaml केवल यदि इसे API कंटेनर में माउंट किया गया हो। docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

LibreChat खोलें, चुनें Dolphin LLM एंडपॉइंट मेनू में और एक चैट शुरू करें। यदि एंडपॉइंट दिखाई नहीं देता, तो API कंटेनर लॉग बताता है कि क्यों, आमतौर पर एक YAML इंडेंटेशन त्रुटि।

जानने योग्य विकल्प

• titleConvo नई बातचीत के लिए नाम निर्धारित करने के लिए एक छोटा अतिरिक्त अनुरोध भेजता है। ट्रायल कुंजी (2 समानांतर अनुरोध, प्रति मिनट 60) पर इसे सेट करें false यदि आप विलंबता देखते हैं।
• संदर्भ: मॉडल 262,144 टोकन तक स्वीकार करता है, प्रॉम्प्ट plus प्रतिक्रिया। LibreChat हर संदेश के साथ बातचीत की इतिहास भेजता है, इसलिए लंबे थ्रेड प्रति चरण अधिक खर्च करते हैं; एक चरण जो विंडो को भरता है, इनपुट के लिए लगभग $0.0393 खर्च करता है।
• पैरामीटर्स: तापमान, top_p, अधिकतम टोकन, स्टॉप और LibreChat के पैरामीटर पैनल से जुर्माना पास किए जाते हैं। API केवल टेक्स्ट है, इसलिए विज़न या एम्बेडिंग्स वाले फ़ाइल अपलोड इस एंडपॉइंट के साथ काम नहीं करेंगे।
• प्रीसेट और एजेंट्स: आप सिस्टम प्रॉम्प्ट को एक प्रीसेट के रूप में सेव कर सकते हैं। टूल कॉलिंग API द्वारा समर्थित है (tools, tool_choice), इसलिए LibreChat एजेंट्स इसका उपयोग कर सकते हैं; इस पर भरोसा करने से पहले एक टूल का परीक्षण करें.

शेयर इंस्टॉल, एक बैलेंस

एक कुंजी के साथ इन .env, हर LibreChat उपयोगकर्ता एक ही बैलेंस से खर्च करता है। यदि इंस्टॉल सार्वजनिक है तो ओपन रजिस्ट्रेशन बंद करें, और अपने खाते या X-Balance-USD रिस्पॉन्स हेडर। प्रति कुंजी सीमाएं लागू होती हैं: पहले टॉप-अप के बाद, 8 समानांतर अनुरोध और 300 प्रति मिनट सभी उपयोगकर्ताओं के लिए साझा।

मॉडल को बिना सेंसर उत्तर देने के लिए ट्यून किया गया है, कानूनी वयस्कों के उपयोग के लिए, इसलिए घर के नियम आपकी सेटिंग्स पर निर्भर करते हैं, उदाहरण के लिए एक प्रीसेट सिस्टम प्रॉम्प्ट में। किशोरों से संबंधित यौन सामग्री API पर कभी भी अनुमत नहीं है।

लागत

$0.15 प्रति 1M input और $0.50 प्रति 1M output tokens की दर पर, 3,000 tokens के इतिहास और 600-token के उत्तर वाले एक टर्न का खर्च $0.00075 होता है। एक छोटी टीम जो दिन में 500 ऐसे संदेश भेजती है, उसका मासिक खर्च लगभग $11 होता है। देखें मूल्य निर्धारण पृष्ठ पैक और बोनस के लिए।