VS Code और JetBrains में Continue के लिए Dolphin LLM का उपयोग करें

config.yaml में मॉडल जोड़ें

Continue के सेटिंग्स खोलें (Continue पैनल में गियर आइकन) और कॉन्फ़िग फ़ाइल खोलने या संपादित करने का विकल्प चुनें ~/.continue/config.yaml सीधे। एक मॉडल जोड़ें:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

फ़ाइल को सेव करें। Continue इसे फिर से लोड करता है, और Dolphin LLM चैट पैनल के मॉडल मेनू में दिखाई देता है। अपने खाते में अपनी कुंजी बनाएं; यदि आपके पास अभी तक एक नहीं है, साइन अप करें और $0.50 का ट्रायल क्रेडिट तब जोड़ा जाता है जब आप पहली बार खाता खोलते हैं।

की को फ़ाइल से बाहर रखें

यदि आप अपनी कॉन्फ़िगरेशन साझा या सिंक करते हैं, तो कुंजी को उसमें पेस्ट न करें। Continue के हालिया संस्करण गुप्त जानकारी पढ़ते हैं ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

और मॉडल ब्लॉक फिर उपयोग करता है apiKey: ${{ secrets.DOLPHIN_API_KEY }}। अगर आपका वर्जन इसे रेज़ॉल्व नहीं करता, तो यह एक माइनिंग की रिपोर्ट करता है; कुंजी को सीधे पेस्ट करें और फ़ाइल को प्राइवेट रखें।

इसे कौन से भूमिकाएँ देनी हैं

• chat: कोड के बारे में प्रश्न, व्याख्याएं, रीफैक्टिंग योजनाएं। 262,144-टोकन विंडो लगभग 490 पृष्ठों कोड और पाठ को धारण करती है, इसलिए कई फाइलें एक प्रश्न में फिट हो सकती हैं।
• edit and apply: फ़ाइल में किसी चयन को पुनर्लेखित करना या सुझाए गए परिवर्तन को लागू करना।
• autocomplete: अनुशंसित नहीं। टैब कंप्लीशन टाइपिंग में लगभग हर रुकावट पर एक अनुरोध भेजता है, जिससे लागत बढ़ती है और नेटवर्क लेटेंसी पर इंतजार करना पड़ता है। इसके लिए एक छोटा स्थानीय मॉडल बेहतर है।
• embed: उपलब्ध नहीं। इस API में एम्बेडिंग्स एंडपॉइंट नहीं है, इसलिए कोडबेस इंडेक्सिंग के लिए एक अलग एम्बेडिंग्स प्रोवाइडर या स्थानीय प्रोवाइडर की आवश्यकता होती है।

कोडिंग कार्य के लिए टिप्स

• कोड के लिए कम तापमान (0.2 से 0.4) का उपयोग करें, केवल ब्रेनस्टॉर्मिंग के लिए उच्च तापमान।
• केवल आवश्यक फ़ाइलें ही अटैच करें। अटैच की गई प्रत्येक लाइन उस चैट में प्रत्येक अनुरोध पर input tokens है।
• जब आप टास्क बदलते हैं तो एक नई चैट शुरू करें, ताकि पुरानी हिस्ट्री फिर से न भेजी जाए।
• Continue उत्तर स्ट्रीम करता है; API अंत में टोकन उपयोग के साथ स्ट्रीमिंग का समर्थन करता है।

लागत

8,000 टोकन के कोड और प्रश्न और 1,000 टोकन के उत्तर वाले एक सामान्य अनुरोध की लागत 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017 होती है। ऐसे 100 अनुरोधों वाला एक दिन $0.17 का होता है, जो कि महीने में लगभग $5 है। ट्रायल उनमें से लगभग 290 कवर करता है। देखें मूल्य निर्धारण पृष्ठ.

समस्या निवारण

• 404 not_found। apiBase के साथ समाप्त होना चाहिए /v1; Continue जोड़ता है /chat/completions itself.
• 401 invalid_key। की या सीक्रेट नाम की जांच करें; बदलाव के बाद एडिटर को रीस्टार्ट करें .env.
• 429 trial key पर concurrency। ट्रायल 2 समानांतर अनुरोधों की अनुमति देता है। उसी मॉडल को कॉल करने वाले अन्य Continue फीचर्स को बंद करें, या 8 समानांतर अनुरोधों के लिए टॉप अप करें।