Dolphin LLM'yi VS Code ve JetBrains'te Continue'da kullanın

Güncellendi

Continue, VS Code ve JetBrains için açık kaynaklı bir kod asistanıdır. Herhangi bir OpenAI uyumlu modeli kabul eder, böylece editörünüzde sohbet, düzenleme ve açıklamalar için Dolphin LLM kullanabilirsiniz.

Önemli noktalar

  • Sağlayıcı ile bir model ekleyin openai, model uncensored and apiBase aşağıdaki temel URL'ye ayarlayın.
  • Ona sohbet, düzenle ve uygula rollerini verin; otomatik tamamlamayı küçük bir yerel modelde tutun.
  • Ayarla contextLength 262144'e kadar, böylece Continue uzun istemleri doğru şekilde kısaltır.
  • Embeddings uç noktası (endpoint) olmadığı için kod tabanı indeksleme için başka bir sağlayıcı kullanın.

Modeli config.yaml dosyasına ekleyin

Devam'ın ayarlarını açın (Devam panelindeki dişli) ve yapılandırma dosyasını açmayı seçin veya düzenleyin ~/.continue/config.yaml doğrudan. Bir model ekleyin:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Dosyayı kaydedin. Devam etme yeniden yükler ve Dolphin LLM sohbet panelinin model menüsünde görünür. Hesabınızda anahtarınızı oluşturun; henüz bir hesabınız yoksa, kayıt ol ve hesabı ilk açtığınızda $0.50 deneme kredisi eklenir.

Aktif API anahtarı ön eki, OpenAI uyumlu temel URL ve hazır bir cURL komutu içeren hesap sayfası
Hesap → API ve bakiye: anahtarınız ve temel URL, kopyalanabilir bir cURL örneği.

Anahtarı dosyadan uzak tutun

Yapılandırmanızı paylaşırsanız veya senkronize ederseniz, anahtarı içine yapıştırmayın. Continue'un güncel sürümleri gizli bilgileri ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

ve model bloğu ardından kullanır apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Sürümünüz bunu çözmezse, eksik bir anahtar bildirir; anahtarı doğrudan yapıştırın ve dosyayı gizli tutun.

Hangi rolleri atamalıyım

  • chat: kodla ilgili sorular, açıklamalar, yeniden düzenleme planları. 262,144 token'lık pencere yaklaşık 490 sayfa kod ve metin tutar, bu yüzden birden fazla dosya tek bir soruya sığar.
  • edit and apply: bir seçimi yeniden yazma veya dosyaya önerilen değişikliği uygulama.
  • autocomplete: önerilmez. Sekme tamamlama, neredeyse her tuş duraklatmasında bir istek gönderir; bu da maliyeti artırır ve ağ gecikmesine neden olur. Bunun için küçük bir yerel model daha iyidir.
  • embed: kullanılamıyor. Bu API'nin embedding uç noktası yoktur, bu nedenle kod tabanı dizinleme için ayrı bir embedding sağlayıcısı veya yerel bir çözüm gerekir.

Kodlama işleri için ipuçları

  • Kod için düşük bir sıcaklık (0.2 ila 0.4) kullanın, beyin fırtınası için yalnızca daha yüksek.
  • Sadece ihtiyacınız olan dosyaları ekleyin. Eklenen her satır, o sohbetteki her istekte giriş tokenı olarak sayılır.
  • Görevler arasında geçiş yaptığınızda yeni bir sohbet başlatın, böylece eski geçmiş tekrar gönderilmez.
  • Continue yanıtları akış olarak gönderir; API, token kullanımının sonunda akış desteği sağlar.

Maliyet

8.000 token kod ve soru ile 1.000 token yanıt içeren tipik bir istek 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017 tutarındadır. Günde 100 böyle istek $0.17 eder, bu da aylık yaklaşık $5 yapar. Deneme süresi yaklaşık 290 isteği karşılar. Bakınız fiyatlandırma sayfası.

Sorun Giderme

  • 404 bulunamadı. apiBase şeklinde bitmelidir /v1; Devam et, ekler /chat/completions itself.
  • 401 geçersiz anahtar. Anahtarı veya gizli adını kontrol edin; değişiklikten sonra editörü yeniden başlatın .env.
  • Deneme anahtarında 429 concurrency. Deneme sürümü 2 paralel isteğe izin verir. Aynı modeli çağıran diğer Continue özelliklerini kapatın veya 8 paralel istek için bakiye yükleyin.

Sorular ve yanıtlar

Continue'da hangi sağlayıcıyı seçmeliyim?

provider: openai with apiBase şeklinde ayarlanmalıdır https://dolphinllm.com/v1 ve model uncensored.

Tab otomatik tamamlama için kullanabilir miyim?

Çalışır, ancak iyi bir uyum sağlamaz: otomatik tamamlama çok sayıda küçük istek gönderir. Otomatik tamamlama için küçük bir yerel model ve sohbet ve düzenlemeler için Dolphin LLM kullanın.

Kod tabanı indekslemeyi destekliyor mu?

Tek başına değil. API'nin embedding uç noktası yoktur, bu nedenle ayrı bir embedding modeli yapılandırın.

Daha fazla kılavuz

Anahtarınız bir form ile bir adım uzaktadır

Bir hesap oluşturun, anahtarı kopyalayın, base URL'i değiştirin. Kurulum bu kadar basit.