Dolphin LLM'yi LibreChat'a özel uç nokta olarak ekleyin

Uç nokta bloğu

Aç librechat.yaml LibreChat klasöründe (kopyala librechat.example.yaml henüz yoksa) ve bunu endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Kullan version LibreChat sürümünüzün beklediği değer (bu librechat.example.yaml). fetch: false listeyi tek modele indirger; fetch: true LibreChat soruyor GET /v1/models, aynı tek modeli döndürür.

Anahtarı .env içine yerleştirin

# .env
DOLPHIN_API_KEY=YOUR_KEY

Hesabınızda anahtarı oluşturun (kayıt ol ilk önce hiçbiri yoksa; hesabı ilk açtığınızda 0,50 $ deneme kredisi eklenir). Asla .env git'e.

Kurulumunuzdaki her kullanıcının kendi bakiyesinden ödeme yapmasını istiyorsanız, şunu ayarlayın apiKey: "user_provided" kullanın. LibreChat daha sonra her kullanıcıdan Dolphin LLM'yi seçtiklerinde ilk kez bir anahtar ister ve onlar için saklar.

Docker: dosyayı bağlayın ve yeniden başlatın

Standart Docker kurulumuyla LibreChat şunu okur librechat.yaml yalnızca API konteynerine bağlanmışsa. docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

LibreChat'i açın, seçin Dolphin LLM endpoint menüsünde ve bir sohbet başlatın. Endpoint görünmüyorsa, API konteyneri günlüğü nedenini gösterir; genellikle bir YAML girintileme hatasıdır.

Bilmeniz gereken değerli seçenekler

• titleConvo her yeni konuşma için adlandırmak üzere kısa bir ek istek yapar. Deneme anahtarında (2 paralel istek, dakikada 60) bunu false gecikmeler görürseniz.
• Bağlam: model istem ve yanıt birlikte 262,144 token'a kadar kabul eder. LibreChat her mesajla birlikte konuşma geçmişini gönderir, bu yüzden uzun diziler adım başına daha pahalıya mal olur; pencerenin tamamını dolduran bir adımın girdi maliyeti yaklaşık $0.0393'tür.
• Parametreler: temperature, top_p, max tokens, stop ve cezalardan LibreChat'in parametre paneli aracılığıyla geçilir. API yalnızca metin içerebilir, bu nedenle vizyon veya gömme gerektiren dosya yüklemeleri bu uç nokta ile çalışmaz.
• Hazır ayarlar ve ajanlar: bir sistem promptunu bir ön ayar olarak kaydedebilirsiniz. Araç çağırma API tarafından desteklenir (tools, tool_choice) öyleyse LibreChat ajanları bunu kullanabilir; güvenmeden önce bir aracıyı test edin.

Paylaşıldı kurulum, bir bakiye

Tek anahtarla giriş .env, her LibreChat kullanıcısı aynı bakiyeden harcar. Kurulum herkese açık ise açık kaydı kapatın ve hesabınızda veya X-Balance-USD yanıt başlığı. Sınırlar anahtar başına geçerlidir: ilk yüklemenin ardından, tüm kullanıcılar tarafından paylaşılan 8 eşzamanlı istek ve dakikada 300 istek.

Model, yasal yetişkin kullanımı için içerik reddi olmadan cevap verecek şekilde ayarlanmıştır; bu nedenle ev kuralları, örneğin bir ön ayar sistem isteminde belirtildiği üzere size aittir. API'de her durumda reşit olmayanlarla ilgili cinsel içerik asla kabul edilmez.

Maliyet

1M giriş tokenı başına $0.15 ve 1M çıktı tokenı başına $0.50 oranında, 3.000 tokenlık geçmiş ve 600 tokenlık bir yanıt içeren bir tur $0.00075 tutarındadır. Günde 500 böyle mesaj gönderen küçük bir ekip ayda yaklaşık $11 harcar. Bakınız fiyatlandırma sayfası paketler ve bonuslar için.