Tambahkan Dolphin LLM ke LibreChat sebagai titik akhir kustom

Blok endpoint

Buka librechat.yaml di folder LibreChat (salin librechat.example.yaml jika Anda belum memilikinya) dan tambahkan ini di bawah endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Gunakan version nilai yang diharapkan oleh rilis LibreChat Anda (terletak di bagian atas librechat.example.yaml). fetch: false mempertahankan daftar hanya pada satu model; dengan fetch: true LibreChat bertanya GET /v1/models, yang mengembalikan model tunggal yang sama.

Masukkan kunci ke .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Buat kunci di akun Anda (daftar pertama jika Anda tidak memilikinya; $0.50 kredit percobaan ditambahkan saat Anda pertama kali membuka akun). Jangan pernah mengompromikan .env untuk git.

Jika setiap pengguna instalasi Anda harus membayar dari saldo mereka sendiri, atur apiKey: "user_provided" sebagai gantinya. LibreChat kemudian meminta setiap pengguna untuk memasukkan kunci saat pertama kali mereka memilih Dolphin LLM, dan menyimpannya untuk mereka.

Docker: pasang file dan mulai ulang

Dengan pengaturan Docker standar, LibreChat membaca librechat.yaml hanya jika dimuat ke dalam kontainer API. Tambahkan file override di samping docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Buka LibreChat, pilih Dolphin LLM di menu endpoint dan mulai obrolan. Jika endpoint tidak muncul, log kontainer API menjelaskan alasannya, biasanya kesalahan indentasi YAML.

Opsi yang perlu diketahui

• titleConvo membuat satu permintaan tambahan singkat untuk setiap percakapan baru agar diberi nama. Pada kunci uji (2 permintaan paralel, 60 per menit) atur menjadi false jika Anda melihat penundaan.
• Konteks: model menerima hingga 262,144 token, prompt ditambah balasan. LibreChat mengirim riwayat percakapan dengan setiap pesan, sehingga thread panjang lebih mahal per giliran; giliran yang mengisi jendela berharga sekitar $0.0393 untuk input.
• Parameter: suhu, top_p, token maksimum, henti, dan penalti dari panel parameter LibreChat diteruskan. API hanya teks, jadi unggahan file yang memerlukan visi atau embedding tidak akan berfungsi dengan endpoint ini.
• Preset dan agen: Anda dapat menyimpan prompt sistem sebagai preset. Pemanggilan alat didukung oleh API (tools, tool_choice), sehingga agen LibreChat dapat menggunakannya; uji satu alat sebelum Anda bergantung padanya.

Instalasi bersama, satu saldo

Dengan satu kunci masuk .env, setiap pengguna LibreChat menggunakan saldo yang sama. Matikan pendaftaran terbuka jika instalasi bersifat publik, dan periksa saldo di akun Anda atau di X-Balance-USD header respons. Batas berlaku per kunci: setelah pengisian ulang pertama, 8 permintaan paralel dan 300 per menit dibagi oleh semua pengguna.

Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, sehingga aturan rumah menjadi milik Anda untuk ditetapkan, misalnya dalam prompt sistem preset. Konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan di API.

Biaya

Pada tarif $0.15 per 1M token input dan $0.50 per 1M token output, satu giliran dengan 3,000 token riwayat dan jawaban 600 token berharga $0.00075. Tim kecil yang mengirim 500 pesan seperti itu sehari menghabiskan sekitar $11 per bulan. Lihat halaman harga untuk paket dan bonus.