Aggiungi Dolphin LLM a LibreChat come endpoint personalizzato

Il blocco endpoint

Apri librechat.yaml nella cartella LibreChat (copia librechat.example.yaml se non ne hai ancora uno) e aggiungi questo sotto endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Usa il version valore che la tua versione di LibreChat si aspetta (si trova in cima a librechat.example.yaml). fetch: false mantiene l'elenco limitato a un solo modello; con fetch: true LibreChat chiede GET /v1/models, che restituisce lo stesso modello singolo.

Inserisci la chiave in .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Crea la chiave nel tuo account (registrati prima se non ne hai; $0.50 di credito di prova vengono aggiunti quando apri l'account per la prima volta). Non commettere .env per git.

Se ogni utente del tuo install deve pagare dal proprio saldo, imposta apiKey: "user_provided" in alternativa. LibreChat chiede quindi a ciascun utente una chiave la prima volta che seleziona Dolphin LLM e la memorizza per loro.

Docker: monta il file e riavvia

Con la configurazione Docker standard, LibreChat legge librechat.yaml solo se è montato nel container API. Aggiungi un file di override accanto a docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Apri LibreChat, scegli Dolphin LLM nel menu dell'endpoint e avvia una chat. Se l'endpoint non appare, i log del contenitore API indicano il motivo, solitamente un errore di indentazione YAML.

Opzioni utili da conoscere

• titleConvo effettua una breve richiesta aggiuntiva per ogni nuova conversazione per assegnarle un nome. Su una chiave di prova (2 richieste parallele, 60 al minuto) impostalo su false se vedi ritardi.
• Contesto: il modello accetta fino a 262,144 token, prompt più risposta. LibreChat invia la cronologia della conversazione con ogni messaggio, quindi le thread lunghe costano di più per turno; un turno che riempie la finestra costa circa $0.0393 come input.
• Parametri: temperature, top_p, max tokens, stop e le penalità dal pannello dei parametri di LibreChat vengono passati. L'API è solo testo, quindi i caricamenti di file che richiedono visione o embedding non funzioneranno con questo endpoint.
• Preset e agenti: puoi salvare un prompt di sistema come preset. Il tool calling è supportato dall'API (tools, tool_choice) , quindi gli agenti di LibreChat possono utilizzarlo; testa uno strumento prima di affidarti ad esso.

Installazione condivisa, un unico saldo

Con una sola chiave .env, ogni utente di LibreChat spende dallo stesso saldo. Disattiva la registrazione aperta se l'installazione è pubblica e controlla il saldo nel tuo account o nel X-Balance-USD header della risposta. I limiti si applicano per chiave: dopo il primo ricaricamento, 8 richieste parallele e 300 al minuto condivise da tutti gli utenti.

Il modello è ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale, quindi le regole della casa sono tue da impostare, ad esempio in un prompt di sistema preimpostato. I contenuti sessuali che coinvolgono minori non sono mai consentiti nell'API.

Costo

A $0.15 per 1M token di input e $0.50 per 1M token di output, un turno con 3,000 token di cronologia e una risposta di 600 token costa $0.00075. Un piccolo team che invia 500 di questi messaggi al giorno spende circa $11 al mese. Vedi il pagina dei prezzi per pacchetti e bonus.