Voeg Dolphin LLM toe aan LibreChat als een aangepast eindpunt

Het eindpuntblok

Open librechat.yaml in de LibreChat-map (kopieer librechat.example.yaml als je er nog geen hebt) en voeg dit toe onder endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Gebruik de version waarde die je LibreChat-release verwacht (dit staat bovenaan librechat.example.yaml). fetch: false houdt de lijst beperkt tot één model; met fetch: true LibreChat vraagt GET /v1/models, welke hetzelfde enkele model retourneert.

Zet de sleutel in .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Maak de sleutel aan in je account (aanmelden eerst als u er geen heeft; $0.50 aan proefkrediet wordt toegevoegd wanneer u het account voor het eerst opent). Nooit vastleggen .env naar git.

Als elke gebruiker van je installatie van zijn eigen saldo moet betalen, stel dan apiKey: "user_provided" in plaats daarvan. LibreChat vraagt elke gebruiker om een key de eerste keer dat ze Dolphin LLM kiezen, en slaat deze voor ze op.

Docker: koppel het bestand en start opnieuw

Met de standaard Docker-setup leest LibreChat librechat.yaml alleen als het in de API-container is gemount. Voeg een override-bestand toe naast docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Open LibreChat, kies Dolphin LLM in het endpoint-menu en start een chat. Als het endpoint niet verschijnt, staat de API-containerlog waarom, meestal een YAML-indentatiefout.

Opties die het weten waard zijn

• titleConvo maakt één kort extra verzoek per nieuw gesprek om het een naam te geven. Stel dit in op een trial key (2 gelijktijdige verzoeken, 60 per minuut) op false als je vertragingen ziet.
• Context: het model accepteert tot 262.144 tokens, prompt plus antwoord. LibreChat verzendt de gespreksgeschiedenis bij elk bericht, dus lange threads kosten meer per beurt; een beurt die het venster vult, kost ongeveer $0.0393 aan input.
• Parameters: temperatuur, top_p, max tokens, stop en de straffen uit het parameterpaneel van LibreChat worden doorgegeven. De API is alleen tekst, dus bestandsuploads die visie of embeddings vereisen, werken niet met dit eindpunt.
• Presets en agents: je kunt een systeemprompt opslaan als een voorinstelling. Tool calling wordt ondersteund door de API (tools, tool_choice), dus LibreChat-agents kunnen het gebruiken; test één tool voordat je erop vertrouwt.

Gedeelde installatie, één saldo

Met één sleutel binnen .env, elke LibreChat-gebruiker besteedt van hetzelfde saldo. Schakel open registratie uit als de installatie publiek is, en controleer het saldo in je account of de X-Balance-USD response header. Limieten gelden per sleutel: na de eerste top-up, 8 parallelle verzoeken en 300 per minuut gedeeld door alle gebruikers.

Het model is afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik, dus de huisregels zijn aan jou, bijvoorbeeld in een systeemvoorinstelling. Seksuele inhoud met minderjarigen is op de API altijd verboden.

Kosten

Bij $0,15 per 1M invoertokens en $0,50 per 1M uitvoertokens kost een beurt met 3.000 tokens aan geschiedenis en een antwoord van 600 tokens $0,00075. Een klein team dat 500 dergelijke berichten per dag verstuurt, geeft ongeveer $11 per maand uit. Zie de prijzenpagina voor pakketten en bonussen.