Fügen Sie Dolphin LLM in LibreChat als benutzerdefinierten Endpunkt hinzu

Der Endpunkt-Block

Offen librechat.yaml im LibreChat-Ordner (kopieren librechat.example.yaml falls Sie noch keinen haben) und fügen Sie dies unter endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Verwende den version Wert, den Ihre LibreChat-Release erwartet (er befindet sich oben in librechat.example.yaml). fetch: false hält die Liste auf das eine Modell beschränkt; mit fetch: true LibreChat fragt GET /v1/models, das dasselbe einzelne Modell zurückgibt.

Den Schlüssel in .env einfügen

# .env
DOLPHIN_API_KEY=YOUR_KEY

Erstellen Sie den Schlüssel in Ihrem Konto (Registrieren zuerst, wenn Sie keine haben; $0.50 Testguthaben werden hinzugefügt, wenn Sie das Konto zum ersten Mal öffnen). Nie committen .env an git.

Wenn jeder Benutzer Ihrer Installation von seinem eigenen Guthaben zahlen soll, setzen Sie apiKey: "user_provided" stattdessen. LibreChat fragt dann jeden Benutzer beim ersten Mal, wenn er Dolphin LLM auswählt, nach einem Schlüssel und speichert ihn für ihn.

Docker: Datei einbinden und neu starten

Mit dem Standard-Docker-Setup liest LibreChat librechat.yaml nur wenn es in den API-Container eingebunden ist. Fügen Sie eine Override-Datei neben docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Öffne LibreChat, wähle Dolphin LLM im Endpunkt-Menü und starten Sie einen Chat. Wenn der Endpunkt nicht angezeigt wird, sagt das API-Container-Log, warum, meist ein YAML-Einrückungsfehler.

Wissenswerte Optionen

• titleConvo macht eine kurze zusätzliche Anfrage pro neuer Konversation, um sie zu benennen. Setzen Sie es bei einem Test-Schlüssel (2 parallele Anfragen, 60 pro Minute) auf false ein, wenn Sie Verzögerungen sehen.
• Kontext: Das Modell akzeptiert bis zu 262.144 Token, Eingabe plus Antwort. LibreChat sendet den Gesprächsverlauf mit jeder Nachricht, daher kosten lange Threads pro Schritt mehr; ein Schritt, der das Fenster füllt, kostet etwa 0,0393 $ in der Eingabe.
• Parameter: Die Parameter Temperatur, Top-p, Max-Tokens, Stop und die Strafen aus dem Parameter-Panel von LibreChat werden durchgereicht. Die API ist nur Text, daher funktionieren Datei-Uploads, die Vision oder Embeddings benötigen, mit diesem Endpunkt nicht.
• Voreinstellungen und Agenten: ein System-Prompt können Sie als Voreinstellung speichern. Tool-Calling wird von der API unterstützt (tools, tool_choice, sodass LibreChat-Agenten ihn nutzen können; testen Sie ein Tool, bevor Sie sich darauf verlassen.

Gemeinsame Installation, ein Kontostand

Mit einem Key im .env, jeder LibreChat-Nutzer gibt vom selben Guthaben aus. Schalten Sie die offene Registrierung aus, wenn die Installation öffentlich ist, und prüfen Sie das Guthaben in Ihrem Konto oder im X-Balance-USD Antwort-Header. Limits gelten pro Schlüssel: nach der ersten Aufladung 8 parallele Anfragen und 300 pro Minute, geteilt von allen Nutzern.

Das Modell ist darauf abgestimmt, ohne Inhaltsablehnungen für legale Erwachsenennutzung zu antworten, sodass die Hausregeln von Ihnen festgelegt werden können, z. B. in einem voreingestellten System-Prompt. Sexuelle Inhalte, die Minderjährige betreffen, sind auf der API immer verboten.

Kosten

Bei $0,15 pro 1M Eingabe- und $0,50 pro 1M Ausgabetokens kostet eine Runde mit 3.000 Tokens Verlauf und einer 600-Token-Antwort $0,00075. Ein kleines Team, das täglich 500 solcher Nachrichten sendet, gibt etwa $11 im Monat aus. Siehe die Preisseite für Pakete und Boni.