Ajouter Dolphin LLM à LibreChat comme point de terminaison personnalisé

Le bloc de point de terminaison

Ouvrir librechat.yaml dans le dossier LibreChat (copiez librechat.example.yaml si vous n'en avez pas encore) et ajoutez ceci sous endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Utilisez le version valeur que votre version LibreChat attend (elle se trouve en haut de librechat.example.yaml). fetch: false garde la liste réduite à un seul modèle ; avec fetch: true LibreChat demande GET /v1/models, qui renvoie le même modèle unique.

Ajoutez la clé dans .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Créez la clé dans votre compte (s'inscrire d'abord si vous n'en avez aucun ; 0,50 $ de crédit d'essai sont ajoutés lorsque vous ouvrez le compte pour la première fois). Ne jamais commettre .env pour git.

Si chaque utilisateur de votre installation doit payer depuis son propre solde, définissez apiKey: "user_provided" à la place. LibreChat demande ensuite à chaque utilisateur une clé la première fois qu'il sélectionne Dolphin LLM, et la conserve pour lui.

Docker : monter le fichier et redémarrer

Avec la configuration Docker standard, LibreChat lit librechat.yaml uniquement s'il est monté dans le conteneur API. Ajoutez un fichier de substitution à côté de docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Ouvrez LibreChat, choisissez Dolphin LLM dans le menu du point de terminaison et lancez une conversation. Si le point de terminaison n'apparaît pas, les logs du conteneur API indiquent la raison, généralement une erreur d'indentation YAML.

Options à connaître

• titleConvo effectue une courte requête supplémentaire par nouvelle conversation pour lui donner un nom. Sur une clé d'essai (2 requêtes parallèles, 60 par minute), définissez-le sur false si vous constatez des délais.
• Contexte : le modèle accepte jusqu'à 262 144 tokens, prompt plus réponse. LibreChat envoie l'historique de la conversation avec chaque message, donc les longues conversations coûtent plus cher par tour ; un tour qui remplit la fenêtre coûte environ 0,0393 $ en entrée.
• Paramètres : La température, le top_p, le nombre maximum de tokens, les mots d'arrêt et les pénalités du panneau de paramètres de LibreChat sont transmis. L'API est uniquement textuelle, donc les téléchargements de fichiers nécessitant la vision ou les embeddings ne fonctionneront pas avec ce point de terminaison.
• Préréglages et agents : vous pouvez enregistrer une invite système comme préréglage. L'appel d'outils est pris en charge par l'API (tools, tool_choice), donc les agents LibreChat peuvent l'utiliser ; testez un outil avant de vous y fier.

Installation partagée, un seul solde

Avec une seule clé .env, chaque utilisateur LibreChat dépense du même solde. Désactivez l'inscription ouverte si l'installation est publique, et vérifiez le solde dans votre compte ou le X-Balance-USD en-tête de réponse. Des limites s'appliquent par clé : après le premier rechargement, 8 requêtes parallèles et 300 par minute partagées par tous les utilisateurs.

Le modèle est ajusté pour répondre sans refus de contenu pour un usage adulte légal, donc les règles de la maison sont à vous de définir, par exemple dans une invite système prédéfinie. Le contenu sexuel impliquant des mineurs n'est jamais autorisé sur l'API.

Coût

À $0.15 par 1M de tokens d'entrée et $0.50 par 1M de tokens de sortie, un tour avec 3 000 tokens d'historique et une réponse de 600 tokens coûte $0.00075. Une petite équipe envoyant 500 de ces messages par jour dépense environ $11 par mois. Voir le page des tarifs pour les packs et les bonus.