Añade Dolphin LLM a LibreChat como un punto de conexión personalizado

El bloque del endpoint

Abrir librechat.yaml en la carpeta LibreChat (copia librechat.example.yaml si aún no tienes una) y añade esto debajo de endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Usa el version valor que espera tu versión de LibreChat (está en la parte superior de librechat.example.yaml). fetch: false mantiene la lista en un solo modelo; con fetch: true LibreChat pregunta GET /v1/models, que devuelve el mismo modelo único.

Pon la clave en .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Crea la clave en tu cuenta (registrarse primero si no tienes ninguno; se añaden $0.50 de crédito de prueba cuando abres la cuenta por primera vez). Nunca comprometas .env para git.

Si todos los usuarios de tu instalación deben pagar desde su propio saldo, configura apiKey: "user_provided" en su lugar. LibreChat luego pide a cada usuario una clave la primera vez que seleccionan Dolphin LLM, y la almacena para ellos.

Docker: monta el archivo y reinicia

Con la configuración estándar de Docker, LibreChat lee librechat.yaml solo si está montado en el contenedor de la API. Añade un archivo de anulación junto a docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Abre LibreChat, elige Dolphin LLM en el menú del endpoint e inicia un chat. Si el endpoint no aparece, el registro del contenedor de la API indica por qué, generalmente un error de indentación YAML.

Opciones que vale la pena conocer

• titleConvo hace una solicitud extra corta por nueva conversación para nombrarla. Con una clave de prueba (2 solicitudes paralelas, 60 por minuto) configúralo en false si ves retrasos.
• Contexto: el modelo acepta hasta 262,144 tokens, prompt más respuesta. LibreChat envía el historial de la conversación con cada mensaje, por lo que los hilos largos cuestan más por turno; un turno que llena la ventana cuesta aproximadamente $0.0393 en entrada.
• Parámetros: temperature, top_p, max tokens, stop y las penalizaciones del panel de parámetros de LibreChat se pasan directamente. La API es solo de texto, por lo que las cargas de archivos que requieren visión o embeddings no funcionarán con este endpoint.
• Preajustes y agentes: puedes guardar un prompt de sistema como un preset. La llamada a herramientas es compatible con la API (tools, tool_choice), por lo que los agentes de LibreChat pueden usarlo; prueba una herramienta antes de confiar en ella.

Instalación compartida, un solo saldo

Con una clave de acceso .env, cada usuario de LibreChat gasta del mismo saldo. Desactiva el registro abierto si la instalación es pública, y revisa el saldo en tu cuenta o en el X-Balance-USD encabezado de respuesta. Los límites se aplican por clave: después del primer recargo, 8 solicitudes paralelas y 300 por minuto compartidas por todos los usuarios.

El modelo está ajustado para responder sin rechazos de contenido para uso adulto lícito, por lo que las reglas de la casa son tuyas para establecerlas, por ejemplo, en un prompt de sistema preestablecido. El contenido sexual que involucre a menores nunca está permitido en la API.

Costo

A $0.15 por 1M de tokens de entrada y $0.50 por 1M de tokens de salida, un turno con 3,000 tokens de historial y una respuesta de 600 tokens cuesta $0.00075. Un pequeño equipo que envía 500 de estos mensajes al día gasta aproximadamente $11 al mes. Consulta el página de precios para paquetes y bonificaciones.