Adicione o Dolphin LLM ao LibreChat como um endpoint personalizado

O bloco do endpoint

Abrir librechat.yaml na pasta LibreChat (copie librechat.example.yaml se você ainda não tem uma) e adicione isso sob endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Use o version valor que sua versão do LibreChat espera (está no topo de librechat.example.yaml). fetch: false mantém a lista restrita a um único modelo; com fetch: true LibreChat pergunta GET /v1/models, que retorna o mesmo modelo único.

Coloque a chave no .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Crie a chave na sua conta (inscrever-se primeiro se você não tiver nenhuma; $0.50 de crédito de teste são adicionados quando você abre a conta pela primeira vez). Nunca comprometa .env para o git.

Se todos os usuários da sua instalação devem pagar a partir de seu próprio saldo, defina apiKey: "user_provided" em vez disso. O LibreChat então solicita a cada usuário uma chave na primeira vez que ele escolhe o Dolphin LLM e a armazena para ele.

Docker: monte o arquivo e reinicie

Com a configuração padrão do Docker, o LibreChat lê librechat.yaml somente se estiver montado no contêiner da API. Adicione um arquivo de override ao lado de docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Abra o LibreChat, escolha Dolphin LLM no menu do endpoint e inicie um chat. Se o endpoint não aparecer, o log do contêiner da API indica o motivo, geralmente um erro de indentação YAML.

Opções importantes para saber

• titleConvo faz uma solicitação extra curta por nova conversa para nomeá-la. Com uma chave de teste (2 solicitações paralelas, 60 por minuto), defina para false se você notar atrasos.
• Contexto: o modelo aceita até 262.144 tokens, prompt mais resposta. O LibreChat envia o histórico da conversa com cada mensagem, então threads longas custam mais por turno; um turno que preenche a janela custa cerca de $0,0393 em entrada.
• Parâmetros: temperatura, top_p, máximo de tokens, stop e as penalidades do painel de parâmetros do LibreChat são passadas. A API é apenas de texto, então uploads de arquivos que exigem visão ou embeddings não funcionarão com este endpoint.
• Predefinições e agentes: você pode salvar um prompt de sistema como um predefinido. A chamada de ferramentas é suportada pela API (tools, tool_choice), então os agentes do LibreChat podem usá-lo; teste uma ferramenta antes de confiar nela.

Instalação compartilhada, um único saldo

Com uma chave inserida .env, cada usuário do LibreChat gasta do mesmo saldo. Desative o registro aberto se a instalação for pública e verifique o saldo na sua conta ou no X-Balance-USD cabeçalho de resposta. Os limites aplicam-se por chave: após o primeiro recarga, 8 solicitações paralelas e 300 por minuto compartilhadas por todos os usuários.

O modelo é ajustado para responder sem recusas de conteúdo para uso adulto lícito, então as regras da casa são suas para definir, por exemplo, em um prompt de sistema predefinido. Conteúdo sexual envolvendo menores nunca é permitido na API.

Custo

A $0.15 por 1M de tokens de entrada e $0.50 por 1M de tokens de saída, uma rodada com 3.000 tokens de histórico e uma resposta de 600 tokens custa $0.00075. Uma pequena equipe enviando 500 dessas mensagens por dia gasta cerca de $11 por mês. Consulte o página de preços para pacotes e bônus.