Use Dolphin LLM no Continue para VS Code e JetBrains

Atualizado

O Continue é um assistente de código de código aberto para VS Code e JetBrains. Ele aceita qualquer modelo compatível com OpenAI, permitindo usar o Dolphin LLM para conversas, edições e explicações no seu editor.

Pontos-chave

  • Adicione um modelo com o provedor openai, modelo uncensored and apiBase definido para a URL base abaixo.
  • Atribua a ele os papéis de chat, edição e aplicação; mantenha o autocomplete em um modelo local pequeno.
  • Definir contextLength até 262144 para que o Continue corte prompts longos corretamente.
  • Não há endpoint de embeddings, então use outro provedor para indexação de código.

Adicione o modelo ao config.yaml

Abra as configurações do Continue (a engrenagem no painel Continue) e escolha abrir o arquivo de configuração, ou edite ~/.continue/config.yaml diretamente. Adicionar um modelo:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Salve o arquivo. Continue recarrega automaticamente, e Dolphin LLM aparece no menu do modelo do painel de chat. Crie sua chave na sua conta; se você ainda não tem uma, inscrever-se e $0.50 de crédito de teste são adicionados ao abrir a conta pela primeira vez.

Página da conta com o prefixo da chave API ativa, a URL base compatível com OpenAI e um comando curl pronto
Conta → API e saldo: sua chave e a URL base, com um exemplo de curl para copiar.

Mantenha a chave fora do arquivo

Se você compartilhar ou sincronizar sua configuração, não cole a chave nela. Versões recentes do Continue leem segredos de ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

e o bloco do modelo então usa apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Se a sua versão não o resolver, ela relatará uma chave ausente; cole a chave diretamente e mantenha o arquivo privado.

Quais funções atribuir a ele

  • chat: perguntas sobre código, explicações, planos de refatoração. A janela de 262.144 tokens contém cerca de 490 páginas de código e texto, então vários arquivos cabem em uma única pergunta.
  • edit and apply: reescrevendo uma seleção ou aplicando uma alteração sugerida ao arquivo.
  • autocomplete: não recomendado. A conclusão por guia dispara uma solicitação na quase todas as pausas durante a digitação, o que aumenta o custo e depende da latência da rede. Um modelo local menor é melhor para isso.
  • embed: não disponível. Esta API não possui endpoint de embeddings, portanto, a indexação de código-fonte precisa de um provedor de embeddings separado ou local.

Dicas para trabalho de codificação

  • Use uma temperatura baixa (0,2 a 0,4) para código; use valores mais altos apenas para brainstorming.
  • Anexe apenas os arquivos que você precisa. Cada linha anexada são tokens de entrada em cada solicitação nesse chat.
  • Inicie um novo chat ao alternar tarefas, para que o histórico antigo não seja enviado novamente.
  • O Continue transmite respostas; a API suporta streaming com uso de tokens no final.

Custo

Uma solicitação típica com 8.000 tokens de código e pergunta e uma resposta de 1.000 tokens custa 8.000 × $0,15 / 1.000.000 + 1.000 × $0,50 / 1.000.000 = $0,0017. Um dia com 100 dessas solicitações custa $0,17, cerca de $5 por mês. O teste cobre cerca de 290 delas. Consulte o página de preços.

Solução de problemas

  • 404 não_encontrado. apiBase deve terminar com /v1; Continue adiciona /chat/completions itself.
  • 401 chave_inválida. Verifique a chave ou o nome do segredo; reinicie o editor após a alteração .env.
  • 429 concorrência em uma chave de teste. A trial permite 2 solicitações paralelas. Desative outros recursos do Continue que chamem o mesmo modelo, ou faça um recarga para 8 solicitações paralelas.

Perguntas e respostas

Qual provedor eu escolho no Continue?

provider: openai with apiBase definido para https://dolphinllm.com/v1 e o modelo uncensored.

Posso usá-lo para autocompletar abas?

Funciona, mas não é uma boa opção: o autocomplete envia muitas solicitações pequenas. Use um modelo local pequeno para autocomplete e o Dolphin LLM para chat e edições.

Suporta indexação de repositório de código?

Não por conta própria. A API não possui um endpoint de embeddings, então configure um modelo de embeddings separado.

Mais guias

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.