Usa Dolphin LLM in Continue per VS Code e JetBrains

Aggiornato

Continue è un assistente di codifica open-source per VS Code e JetBrains. Accetta qualsiasi modello compatibile con OpenAI, quindi puoi utilizzare Dolphin LLM per chattare, modificare ed eseguire spiegazioni nel tuo editor.

Punti chiave

  • Aggiungi un modello con provider openai, modello uncensored and apiBase impostare all'URL di base riportato di seguito.
  • Assegna i ruoli di chat, modifica e applicazione; mantieni l'autocompletamento su un piccolo modello locale.
  • Imposta contextLength a 262144 così Continue tronca correttamente i prompt lunghi.
  • Non c'è un endpoint per gli embeddings, quindi usa un altro provider per l'indicizzazione del codice.

Aggiungi il modello a config.yaml

Apri le impostazioni di Continue (l'ingranaggio nel pannello Continue) e scegli di aprire il file di configurazione, oppure modifica ~/.continue/config.yaml direttamente. Aggiungi un modello:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Salva il file. Continue lo ricarica e Dolphin LLM appare nel menu del modello del pannello chat. Crea la tua chiave nel tuo account; se non ne hai ancora uno, registrati e vengono aggiunti $0.50 di credito di prova quando apri l'account per la prima volta.

Pagina account con il prefisso della chiave API attiva, l'URL base compatibile con OpenAI e un comando curl pronto all'uso
Account → API e saldo: la tua chiave e l'URL base, con un esempio curl da copiare.

Mantieni la chiave fuori dal file

Se condividi o sincronizzi la tua configurazione, non incollare la chiave al suo interno. Le versioni recenti di Continue leggono i segreti da ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

e il blocco del modello poi utilizza apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Se la tua versione non lo risolve, segnala una chiave mancante; incolla la chiave direttamente e mantieni il file privato.

Quali ruoli assegnargli

  • chat: domande sul codice, spiegazioni, piani di refactoring. La finestra da 262,144 token contiene circa 490 pagine di codice e testo, quindi diversi file possono rientrare in una singola domanda.
  • edit and apply: riscrittura di una selezione o applicazione di una modifica suggerita al file.
  • autocomplete: non consigliato. Il completamento delle tabella invia una richiesta quasi ogni volta che si fa una pausa durante la digitazione, il che aumenta i costi e i tempi di attesa per la latenza di rete. Un modello locale più piccolo è meglio per questo.
  • embed: non disponibile. Questa API non ha un endpoint per gli embeddings, quindi l'indicizzazione del codice richiede un provider di embeddings separato o uno locale.

Consigli per il lavoro di programmazione

  • Usa una temperatura bassa (0.2-0.4) per il codice, più alta solo per il brainstorming.
  • Allega solo i file necessari. Ogni riga allegata rappresenta token di input in ogni richiesta in quella chat.
  • Avvia una nuova chat quando cambi attività, in modo che la cronologia precedente non venga inviata di nuovo.
  • Continue trasmette le risposte in streaming; l'API supporta lo streaming con l'utilizzo dei token alla fine.

Costo

Una tipica richiesta con 8.000 token di codice e domanda e una risposta di 1.000 token costa 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017. Una giornata con 100 tali richieste è $0.17, circa $5 al mese. La prova copre circa 290 di esse. Vedi il pagina dei prezzi.

Risoluzione dei problemi

  • 404 non_trovato. apiBase deve terminare con /v1, Continua aggiunge /chat/completions itself.
  • 401 chiave_non_valida. Controlla la chiave o il nome del segreto; riavvia l'editor dopo la modifica .env.
  • 429 concorrenza su una chiave di prova. La prova consente 2 richieste parallele. Disattiva le altre funzionalità di Continue che chiamano lo stesso modello, oppure ricarica per ottenere 8 richieste parallele.

Domande e risposte

Quale provider scelgo in Continue?

provider: openai with apiBase impostato su https://dolphinllm.com/v1 e modello uncensored.

Posso usarlo per l'autocompletamento delle tab?

Funziona, ma non è una buona soluzione: l'autocompletamento invia moltissime richieste piccole. Usa un modello locale piccolo per l'autocompletamento e Dolphin LLM per la chat e le modifiche.

Supporta l'indicizzazione del codice sorgente?

Da solo, no. L'API non dispone di un endpoint per gli embeddings, quindi configura un modello di embeddings separato.

Altre guide

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta qui la configurazione.