Gebruik Dolphin LLM in Continue voor VS Code en JetBrains

Voeg het model toe aan config.yaml

Open de instellingen van Continue (het tandwiel in het Continue-paneel) en kies om het config-bestand te openen, of bewerk ~/.continue/config.yaml direct. Voeg een model toe:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Sla het bestand op. Continue herlaadt het, en Dolphin LLM verschijnt in het modelmenu van het chatpaneel. Maak uw sleutel aan in uw account; als u nog geen account heeft, aanmelden en $0.50 aan proefkrediet wordt toegevoegd wanneer je voor het eerst het account opent.

Houd de sleutel buiten het bestand

Als je je config deelt of synchroniseert, plak dan de sleutel er niet in. Recente versies van Continue lezen geheimen uit ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

en het modelblok gebruikt vervolgens apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Als je versie het niet oplost, wordt een ontbrekende sleutel gemeld; plak de sleutel direct en houd het bestand privé.

Welke rollen toewijzen

• chat: vragen over code, uitleg, refactoringplannen. Het venster van 262.144 tokens bevat ongeveer 490 pagina's code en tekst, dus meerdere bestanden passen in één vraag.
• edit and apply: het herschrijven van een selectie of het toepassen van een voorgestelde wijziging op het bestand.
• autocomplete: niet aanbevolen. Tab-completion stuurt een verzoek bij vrijwel elke pauze tijdens het typen, wat de kosten verhoogt en wacht op netwerklatentie. Een klein lokaal model is daar beter voor.
• embed: niet beschikbaar. Deze API heeft geen embeddings-endpoint, dus het indexeren van codebases vereist een aparte embeddings-provider of een lokale.

Tips voor programmeerwerk

• Gebruik een lage temperatuur (0,2 tot 0,4) voor code, hoger alleen voor brainstormsessies.
• Voeg alleen de bestanden toe die je nodig hebt. Elke toegevoegde regel zijn invoertokens bij elk verzoek in die chat.
• Start een nieuwe chat wanneer je van taak wisselt, zodat de oude geschiedenis niet opnieuw wordt verzonden.
• Continue streamt antwoorden; de API ondersteunt streaming met tokenverbruik aan het einde.

Kosten

Een typisch verzoek met 8.000 tokens aan code en vraag en een antwoord van 1.000 tokens kost 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017. Een dag met 100 dergelijke verzoeken is $0.17, ongeveer $5 per maand. De proefperiode dekt ongeveer 290 daarvan. Zie de prijzenpagina.

Probleemoplossing

• 404 niet gevonden. apiBase moet eindigen op /v1; Continue voegt /chat/completions itself.
• 401 ongeldige sleutel. Controleer de key of de secret name; herstart de editor na het wijzigen .env.
• 429 concurrency op een trial-key. De proefversie staat 2 gelijktijdige verzoeken toe. Schakel andere Continue-functies uit die hetzelfde model aanroepen, of laad op voor 8 gelijktijdige verzoeken.