Dolphin LLM in Continue für VS Code und JetBrains verwenden

Aktualisiert

Continue ist ein Open-Source-Coding-Assistent für VS Code und JetBrains. Es akzeptiert jedes OpenAI-kompatible Modell, sodass Sie Dolphin LLM für Chat, Bearbeitungen und Erklärungen in Ihrem Editor nutzen können.

Wichtige Punkte

  • Füge ein Modell mit Anbieter openai, Modell uncensored and apiBase auf die unten angegebene Basis-URL setzen.
  • Geben Sie ihm die Rollen Chat, Bearbeiten und Anwenden; halten Sie Autocomplete auf einem kleinen lokalen Modell.
  • Einstellen contextLength auf 262144, damit Continue lange Eingaben korrekt kürzt.
  • Es gibt keinen Endpunkt für Embeddings, verwenden Sie also einen anderen Anbieter für die Indexierung von Codebasen.

Füge das Modell zu config.yaml hinzu

Öffnen Sie die Einstellungen von Continue (das Zahnrad im Continue-Panel) und wählen Sie, die Konfigurationsdatei zu öffnen, oder bearbeiten ~/.continue/config.yaml direkt. Modell hinzufügen:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Datei speichern. Continue lädt neu, und Dolphin LLM erscheint im Modellmenü des Chat-Panels. Erstellen Sie Ihren Schlüssel in Ihrem Konto; wenn Sie noch keines haben, Registrieren und $0.50 Testguthaben werden beim ersten Öffnen des Kontos gutgeschrieben.

Kontoseite mit dem Präfix des aktiven API-Schlüssels, der OpenAI-kompatiblen Basis-URL und einem fertigen cURL-Befehl
Konto → API & Guthaben: Ihr Schlüssel und die Basis-URL, mit einem kopierbaren cURL-Beispiel.

Halten Sie den Schlüssel aus der Datei

Wenn Sie Ihre Konfiguration teilen oder synchronisieren, fügen Sie den Schlüssel nicht ein. Neuere Versionen von Continue lesen Geheimnisse aus ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

und der Modellblock verwendet dann apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Wenn Ihre Version dies nicht auflöst, wird ein fehlender Schlüssel gemeldet; fügen Sie den Schlüssel direkt ein und halten Sie die Datei privat.

Welche Rollen sollte ich zuweisen

  • chat: Fragen zu Code, Erklärungen, Refactoring-Plänen. Das 262.144-Token-Fenster fasst etwa 490 Seiten Code und Text, sodass mehrere Dateien in eine Frage passen.
  • edit and apply: das Umschreiben einer Auswahl oder das Anwenden eines vorgeschlagenen Changes auf die Datei.
  • autocomplete: nicht empfohlen. Die Tab-Vervollständigung sendet bei fast jeder Pause beim Tippen eine Anfrage, was sich in den Kosten und der Wartezeit auf die Netzwerklatenz summiert. Ein kleines lokales Modell ist dafür besser geeignet.
  • embed: nicht verfügbar. Diese API hat keinen Embeddings-Endpunkt, daher muss für die Codebasis-Indizierung ein separater Embeddings-Anbieter oder ein lokaler Anbieter verwendet werden.

Tipps für die Code-Entwicklung

  • Verwende eine niedrige Temperatur (0,2 bis 0,4) für Code, höher nur zum Brainstorming.
  • Füge nur die Dateien an, die du benötigst. Jede angehängte Zeile ist Eingabetokens bei jeder Anfrage in diesem Chat.
  • Starten Sie einen neuen Chat, wenn Sie die Aufgabe wechseln, damit der alte Verlauf nicht erneut gesendet wird.
  • Continue streamt Antworten; die API unterstützt Streaming mit Token-Nutzung am Ende.

Kosten

Eine typische Anfrage mit 8.000 Token Code und Frage sowie einer 1.000-Token-Antwort kostet 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017. Ein Tag mit 100 solchen Anfragen ergibt $0.17, etwa $5 im Monat. Die Testphase deckt etwa 290 davon ab. Siehe Preisseite.

Fehlerbehebung

  • 404 nicht gefunden. apiBase muss enden mit /v1; Weiter hinzufügen /chat/completions itself.
  • 401 ungültiger Schlüssel. Überprüfen Sie den Key oder den Secret-Namen; starten Sie den Editor nach der Änderung neu .env.
  • 429 Concurrency bei einem Test-Key. Die Testversion erlaubt 2 parallele Anfragen. Schalten Sie andere Continue-Funktionen aus, die dasselbe Modell aufrufen, oder laden Sie Ihr Guthaben auf, um 8 parallele Anfragen zu ermöglichen.

Fragen und Antworten

Welchen Anbieter wähle ich in Continue?

provider: openai with apiBase gesetzt auf https://dolphinllm.com/v1 , und Modell uncensored.

Kann ich es für Tab-Autovervollständigung nutzen?

Es funktioniert, ist aber nicht ideal: Autocomplete sendet sehr viele kleine Anfragen. Verwenden Sie ein kleines lokales Modell für Autocomplete und Dolphin LLM für Chat und Bearbeitungen.

Unterstützt es die Indexierung von Codebasen?

Nicht allein. Die API hat keinen Embeddings-Endpunkt, also konfigurieren Sie ein separates Embeddings-Modell.

Weitere Anleitungen

Ihr Schlüssel ist nur ein Formular entfernt

Erstellen Sie ein Konto, kopieren Sie den Schlüssel und ändern Sie die Basis-URL. Das ist die gesamte Einrichtung.