Dolphin LLM in Continue für VS Code und JetBrains verwenden
Aktualisiert

Continue ist ein Open-Source-Coding-Assistent für VS Code und JetBrains. Es akzeptiert jedes OpenAI-kompatible Modell, sodass Sie Dolphin LLM für Chat, Bearbeitungen und Erklärungen in Ihrem Editor nutzen können.
Wichtige Punkte
- Füge ein Modell mit Anbieter
openai, ModelluncensoredandapiBaseauf die unten angegebene Basis-URL setzen. - Geben Sie ihm die Rollen Chat, Bearbeiten und Anwenden; halten Sie Autocomplete auf einem kleinen lokalen Modell.
- Einstellen
contextLengthauf 262144, damit Continue lange Eingaben korrekt kürzt. - Es gibt keinen Endpunkt für Embeddings, verwenden Sie also einen anderen Anbieter für die Indexierung von Codebasen.
Füge das Modell zu config.yaml hinzu
Öffnen Sie die Einstellungen von Continue (das Zahnrad im Continue-Panel) und wählen Sie, die Konfigurationsdatei zu öffnen, oder bearbeiten ~/.continue/config.yaml direkt. Modell hinzufügen:
name: My config
version: 0.0.1
schema: v1
models:
- name: Dolphin LLM
provider: openai
model: uncensored
apiBase: https://dolphinllm.com/v1
apiKey: YOUR_KEY
roles:
- chat
- edit
- apply
defaultCompletionOptions:
contextLength: 262144
maxTokens: 2048
temperature: 0.3
Datei speichern. Continue lädt neu, und Dolphin LLM erscheint im Modellmenü des Chat-Panels. Erstellen Sie Ihren Schlüssel in Ihrem Konto; wenn Sie noch keines haben, Registrieren und $0.50 Testguthaben werden beim ersten Öffnen des Kontos gutgeschrieben.

Halten Sie den Schlüssel aus der Datei
Wenn Sie Ihre Konfiguration teilen oder synchronisieren, fügen Sie den Schlüssel nicht ein. Neuere Versionen von Continue lesen Geheimnisse aus ~/.continue/.env:
# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY
und der Modellblock verwendet dann apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Wenn Ihre Version dies nicht auflöst, wird ein fehlender Schlüssel gemeldet; fügen Sie den Schlüssel direkt ein und halten Sie die Datei privat.
Welche Rollen sollte ich zuweisen
- chat: Fragen zu Code, Erklärungen, Refactoring-Plänen. Das 262.144-Token-Fenster fasst etwa 490 Seiten Code und Text, sodass mehrere Dateien in eine Frage passen.
- edit and apply: das Umschreiben einer Auswahl oder das Anwenden eines vorgeschlagenen Changes auf die Datei.
- autocomplete: nicht empfohlen. Die Tab-Vervollständigung sendet bei fast jeder Pause beim Tippen eine Anfrage, was sich in den Kosten und der Wartezeit auf die Netzwerklatenz summiert. Ein kleines lokales Modell ist dafür besser geeignet.
- embed: nicht verfügbar. Diese API hat keinen Embeddings-Endpunkt, daher muss für die Codebasis-Indizierung ein separater Embeddings-Anbieter oder ein lokaler Anbieter verwendet werden.
Tipps für die Code-Entwicklung
- Verwende eine niedrige Temperatur (0,2 bis 0,4) für Code, höher nur zum Brainstorming.
- Füge nur die Dateien an, die du benötigst. Jede angehängte Zeile ist Eingabetokens bei jeder Anfrage in diesem Chat.
- Starten Sie einen neuen Chat, wenn Sie die Aufgabe wechseln, damit der alte Verlauf nicht erneut gesendet wird.
- Continue streamt Antworten; die API unterstützt Streaming mit Token-Nutzung am Ende.
Kosten
Eine typische Anfrage mit 8.000 Token Code und Frage sowie einer 1.000-Token-Antwort kostet 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017. Ein Tag mit 100 solchen Anfragen ergibt $0.17, etwa $5 im Monat. Die Testphase deckt etwa 290 davon ab. Siehe Preisseite.
Fehlerbehebung
- 404 nicht gefunden.
apiBasemuss enden mit/v1; Weiter hinzufügen/chat/completionsitself. - 401 ungültiger Schlüssel. Überprüfen Sie den Key oder den Secret-Namen; starten Sie den Editor nach der Änderung neu
.env. - 429 Concurrency bei einem Test-Key. Die Testversion erlaubt 2 parallele Anfragen. Schalten Sie andere Continue-Funktionen aus, die dasselbe Modell aufrufen, oder laden Sie Ihr Guthaben auf, um 8 parallele Anfragen zu ermöglichen.
Fragen und Antworten
Welchen Anbieter wähle ich in Continue?
provider: openai with apiBase gesetzt auf https://dolphinllm.com/v1 , und Modell uncensored.
Kann ich es für Tab-Autovervollständigung nutzen?
Es funktioniert, ist aber nicht ideal: Autocomplete sendet sehr viele kleine Anfragen. Verwenden Sie ein kleines lokales Modell für Autocomplete und Dolphin LLM für Chat und Bearbeitungen.
Unterstützt es die Indexierung von Codebasen?
Nicht allein. Die API hat keinen Embeddings-Endpunkt, also konfigurieren Sie ein separates Embeddings-Modell.
Weitere Anleitungen
Dolphin LLM in n8n-Workflows verwendenVerwende die Dolphin LLM API in n8n: eine OpenAI-Anmeldeinformation mit einer benutzerdefinierten Basis-URL, den OpenAI Chat Model-Knoten in AI Agent und LLM Chains, eine HTTP Request-Alternative, Retries und Rate Limits.
Dolphin LLM API: Lokal, gemietete GPU oder gehostetDrei Möglichkeiten, eine API für ein unzensiertes Dolphin-Modell zu erhalten: Lokal ausführen, auf einer gemieteten GPU bereitstellen oder einen gehosteten OpenAI-kompatiblen Endpunkt aufrufen. Aufwand und Kosten im Vergleich.
Kostenlose LLM-API für Entwickler: Testphase vs. Pay-as-you-goWas eine kostenlose LLM-API-Tier-Stufe bietet und wo sie aufhört. Ein Testzeitraum von $0.50 ohne Kreditkarte, dann Cent-Beträge pro Aufruf: was es bringt, wie man es länger nutzen kann und was man vor der Verpflichtung prüfen sollte.