VS CodeおよびJetBrainsのContinueでDolphin LLMを使用する
更新済み

ContinueはVS CodeおよびJetBrains用のオープンソースのコーディングアシスタントです。OpenAI互換モデルに対応しているため、Dolphin LLMをエディタ内のチャット、編集、解説に使用できます。
主要ポイント
- プロバイダー付きのモデルを追加
openai, モデルuncensoredandapiBase以下のベースURLに設定します。 - チャット、編集、適用のロールを割り当て、オートコンプリートは小さなローカルモデルに設定してください。
- 設定
contextLength262144までなので、Continueは長いプロンプトを正しくトリミングします。 - エンベッディングエンドポイントがないため、コードベースのインデックス作成には別のプロバイダーを使用してください。
config.yaml にモデルを追加する
Continueの設定(Continueパネルの歯車アイコン)を開き、設定ファイルを開くか編集してください。 ~/.continue/config.yaml 直接。モデルを追加:
name: My config
version: 0.0.1
schema: v1
models:
- name: Dolphin LLM
provider: openai
model: uncensored
apiBase: https://dolphinllm.com/v1
apiKey: YOUR_KEY
roles:
- chat
- edit
- apply
defaultCompletionOptions:
contextLength: 262144
maxTokens: 2048
temperature: 0.3
ファイルを保存します。続行すると再読み込みされ、 Dolphin LLM チャットパネルのモデルメニューに表示されます。アカウントでキーを作成してください。まだ持っていない場合は、 サインアップ アカウントを初めて作成した際に、$0.50の試用クレジットが追加されます。

キーをファイルから除外してください
設定を共有または同期する場合は、キーを貼り付けないでください。最新のContinueバージョンはシークレットを以下から読み取ります ~/.continue/.env:
# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY
およびモデルブロックはその後 apiKey: ${{ secrets.DOLPHIN_API_KEY }}。バージョンで解決できない場合、キーが見つからないと報告されます。キーを直接貼り付け、ファイルを非公開にしてください。
どのロールを割り当てるべきか
- chat: コードに関する質問、解説、リファクタリング計画。262,144トークンのウィンドウにはコードとテキストで約490ページ分が収まるため、1つの質問で複数のファイルを扱えます。
- edit and apply: 選択範囲の書き換え、またはファイルへの変更適用。
- autocomplete: 推奨されません。タブ補完は、入力中のほぼすべての一時停止時にリクエストを発行するため、コストが増加し、ネットワークレイテンシの影響を受けます。それには小さなローカルモデルが適しています。
- embed: 利用できません。このAPIには埋め込みエンドポイントがないため、コードベースのインデックス作成には別の埋め込みプロバイダーまたはローカルのプロバイダーが必要です。
コーディング作業のヒント
- コード生成には低い温度(0.2〜0.4)を使用し、ブレインストーミングの場合のみ高く設定します。
- 必要なファイルのみを添付してください。添付された1行は、そのチャット内の各リクエストで input トークンとしてカウントされます。
- タスクを切り替えるときは新しいチャットを開始し、古い履歴が再度送信されないようにしてください。
- Continueは応答をストリーミングします。APIはストリーミングに対応しており、トークン使用量は最後に報告されます。
コスト
コードと質問で8,000トークン、回答で1,000トークンの一般的なリクエストは、8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017かかります。このようなリクエストを100回行うと1日あたり$0.17、月約$5です。トライアルでは約290回分をカバーできます。詳しくは 価格ページ.
トラブルシューティング
- 404 not_found。
apiBaseで終わる必要があります。/v1; 継続で追加/chat/completionsitself. - 401 invalid_key。 キーまたはシークレット名を確認してください。変更後はエディターを再起動してください
.env. - トライアルキーでの429 concurrency。 トライアルでは2つの並列リクエストが許可されます。同じモデルを呼び出す他のContinue機能をオフにするか、8つの並列リクエストのためにチャージしてください。
質問と回答
Continueでどのプロバイダーを選ぶべきですか?
provider: openai with apiBase 設定 https://dolphinllm.com/v1 およびモデル uncensored.
タブ補完に使用できますか?
動作しますが、最適な選択肢ではありません。オートコンプリートは非常に多くの小さなリクエストを送信します。オートコンプリートには小さなローカルモデルを、チャットと編集にはDolphin LLMを使用してください。
コードベースのインデックス作成をサポートしていますか?
単独ではできません。APIには埋め込みエンドポイントがないため、別の埋め込みモデルを設定してください。
その他のガイド
n8nワークフローでDolphin LLMを使用するn8nでDolphin LLM APIを使用するには:カスタムベースURLを持つOpenAI認証情報、AIエージェントおよびLLMチェーンでのOpenAIチャットモデルノード、HTTPリクエストの代替手段、リトライとレートリミットを使用します。
Dolphin LLM API:ローカル、レンタルGPU、またはホストDolphinスタイルの無検閲モデルのAPIを取得する3つの方法:ローカルで実行する、レンタルGPUでサーブする、またはホストされたOpenAI互換エンドポイントを呼び出す。労力とコストの比較。
開発者向け無料LLM API:トライアル vs 従量課金無料のLLM APIティアが提供するものと、その制限。カードなしの$0.50トライアル、その後1回あたり数セント:それが何を買えるか、それを長く使う方法、そしてコミットする前に確認すべきこと。