VS CodeおよびJetBrainsのContinueでDolphin LLMを使用する

更新済み

ContinueはVS CodeおよびJetBrains用のオープンソースのコーディングアシスタントです。OpenAI互換モデルに対応しているため、Dolphin LLMをエディタ内のチャット、編集、解説に使用できます。

主要ポイント

  • プロバイダー付きのモデルを追加 openai, モデル uncensored and apiBase 以下のベースURLに設定します。
  • チャット、編集、適用のロールを割り当て、オートコンプリートは小さなローカルモデルに設定してください。
  • 設定 contextLength 262144までなので、Continueは長いプロンプトを正しくトリミングします。
  • エンベッディングエンドポイントがないため、コードベースのインデックス作成には別のプロバイダーを使用してください。

config.yaml にモデルを追加する

Continueの設定(Continueパネルの歯車アイコン)を開き、設定ファイルを開くか編集してください。 ~/.continue/config.yaml 直接。モデルを追加:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

ファイルを保存します。続行すると再読み込みされ、 Dolphin LLM チャットパネルのモデルメニューに表示されます。アカウントでキーを作成してください。まだ持っていない場合は、 サインアップ アカウントを初めて作成した際に、$0.50の試用クレジットが追加されます。

アクティブなAPIキーのプレフィックス、OpenAI互換のベースURL、および準備完了済みのcURLコマンドを表示するアカウントページ
アカウント → APIと残高: キーとベースURL、コピー可能なcURL例付き。

キーをファイルから除外してください

設定を共有または同期する場合は、キーを貼り付けないでください。最新のContinueバージョンはシークレットを以下から読み取ります ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

およびモデルブロックはその後 apiKey: ${{ secrets.DOLPHIN_API_KEY }}。バージョンで解決できない場合、キーが見つからないと報告されます。キーを直接貼り付け、ファイルを非公開にしてください。

どのロールを割り当てるべきか

  • chat: コードに関する質問、解説、リファクタリング計画。262,144トークンのウィンドウにはコードとテキストで約490ページ分が収まるため、1つの質問で複数のファイルを扱えます。
  • edit and apply: 選択範囲の書き換え、またはファイルへの変更適用。
  • autocomplete: 推奨されません。タブ補完は、入力中のほぼすべての一時停止時にリクエストを発行するため、コストが増加し、ネットワークレイテンシの影響を受けます。それには小さなローカルモデルが適しています。
  • embed: 利用できません。このAPIには埋め込みエンドポイントがないため、コードベースのインデックス作成には別の埋め込みプロバイダーまたはローカルのプロバイダーが必要です。

コーディング作業のヒント

  • コード生成には低い温度(0.2〜0.4)を使用し、ブレインストーミングの場合のみ高く設定します。
  • 必要なファイルのみを添付してください。添付された1行は、そのチャット内の各リクエストで input トークンとしてカウントされます。
  • タスクを切り替えるときは新しいチャットを開始し、古い履歴が再度送信されないようにしてください。
  • Continueは応答をストリーミングします。APIはストリーミングに対応しており、トークン使用量は最後に報告されます。

コスト

コードと質問で8,000トークン、回答で1,000トークンの一般的なリクエストは、8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017かかります。このようなリクエストを100回行うと1日あたり$0.17、月約$5です。トライアルでは約290回分をカバーできます。詳しくは 価格ページ.

トラブルシューティング

  • 404 not_found。 apiBase で終わる必要があります。 /v1; 継続で追加 /chat/completions itself.
  • 401 invalid_key。 キーまたはシークレット名を確認してください。変更後はエディターを再起動してください .env.
  • トライアルキーでの429 concurrency。 トライアルでは2つの並列リクエストが許可されます。同じモデルを呼び出す他のContinue機能をオフにするか、8つの並列リクエストのためにチャージしてください。

質問と回答

Continueでどのプロバイダーを選ぶべきですか?

provider: openai with apiBase 設定 https://dolphinllm.com/v1 およびモデル uncensored.

タブ補完に使用できますか?

動作しますが、最適な選択肢ではありません。オートコンプリートは非常に多くの小さなリクエストを送信します。オートコンプリートには小さなローカルモデルを、チャットと編集にはDolphin LLMを使用してください。

コードベースのインデックス作成をサポートしていますか?

単独ではできません。APIには埋め込みエンドポイントがないため、別の埋め込みモデルを設定してください。

その他のガイド

あなたのキーはフォーム1つで入手可能

アカウントを作成し、キーをコピーし、ベースURLを変更するだけです。これがセットアップのすべてです。