在 VS Code 和 JetBrains 的 Continue 中使用 Dolphin LLM

已更新

Continue 是一款适用于 VS Code 和 JetBrains 的开源编码助手。它支持任何 OpenAI 兼容模型,因此您可以在编辑器中使用 Dolphin LLM 进行对话、代码编辑和解释。

要点

  • 添加一个带有提供商的模型 openai, 模型 uncensored and apiBase 设置为下面的 base URL。
  • 赋予其聊天、编辑和应用角色;将自动补全功能保留在小规模本地模型上。
  • 设置 contextLength 至 262144,以便 Continue 能正确截断长提示词。
  • 没有嵌入(embeddings)端点,因此请使用其他提供商进行代码库索引。

将模型添加到 config.yaml

打开 Continue 的设置(Continue 面板中的齿轮图标),选择打开配置文件,或编辑 ~/.continue/config.yaml 直接添加模型:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

保存文件。继续重新加载它,并 Dolphin LLM 出现在聊天面板的模型菜单中。在您的账户中创建您的密钥;如果您还没有账户, 注册 首次开户时,将添加0.50美元的试用额度。

账户页面,显示活动 API 密钥前缀、OpenAI 兼容的基础 URL 以及现成的 cURL 命令
账户 → API 与余额:您的密钥和基础 URL,附带可复制的 cURL 示例。

将密钥移出文件

如果您共享或同步配置,请勿将密钥粘贴到其中。最近版本的Continue从 ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

以及模型块随后使用 apiKey: ${{ secrets.DOLPHIN_API_KEY }}。如果您的版本无法解析它,则会报告缺少密钥;直接粘贴密钥并保持文件私密。

应该赋予它什么角色

  • chat: 关于代码的问题、解释、重构计划。262,144 token 的窗口可容纳约 490 页代码和文本,因此多个文件可以包含在一个问题中。
  • edit and apply: 重写选中的内容或对文件应用建议的更改。
  • autocomplete: 不推荐。Tab 补全会在几乎每次输入暂停时触发请求,这会增加成本并等待网络延迟。对于这种情况,小型本地模型更好。
  • embed: 不可用。该 API 没有嵌入端点,因此代码库索引需要单独的嵌入提供商或本地嵌入提供商。

编码工作提示

  • 对于代码生成,使用较低的温度(0.2 到 0.4);仅在头脑风暴时提高温度。
  • 仅附加您需要的文件。每条附加行在每次请求中都会作为输入 token 计入该聊天。
  • 切换任务时开启新聊天,以免重复发送旧的历史记录。
  • Continue 会流式返回回复;API 支持流式传输,并在结束时显示 token 使用情况。

费用

典型的请求包含 8,000 token 的代码/问题,输出 1,000 token 的回答,费用为 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017。每天进行 100 次此类请求的费用为 $0.17,每月约 $5。试用额度大约可支持 290 次此类请求。请参阅 定价页面.

故障排除

  • 404 not_found。 apiBase 必须以 /v1; 继续添加 /chat/completions itself.
  • 401 invalid_key。 检查密钥或密钥名称;更改后请重启编辑器 .env.
  • 429 试用密钥上的并发限制。 试用版允许 2 个并行请求。关闭其他调用同一模型的 Continue 功能,或充值以启用 8 个并行请求。

问答

在 Continue 中我应该选择哪个提供商?

provider: openai with apiBase 设置为 https://dolphinllm.com/v1 以及模型 uncensored.

可以用于 Tab 自动补全吗?

它可以工作,但并非最佳选择:自动补全会发送大量小型请求。请使用小型本地模型进行自动补全,使用 Dolphin LLM 进行聊天和编辑。

它支持代码库索引吗?

单独不行。API 没有嵌入端点,因此请配置单独的嵌入模型。

更多指南

你的密钥只需填写一份表格即可获得

创建账户,复制密钥,更改基础 URL。这就是全部设置。