Dolphin LLM API：本地、租用 GPU 或托管

人们所说的 Dolphin 模型

Dolphin 是开源基础模型的社区微调模型系列。其微调数据经过筛选，使模型能够遵循指令，而不会说教或拒绝普通请求。由于基础模型在不同版本之间会发生变化，因此没有单一的 Dolphin 供应商提供唯一的官方接口。当有人提到 Dolphin LLM API 时，他们通常指的是提供该风格无审查模型的任意 API。

这会影响你的规划。你选择的不是品牌，而是权重运行的位置以及运营者。模型质量取决于基础模型和微调版本，而运营方面则取决于你选择的途径。

关于范围的一点说明：这些模型针对合法的成人用途进行了微调。此处的任何提供商以及任何合理的提供商都不会提供涉及未成年人的性内容。在你的应用程序中也应将其视为固定的边界。

路径 1：在自己的机器上运行

按 token 计算成本最低的方式是使用你已有硬件支持的模型。Ollama 和 llama.cpp 等工具会下载量化权重并暴露本地服务器。两者都可以在 localhost 上提供 OpenAI 风格的端点，因此你的客户端代码看起来与任何托管服务相同。

关键在于内存。量化模型大约需要与其文件大小相当的 RAM 或 VRAM，以及上下文缓存的空间。小模型可以放在笔记本电脑上，但较大的模型需要具有大量内存的 GPU，而长提示词会使缓存增长。如果模型无法放入 VRAM，它会溢出到系统 RAM，导致速度急剧下降。

当你离线工作时、数据必须永远不离开你的机器时，或者你想尝试不同的微调版本时，本地部署是一个很好的选择。但对于面向用户的产品来说，本地部署并不合适，因为你的笔记本电脑变成了服务器。有关本地部署的完整指南，请参阅关于如何运行 Dolphin 风格模型的单独文章。

途径 2：租用 GPU 并自行部署

按小时租用 GPU 可以让你在不购买硬件的情况下运行更大的模型。你安装 vLLM 或 llama.cpp 的服务器等部署栈，加载权重，并暴露端口。然后你拥有其周围的一切。

• 设置驱动程序、部署软件和 TLS。
• 添加身份验证，防止陌生人使用你的 GPU。
• 崩溃后重启并监控内存。
• 支付服务器开启期间的每小时费用，无论是否有人发送请求。

最后一点是真正的成本驱动因素。空闲过夜时 GPU 仍会计费。当你有稳定、高流量且有人愿意运营时，这种途径才划算。对于有使用波峰的副项目，你主要支付空闲时间。请查看提供商定价页面上的当前每小时费率，因为它们会变化。

途径 3：调用托管的 OpenAI 兼容接口

托管接口消除了运营工作。你发送 HTTPS 请求并按使用的 token 付费。本网站提供该服务：一个托管的、OpenAI 兼容的文本 API，用于单个开放权重模型，由独立提供商运营，并针对合法的成人用途进行了微调，使其在回答时不进行内容审查。明确说明它不是什么：它不是任何模型厂商的官方 API，也不是跨多个模型的路由器。模型 ID 是 uncensored。

由于 API 与 OpenAI 兼容，任何 OpenAI SDK 只需更改两个设置（base URL 和密钥）即可使用。以下是一个最小的 Python 调用示例：

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a direct, helpful assistant."},
        {"role": "user", "content": "Explain how a context window works."},
    ],
)
print(resp.choices[0].message.content)

curl 中的相同请求：

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

流式输出（stream: true）、工具调用、JSON 模式和通常的采样参数的工作方式与 OpenAI API 相同。上下文窗口为 100,000 个 token，包括提示词和补全。API 文档列出了所有支持的接口和参数。

并排对比

决定大多数情况的行是模型选择。如果你需要特定的 Dolphin 微调版本，只有前两种途径能提供。如果你需要一个功能强大的无审查模型，背后有稳定的 API，并且你不关心具体是哪个微调版本，托管途径可以为你节省运营工作。

托管调用的成本

定价为每 1M 输入 token $0.15，每 1M 输出 token $0.50，从预付额度中支付。无订阅，失败或被拒绝的请求不收费，额度永不过期。典型的聊天轮次包含 2,000 个输入 token 和 500 个输出 token，成本为：

• 输入：2,000 x $0.15 / 1,000,000 = $0.0003
• 输出：500 x $0.50 / 1,000,000 = $0.00025
• 总计：每次请求 $0.00055，或每 1,000 次请求 $0.55

充值金额为 $20 到 $500 之间的任意整数，从 $50 起额外 +5%，从 $100 起额外 +10%，从 $200 起额外 +15%。你可以通过加密货币（TRC20 上的 USDT、Base 上的 USDC）支付。定价页面有当前详情。

要与租用的 GPU 进行比较，请将每小时费率除以你在一小时内以实际流量可以处理的请求数量。在低流量或突发流量下，按 token 付费模式通常更优，因为你从不为空闲时间付费。

先试用再付费

新用户可以在注册后在密钥页面一键领取 $0.50 的免费试用额度。每人限一次，有效期 7 天，无需银行卡。注册可通过 Google 或电子邮件和密码完成。按上述价格，$0.50 足以覆盖示例中 2,000 输入、500 输出的约 900 次请求，足以测试模型的语气是否适合你的用途。试用密钥限制为 2 个并发请求和每分钟 60 个请求。

在API 密钥页面获取你的密钥。如果你想要完全无需登录的模型，请参阅无需登录的 LLM文章，并阅读Open WebUI 接口了解聊天前端中的客户端设置。

更多指南

• 如何运行 Dolphin LLM：本地部署与托管 API
• 面向开发者的免费 LLM API：试用与按量付费