托管 API 与租用 GPU 用于中等规模模型

已更新 2026年11月9日 · 价格截至该日期有效

一款中等规模的开源权重模型在 4-bit 量化后可放入单张 48 GB 显存的 GPU 中，因此自托管是切实可行的。是否划算取决于您每月使用的 token 数量。

要点

在 4-bit 量化下，30–40B 参数的模型权重大约占用 20–25 GB 内存，因此一张 48 GB 显卡足以支持 64,000 token 的上下文。
在 RunPod 上租用 L40S 的成本为每小时 $0.79–$1.09：全天候运行每月约 $577–$796。
按照 Dolphin LLM 的价格，$577 在典型的 80/20 输入/输出混合比例下，每月可购买约 2.6B token。
在稳定且极高的请求量下自托管更划算；在此之下，托管 API 成本更低且无需维护。

此类模型需要什么样的硬件

在 4-bit 量化下，30–40B 参数模型的权重约占 20–25 GB。在 48 GB 显存的显卡上，剩余约 20 GB 用于 KV 缓存，这足以支持 64,000 个 token 的上下文以及少量并行请求。若要自行服务完整的 262,144 个 token 窗口，则需要比这多得多的缓存内存，或者减少并行请求数。更长的上下文或更多的并行用户需要更多内存或更多显卡。

租赁价格

GPU	在哪里	按小时	按月，24/7
L40S 48 GB	RunPod 社区 / 安全	$0.79 / $1.09	$577 / $796
L40S 48 GB	Vast.ai（4个报价的中位数）	$0.80	$584
RTX A6000 48 GB	RunPod 社区 / 安全	$0.33 / $0.59	$241 / $431
A100 80 GB	RunPod 安全	$1.79	$1,307
H100 80 GB	RunPod 安全 (PCIe)	$2.89	$2,110

月度费用为每小时价格 × 730 小时，不含存储、流量或卡片闲置时间。

构建更人性化、限制更少的聊天机器人。流式传输响应以实现自然的对话流程。

在 Dolphin LLM 上，典型的 80% 输入和 20% 输出 token 混合比例下，每 1M token 的成本为 $0.22。因此，租用一张显卡的月费可购买：

月度预算	Dolphin LLM 价格持平	按天
$241 (RTX A6000, Community)	约 1.1B token	约 36M
$577 (L40S, Community)	约 2.6B token	约 87M
$796 (L40S, Secure)	约 3.6B token	约 120M

如果您使用的 Token 数低于此阈值，托管 API 更便宜。超过该阈值，只要显卡全天大部分时间都在使用，租用显卡可能更具成本优势。

价格表未列出的费用

设置与更新：推理服务器、驱动程序、模型下载、监控。
空闲时间：无人发送请求时，租用显卡的费用同样高昂。
高峰期：一张卡仅支持有限数量的并行请求；用户越多，需要的卡越多。

选择哪一个

如果您有稳定且极高的流量、需要完全控制技术栈或需要超过 262,144 token 的上下文，请选择自托管。
如果您的使用量低于盈亏平衡点、每日波动较大，或不想自行运行服务器，请使用 Dolphin LLM。

来源

价格会变动。在做出决定前，请查看各提供商的页面。

问答

我可以在自己的电脑上运行这种规模的模型吗？

是的，只要 GPU 显存足够：该模型在 4-bit 量化下约占 20–25 GB 显存，因此 48 GB 显卡运行舒适，而 24 GB 显卡对于有效上下文来说太小。

托管 API 比本地 GPU 慢吗？

它会在生成时间之外增加网络延迟。生成速度取决于共享服务器的负载；对于聊天和大多数批处理任务，差异很小。