ホスト型API vs ミドルサイズモデル用のGPUレンタル
更新済み · その日付に確認された価格
4ビット量子化されたミドルサイズのオープンウェイトモデルは、1つの48 GB GPUに収まるため、セルフホスティングは現実的です。それが効果的かどうかは、月間でのトークン使用量によります。
主要ポイント
- 4ビット量子化の場合、30〜40Bパラメータのモデルは約20〜25 GBのメモリを必要とするため、48 GBのGPUカード1枚で64,000トークンのコンテキストが処理可能です。
- RunPodでのL40Sのレンタル料金は時間あたり$0.79〜$1.09です。24時間稼働の場合、月額は約$577〜$796になります。
- Dolphin LLMの価格では、入出力比率80対20の一般的な構成で、月額約2.6Bトークンを577ドルで購入できます。
- 安定して非常に高いボリュームの場合はセルフホストが適切ですが、それ以下の場合はホスト型APIの方がコストが低く、保守も不要です。
そのようなモデルに必要なハードウェア
4ビット量子化では、30–40Bパラメータのモデルの重みは約20–25 GBを占めます。48 GBのカードでは、KVキャッシュ用に約20 GBが残ります。これは、数回の並列リクエストを含む64,000トークンのコンテキストには十分ですが、フルの262,144トークンウィンドウを自分でサーブするには、それよりもはるかに多くのキャッシュメモリ、または並列リクエスト数の削減が必要です。より長いコンテキストやより多くの並列ユーザーには、より多くのメモリまたはより多くのカードが必要です。
レンタル価格
| GPU | 場所 | 時間あたり | 月額、24時間365日 |
|---|---|---|---|
| L40S 48 GB | RunPod コミュニティ / 安全 | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (4つのオファーの中央値) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod コミュニティ / 安全 | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod セキュア (PCIe) | $2.89 | $2,110 |
月間の料金は、時間単価 × 730時間で計算され、ストレージ、トラフィック、またはカードがアイドル状態の時間は含まれません。
ブレイクイブン
Dolphin LLMでは、入出力トークンが80対20の一般的な比率の場合、1Mトークンあたり0.22ドルの費用がかかります。したがって、レンタルされたGPUカードの月額料金で以下のトークン数が利用可能です：
| 月間予算 | Dolphin LLM での同等性 | 1日あたり |
|---|---|---|
| $241 (RTX A6000, Community) | 約1.1Bトークン | 約36M |
| $577 (L40S, Community) | 約2.6Bトークン | 約87M |
| $796 (L40S, Secure) | 約3.6Bトークン | 約120M |
この数値以下のトークン使用量であれば、ホスト型APIの方が安価です。それ以上の場合、GPUカードが1日の大半稼働していれば、レンタルカードの方が有利になる可能性があります。
価格リストに記載のないコスト
- セットアップと更新：推論サーバー、ドライバー、モデルのダウンロード、モニタリング。
- アイドル時間: リクエストが送信されない夜間でも、レンタル中の GPU のコストは同じです。
- ピーク：1枚のカードは限られた数の並列リクエストしか処理できません。ユーザーが増えるほど、カードが増えます。
どちらを選ぶべきか
- 安定した非常に高いボリュームがあり、スタックの完全な制御や262,144トークンを超えるコンテキストを必要とする場合はセルフホストしてください。
- 使用量が breakeven point に達していない場合、日によって変動する場合、またはサーバーを運用したくない場合は、Dolphin LLMを使用してください。
ソース
価格は変動します。決定する前に各プロバイダーのページを確認してください。
質問と回答
このサイズのモデルを自分のコンピュータで実行できますか？
はい、十分なメモリを持つGPUがあれば可能です。4ビット量子化ではこのモデルは約20〜25 GBのメモリを必要とするため、48 GBのカードは余裕があり、24 GBのカードは実用的なコンテキストには小さすぎます。
ホスト型APIはローカルGPUより遅いですか？
生成時間に加えてネットワークレイテンシが発生します。生成速度は共有サーバーの負荷に依存します。チャットやバッチ処理の大部分では、差は小さくなります。
Dolphin LLM対OpenAI API
Dolphin LLM vs OpenRouter上のミドルサイズオープンモデル