Orta boy bir model için barındırılan API vs GPU kiralama
Güncellendi · fiyatlar bu tarihte kontrol edildi
4-bitlik orta boyutlu açık ağırlıklı bir model, tek bir 48 GB GPU'ya sığar; bu da kendi kendine barındırmayı gerçekçi kılar. Bunun değer olup olmadığı, her ay ne kadar token kullandığınıza bağlıdır.
Önemli noktalar
- 4-bit'te, 30–40B parametreli bir model yaklaşık 20–25 GB yer kaplar, bu nedenle bir 48 GB kart 64,000-token bağlamı için yeterlidir.
- RunPod'da kiralık bir L40S'in saatlik maliyeti 0,79–1,09 $; günün her saati çalıştığında aylık maliyet yaklaşık 577–796 $'dır.
- Dolphin LLM fiyatlarıyla, $577 tipik bir %80/%20 girdi/çıktı karışımında ayda yaklaşık 2.6B token satın alır.
- Kendi kendine barındırma; istikrarlı ve çok yüksek hacimde mantıklıdır; bunun altında barındırılan API daha az maliyetlidir ve bakım gerektirmez.
Böyle bir modelin hangi donanımı gerektirdiği
4-bit'te, 30–40B parametreli bir modelin ağırlıkları yaklaşık 20–25 GB yer kaplar. 48 GB'lık bir kartta KV önbelleği için yaklaşık 20 GB kalır; bu da birkaç eşzamanlı istekle 64,000 token bağlam için yeterlidir. 262,144 token penceresini tamamen kendi başınıza sunmak bunun çok daha fazla önbellek belleği veya daha az eşzamanlı istek gerektirir. Daha uzun bağlamlar veya daha fazla eşzamanlı kullanıcı daha fazla bellek veya daha fazla kart gerektirir.
Kiralama fiyatları
| GPU | Nerede | Saatlik | Aylık, 7/24 |
|---|---|---|---|
| L40S 48 GB | RunPod Topluluğu / Güvenli | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (4 teklifin ortalaması) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Topluluğu / Güvenli | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Güvenli | $1.79 | $1,307 |
| H100 80 GB | RunPod Güvenli (PCIe) | $2.89 | $2,110 |
Aylık rakamlar, depolama, trafik veya kartın boşta olduğu süreler hariç olmak üzere, saatlik fiyat × 730 saattir.
Kırılma noktası
Dolphin LLM'de tipik olarak %80 girdi ve %20 çıktı token karışımı 1M token başına $0.22 maliyetine sahiptir. Kiralanan bir kartın aylık fiyatı şunları satın alır:
| Aylık bütçe | Dolphin LLM'de eşitlik | Günlük |
|---|---|---|
| $241 (RTX A6000, Community) | yaklaşık 1.1B token | yaklaşık 36M |
| $577 (L40S, Community) | yaklaşık 2.6B token | yaklaşık 87M |
| $796 (L40S, Secure) | yaklaşık 3.6B token | yaklaşık 120M |
Bu miktardan daha az token kullanırsanız, hosted API daha ucuzdur. Üzerinde çıkarsanız, kart günün büyük kısmında meşgulse kiralık kart avantajlı olabilir.
Fiyat listesinde olmayan maliyetler
- Kurulum ve güncellemeler: çıkarım sunucusu, sürücüler, model indirmeleri, izleme.
- Boşta kalma süresi: Kiralık kart, gece kimse istek göndermediğinde aynı maliyete sahiptir.
- Zirveler: bir kart sınırlı sayıda paralel isteğe hizmet eder; daha fazla kullanıcı daha fazla kart anlamına gelir.
Hangisini seçmek
- Sürekli ve çok yüksek hacimlere sahipseniz, yığın üzerinde tam kontrole veya 262,144 token'ı aşan bir bağlama ihtiyacınız varsa kendi sunucunuzda barındırın.
- Hacminiz kârlılık noktasının altında ise, gün gün değişiyorsa veya sunucularınızı çalıştırmak istemiyorsanız Dolphin LLM'yi kullanın.
Kaynaklar
Fiyatlar değişir. Karar vermeden önce her sağlayıcının sayfasını kontrol edin.
Sorular ve yanıtlar
Bu boyuttaki bir modeli kendi bilgisayarım üzerinde çalıştırabilir miyim?
Evet, yeterli belleği olan bir GPU ile: 4-bitlik bir modelde bu tür bir model yaklaşık 20–25 GB yer kaplar; bu nedenle 48 GB'lık bir kart rahat bir kullanım sağlar ve 24 GB'lık bir kart, anlamlı bir bağlam için çok küçüktür.
Barındırılan API, yerel GPU'dan daha yavaş mı?
Oluşturma süresine ek olarak ağ gecikmesi ekler. Oluşturma hızı paylaşılan sunuculardaki yüke bağlıdır; sohbet ve çoğu toplu iş için fark küçüktür.
Daha fazla kılavuz
Dolphin LLM vs OpenAI APIDolphin LLM yanına OpenAI GPT-6 Luna ve GPT-6.1 Terra: 1M token başına fiyat, bağlam penceresi, veri politikası, faturalandırma ve her birinin ne zaman uygun olduğu.
Dolphin LLM vs OpenRouter'daki orta boy açık modellerOpenRouter sağlayıcıları ve DeepInfra'da popüler bir orta boy açık ağırlıklı sohbet modeli için 1M token başına fiyatlar Dolphin LLM'in yanında, ayrıca kredi ücretleri, bağlam ve her birinin ne zaman daha uygun olduğu.