API ospitata vs noleggio GPU per un modello di dimensioni medie
Aggiornato · prezzi verificati in quella data
Un modello open-weight di dimensioni medie in 4-bit occupa una singola GPU da 48 GB, quindi l'auto-hosting è realistico. Se conviene dipende dal numero di token che utilizzi ogni mese.
Punti chiave
- In 4-bit, un modello da 30–40B parametri richiede circa 20–25 GB, quindi una scheda da 48 GB è sufficiente per un contesto da 64.000 token.
- Un L40S in affitto costa $0.79–$1.09 all'ora su RunPod: circa $577–$796 al mese, 24 ore su 24.
- Ai prezzi di Dolphin LLM, $577 permettono di acquistare circa 2,6B di token al mese con una tipica miscela 80/20 input/output.
- Il self-hosting ha senso con volumi costanti e molto elevati; al di sotto di tale soglia, l'API ospitata costa meno e non richiede manutenzione.
Hardware necessario per un modello di questo tipo
In 4-bit, i pesi di un modello con 30–40B di parametri occupano circa 20–25 GB. Su una scheda da 48 GB restano circa 20 GB per la cache KV, che sono sufficienti per un contesto da 64.000 token con alcune richieste parallele. Servire una finestra completa da 262.144 token richiede molta più memoria cache o meno richieste parallele. Contesti più lunghi o più utenti paralleli richiedono più memoria o più schede.
Prezzi di noleggio
| GPU | Dove | All'ora | Al mese, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Sicuro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana di 4 offerte) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Sicuro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Le cifre mensili sono calcolate come prezzo orario × 730 ore, senza includere storage, traffico o il tempo in cui la carta rimane inattiva.
Punto di pareggio
Una tipica miscela di token di input al 80% e output al 20% costa $0,22 per 1M di token su Dolphin LLM. Quindi il prezzo mensile di una scheda affittata permette di acquistare:
| Budget mensile | Uguale su Dolphin LLM | Al giorno |
|---|---|---|
| $241 (RTX A6000, Community) | circa 1.1B token | circa 36M |
| $577 (L40S, Community) | circa 2.6B token | circa 87M |
| $796 (L40S, Secure) | circa 3.6B token | circa 120M |
Se utilizzi meno token di questo, l'API ospitata è più economica. Superato questo limite, una GPU noleggiata può risultare più conveniente, a patto che sia utilizzata per la maggior parte della giornata.
Costi non presenti nel listino prezzi
- Configurazione e aggiornamenti: server di inferenza, driver, download dei modelli, monitoraggio.
- Tempo di inattività: una GPU noleggiata costa ugualmente di notte quando non vengono inviate richieste.
- Picchi: una carta serve un numero limitato di richieste parallele; più utenti significano più carte.
Quale scegliere
- Self-host se hai un volume elevato e costante, necessiti di un controllo completo dello stack o di un contesto più lungo di 262,144 token.
- Usa Dolphin LLM se il tuo volume è inferiore al punto di pareggio, varia da giorno a giorno o se non vuoi gestire i server.
Fonti
I prezzi cambiano. Controlla la pagina di ciascun provider prima di decidere.
Domande e risposte
Posso eseguire un modello di queste dimensioni sul mio computer?
Sì, con una GPU con memoria sufficiente: in 4-bit un tale modello occupa circa 20-25 GB, quindi una scheda da 48 GB è comoda e una da 24 GB è troppo piccola per un contesto utile.
L'API ospitata è più lenta di una GPU locale?
Aggiunge latenza di rete oltre al tempo di generazione. La velocità di generazione dipende dal carico sui server condivisi; per chat e la maggior parte dei lavori batch la differenza è minima.
Altre guide
Dolphin LLM vs API OpenAIDolphin LLM accanto a OpenAI GPT-6 Luna e GPT-6.1 Terra: prezzo per 1M di token, finestra di contesto, politica sui dati, fatturazione e quando scegliere l'una o l'altra.
Dolphin LLM vs modelli open di dimensioni medie su OpenRouterPrezzo per 1M di token per un popolare modello chat open-weight di dimensioni medie sui provider OpenRouter e DeepInfra accanto a Dolphin LLM, più commissioni sul credito, contesto e quando conviene ciascuna opzione.