Gehoste API vs het huren van een GPU voor een model van gemiddelde grootte

Bijgewerkt 9 november 2026 · prijzen gecontroleerd op die datum

Een model van gemiddelde grootte in 4-bit past op één GPU van 48 GB, dus self-hosting is haalbaar. Of dit de moeite waard is, hangt af van het aantal tokens dat je elke maand gebruikt.

Belangrijkste punten

In 4-bit neemt een model van 30–40B parameters ongeveer 20–25 GB in beslag, dus één 48 GB-kaart is genoeg voor een context van 64.000 tokens.
Een gehuurde L40S kost $0,79–$1,09 per uur op RunPod: ongeveer $577–$796 per maand, 24/7.
Bij de prijzen van Dolphin LLM koopt $577 ongeveer 2,6B tokens per maand in een typische 80/20 input/output-mix.
Self-hosting is zinvol bij stabiel, zeer hoog volume; daarbeneden is de gehoste API goedkoper en vereist geen onderhoud.

Welke hardware zo'n model nodig heeft

In 4-bit nemen de gewichten van een model met 30–40B parameters ongeveer 20–25 GB in beslag. Op een 48 GB-kaart laat dat ongeveer 20 GB over voor de KV-cache, wat genoeg is voor een context van 64.000 tokens met een paar gelijktijdige verzoeken. Het serveren van een volledig venster van 262.144 tokens vereist zelf veel meer cachgeheugen dan dat, of minder gelijktijdige verzoeken. Langere contexten of meer gelijktijdige gebruikers vereisen meer geheugen of meer kaarten.

Huurprijzen

GPU	Waar	Per uur	Per maand, 24/7
L40S 48 GB	RunPod Community / Veilig	$0.79 / $1.09	$577 / $796
L40S 48 GB	Vast.ai (mediaan van 4 aanbiedingen)	$0.80	$584
RTX A6000 48 GB	RunPod Community / Veilig	$0.33 / $0.59	$241 / $431
A100 80 GB	RunPod Veilig	$1.79	$1,307
H100 80 GB	RunPod Veilig (PCIe)	$2.89	$2,110

Maandelijkse cijfers zijn uurprijs × 730 uur, zonder opslag, verkeer of de tijd dat de kaart inactief blijft.

Break-even

Een typische mix van 80% input- en 20% outputtokens kost $0,22 per 1M tokens op Dolphin LLM. Dus de maandprijs van een gehuurde kaart koopt:

Maandelijkse budget	Gelijk aan Dolphin LLM	Per dag
$241 (RTX A6000, Community)	ongeveer 1.1B tokens	ongeveer 36M
$577 (L40S, Community)	ongeveer 2.6B tokens	ongeveer 87M
$796 (L40S, Secure)	ongeveer 3.6B tokens	ongeveer 120M

Als je minder tokens gebruikt dan dit, is de hosted API goedkoper. Daarboven kan een gehuurde kaart winnen, mits deze de meeste dag bezet is.

Kosten die niet op de prijslijst staan

Instellen en bijwerken: inference server, drivers, modeldownloads, monitoring.
Inactieve tijd: een gehuurde kaart kost dezelfde prijs 's nachts wanneer er geen verzoeken worden verwerkt.
Piekbelasting: één kaart bedient een beperkt aantal gelijktijdige verzoeken; meer gebruikers betekenen meer kaarten.

Welke moet je kiezen

Zelf hosten als je een stabiele, zeer hoge volume hebt, volledige controle over de stack wilt of een context nodig hebt die langer is dan 262,144 tokens.
Gebruik Dolphin LLM als je volume onder het break-even point ligt, van dag tot dag varieert, of als je geen servers wilt draaien.

Bronnen

Prijzen veranderen. Controleer de pagina van elke aanbieder voordat je besluit.

Vragen en antwoorden

Kan ik een model van deze grootte op mijn eigen computer draaien?

Ja, met een GPU die genoeg geheugen heeft: in 4-bit neemt zo'n model ongeveer 20–25 GB in beslag, dus een kaart van 48 GB is comfortabel en een kaart van 24 GB is te klein voor een bruikbare context.

Is de gehoste API langzamer dan een lokale GPU?

Het voegt netwerklatenstijd toe aan de generatietijd. De generatiesnelheid hangt af van de belasting op de gedeelde servers; voor chat en de meeste batchtaken is het verschil klein.