Gehostete API vs. Miete einer GPU für ein mittelgroßes Modell
Aktualisiert · Preise an diesem Datum geprüft
Ein mittelgroßes Open-Weight-Modell in 4-Bit passt auf eine einzelne 48-GB-GPU, daher ist Self-Hosting realistisch. Ob sich das lohnt, hängt davon ab, wie viele Tokens Sie monatlich nutzen.
Wichtige Punkte
- In 4-bit belegt ein Modell mit 30–40B Parametern etwa 20–25 GB, sodass eine einzelne 48-GB-Karte für einen Kontext von 64.000 Tokens ausreicht.
- Eine gemietete L40S kostet auf RunPod $0,79–$1,09 pro Stunde: etwa $577–$796 pro Monat durchgehend.
- Bei den Preisen von Dolphin LLM kaufen Sie für 577 $ etwa 2,6B Tokens pro Monat bei einer typischen Input/Output-Mischung von 80/20.
- Selbst-Hosting macht bei gleichmäßigem, sehr hohem Volumen Sinn; darunter ist die gehostete API günstiger und benötigt keine Wartung.
Welche Hardware ein solches Modell benötigt
In 4-Bit nehmen die Gewichte eines Modells mit 30–40B Parametern etwa 20–25 GB ein. Auf einer 48-GB-Karte verbleiben etwa 20 GB für den KV-Cache, was für einen Kontext von 64.000 Tokens mit einigen parallelen Anfragen ausreicht. Das Serving eines vollständigen 262.144-Token-Fensters erfordert selbst deutlich mehr Cache-Speicher oder weniger parallele Anfragen. Längere Kontexte oder mehr parallele Nutzer benötigen mehr Speicher oder mehr Karten.
Mietpreise
| GPU | Wo | Pro Stunde | Pro Monat, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Sicher | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (Median von 4 Angeboten) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Sicher | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Monatliche Werte berechnen sich aus dem Stundenpreis × 730 Stunden, ohne Speicher, Traffic oder Leerlaufzeit der Karte.
Break-even
Eine typische Mischung aus 80 % Input- und 20 % Output-Tokens kostet auf Dolphin LLM 0,22 $ pro 1M Tokens. Somit kaufen Sie für den monatlichen Preis einer gemieteten GPU-Karte:
| Monatliches Budget | Gleich auf Dolphin LLM | Pro Tag |
|---|---|---|
| $241 (RTX A6000, Community) | ca. 1,1B Token | ca. 36M |
| $577 (L40S, Community) | ca. 2,6B Token | ca. 87M |
| $796 (L40S, Secure) | ca. 3,6B Token | ca. 120M |
Wenn Sie weniger Tokens als diesen Wert verbrauchen, ist die gehostete API günstiger. Darüber hinaus kann eine gemietete Karte gewinnen, sofern sie den Großteil des Tages ausgelastet ist.
Kosten, die nicht in der Preisliste aufgeführt sind
- Einrichtung und Updates: Inference-Server, Treiber, Modell-Downloads, Monitoring.
- Leerlaufzeit: Eine gemietete Karte kostet nachts gleich viel, wenn niemand Anfragen sendet.
- Spitzenzeiten: Eine Karte bedingt eine begrenzte Anzahl paralleler Anfragen; mehr Nutzer bedeuten mehr Karten.
Welches soll man wählen
- Selbst hosten, wenn Sie ein gleichmäßiges, sehr hohes Volumen haben, die volle Kontrolle über den Stack benötigen oder einen Kontext von mehr als 262.144 Token brauchen.
- Nutzen Sie Dolphin LLM, wenn Ihr Volumen unter dem Break-even-Punkt liegt, von Tag zu Tag schwankt oder Sie keine Server betreiben möchten.
Quellen
Die Preise ändern sich. Prüfen Sie die Seite jedes Anbieters, bevor Sie sich entscheiden.
Fragen und Antworten
Kann ich ein Modell dieser Größe auf meinem eigenen Computer ausführen?
Ja, mit einer GPU, die über ausreichend Speicher verfügt: In 4-Bit belegt ein solches Modell etwa 20–25 GB, sodass eine 48-GB-Karte bequem ist und eine 24-GB-Karte für einen sinnvollen Kontext zu klein ist.
Ist die gehostete API langsamer als eine lokale GPU?
Dies fügt der Generierungszeit eine Netzwerklatenz hinzu. Die Generierungsgeschwindigkeit hängt von der Auslastung der Shared-Server ab; bei Chat und den meisten Batch-Aufgaben ist der Unterschied gering.
Weitere Anleitungen
Dolphin LLM im Vergleich zur OpenAI APIDolphin LLM im Vergleich zu OpenAI GPT-6 Luna und GPT-6.1 Terra: Preis pro 1M Tokens, Kontextfenster, Datenrichtlinie, Abrechnung und wann welches Modell passt.
Dolphin LLM im Vergleich zu mittelgroßen Open-Modellen auf OpenRouterPreis pro 1M Tokens für ein beliebtes mittelgroßes Open-Weight-Chat-Modell bei OpenRouter-Anbietern und DeepInfra im Vergleich zu Dolphin LLM, zuzüglich Guthühren, Kontext und wann jede Option günstiger ist.