API hébergée vs location d'une GPU pour un modèle de taille moyenne
Mis à jour · prix vérifiés à cette date
Un modèle de taille moyenne à poids ouverts en 4 bits tient sur une seule GPU de 48 Go, ce qui rend l'auto-hébergement réaliste. L'intérêt économique dépend du volume de tokens que vous utilisez chaque mois.
Points clés
- En 4 bits, un modèle de 30 à 40 milliards de paramètres prend environ 20 à 25 Go, donc une carte de 48 Go suffit pour un contexte de 64 000 tokens.
- Une L40S louée coûte 0,79–1,09 $ l’heure sur RunPod : environ 577–796 $ par mois en continu.
- Aux tarifs de Dolphin LLM, 577 $ permettent d'obtenir environ 2,6B de tokens par mois avec un mélange typique de 80/20 entrée/sortie.
- L'auto-hébergement est judicieux pour un volume élevé et stable ; en dessous, l'API hébergée coûte moins cher et ne nécessite aucune maintenance.
Matériel requis pour un tel modèle
En 4 bits, les poids d'un modèle de 30–40B paramètres prennent environ 20–25 Go. Sur une carte de 48 Go, cela laisse environ 20 Go pour le cache KV, ce qui suffit pour un contexte de 64 000 tokens avec quelques requêtes parallèles. Servir une fenêtre complète de 262 144 tokens vous-même nécessite beaucoup plus de mémoire cache que cela, ou moins de requêtes parallèles. Des contextes plus longs ou plus d'utilisateurs parallèles nécessitent plus de mémoire ou plus de cartes.
Prix de location
| GPU | Où | Par heure | Par mois, 24h/24 et 7j/7 |
|---|---|---|---|
| L40S 48 Go | Communauté RunPod / Sécurisé | $0.79 / $1.09 | $577 / $796 |
| L40S 48 Go | Vast.ai (médiane de 4 offres) | $0.80 | $584 |
| RTX A6000 48 Go | Communauté RunPod / Sécurisé | $0.33 / $0.59 | $241 / $431 |
| A100 80 Go | RunPod Sécurisé | $1.79 | $1,307 |
| H100 80 Go | RunPod Sécurisé (PCIe) | $2.89 | $2,110 |
Les chiffres mensuels correspondent au prix horaire × 730 heures, sans stockage, trafic ni temps d'inactivité de la carte.
Seuil de rentabilité
Un mélange typique de 80 % de tokens d'entrée et 20 % de tokens de sortie coûte 0,22 $ par 1M de tokens sur Dolphin LLM. Ainsi, le prix mensuel d'une carte louée permet d'acheter :
| Budget mensuel | Égalité sur Dolphin LLM | Par jour |
|---|---|---|
| $241 (RTX A6000, Community) | environ 1,1 Md de tokens | environ 36 M |
| $577 (L40S, Community) | environ 2,6 Md de tokens | environ 87 M |
| $796 (L40S, Secure) | environ 3,6 Md de tokens | environ 120 M |
Si vous utilisez moins de tokens que ce seuil, l'API hébergée est moins chère. Au-delà, une carte louée peut s'avérer plus avantageuse, à condition qu'elle soit utilisée la majeure partie de la journée.
Coûs non listés
- Configuration et mises à jour : serveur d'inférence, pilotes, téléchargements de modèles, surveillance.
- Temps d'inactivité : une carte louée coûte le même prix la nuit quand personne n'envoie de requêtes.
- Points forts : une carte sert un nombre limité de requêtes parallèles ; plus d'utilisateurs signifient plus de cartes.
Lequel choisir
- Auto-hébergez si vous avez un volume élevé et stable, si vous avez besoin d'un contrôle total sur la pile ou d'une fenêtre de contexte supérieure à 262 144 tokens.
- Utilisez Dolphin LLM si votre volume est inférieur au seuil de rentabilité, varie d'un jour à l'autre, ou si vous ne souhaitez pas gérer de serveurs.
Sources
Les prix changent. Consultez la page de chaque fournisseur avant de décider.
Questions et réponses
Puis-je exécuter un modèle de cette taille sur mon propre ordinateur ?
Oui, avec une GPU ayant suffisamment de mémoire : en 4 bits, un tel modèle occupe environ 20 à 25 Go, donc une carte de 48 Go est confortable et une carte de 24 Go est trop petite pour un contexte utile.
L'API hébergée est-elle plus lente qu'un GPU local ?
Cela ajoute une latence réseau à la latence de génération. La vitesse de génération dépend de la charge des serveurs partagés ; pour le chat et la plupart des traitements par lots, la différence est minime.
Plus de guides
Dolphin LLM vs l'API OpenAIDolphin LLM à côté d'OpenAI GPT-6 Luna et GPT-6.1 Terra : prix par 1M de tokens, fenêtre de contexte, politique de données, facturation et cas d'utilisation de chacun.
Dolphin LLM vs modèles ouverts de taille moyenne sur OpenRouterPrix par 1M de tokens pour un modèle de chat à poids ouverts populaire de taille moyenne sur les fournisseurs OpenRouter et DeepInfra à côté de Dolphin LLM, plus les frais de crédit, le contexte et le moment où chaque solution est moins chère.