API hospedada vs aluguel de GPU para um modelo de porte médio
Atualizado · preços verificados nessa data
Um modelo de peso aberto de porte médio em 4-bit cabe em uma única GPU de 48 GB, tornando o auto-hospedagem viável. Se compensa depende de quantos tokens você consome por mês.
Pontos-chave
- Em 4 bits, um modelo de 30–40B parâmetros ocupa cerca de 20–25 GB, portanto, uma placa de 48 GB é suficiente para um contexto de 64.000 tokens.
- Uma L40S alugada custa $0,79–$1,09 por hora na RunPod: cerca de $577–$796 por mês, 24 horas por dia.
- Pelos preços do Dolphin LLM, $577 compram aproximadamente 2,6B de tokens por mês em uma mistura típica de 80/20 entrada/saída.
- Self-hosting faz sentido em volume constante e muito alto; abaixo disso, a API hospedada custa menos e não requer manutenção.
Qual hardware esse modelo precisa
Em 4 bits, os pesos de um modelo com 30–40B de parâmetros ocupam cerca de 20–25 GB. Em uma placa de 48 GB, isso deixa cerca de 20 GB para o cache KV, o que é suficiente para um contexto de 64.000 tokens com algumas solicitações paralelas. Servir uma janela completa de 262.144 tokens por conta própria exige muito mais memória de cache ou menos solicitações paralelas. Contextos mais longos ou mais usuários paralelos exigem mais memória ou mais placas.
Preços de aluguel
| GPU | Onde | Por hora | Por mês, 24/7 |
|---|---|---|---|
| L40S 48 GB | Comunidade RunPod / Seguro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana de 4 ofertas) | $0.80 | $584 |
| RTX A6000 48 GB | Comunidade RunPod / Seguro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Seguro | $1.79 | $1,307 |
| H100 80 GB | RunPod Seguro (PCIe) | $2.89 | $2,110 |
Os valores mensais são calculados como preço por hora × 730 horas, sem armazenamento, tráfego ou tempo de inatividade do cartão.
Ponto de equilíbrio
Uma mistura típica de 80% de tokens de entrada e 20% de tokens de saída custa $0,22 por 1M de tokens no Dolphin LLM. Portanto, o preço mensal de uma placa alugada permite comprar:
| Orçamento mensal | Igual ao Dolphin LLM | Por dia |
|---|---|---|
| $241 (RTX A6000, Community) | cerca de 1,1B de tokens | cerca de 36M |
| $577 (L40S, Community) | cerca de 2,6B tokens | cerca de 87M |
| $796 (L40S, Secure) | cerca de 3,6B tokens | cerca de 120M |
Se você usar menos tokens do que isso, a API hospedada será mais barata. Acima disso, uma GPU alugada pode ser mais vantajosa, desde que esteja ocupada a maior parte do dia.
Custos não listados no preço
- Configuração e atualizações: servidor de inferência, drivers, downloads de modelos, monitoramento.
- Tempo ocioso: uma GPU alugada custa o mesmo à noite quando ninguém envia solicitações.
- Picos: um cartão atende a um número limitado de solicitações paralelas; mais usuários significam mais cartões.
Qual escolher
- Auto-hospede se tiver volume constante e muito alto, precisar de controle total da pilha ou de um contexto maior que 262.144 tokens.
- Use a Dolphin LLM se seu volume estiver abaixo do ponto de equilíbrio, variar de dia para dia ou se você não quiser gerenciar servidores.
Fontes
Os preços mudam. Verifique a página de cada provedor antes de decidir.
Perguntas e respostas
Posso executar um modelo desse tamanho no meu computador?
Sim, com uma GPU que tenha memória suficiente: em 4-bit, esse modelo ocupa cerca de 20–25 GB, então uma GPU de 48 GB é confortável e uma de 24 GB é pequena demais para um contexto útil.
A API hospedada é mais lenta que uma GPU local?
Adiciona latência de rede ao tempo de geração. A velocidade de geração depende da carga nos servidores compartilhados; para chat e a maioria dos trabalhos em lote, a diferença é pequena.
Mais guias
Dolphin LLM vs API OpenAIDolphin LLM ao lado do OpenAI GPT-6 Luna e GPT-6.1 Terra: preço por 1M tokens, janela de contexto, política de dados, faturamento e quando cada um se encaixa.
Dolphin LLM vs modelos abertos de porte médio no OpenRouterPreço por 1M de tokens para um popular modelo de chat de peso aberto de porte médio em provedores do OpenRouter e DeepInfra ao lado do Dolphin LLM, além de taxas de crédito, contexto e quando cada opção é mais econômica.