API alojada vs alquilar una GPU para un modelo de tamaño mediano
Actualizado · precios verificados en esa fecha
Un modelo de peso abierto de tamaño mediano en 4-bit cabe en una GPU de 48 GB, por lo que el autoalojamiento es realista. Si vale la pena depende de cuántos tokens uses cada mes.
Puntos clave
- En 4 bits, un modelo de 30–40B parámetros ocupa aproximadamente 20–25 GB, por lo que una tarjeta de 48 GB es suficiente para un contexto de 64,000 tokens.
- Un L40S alquilado cuesta $0.79–$1.09 la hora en RunPod: aproximadamente $577–$796 al mes, las 24 horas.
- A los precios de Dolphin LLM, $577 permiten obtener aproximadamente 2.6B de tokens al mes con una mezcla típica de 80/20 entrada/salida.
- El autoalojamiento tiene sentido con un volumen constante y muy alto; por debajo de eso, la API alojada cuesta menos y no requiere mantenimiento.
Qué hardware necesita un modelo de este tipo
En 4-bit, los pesos de un modelo con 30–40B de parámetros ocupan aproximadamente 20–25 GB. En una tarjeta de 48 GB, eso deja aproximadamente 20 GB para la caché KV, lo cual es suficiente para una ventana de contexto de 64,000 tokens con algunas solicitudes paralelas. Servir una ventana completa de 262,144 tokens por tu cuenta requiere mucha más memoria caché que eso, o menos solicitudes paralelas. Contextos más largos o más usuarios paralelos necesitan más memoria o más tarjetas.
Precios de alquiler
| GPU | Dónde | Por hora | Por mes, 24/7 |
|---|---|---|---|
| L40S 48 GB | Comunidad de RunPod / Seguro | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (mediana de 4 ofertas) | $0.80 | $584 |
| RTX A6000 48 GB | Comunidad de RunPod / Seguro | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Seguro | $1.79 | $1,307 |
| H100 80 GB | RunPod Seguro (PCIe) | $2.89 | $2,110 |
Las cifras mensuales son precio por hora × 730 horas, sin almacenamiento, tráfico ni el tiempo que la tarjeta permanece inactiva.
Punto de equilibrio
Una mezcla típica de 80% de tokens de entrada y 20% de tokens de salida cuesta $0.22 por 1M de tokens en Dolphin LLM. Por lo tanto, el precio mensual de una tarjeta alquilada permite comprar:
| Presupuesto mensual | Igual en Dolphin LLM | Por día |
|---|---|---|
| $241 (RTX A6000, Community) | aproximadamente 1.1B tokens | aproximadamente 36M |
| $577 (L40S, Community) | aproximadamente 2.6B tokens | aproximadamente 87M |
| $796 (L40S, Secure) | aproximadamente 3.6B tokens | aproximadamente 120M |
Si usas menos tokens que esto, la API alojada es más barata. Por encima de ese umbral, una tarjeta alquilada puede resultar más rentable, siempre que esté ocupada la mayor parte del día.
Costes no incluidos en la lista de precios
- Configuración y actualizaciones: servidor de inferencia, controladores, descargas de modelos, monitoreo.
- Tiempo inactivo: una tarjeta alquilada cuesta lo mismo por la noche cuando nadie envía solicitudes.
- Picos: una tarjeta sirve para un número limitado de solicitudes paralelas; más usuarios implican más tarjetas.
Cuál elegir
- Autoaloja si tienes un volumen alto y constante, necesitas control total del stack o un contexto superior a 262,144 tokens.
- Usa Dolphin LLM si tu volumen está por debajo del punto de equilibrio, varía de día en día o no quieres ejecutar servidores.
Fuentes
Los precios cambian. Consulta la página de cada proveedor antes de decidir.
Preguntas y respuestas
¿Puedo ejecutar un modelo de este tamaño en mi propia computadora?
Sí, con una GPU que tenga suficiente memoria: en 4-bit, un modelo de este tipo ocupa aproximadamente 20–25 GB, por lo que una tarjeta de 48 GB es cómoda y una tarjeta de 24 GB es demasiado pequeña para un contexto útil.
¿Es la API alojada más lenta que una GPU local?
Añade latencia de red además del tiempo de generación. La velocidad de generación depende de la carga en los servidores compartidos; para chat y la mayoría de trabajos por lotes, la diferencia es pequeña.
Más guías
Dolphin LLM frente a la API de OpenAIDolphin LLM frente a OpenAI GPT-6 Luna y GPT-6.1 Terra: precio por 1M de tokens, ventana de contexto, política de datos, facturación y cuándo conviene cada uno.
Dolphin LLM vs modelos abiertos de tamaño mediano en OpenRouterPrecio por 1M de tokens para un popular modelo de chat de peso abierto de tamaño mediano en proveedores de OpenRouter y DeepInfra junto a Dolphin LLM, más comisiones de crédito, contexto y cuándo es más barato cada uno.