Хостинг API против аренды GPU для модели среднего размера

Обновлено 9 ноября 2026 · цены указаны на эту дату

Модель среднего размера с открытыми весами в 4-битном квантовании помещается на один GPU с 48 ГБ памяти, поэтому самостоятельный хостинг вполне реален. Выгодна ли она вам, зависит от того, сколько токенов вы используете каждый месяц.

Ключевые моменты

При 4-битном квантовании модель на 30–40B параметров занимает примерно 20–25 ГБ, поэтому одной карты на 48 ГБ достаточно для контекста на 64 000 токенов.
Аренда L40S стоит $0.79–$1.09 в час на RunPod: около $577–$796 в месяц круглосуточно.
По ценам Dolphin LLM за $577 можно получить примерно 2,6B токенов в месяц при типичном соотношении 80/20 входных/выходных токенов.
Самостоятельный хостинг оправдан при стабильном очень высоком объеме; в остальных случаях хостинг API обходится дешевле и не требует обслуживания.

Какое оборудование требуется для такой модели

В 4-битном квантовании веса модели с 30–40B параметров занимают примерно 20–25 ГБ. На карте с 48 ГБ остаётся около 20 ГБ для KV-кэша, чего достаточно для контекста в 64 000 токенов при нескольких параллельных запросах. Обслуживание полного окна в 262 144 токенов своими силами требует значительно больше памяти кэша или меньшего числа параллельных запросов. Более длинные контексты или больше параллельных пользователей требуют больше памяти или больше карт.

Цены на аренду

GPU	Где	В час	В месяц, 24/7
L40S 48 ГБ	RunPod Community / Безопасно	$0.79 / $1.09	$577 / $796
L40S 48 ГБ	Vast.ai (медиана 4 предложений)	$0.80	$584
RTX A6000 48 ГБ	RunPod Community / Безопасно	$0.33 / $0.59	$241 / $431
A100 80 ГБ	RunPod Secure	$1.79	$1,307
H100 80 ГБ	Secure (PCIe) от RunPod	$2.89	$2,110

Ежемесячные показатели рассчитываются как почасовая цена × 730 часов, без учета хранения, трафика или времени простоя карты.

Создавайте чат-ботов, которые ведут себя более естественно и менее ограничены. Потоковая передача ответов обеспечивает естественный ход диалога.

Типичное соотношение 80% входных и 20% выходных токенов обходится в $0.22 за 1M токенов в Dolphin LLM. Таким образом, ежемесячная стоимость арендованной карты позволяет получить:

Ежемесячный бюджет	Сравнение с Dolphin LLM	В день
$241 (RTX A6000, Community)	около 1,1B токенов	около 36M
$577 (L40S, Community)	около 2,6B токенов	около 87M
$796 (L40S, Secure)	около 3,6B токенов	около 120M

Если вы используете меньше токенов, чем указано, хостинг API дешевле. Если больше, аренда карты может оказаться выгоднее, при условии, что она занята большую часть дня.

Расходы, не указанные в прайс-листе

Настройка и обновления: сервер вывода, драйверы, загрузка моделей, мониторинг.
Простой токенов: арендованная карта стоит столько же ночью, когда никто не отправляет запросы.
Пиковые нагрузки: одна карта обслуживает ограниченное число параллельных запросов; больше пользователей — больше карт.

Что выбрать

Разверните модель самостоятельно, если у вас стабильный очень большой объём запросов, требуется полный контроль над стеком или контекст длиннее 262 144 токенов.
Используйте Dolphin LLM, если ваш объем ниже точки безубыточности, варьируется от дня к дню или вы не хотите запускать свои серверы.

Источники

Цены меняются. Проверяйте страницу каждого провайдера перед принятием решения.

Вопросы и ответы

Могу ли я запустить модель такого размера на своём компьютере?

Да, при наличии GPU с достаточным объемом памяти: в 4-битном квантовании такая модель занимает около 20–25 ГБ, поэтому видеокарта на 48 ГБ будет комфортной, а на 24 ГБ — маловата для полезного контекста.

Медленнее ли хостинговый API по сравнению с локальной GPU?

К времени генерации добавляется сетевая задержка. Скорость генерации зависит от нагрузки на общие серверы; для чата и большинства пакетных задач разница невелика.