Хостований API проти оренди GPU для моделі середнього розміру
Оновлено · ціни перевірено на ту дату
Модель середнього розміру з відкритими вагами у 4-бітному форматі поміщається на одну GPU з 48 ГБ, тому власний хостинг є цілком реальним. Чи виправдає це витрати, залежить від того, скільки токенів ви використовуєте щомісяця.
Ключові моменти
- У 4-бітному форматі модель на 30–40B параметрів займає приблизно 20–25 ГБ, тому однієї карти на 48 ГБ достатньо для контексту на 64,000 токенів.
- Оренда L40S коштує $0.79–$1.09 на годину на RunPod: приблизно $577–$796 на місяць при цілодобовій роботі.
- За цінами Dolphin LLM $577 дають приблизно 2.6B токенів на місяць при типовому співвідношенні вхідних/вихідних даних 80/20.
- Власний хостинг має сенс при стабільному дуже високому навантаженні; у інших випадках хмарний API коштує менше і не потребує обслуговування.
Яке обладнання потрібно такій моделі
У 4-бітному форматі ваги моделі з 30–40B параметрів займають приблизно 20–25 ГБ. На карті з 48 ГБ залишається близько 20 ГБ для кешу KV, чого достатньо для контексту в 64 000 токенів із кількома паралельними запитами. Обслуговування повного вікна на 262 144 токенів вимагає значно більше пам’яті кешу або меншої кількості паралельних запитів. Довші контексти або більше паралельних користувачів потребують більше пам’яті або більше карт.
Ціни на оренду
| GPU | Де | На годину | На місяць, 24/7 |
|---|---|---|---|
| L40S 48 ГБ | RunPod Community / Безпечно | $0.79 / $1.09 | $577 / $796 |
| L40S 48 ГБ | Vast.ai (середнє значення з 4 пропозицій) | $0.80 | $584 |
| RTX A6000 48 ГБ | RunPod Community / Безпечно | $0.33 / $0.59 | $241 / $431 |
| A100 80 ГБ | RunPod Secure | $1.79 | $1,307 |
| H100 80 ГБ | Захист RunPod (PCIe) | $2.89 | $2,110 |
Місячні показники розраховуються як годинна ціна × 730 годин, без урахування зберігання, трафіку або часу простою картки.
Точка беззбитковості
Типовий мікс із 80% входів і 20% виходів коштує $0.22 за 1M токенів у Dolphin LLM. Тож місячна оренда карти дозволяє купити:
| Місячний бюджет | Ціни на Dolphin LLM | На день |
|---|---|---|
| $241 (RTX A6000, Community) | приблизно 1.1B токенів | приблизно 36M |
| $577 (L40S, Community) | приблизно 2.6B токенів | приблизно 87M |
| $796 (L40S, Secure) | приблизно 3.6B токенів | приблизно 120M |
Якщо ви використовуєте менше токенів, ніж ця межа, хостований API дешевший. Вище цієї межі орендована карта може виграти, за умови, що вона зайнята більшу частину дня.
Витрати, які не вказані в прайс-листі
- Налаштування та оновлення: сервер висновку, драйвери, завантаження моделей, моніторинг.
- Час простою: орендована карта коштує стільки ж вночі, коли ніхто не надсилає запити.
- Сезонні піки: одна картка обслуговує обмежену кількість паралельних запитів; більше користувачів — більше карток.
Яку обрати
- Самостійне розміщення підходить, якщо у вас стабільний дуже великий обсяг, потрібний повний контроль над стеком або контекст довший за 262 144 токенів.
- Використовуйте Dolphin LLM, якщо ваш обсяг нижче точки беззбитковості, змінюється з дня на день або ви не хочете запускати власні сервери.
Джерела
Ціни змінюються. Перевіряйте сторінку кожного провайдера перед прийняттям рішення.
Питання та відповіді
Чи можу я запустити модель такого розміру на своєму комп'ютері?
Так, за умови наявності GPU з достатньою пам’яттю: у 4-бітному квантуванні така модель займає приблизно 20–25 ГБ, тому 48 ГБ — комфортний варіант, а 24 ГБ замало для корисного контексту.
Чи є хмарний API повільнішим за локальну GPU?
Це додає мережеву затримку до часу генерації. Швидкість генерації залежить від навантаження на спільні сервери; для чату та більшості пакетних завдань різниця незначна.
Більше посібників
Dolphin LLM проти API OpenAIDolphin LLM порівняно з OpenAI GPT-6 Luna та GPT-6.1 Terra: ціна за 1 млн токенів, вікно контексту, політика даних, розрахунок та коли кожен з них підходить.
Dolphin LLM проти моделей середнього розміру з відкритими вагами на OpenRouterЦіна за 1M токенів для популярної чат-моделі середнього розміру з відкритими вагами на провайдерах OpenRouter та DeepInfra поруч із Dolphin LLM, а також комісії за кредит, контекст і те, коли кожен із варіантів є дешевшим.