API Terhosting vs menyewa GPU untuk model berukuran menengah

Diperbarui 9 November 2026 · harga diperiksa pada tanggal tersebut

Model open-weight berukuran menengah dalam format 4-bit muat pada satu GPU 48 GB, sehingga self-hosting sangat realistis. Apakah ini menguntungkan tergantung pada jumlah token yang Anda gunakan setiap bulan.

Poin kunci

Dalam 4-bit, model dengan 30–40B parameter membutuhkan sekitar 20–25 GB, sehingga satu kartu 48 GB sudah cukup untuk konteks 64.000 token.
L40S yang disewa harganya $0,79–$1,09 per jam di RunPod: sekitar $577–$796 per bulan jika digunakan 24 jam.
Dengan harga Dolphin LLM, $577 dapat membeli sekitar 2,6B token per bulan dengan campuran input/output 80/20 yang umum.
Self-hosting masuk akal pada volume tinggi yang stabil; di bawah itu, biaya API yang di-host lebih murah dan tidak memerlukan perawatan.

Perangkat keras apa yang dibutuhkan model seperti ini

Dalam 4-bit, bobot model dengan 30–40B parameter memakan sekitar 20–25 GB. Pada kartu 48 GB, tersisa sekitar 20 GB untuk cache KV, yang cukup untuk konteks 64.000 token dengan beberapa permintaan paralel. Menyajikan jendela penuh 262.144 token sendiri membutuhkan lebih banyak memori cache daripada itu, atau lebih sedikit permintaan paralel. Konteks yang lebih panjang atau lebih banyak pengguna paralel membutuhkan lebih banyak memori atau lebih banyak kartu.

Harga sewa

GPU	Di mana	Per jam	Per bulan, 24/7
L40S 48 GB	Komunitas RunPod / Aman	$0.79 / $1.09	$577 / $796
L40S 48 GB	Vast.ai (median dari 4 penawaran)	$0.80	$584
RTX A6000 48 GB	Komunitas RunPod / Aman	$0.33 / $0.59	$241 / $431
A100 80 GB	RunPod Secure	$1.79	$1,307
H100 80 GB	RunPod Secure (PCIe)	$2.89	$2,110

Angka bulanan adalah harga per jam × 730 jam, tanpa penyimpanan, lalu lintas, atau waktu kartu menganggur.

Titik impas

Campuran umum 80% token input dan 20% token output berharga $0,22 per 1M token di Dolphin LLM. Jadi, harga kartu sewaan per bulan dapat membeli:

Anggaran bulanan	Setara di Dolphin LLM	Per hari
$241 (RTX A6000, Community)	sekitar 1,1B token	sekitar 36M
$577 (L40S, Community)	sekitar 2,6B token	sekitar 87M
$796 (L40S, Secure)	sekitar 3,6B token	sekitar 120M

Jika Anda menggunakan lebih sedikit token dari ini, API terhosting lebih murah. Di atasnya, kartu yang disewa bisa menang, asalkan sibuk sebagian besar hari.

Biaya yang tidak tercantum dalam daftar harga

Pengaturan dan pembaruan: server inferensi, driver, unduhan model, pemantauan.
Waktu tunggu: kartu yang disewa harganya sama pada malam hari saat tidak ada permintaan yang dikirim.
Puncak: satu kartu melayani jumlah permintaan paralel yang terbatas; lebih banyak pengguna berarti lebih banyak kartu.

Mana yang harus dipilih

Host sendiri jika Anda memiliki volume tinggi yang stabil, membutuhkan kontrol penuh atas tumpukan teknologi, atau konteks yang lebih panjang dari 262,144 token.
Gunakan Dolphin LLM jika volume Anda di bawah titik impas, bervariasi dari hari ke hari, atau Anda tidak ingin menjalankan server.

Sumber

Harga berubah. Periksa halaman setiap penyedia sebelum Anda memutuskan.

Pertanyaan dan jawaban

Bisakah saya menjalankan model berukuran ini di komputer saya sendiri?

Ya, dengan GPU yang memiliki memori cukup: dalam format 4-bit, model seperti itu membutuhkan sekitar 20–25 GB, sehingga kartu 48 GB nyaman dan kartu 24 GB terlalu kecil untuk konteks yang berguna.

Apakah API yang di-host lebih lambat daripada GPU lokal?

Ini menambah latensi jaringan di atas waktu generasi. Kecepatan generasi bergantung pada beban server bersama; untuk obrolan dan sebagian besar pekerjaan batch, perbedaannya kecil.