Cara Menjalankan LLM Dolphin: Setup Lokal vs API Terhost

Putuskan dulu: perangkat keras apa yang Anda miliki?

Memori menentukan segalanya. Model bahasa adalah kumpulan angka yang sangat besar, dan seluruh kumpulan harus berada di memori cepat saat menghasilkan. Kuantisasi mengecilkan angka-angka tersebut. Model kuantisasi 4-bit membutuhkan sekitar setengah byte per parameter, sehingga model dengan 8 miliar parameter mencapai sekitar 5 GB, dan yang 70 miliar mencapai sekitar 40 GB. Anggap angka ini sebagai perkiraan kasar, karena ukuran pastinya bergantung pada format kuantisasi.

Di atas bobot, Anda membutuhkan ruang untuk cache konteks. Ini bertambah seiring panjang prompt, sehingga riwayat roleplay panjang atau dokumen besar membutuhkan lebih banyak memori daripada pertanyaan singkat. Rencanakan beberapa gigabyte ekstra pada konteks sedang, lebih banyak jika Anda mendorong ke arah prompt panjang.

• Laptop 8 GB tanpa GPU: hanya model kecil, output lambat.
• Mac Apple Silicon 16 hingga 32 GB: model ukuran menengah berjalan baik karena CPU dan GPU berbagi memori.
• GPU konsumen tunggal dengan VRAM 12 hingga 24 GB: model ukuran menengah dengan kecepatan baik.
• Lebih besar dari itu: beberapa GPU atau server yang disewa.

Metode 1: Ollama dalam beberapa perintah

Ollama adalah jalur terpendek. Ini mengunduh model kuantisasi, memulai server latar belakang, dan memberikan prompt chat. Instal dari situs resmi untuk sistem operasi Anda, lalu periksa tag Dolphin mana yang terdaftar di perpustakaan model Ollama saat ini, karena nama dan ukuran berubah antar rilis.

Copy# replace <tag> with a Dolphin tag from the Ollama library
ollama pull <tag>
ollama run <tag>

Perintah pertama mengunduh file, yang bisa memakan waktu lama pada koneksi lambat. Perintah kedua membuka chat interaktif di terminal. Ollama juga menyediakan API HTTP di mesin Anda, termasuk rute gaya OpenAI di bawah /v1, sehingga program lain dapat menggunakannya.

Jika proses generasi sangat lambat, model kemungkinan tidak muat di VRAM dan sebagian berjalan di CPU. Pilih tag yang lebih kecil atau kuantisasi bit lebih rendah.

Metode 2: llama.cpp untuk kontrol lebih

llama.cpp adalah mesin C++ yang menjadi dasar banyak alat lain. Anda mengunduh file GGUF model, lalu memulai servernya. Ini membutuhkan lebih banyak langkah daripada Ollama, tetapi memungkinkan Anda mengatur panjang jendela konteks, jumlah lapisan yang ditempatkan di GPU, dan kuantisasi yang Anda inginkan.

Copy# after building llama.cpp and downloading a GGUF file
llama-server -m ./model.gguf -c 8192 -ngl 99 --port 8080

Di sini -c menetapkan panjang konteks, -ngl menetapkan berapa banyak lapisan yang masuk ke GPU, dan --port memilih port. Periksa README proyek untuk flag di versi Anda, karena mereka berkembang. -c yang lebih besar menggunakan lebih banyak memori, jadi tingkatkan hanya ketika Anda membutuhkannya.

Untuk penggunaan grafis, antarmuka depan seperti Open WebUI dapat berbicara dengan server mana pun. Catatan kami tentang endpoint API Open WebUI menunjukkan cara menambahkan endpoint kustom.

Memanggil server lokal Anda dari kode

Kedua alat tersebut mendukung format chat OpenAI, sehingga Anda menulis klien sekali dan mengubah target dengan dua pengaturan. Skrip ini menempatkan kedua target berdampingan. Yang lokal menggunakan port yang digunakan Ollama secara default; ubah jika Anda menjalankan llama.cpp di 8080.

Copyfrom openai import OpenAI

TARGETS = {
    "local": {"base_url": "http://localhost:11434/v1", "key": "not-needed", "model": "your-local-tag"},
    "hosted": {"base_url": "https://api.dolphinllm.com/v1", "key": "YOUR_KEY", "model": "uncensored"},
}

t = TARGETS["hosted"]
client = OpenAI(base_url=t["base_url"], api_key=t["key"])

resp = client.chat.completions.create(
    model=t["model"],
    messages=[{"role": "user", "content": "Summarize what a GGUF file is."}],
)
print(resp.choices[0].message.content)

Server lokal biasanya mengabaikan kunci, tetapi SDK membutuhkan string non-kosong. Nama model untuk server lokal adalah tag atau alias apa pun yang Anda muat, sedangkan ID model terhost selalu uncensored.

Metode 3: lewati pengaturan dan gunakan endpoint yang dihosting

Jika komputasi perangkat keras terlihat buruk, atau Anda menginginkan perilaku yang sama di setiap mesin, endpoint yang di-host lebih sederhana. Layanan ini menyediakan satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun, dan tidak memungkinkan Anda memilih model lain. Yang Anda dapatkan adalah URL stabil, kunci, dan penagihan per token.

Langkahnya singkat. Daftar dengan Google atau dengan email dan kata sandi, buka halaman kunci API, dan klaim kredit uji coba senilai $0,50 dengan satu klik. Tidak perlu kartu, berlaku selama 7 hari, dan dibatasi satu per orang. Kemudian jalankan skrip Python di atas dengan target terhost. Jika Anda lebih suka curl:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Jendela konteksnya berukuran 100.000 token, yang lebih banyak dari yang dapat ditampung cache sebagian besar laptop dengan nyaman. Prompt tidak digunakan untuk pelatihan.

Perbandingan biaya dan usaha

Lokal terasa gratis, tetapi tidak. Anda membayar untuk perangkat keras, listrik, dan waktu Anda sendiri. Hosted memerlukan biaya per permintaan, tetapi angkanya kecil. Pada $0,15 per 1M token input dan $0,50 per 1M token output, satu giliran chat dengan 3.000 token input dan 700 token output biayanya:

• Input: 3.000 x $0,15 / 1.000.000 = $0,00045
• Output: 700 x $0,50 / 1.000.000 = $0,00035
• Total: $0,0008 per giliran, jadi $0,80 per 1.000 giliran

Bahkan pengguna berat yang mengirim 5.000 giliran seperti itu dalam sebulan akan menghabiskan sekitar $4. GPU yang berharga ratusan dolar membutuhkan bertahun-tahun penggunaan untuk balik modal pada volume itu. Perbandingan berubah ketika Anda memiliki volume tinggi berkelanjutan, membutuhkan fine-tune spesifik, atau tidak dapat mengirim data keluar dari mesin Anda.

Rincian harga lengkap, termasuk bonus isi saldo +5%, +10%, dan +15%, ada di halaman harga, dan dokumentasi mencakup batas dan parameter.

Aturan sederhana untuk memilih

Jalankan secara lokal jika Anda ingin bereksperimen dengan banyak fine-tune, bekerja secara offline, atau menyimpan setiap prompt di disk Anda sendiri. Gunakan endpoint yang di-host jika Anda membangun sesuatu yang akan digunakan orang lain, jika perangkat keras Anda terbatas, atau jika Anda menginginkan jendela konteks sepanjang 100.000 token tanpa mengelola memori. Banyak pengembang melakukan keduanya: model lokal untuk pengutak-atik pribadi, dan endpoint yang di-host untuk apa pun yang perlu tetap aktif. Karena kode klien sama, biayanya hanya satu baris untuk beralih.

Panduan lainnya

• Dolphin LLM API: Lokal, GPU Disewa atau Dihosting
• API LLM Gratis untuk Pengembang: Uji Coba vs Bayar Sesuai Penggunaan