Poin utama
- Dolphin adalah keluarga penalaan halus komunitas, sehingga tidak ada API resmi tunggal untuk mendaftar.
- Anda dapat melayani sendiri di mesin lokal, menyajikannya di GPU yang disewa, atau memanggil endpoint yang dihosting.
- Endpoint yang kompatibel dengan OpenAI yang dihosting hanya memerlukan Basis-URL, kunci, dan ID model uncensored.
- Harga hosting di sini adalah $0,15 per 1M token input dan $0,50 per 1M token output, tanpa langganan.
Apa yang dimaksud orang dengan model Dolphin
Dolphin adalah nama garis penalaan halus komunitas dari model dasar bobot terbuka. Data penalaanannya difilter agar model mengikuti instruksi tanpa ceramah atau menolak permintaan biasa. Karena model dasar berubah antar rilis, tidak ada vendor Dolphin tunggal dengan satu endpoint resmi. Ketika seseorang mencari API LLM Dolphin, mereka biasanya berarti API apa pun yang melayani model tanpa sensor dengan gaya tersebut.
Hal itu penting untuk perencanaan Anda. Anda tidak memilih merek, Anda memilih tempat berat model berjalan dan siapa yang mengoperasikannya. Kualitas model bergantung pada model dasar dan fine-tune, dan sisi operasional bergantung pada rute yang Anda pilih di bawah ini.
Satu catatan tentang ruang lingkup: model ini disesuaikan untuk penggunaan dewasa yang sah. Tidak ada penyedia di sini, dan tidak ada penyedia yang masuk akal di mana pun, yang akan melayani konten seksual yang melibatkan anak di bawah umur. Anggap itu sebagai batas tetap dalam aplikasi Anda sendiri juga.
Rute 1: jalankan di mesin Anda sendiri
Rute termurah per token adalah model yang sudah Anda miliki perangkat kerasnya. Alat seperti Ollama dan llama.cpp mengunduh bobot kuantisasi dan mengekspos server lokal. Keduanya dapat menawarkan endpoint bergaya OpenAI di localhost, sehingga kode klien Anda terlihat sama seperti untuk layanan yang dihosting.
Tangkapannya adalah memori. Model kuantisasi membutuhkan sekitar ukuran file-nya dalam RAM atau VRAM, ditambah ruang untuk cache konteks. Model kecil muat di laptop, tetapi yang lebih besar membutuhkan GPU dengan banyak memori, dan prompt panjang membuat cache membesar. Jika model tidak muat di VRAM, ia tumpah ke RAM sistem dan kecepatan turun tajam.
Lokal sangat cocok ketika Anda bekerja offline, ketika data tidak boleh meninggalkan mesin Anda, atau ketika Anda ingin bereksperimen dengan berbagai fine-tune. Ini tidak cocok untuk produk dengan pengguna, karena laptop Anda menjadi server. Untuk panduan lengkap sisi lokal, lihat artikel terpisah tentang cara menjalankan model gaya Dolphin.
Rute 2: sewa GPU dan sajikan sendiri
Menyewa GPU per jam memberi Anda model yang lebih besar tanpa membeli perangkat keras. Anda menginstal tumpukan penyajian seperti vLLM atau server llama.cpp, memuat bobot, dan mengekspos port. Anda kemudian memiliki segalanya di sekitarnya.
- Menginstal driver, perangkat lunak penyajian, dan TLS.
- Menambahkan autentikasi agar orang asing tidak dapat menggunakan GPU Anda.
- Memulai ulang setelah crash dan memantau memori.
- Membayar untuk jam-jam saat kotak menyala, apakah ada permintaan yang dikirim atau tidak.
Poin terakhir itu adalah penggerak biaya sebenarnya. GPU yang menganggur semalaman masih menagih. Strategi ini hemat biaya ketika Anda memiliki lalu lintas tinggi yang stabil dan seseorang yang bersedia mengoperasikannya. Untuk proyek sampingan dengan lonjakan penggunaan, Anda membayar sebagian besar untuk waktu menganggur. Periksa tarif per jam saat ini di halaman harga penyedia sendiri, karena tarif tersebut berubah.
Rute 3: panggil endpoint yang kompatibel dengan OpenAI yang dihosting
Endpoint yang dihosting menghilangkan pekerjaan operasional. Anda mengirim permintaan HTTPS dan membayar token yang Anda gunakan. Situs ini menawarkan itu: API teks yang kompatibel dengan OpenAI yang dihosting untuk satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Untuk menjadi jelas tentang apa itu bukan: ini bukan API resmi dari vendor model mana pun, dan ini bukan router di beberapa model. Model ID adalah uncensored.
Karena API ini kompatibel dengan OpenAI, SDK OpenAI apa pun berfungsi setelah Anda mengubah dua pengaturan, URL dasar dan kunci. Berikut adalah panggilan Python minimal:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)Permintaan yang sama dalam curl:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Streaming (stream: true), pemanggilan fungsi, mode JSON, dan parameter sampling biasa bekerja seperti di API OpenAI. Jendela konteks adalah 100.000 token, prompt plus completion. Dokumentasi API mencantumkan setiap endpoint dan parameter yang didukung.
Perbandingan berdampingan
| Faktor | Lokal | GPU yang disewa | Endpoint yang dihosting |
|---|---|---|---|
| Pekerjaan awal | Instal dan unduh | Pengaturan server, autentikasi, TLS | Dapatkan kunci |
| Model biaya | Perangkat keras yang Anda miliki | Per jam, waktu menganggur termasuk | Per token, prabayar |
| Ukuran model | Dibatasi oleh VRAM Anda | Dibatasi oleh GPU yang Anda sewa | Satu model, tetap |
| Pilihan model | Penalaan halus apa pun yang dapat Anda unduh | Fine-tune apa pun yang dapat Anda muat | Hanya model yang ditawarkan |
| Lokasi data | Tetap di mesin Anda | Di kotak yang disewa | Dikirim ke penyedia |
| Pemeliharaan | Anda | Anda | Penyedia |
Baris yang menentukan sebagian besar kasus adalah pilihan model. Jika Anda membutuhkan penalaan spesifik Dolphin tertentu, hanya dua rute pertama yang memberikannya. Jika Anda membutuhkan model tanpa sensor yang mumpuni di balik API yang stabil dan Anda tidak peduli penalaan spesifik mana yang digunakan, rute terhosting menghemat pekerjaan operasional.
Berapa biaya panggilan yang dihosting
Harga adalah $0,15 per 1M token input dan $0,50 per 1M token output, dibayar dari saldo prabayar. Tidak ada langganan, permintaan yang gagal atau ditolak tidak dikenakan biaya, dan saldo prabayar tidak pernah habis. Satu giliran chat khas dengan 2.000 token input dan 500 token output biayanya:
- Input: 2.000 x $0,15 / 1.000.000 = $0,0003
- Output: 500 x $0,50 / 1.000.000 = $0,00025
- Total: $0,00055 per permintaan, atau $0,55 per 1.000 permintaan
Isi ulang adalah jumlah bulat apa pun dari $20 hingga $500, dengan +5% dari $50, +10% dari $100 dan +15% dari $200. Anda hanya dapat membayar dengan kripto (USDT di TRC20, USDC di Base). Halaman harga memiliki detail saat ini.
Untuk membandingkan dengan GPU yang Anda sewa, bagi tarif per jam dengan jumlah permintaan yang dapat Anda layani dalam satu jam pada lalu lintas nyata Anda. Pada volume rendah atau lonjakan, model per token biasanya menang, karena Anda tidak pernah membayar untuk waktu menganggur.
Cobalah sebelum Anda membayar
Pengguna baru dapat mengklaim kredit uji coba gratis senilai $0,50 dengan satu klik di halaman kunci setelah mendaftar. Ini satu per orang, berlaku selama 7 hari, dan tidak memerlukan kartu. Pendaftaran dilakukan dengan Google atau dengan email dan kata sandi. Dengan harga di atas, $0,50 mencakup sekitar 900 permintaan dari contoh tersebut (2.000 token input dan 500 token output), yang cukup untuk menguji apakah nada model sesuai dengan penggunaan Anda. Kunci uji coba dibatasi menjadi 2 permintaan paralel dan 60 permintaan per menit.
Dapatkan kunci Anda di halaman kunci API. Jika Anda menginginkan model tanpa login sama sekali, lihat artikel LLM tanpa login, dan untuk pengaturan klien di antarmuka obrolan, baca tentang endpoint Open WebUI.
