API LLM Gratis untuk Pengembang: Uji Coba vs Bayar Sesuai Pemakaian

Jawaban singkat: uji coba, lalu sen per panggilan

Tidak ada di sini yang gratis selamanya. Yang Anda dapatkan adalah awal gratis dan tagihan sangat kecil setelahnya. Daftar dengan Google atau dengan email dan kata sandi, buka halaman kunci API, dan klaim $0,50 kredit uji coba dengan satu klik. Tidak perlu kartu. Kredit berlaku selama 7 hari dan setiap orang hanya mendapat satu.

Setelah itu Anda membayar sesuai pemakaian pada $0,15 per 1 juta token input dan $0,50 per 1 juta token output. Tidak ada langganan dan tidak ada minimum bulanan. Top-up terkecil adalah $20, dan kredit tidak pernah habis masa berlakunya, sehingga Anda dapat membelanjakannya selama setahun jika proyek Anda lambat.

Apa yang dibeli dengan uji coba $0,50

Biaya per permintaan sederhana: token input dikalikan $0,15, ditambah token output dikalikan $0,50, keduanya dibagi 1.000.000. Dua contoh menunjukkan rentangnya.

Periksa baris pertama: 1.500 x $0,15 / 1.000.000 = $0,000225, dan 300 x $0,50 / 1.000.000 = $0,00015. Jumlahnya adalah $0,000375. Untuk baris kedua, 20.000 token input menelan biaya $0,003 dan 800 token output menelan biaya $0,0004, sehingga totalnya $0,0034.

Dalam praktiknya, uji coba cukup untuk menghubungkan klien, menguji streaming, mencoba pemanggilan fungsi, dan memutuskan apakah model cocok untuk proyek Anda.

Mengapa tier gratis sulit dibangun di atasnya

Tier gratis ada agar Anda dapat mencoba produk, dan batasnya ditetapkan dengan tujuan itu. Detailnya sering berubah, jadi periksa syarat terkini setiap penyedia sebelum mengandalkan salah satunya. Secara umum, pengembang menghadapi beberapa masalah yang sama.

• Batas laju yang dirancang untuk demo. Skrip yang bekerja pada sepuluh permintaan menjadi tidak dapat digunakan pada beberapa ratus.
• Batas yang berubah. Batas yang baik hari ini dapat diperketat nanti, dan pipa Anda akan mengetahuinya dari error.
• Filter konten. Banyak model yang dihosting menolak permintaan untuk fiksi, roleplay atau data uji yang agak liar. Penolakan di tengah pekerjaan batch adalah bug yang tidak dapat Anda perbaiki.
• Penanganan data yang tidak jelas. Beberapa penawaran gratis menggunakan prompt untuk meningkatkan model mereka. Baca syaratnya.

Tidak satu pun dari ini membuat tier gratis buruk. Untuk prototipe akhir pekan, tier gratis sudah bagus. Masalah dimulai ketika prototipe menjadi layanan.

Ada juga masalah perencanaan. Tier gratis tidak memberi Anda cara untuk memperkirakan biaya, karena tidak ada harga untuk dikalikan. Dengan harga per token Anda dapat menulis anggaran dalam satu baris sebelum menulis kode apa pun, dan itu membuat proyek lebih mudah dipertahankan kepada klien atau mitra. Jika penggunaan Anda tumbuh sepuluh kali lipat, Anda tahu tagihan tumbuh sekitar sepuluh kali lipat, dan tidak ada hal lain yang berubah.

Apa yang harus diperiksa di API mana pun sebelum Anda berkomitmen

Apakah layanan membutuhkan biaya atau tidak, ajukan pertanyaan yang sama sebelum Anda menghubungkannya ke kode Anda.

1. Apakah protokolnya standar? API ini kompatibel dengan OpenAI, sehingga beralih nanti berarti mengubah dua baris, bukan menulis ulang klien.
2. Apa batasnya dalam angka? Di sini dipublikasikan: 8 permintaan paralel dan 300 per menit pada kunci penuh, 2 dan 60 pada kunci uji coba, body 8 MB, jendela 100.000 token.
3. Apa yang terjadi ketika panggilan gagal? Pada layanan ini, permintaan yang gagal atau ditolak tidak dikenakan biaya.
4. Apa yang terjadi pada prompt Anda? Di sini tidak digunakan untuk pelatihan.
5. Apakah model menolak kasus penggunaan Anda? Ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, yang penting untuk fiksi, roleplay dan data uji. Satu-satunya penghentian keras adalah konten seksual yang melibatkan anak di bawah umur.
6. Bisakah Anda pergi? Kredit adalah prabayar dan tidak pernah habis masa berlakunya, dan tidak ada kontrak.

Cara membuat uji coba bertahan lama

Kebiasaan kecil membuat $0,50 bertahan lama.

1. Atur max_tokens saat pengujian. Ini opsional di API ini, tetapi batas 300 mencegah jawaban yang tak terkendali menelan biaya sepuluh kali lipat dari yang Anda rencanakan. Output adalah sisi yang mahal pada $0,50 per 1 juta.
2. Jaga prompt sistem tetap pendek. Prompt sistem 1.000 token yang dikirim dengan setiap panggilan menambahkan $0,00015 per permintaan.
3. Gunakan seed dan suhu rendah untuk pengujian yang dapat diulang, sehingga Anda tidak menjalankan ulang panggilan hanya untuk melihat jawaban yang berbeda.
4. Jangan kirim ulang seluruh riwayat kecuali Anda membutuhkannya. Jendela konteks berukuran 100.000 token, dan setiap token di dalamnya ditagih sebagai input.
5. Pantau X-Balance-USD di header respons untuk melihat tepat berapa biaya setiap pengujian.

Satu trik lagi adalah mencatat resp.usage untuk setiap panggilan selama pengembangan. Setelah sehari pengujian Anda akan mengetahui rata-rata nyata Anda, dan Anda dapat mengganti tebakan di tabel di atas dengan angka Anda sendiri. Banyak orang menemukan bahwa prompt mereka dua atau tiga kali lebih panjang dari yang mereka asumsikan, sebagian besar karena prompt sistem dan contoh yang ditempel.

Anggaran untuk proyek sampingan

Angka membantu ketika Anda memutuskan apakah proyek layak didanai. Ambil aplikasi kecil yang membuat 200 panggilan sehari dengan ukuran loop pengembang 1.500 token masuk dan 300 keluar. Setiap panggilan menelan biaya $0,000375, sehingga sehari menelan biaya $0,075 dan bulan 30 hari menelan biaya $2,25. Top-up $20 akan cukup untuk sekitar sembilan bulan pada tingkat itu.

Sekarang ambil alat yang lebih berat yang membuat 50 panggilan sehari dengan 20.000 token konteks yang ditempel dan 800 token keluar. Setiap panggilan menelan biaya $0,0034, sehingga sehari adalah $0,17 dan sebulan adalah $5,10. Bahkan penggandaan lalu lintas menjaga kedua proyek tetap di bawah $10 per bulan.

Poinnya adalah bahwa harga token pada tingkat ini membuat biaya menjadi pos kecil untuk sebagian besar proyek sampingan. Apa yang menentukan keberhasilan adalah apakah model melakukan pekerjaan dan apakah batasnya cocok dengan lalu lintas Anda.

Panggilan pertama yang dapat Anda jalankan sekarang

API ini kompatibel dengan OpenAI, sehingga SDK Python standar berfungsi setelah mengubah base URL dan kunci.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

Objek usage memberi Anda hitungan token prompt dan penyelesaian yang tepat. Kalikan dengan tarif di atas dan Anda memiliki biaya panggilan itu. Streaming, mode JSON dan pemanggilan fungsi semuanya tersedia juga; dokumentasi memiliki contoh untuk masing-masing.

Kapan beralih dari uji coba ke top-up

Beralih ketika uji coba habis atau ketika Anda membutuhkan lebih dari 2 permintaan paralel. Kunci penuh memungkinkan 8 permintaan paralel dan 300 per menit. Top-up berjalan dari $20 hingga $500 dalam jumlah bulat apa pun. Yang lebih besar datang dengan bonus: +5% dari $50, +10% dari $100 dan +15% dari $200. Top-up $50 memberikan $52,50 kredit, dan $200 memberikan $230.

Anda dapat membayar dengan kripto (USDT pada TRC20, USDC pada Base). Angka lengkap ada di halaman harga, dan Anda dapat mengambil kunci dari halaman kunci.

Apa yang bukan API ini

Untuk menghemat malam yang sia-sia: ini adalah layanan teks saja. Tidak ada pembuatan gambar, audio atau video, tidak ada embedding dan tidak ada fine-tuning. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, bukan API resmi dari vendor besar mana pun dan bukan router di antara beberapa model. Jika proyek Anda membutuhkan embedding untuk pencarian, Anda akan membutuhkan layanan lain untuk bagian itu. Jika membutuhkan model obrolan yang mengikuti instruksi dan tidak menolak, ini cocok.

Jika Anda baru di situs ini, halaman tentang menggunakan LLM tanpa batasan login menjelaskan cara pendaftaran dan kunci bekerja secara lebih rinci.

Panduan lainnya

• Endpoint API Open WebUI: Sambungkan LLM Tanpa Sensor
• Cara Menggunakan LLM Tanpa Batasan Login