Geliştiriciler için Ücretsiz LLM API'si: Deneme vs. Kullandıkça Öde

Kısa cevap: Bir deneme, ardından çağrı başı kuruşlar

Burada hiçbir şey sonsuza kadar ücretsiz değildir. Aldığınız şey ücretsiz bir başlangıç ve sonrasında çok küçük bir faturadır. Google veya e-posta ve şifre ile kaydolun, API anahtarı sayfasını açın ve tek tıkla $0,50 deneme kredisi talep edin. Kart gerekmez. Kredi 7 gün boyunca geçerlidir ve her kişiye bir kez verilir.

Bunun ardından 1M giriş tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50 oranında kullandıkça öde esasıyla ödeme yaparsınız. Abonelik veya aylık minimum tutar yoktur. En küçük bakiye yükleme $20'dir ve kredi sona ermez, bu nedenle projeniz yavaşsa bunu bir yıl boyunca harcayabilirsiniz.

$0,50'lik deneme neyi karşılar

İstek başına maliyet basittir: giriş tokenı sayısı x $0,15, çıktı tokenı sayısı x $0,50, her ikisi de 1.000.000'a bölünür. İki örnek aralığı gösterir.

İlk satırı kontrol edin: 1.500 x $0,15 / 1.000.000 = $0,000225 ve 300 x $0,50 / 1.000.000 = $0,00015. Toplam $0,000375 eder. İkinci satır için 20.000 giriş tokenı $0,003 tutarında ve 800 çıktı tokenı $0,0004 tutarındadır, yani toplam $0,0034 eder.

Pratikte deneme, bir istemciyi bağlamak, akışı test etmek, fonksiyon çağırma denemek ve modelin projenize uyup uymadığına karar vermek için yeterlidir.

Ücretsiz katmanlar üzerine neden inşa etmek zordur

Ücretsiz katmanlar bir ürünü denemenizi sağlar ve limitleri bu amaçla belirlenir. Detaylar sık sık değişir, bu yüzden birine güvenmeden önce her sağlayıcının güncel şartlarını kontrol edin. Genel olarak, geliştiriciler aynı birkaç soruna takılır.

• Demo için boyutlandırılmış hız limitleri. On istekte çalışan bir betik, birkaç yüz istekte kullanılamaz hale gelir.
• Değişen limitler. Bugün uygun olan bir limit daha sonra sıkılaştırılabilir ve işlem hattınız bunu bir hatadan öğrenir.
• İçerik filtreleri. Barındırılan birçok model kurgu, rol yapma veya sert test verileri için istekleri reddeder. Bir toplu işin ortasında bir reddetme, yaması mümkün olmayan bir hatadır.
• Belirsiz veri işleme. Bazı ücretsiz teklifler, modellerini geliştirmek için istemleri kullanır. Şartları okuyun.

Bunların hiçbiri ücretsiz katmanların kötü olduğunu göstermez. Bir hafta sonu prototipi için iyidirler. Sorun, prototip bir hizmet olduğunda başlar.

Ayrıca bir planlama sorunu da vardır. Ücretsiz bir katman, çarpmak için bir fiyat olmadığı için maliyet tahmini yapmanıza olanak vermez. Token başı fiyatlandırma ile, herhangi bir kod yazmadan önce bütçeyi tek bir satıra yazabilirsiniz ve bu, bir projeyi bir müşteriye veya iş ortağına savunmayı kolaylaştırır. Kullanımınız on kat artarsa, faturanın da yaklaşık on kat artacağını bilirsiniz ve başka hiçbir şey değişmez.

Bağlanmadan önce herhangi bir API'de neyi kontrol etmelisiniz

Bir hizmetin ücretli olup olmaması önemli değildir, kodunuza bağlamadan önce aynı soruları sorun.

1. Protokol standart mı? Bu API OpenAI-uyumludur, bu nedenle daha sonra ayrılmanız durumunda bir istemciyi yeniden yazmak yerine iki satırı değiştirmeniz yeterlidir.
2. Limitler sayı olarak nedir? Burada yayınlanmıştır: Tam anahtar için 8 eşzamanlı istek ve dakikada 300, deneme anahtarı için 2 ve 60, 8 MB gövde, 100.000 token bağlam penceresi.
3. Bir çağrı başarısız olduğunda ne olur? Bu hizmette başarısız veya reddedilen istekler için ücret alınmaz.
4. İstemlerinizle ne olur? Burada eğitim için kullanılmazlar.
5. Model kullanım durumunuzu reddeder mi? Bu model, yetişkinler için yasal kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmıştır; bu, kurgu, rol yapma ve test verileri için önemlidir. Tek kesin sınır, reşit olmayanları içeren cinsel içeriktir.
6. Ayrılabilir misiniz? Kredi ön ödemelidir ve asla sona ermez, sözleşme yoktur.

Denemenin nasıl uzatılacağı

Küçük alışkanlıklar $0,50'nin uzun süre yetmesini sağlar.

1. Test sırasında max_tokens ayarlayın. Bu API'de isteğe bağlıdır, ancak 300'lük bir sınır, planladığınızdan on kat daha pahalıya mal olan kontrolden çıkmış bir yanıtı durdurur. Çıktı, 1M başına $0,50 ile pahalı taraftır.
2. Sistem istemlerini kısa tutun. Her çağrıyla gönderilen 1.000 tokenlık bir sistem istemi, istek başına $0,00015 ekler.
3. Tekrarlanabilir testler için seed ve düşük sıcaklık kullanın, böylece farklı bir yanıt görmek için bir çağrıyı tekrar çalıştırmazsınız.
4. Gerekmedikçe tüm geçmişleri yeniden göndermeyin. Pencere 100.000 token kapasitesindedir ve içindeki her token girdi olarak faturalandırılır.
5. Her testin neye mal olduğunu görmek için yanıt başlıklarında X-Balance-USD'i izleyin.

Bir başka ipucu da geliştirme sırasında her çağrı için resp.usage değerini loglamaktır. Bir gün test yaptıktan sonra gerçek ortalamanızı bilecek ve yukarıdaki tablolardaki tahminlerinizi kendi sayılarınızla değiştirebileceksiniz. Birçok kişi, sistem istemleri ve yapıştırılan örnekler nedeniyle istemlerinin varsaydıklarından iki veya üç kat daha uzun olduğunu fark eder.

Yan proje için bir bütçe

Bir projenin finanse edilmeye değer olup olmadığına karar verirken sayılar yardımcı olur. Günde 200 çağrı yapan ve geliştirici döngüsü boyutunda 1.500 token girdisi ve 300 çıktı olan küçük bir uygulama düşünün. Her çağrı $0,000375 tutarındadır, bu nedenle bir gün $0,075 ve 30 günlük bir ay $2,25 eder. $20'lik bir bakiye yükleme, bu oranda yaklaşık dokuz ay öder.

Şimdi, günde 50 çağrı yapan, 20.000 token yapıştırılmış bağlam ve 800 token çıktı kullanan daha ağır bir aracı ele alalım. Her çağrı $0,0034'e mal olur, bu nedenle bir gün $0,17 ve bir ay $5,10 eder. Trafik iki katına çıksa bile, her iki proje de aylık tek haneli dolarlarda kalır.

Önemli nokta, bu seviyedeki token fiyatlandırmasının, çoğu yan proje için maliyeti küçük bir kaleme dönüştürmesidir. Başarımı belirleyen, modelin işi yapıp yapmadığı ve limitlerin trafiğinize uyup uymadığıdır.

Şimdi çalıştırabileceğiniz ilk çağrı

API OpenAI-uyumludur, bu nedenle standart Python SDK'sı temel URL ve anahtar değiştirildikten sonra çalışır.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

usage nesnesi size kesin istem ve tamamlama token sayılarını verir. Bunları yukarıdaki oranlarla çarpın ve o çağrının maliyetini bulursunuz. Akış, JSON modu ve fonksiyon çağırma da mevcuttur; belgeler her biri için örnekler içerir.

Denemeden bakiye yüklemeye ne zaman geçilmeli

Deneme bittiğinde veya 2'den fazla eşzamanlı istek gerektiğinde bakiye yüklemeye geçin. Tam anahtar, eşzamanlı 8 istek ve dakikada 300 istek sağlar. Bakiye yükleme $20 ile $500 arasında herhangi bir tam miktarda yapılır. Daha büyük miktarlar bonus getirir: $50'den +5%, $100'den +10% ve $200'den +15%. $50'lik bir bakiye yükleme $52,50 kredi verir ve $200 $230 verir.

Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Tam rakamlar fiyatlandırma sayfasında yer alır ve anahtar sayfasından bir anahtar alabilirsiniz.

Bu API ne değildir

Bir akşamınızı boşa harcamamanız için: Bu metin tabanlı bir hizmettir. Görsel, ses veya video oluşturma, gömme (embedding) veya ince ayar yoktur. Bağımsız bir sağlayıcı tarafından yönetilen tek bir açık ağırlıklı modeldir; büyük bir satıcının resmi API'si veya birden fazla hizmet arasında yönlendirme yapan bir router değildir. Arama için gömme (embedding) gerekiyorsa, bu kısım için başka bir hizmete ihtiyacınız olacaktır. Talimatları takip eden ve reddetmeyen bir sohbet modeli gerekiyorsa, bu API uygundur.

Sitede yeniyseniz, giriş yapmadan LLM kullanımı sayfası kayıt ve anahtarların nasıl çalıştığını daha ayrıntılı açıklar.

Daha fazla kılavuz

• Open WebUI API Uç Noktaları: Sansürsüz bir LLM'e bağlanın
• Giriş Kısıtlamaları Olmadan Bir LLM Nasıl Kullanılır