Temel noktalar
- Dolphin bir topluluk ince ayarı ailesidir, bu nedenle kaydolabileceğiniz tek bir resmi API yoktur.
- Bunu kendi yerel makinenizde sunabilir, kiralık bir GPU'da sunabilir veya barındırılan bir uç noktayı çağırabilirsiniz.
- Barındırılan bir OpenAI uyumlu uç nokta yalnızca bir base URL, bir anahtar ve uncensored model kimliği gerektirir.
- Buradaki barındırma fiyatlandırması, 1M giriş token'ı başına $0,15 ve 1M çıkış token'ı başına $0,50'dir; abonelik yoktur.
Bir Dolphin modelinden kastettikleri şey
Dolphin, açık ağırlıklı temel modellerin topluluk tarafından ince ayar yapılmış bir serisidir. İnce ayar verileri filtrelenmiştir, böylece model talimatları takip eder ancak sıradan isteklerde vaaz vermez veya reddetmez. Temel model sürümler arasında değiştiği için, tek bir resmi uç noktaya sahip tek bir Dolphin sağlayıcısı yoktur. Birisi bir dolphin llm api aradığında, genellikle bu tarzda bir uncensored modeli sunan herhangi bir API'yi kasteder.
Bu, planlamanızı nasıl yapacağınıza önem verir. Bir marka seçmezsiniz; ağırlıkların nerede çalıştığını ve bunları kimin işlettiğini seçersiniz. Model kalitesi temel modele ve ince ayara bağlıdır; operasyonel taraf ise aşağıda seçtiğiniz yola bağlıdır.
Kapsam hakkında bir not: Bu modeller yasal yetişkin kullanımı için ayarlanmıştır. Burada hiçbir sağlayıcı ve hiçbir mantıklı sağlayıcı, reşit olmayanlarla ilgili cinsel içerik sunmaz. Bunu kendi uygulamanızda da sabit bir sınır olarak kabul edin.
Yol 1: Kendi makinenizde çalıştırın
Token başına en ucuz yol, donanımına zaten sahip olduğunuz bir modeldir. Ollama ve llama.cpp gibi araçlar, nicellenmiş ağırlıkları indirir ve yerel bir sunucu sunar. Her ikisi de localhost'ta OpenAI tarzı bir uç nokta sağlayabilir, böylece istemci kodunuz herhangi bir barındırılan hizmet için olduğu gibi görünür.
Buradaki püf nokta bellektir. Nicellenmiş bir model, RAM veya VRAM'de yaklaşık dosya boyutu kadar yer ve bağlam önbelleği için ek alan gerektirir. Küçük modeller dizüstü bilgisayarlara sığar, ancak daha büyükleri çok fazla belleğe sahip bir GPU gerektirir ve uzun istemler önbelleğin büyümesine neden olur. Model VRAM'e sığmazsa sistem RAM'ine taşar ve hız keskin bir şekilde düşer.
Yerel kullanım, çevrim dışı çalıştığınızda, verilerin makinenizden asla çıkmaması gerektiğinde veya farklı ince ayarlarla deneme yapmak istediğinizde uygundur. Kullanıcıları olan bir ürün için uygun değildir, çünkü dizüstü bilgisayarınız sunucu haline gelir. Yerel taraf için ayrıntılı kılavuz için, bir Dolphin tarzı modelin nasıl çalıştırılacağına dair makaleye bakın.
Yol 2: GPU kirala ve kendin sun
GPU saatlik kiralama, donanım satın almadan daha büyük modeller elde etmenizi sağlar. vLLM veya llama.cpp sunucusu gibi bir sunum yığını kurar, ağırlıkları yüklersiniz ve bir bağlantı noktası açarsınız. Ardından etrafındaki her şeye siz sahip olursunuz.
- Sürücüleri, sunum yazılımını ve TLS'i kurmak.
- Yabancıların GPU'nuzu kullanamaması için kimlik doğrulama eklemek.
- Çökme sonrası yeniden başlatmak ve belleği izlemek.
- Herhangi biri istek gönderse de göndermese de kutunun açık olduğu saatler için ödeme yapmak.
Bu son nokta, gerçek maliyet belirleyicisidir. Gece boyu boşta kalan bir GPU'dan hala ücret alınır. Bu yol, istikrarlı ve yüksek trafik hacmine sahip olduğunuzda ve bunu işletmeye istekli biri olduğunuzda kendini öder. Yan bir projede kullanım patlamaları için çoğunlukla boşta kalma süresine ödeme yaparsınız. Değişebilen saatlik oranları kontrol etmek için sağlayıcının kendi fiyatlandırma sayfasına bakın, çünkü bunlar değişir.
Yol 3: Barındırılan bir OpenAI uyumlu uç noktayı çağırın
Barındırılan bir uç nokta, işletme işini kaldırır. HTTPS istekleri gönderirsiniz ve kullandığınız token'lar için ödeme yaparsınız. Bu site bunu sunar: bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı model için barındırılan, OpenAI uyumlu bir metin API'si. Ne olmadığını açıkça belirtmek gerekirse: bu, herhangi bir model satıcısının resmi API'si değildir ve birkaç model arasında bir yönlendirici değildir. Model ID'si uncensored'dir.
API OpenAI uyumlu olduğu için, base URL ve anahtar olmak üzere iki ayarı değiştirdikten sonra herhangi bir OpenAI SDK'sı çalışır. İşte minimal bir Python çağrısı:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)Aynı istek curl ile:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Akış (stream: true), fonksiyon çağırma, JSON modu ve genel örnekleme parametreleri OpenAI API'sinde olduğu gibi çalışır. Bağlam penceresi 100.000 token (istem ve tamamlama dahil) kapasitesindedir. API belgeleri desteklenen her uç nokta ve parametreyi listeler.
Yan yana karşılaştırma
| Faktör | Yerel | Kiralanmış GPU | Barındırılan uç nokta |
|---|---|---|---|
| Ön iş | Kurulum ve indirme | Sunucu kurulumu, kimlik doğrulama, TLS | Anahtar alın |
| Maliyet modeli | Sahip olduğunuz donanım | Saatlik, boşta süre dahil | Token başına, ön ödemeli |
| Model boyutu | VRAM'inizle sınırlı | Kiraladığınız GPU ile sınırlı | Tek model, sabit |
| Model seçimi | İndirebileceğiniz herhangi bir ince ayar | Yükleyebileceğiniz herhangi bir ince ayar | Sadece sunulan model |
| Veri konumu | Makinenizde kalır | Kiralanmış kutuda | Sağlayıcıya gönderilen |
| Bakım | Siz | Siz | Sağlayıcı |
Çoğu durumu belirleyen satır model seçimidir. Belirli bir Dolphin ince ayarına ihtiyacınız varsa, yalnızca ilk iki yol bunu sağlar. Kararlı bir API'nin arkasında yetkin bir sansürsüz modele ihtiyacınız varsa ve tam olarak hangi ince ayar olduğu önemli değilse, barındırılan yol işletim işlerinden kurtarır.
Barındırılan bir çağrının maliyeti
Fiyatlandırma 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50'dir ve ön ödemeli krediden ödenir. Abonelik yoktur, başarısız veya reddedilen istekler için ücret alınmaz ve kredi asla sona ermez. 2.000 girdi tokenı ve 500 çıktı tokenı olan tipik bir sohbet dönüşü şunu tutar:
- Girdi: 2.000 x $0,15 / 1.000.000 = $0,0003
- Çıktı: 500 x $0,50 / 1.000.000 = $0,00025
- Toplam: İstek başına $0,00055 veya 1.000 istek başına $0,55
Bakiye yüklemeleri $20 ile $500 arasında herhangi bir tam miktardadır, $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 eklenir. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Fiyatlandırma sayfası güncel detayları içerir.
Kiraladığınız bir GPU ile karşılaştırmak için saatlik oranı, gerçek trafiğinizde saat başına sunabileceğiniz istek sayısına bölün. Düşük veya dalgalı hacimde token başına model genellikle kazanır, çünkü boşta süre için ödeme yapmazsınız.
Ödemeden önce deneyin
Yeni kullanıcılar, kayıt olduktan sonra anahtar sayfasında tek tıkla $0,50 deneme kredisi talep edebilir. Kişi başı bir kredidir, 7 gün geçerlidir ve kart gerektirmez. Kayıt işlemi Google veya e-posta ve şifre ile yapılır. Yukarıdaki fiyatlarla $0,50, örnekteki 2.000 girdili, 500 çıktılı isteklerin yaklaşık 900'ünü karşılar; bu, modelin tonunun kullanımınıza uyup uymadığını test etmek için fazlasıyla yeterlidir. Deneme anahtarları 2 eşzamanlı istek ve dakika başına 60 istekle sınırlıdır.
Anahtarınızı API anahtarı sayfasından alın. Eğer tamamen giriş gerektirmeyen bir model istiyorsanız, girişsiz LLM makalesine bakın ve bir sohbet ön yüzünde istemci kurulumu için Open WebUI uç noktaları hakkında okuyun.
