Dolphin LLM Nasıl Çalıştırılır: Yerel Kurulum vs Barındırılan API

Önce karar verin: Hangi donanıma sahipsiniz?

Bellek her şeyi belirler. Bir dil modeli çok büyük bir sayı kümesidir ve bu kümenin tamamı metin oluştururken hızlı bellekte bulunmalıdır. Quantization bu sayıları küçültür. 4-bit quantize edilmiş bir model parametre başına yaklaşık yarım bayt yer kaplar; bu nedenle 8 milyar parametreli bir model yaklaşık 5 GB'a, 70 milyar parametreli bir model ise yaklaşık 40 GB'a denk gelir. Bu değerleri yaklaşık olarak kabul edin, çünkü kesin boyut quantization formatına bağlıdır.

Ağırlıkların üzerine bağlam önbelleği için alan gerekir. Bu önbellek, istem uzunluğuyla büyür; bu nedenle uzun bir rol yapma geçmişi veya büyük bir belge, kısa bir sorudan daha fazla bellek gerektirir. Düşük bağlamda birkaç ekstra gigabyte planlayın; uzun isteklere yaklaşıyorsanız daha fazlasını planlayın.

• GPU'suz 8 GB laptop: yalnızca küçük modeller, yavaş çıktı.
• 16 ila 32 GB Apple Silicon Mac: orta boyutlu modeller iyi çalışır çünkü CPU ve GPU belleği paylaşır.
• 12 ila 24 GB VRAM'e sahip tek tüketici GPU'su: iyi hızda orta boyutlu modeller.
• Bundan daha büyük: birden fazla GPU veya kiralanmış sunucu.

Yöntem 1: Birkaç komutla Ollama

Ollama en kısa yoldur. Quantize edilmiş bir modeli indirir, arka plan sunucusunu başlatır ve size bir sohbet istemi sağlar. İşletim sisteminiz için resmi web sitesinden yükleyin, ardından Ollama model kütüphanesinin şu anda hangi Dolphin tag'lerini listelediğini kontrol edin; çünkü isimler ve boyutlar sürümler arasında değişir.

Copy# replace <tag> with a Dolphin tag from the Ollama library
ollama pull <tag>
ollama run <tag>

İlk komut dosyayı indirir; yavaş bir bağlantıda bu işlem uzun sürebilir. İkinci komut terminalde etkileşimli bir sohbet başlatır. Ollama ayrıca makinenizde bir HTTP API'si sunar; diğer programların bunu kullanabilmesi için /v1 altında OpenAI tarzı bir uç nokta bulunur.

Üretim çok yavaşsa, model muhtemelen VRAM'e sığmamıştır ve bir kısmı CPU üzerinde çalışıyordur. Daha küçük bir etiket veya daha düşük bitli bir quantization seçin.

Yöntem 2: Daha fazla kontrol için llama.cpp

llama.cpp, birçok başka aracın üzerine inşa edildiği C++ motorudur. Modelin bir GGUF dosyasını indirir ve ardından sunucusunu başlatırsınız. Bu, Ollama'dan daha fazla adım gerektirir ancak bağlam uzunluğunu, GPU'ya yerleştirilen katman sayısını ve istediğiniz nicelemeyi ayarlamanızı sağlar.

Copy# after building llama.cpp and downloading a GGUF file
llama-server -m ./model.gguf -c 8192 -ngl 99 --port 8080

Burada -c bağlam uzunluğunu, -ngl GPU'ya gidecek katman sayısını ve --port portu belirler. Sürümünüze özgü bayraklar için projenin README dosyasını kontrol edin; çünkü bunlar zamanla değişir. Daha büyük bir -c daha fazla bellek kullanır, bu nedenle yalnızca ihtiyacınız olduğunda artırın.

Grafiksel kullanım için Open WebUI gibi ön uçlar her iki sunucuya da bağlanabilir. Open WebUI API uç noktaları hakkındaki notumuz, özel bir uç nokta eklemenin nasıl yapılacağını gösterir.

Yerel sunucunuza koddan erişim

Her iki araç da OpenAI sohbet formatını destekler, bu nedenle istemciyi bir kez yazıp hedefi iki ayarla değiştirirsiniz. Bu betik her iki hedefi de yan yana tutar. Yerel olan varsayılan olarak Ollama'nın kullandığı portu kullanır; llama.cpp'yi 8080 üzerinde başlattıysanız bunu değiştirin.

Copyfrom openai import OpenAI

TARGETS = {
    "local": {"base_url": "http://localhost:11434/v1", "key": "not-needed", "model": "your-local-tag"},
    "hosted": {"base_url": "https://api.dolphinllm.com/v1", "key": "YOUR_KEY", "model": "uncensored"},
}

t = TARGETS["hosted"]
client = OpenAI(base_url=t["base_url"], api_key=t["key"])

resp = client.chat.completions.create(
    model=t["model"],
    messages=[{"role": "user", "content": "Summarize what a GGUF file is."}],
)
print(resp.choices[0].message.content)

Yerel sunucular genellikle anahtarı yok sayar, ancak SDK boş olmayan bir dize gerektirir. Yerel sunucu için model adı yüklediğiniz etiket veya takma ad neyse odur; barındırılan model ID'si her zaman uncensored'dir.

Yöntem 3: Kurulumu atlayın ve barındırılan bir uç nokta kullanın

Donanım hesaplaması uygun görünmüyorsa veya her makinede aynı davranımı istiyorsanız barındırılan bir uç nokta daha basittir. Bu hizmet, bağımsız bir sağlayıcı tarafından yönetilen ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı model sunar. Bu, herhangi bir model satıcısının resmi API'si değildir ve başka modeller seçmenize izin vermez. Size sağladığı şey, kararlı bir URL, bir anahtar ve token başına faturalandırmadır.

Adımlar kısadır. Google veya e-posta ve şifre ile kaydolun, API anahtarı sayfasını açın ve tek tıkla $0,50 deneme kredisi talep edin. Kart bilgisi gerekmez, 7 gün boyunca geçerlidir ve kişi başı bir kezle sınırlıdır. Ardından yukarıdaki Python betiğini barındırılan hedefle çalıştırın. curl tercih ediyorsanız:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Bağlam penceresi 100.000 token'dır; bu, çoğu dizüstü bilgisayarın önbelleğe rahatça sığdıramayacağı bir miktardır. İstemler eğitim için kullanılmaz.

Maliyet ve çaba karşılaştırması

Yerel kullanım ücretsiz gibi görünür ancak öyle değildir. Donanım, elektrik ve kendi zamanınız için ödeme yaparsınız. Barındırılan kullanım istek başına para gerektirir ancak rakamlar küçüktür. 1M input token başına $0,15 ve 1M output token başına $0,50 ile, 3.000 input token ve 700 output token içeren bir sohbet dönüşü şu maliyete sahiptir:

• Giriş: 3.000 x $0,15 / 1.000.000 = $0,00045
• Çıktı: 700 x $0,50 / 1.000.000 = $0,00035
• Toplam: Dönüş başına $0,0008, yani 1.000 dönüş için $0,80

Ayda 5.000 böyle dönüş gönderen yoğun bir kullanıcı bile yaklaşık $4 harcar. Yüzlerce dolarlık bir GPU, bu hacimde kâra geçmek için yıllarca kullanım gerektirir. Karşılaştırma; sürekli yüksek hacme sahip olduğunuzda, belirli bir fine-tune'a ihtiyaç duyduğunuzda veya veriyi makinenizden dışarı gönderemediğinizde tersine döner.

Detaylı fiyat bilgileri, +%5, +%10 ve +%15 bakiye yükleme bonusları dahil fiyatlandırma sayfasında yer alır; dokümantasyon ise limitleri ve parametreleri kapsar.

Seçim için basit bir kural

Birçok ince ayar ile deneme yapmak, çevrim dışı çalışmak veya tüm istemleri kendi diskinizde tutmak istiyorsanız yerel olarak çalıştırın. Başkalarının kullanacağı bir şey geliştiriyorsanız, donanımınız kısıtlıysa veya bellek yönetimiyle uğraşmadan 100.000 token'lık bir bağlam penceresi istiyorsanız barındırılan uç noktayı kullanın. Birçok geliştirici her ikisini de yapar: özel denemeler için yerel bir model ve sürekli çalışması gereken işler için barındırılan bir uç nokta. İstemci kodu aynı olduğu için geçiş tek satıra mal olur.

Daha fazla kılavuz

• Dolphin LLM API: Yerel, Kiralık GPU veya Barındırılan
• Geliştiriciler için Ücretsiz LLM API'si: Deneme vs. Kullandıkça Öde