Kluczowe punkty
- Dolphin to rodzina społecznościowych dopracowań, więc nie ma jednego oficjalnego API, na które można się zarejestrować.
- Możesz go serwować samodzielnie na komputerze lokalnym, na wypożyczonym GPU lub wywołać endpoint hostowany.
- Hostowany endpoint kompatybilny z OpenAI wymaga tylko bazowego adresu URL, klucza i identyfikatora modelu uncensored.
- Ceny usługi hostowanej to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, bez subskrypcji.
Co ludzie mają na myśli mówiąc o modelu Dolphin
Dolphin to nazwa linii społecznościowych dopracowań modeli bazowych o otwartych wagach. Dane do dostrajania są filtrowane tak, aby model wykonywał instrukcje bez wykładów lub odmawiania zwykłych zapytań. Ponieważ model bazowy zmienia się między wydaniem, nie ma jednego dostawcy Dolphin z jednym oficjalnym endpointem. Kiedy ktoś pyta o dolphin llm api, zwykle ma na myśli dowolne API serwujące model bez cenzury w tym stylu.
To ma znaczenie dla planowania. Nie wybierasz marki, wybierasz miejsce uruchomienia wag i operatora. Jakość modelu zależy od modelu bazowego i dostrajania, a strona operacyjna zależy od wybranej poniżej ścieżki.
Uwaga na zakres: modele te są dostrajane do użytku dorosłego zgodnego z prawem. Żaden dostawca tutaj i żaden rozsądny dostawca nigdzie nie będzie serwował treści seksualnych z udziałem nieletnich. Traktuj to jako stałą granicę w swojej aplikacji.
Ścieżka 1: uruchom na własnej maszynie
Najtańszą ścieżką na token jest model, dla którego posiadasz już sprzęt. Narzędzia takie jak Ollama i llama.cpp pobierają wagi skwantyzowane i udostępniają lokalny serwer. Obie mogą oferować endpoint w stylu OpenAI na localhost, więc kod klienta wygląda tak samo jak w przypadku dowolnej usługi hostowanej.
Pułapką jest pamięć. Model skwantyzowany potrzebuje około wielkości swojego pliku w RAM lub VRAM, plus miejsce na bufor kontekstu. Małe modele mieszczą się na laptopie, ale większe wymagają karty GPU z dużą ilością pamięci, a długie prompty powodują wzrost bufora. Jeśli model nie mieści się w VRAM, przelewa się do pamięci systemowej, a prędkość gwałtownie spada.
Lokalne środowisko dobrze sprawdza się, gdy pracujesz offline, gdy dane nie mogą opuścić Twojego urządzenia lub gdy chcesz eksperymentować z różnymi dostrajaniami. Słabo sprawdza się w produkcie z użytkownikami, ponieważ Twój laptop staje się serwerem. Pełny przewodnik po konfiguracji lokalnej znajdziesz w osobnym artykule o tym, jak uruchomić model w stylu Dolphin.
Ścieżka 2: wypożycz GPU i serwuj samodzielnie
Wypożyczenie GPU na godzinę daje Ci większe modele bez kupowania sprzętu. Instalujesz stos serwerowy taki jak vLLM lub serwer llama.cpp, ładujesz wagi i wystawiasz port. Następnie masz wszystko wokół tego pod kontrolą.
- Konfiguracja sterowników, oprogramowania serwującego i TLS.
- Dodanie uwierzytelniania, aby obcy nie mogli używać Twojego GPU.
- Restartowanie po awariach i monitorowanie pamięci.
- Płacenie za godziny, gdy maszyna jest włączona, niezależnie od tego, czy ktoś wysyła zapytania.
Ten ostatni punkt jest głównym czynnikiem kosztów. GPU, które bezczynnie pracuje w nocy, nadal generuje rachunki. Ścieżka opłaca się, gdy masz stały, wysoki ruch i kogoś, kto będzie ją obsługiwał. Dla projektu bocznego z falami użycia płacisz głównie za czas bezczynności. Sprawdź aktualne stawki godzinowe na stronie cen dostawcy, ponieważ się zmieniają.
Ścieżka 3: wywołaj endpoint kompatybilny z OpenAI
Endpoint hostowany usuwa pracę operacyjną. Wysyłasz żądania HTTPS i płacisz za użyte tokeny. Ta strona oferuje to: hostowany, kompatybilny z OpenAI API tekstowe dla jednego modelu o otwartych wagach, uruchamiany przez niezależnego dostawcę i dostrajany do odpowiadania bez odmów treści dla użytku dorosłego w granicach prawa. Dla jasności: nie jest to oficjalne API żadnego dostawcy modeli i nie jest routerem między wieloma modelami. ID modelu to uncensored.
Ponieważ API jest kompatybilne z OpenAI, dowolne SDK OpenAI zadziała po zmianie dwóch ustawień: bazowego adresu URL i klucza. Oto minimalne wywołanie w Pythonie:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)To samo zapytanie w curl:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Strumieniowanie (stream: true), wywoływanie funkcji, tryb JSON i zwykłe parametry próbkowania działają jak w API OpenAI. Okno kontekstu to 100 000 tokenów, prompt plus completion. Dokumentacja API wymienia wszystkie obsługiwane endpointy i parametry.
Porównanie obok siebie
| Czynnik | Lokalne | Wypożyczone GPU | Hostowany endpoint |
|---|---|---|---|
| Praca wstępna | Instalacja i pobieranie | Konfiguracja serwera, uwierzytelnianie, TLS | Uzyskaj klucz |
| Model kosztowy | Sprzęt, który posiadasz | Godzinowo, czas bezczynności wliczony | Za token, przedpłacone |
| Rozmiar modelu | Ograniczone Twoją VRAM | Ograniczone wypożyczonym GPU | Jeden model, stały |
| Wybór modelu | Dowolne dostrajanie, które możesz pobrać | Dowolne dostrajanie, które możesz załadować | Tylko oferowany model |
| Lokalizacja danych | Pozostają na Twoim komputerze | Na wynajętym serwerze | Wysłane do dostawcy |
| Utrzymanie | Ty | Ty | Dostawca |
Wiersz, który decyduje w większości przypadków, to wybór modelu. Jeśli potrzebujesz jednego konkretnego dostrajania Dolphin, tylko dwie pierwsze ścieżki Ci to dają. Jeśli potrzebujesz zdolnego modelu bez cenzury za stabilnym API i nie zależy Ci na dokładnym dostrajaniu, ścieżka hostowana oszczędza Ci pracy operacyjnej.
Ile kosztuje wywołanie hostowane
Ceny to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, płatne z przedpłaconego kredytu. Nie ma subskrypcji, nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nigdy nie wygasa. Typowa tura chat z 2000 tokenami wejściowymi i 500 wyjściowymi kosztuje:
- Wejście: 2000 x $0,15 / 1 000 000 = $0,0003
- Wyjście: 500 x $0,50 / 1 000 000 = $0,00025
- Łącznie: $0,00055 za zapytanie, lub $0,55 za 1000 zapytań
Doładowania to dowolna kwota całkowita od $20 do $500, z +5% od $50, +10% od $100 i +15% od $200. Możesz zapłacić kryptowalutami (USDT na TRC20, USDC na Base). Na stronie z cenami znajdziesz aktualne szczegóły.
Aby porównać z wypożyczonym GPU, podziel stawkę godzinową przez liczbę zapytań, które możesz obsłużyć w godzinę przy swoim rzeczywistym ruchu. Przy niskim lub falowym wolumenie model na token zwykle wygrywa, ponieważ nigdy nie płacisz za czas bezczynności.
Wypróbuj przed płatnością
Nowi użytkownicy mogą jednorazowo doładować się kredytem próbnym na kwotę $0,50 na stronie klucza po rejestracji. Kredyt jest jeden na osobę, ważny przez 7 dni i nie wymaga karty. Rejestracja odbywa się przez Google lub za pomocą adresu e-mail i hasła. Przy powyższych cenach $0,50 pokrywa około 900 zapytań z przykładu (2000 tokenów wejściowych i 500 tokenów wyjściowych), co wystarczy, aby przetestować, czy styl modelu pasuje do Twoich potrzeb. Klucze próbne są ograniczone do 2 równoległych zapytań i 60 zapytań na minutę.
Pobierz swój klucz na stronie klucza API. Jeśli chcesz użyć modelu bez logowania, przeczytaj artykuł LLM bez logowania, a w przypadku konfiguracji klienta w interfejsie czatu zapoznaj się z endpointami Open WebUI.
