Darmowe API LLM dla deweloperów: Okres próbny vs płatność za użycie

Krótka odpowiedź: próba, a następnie grosze za wywołanie

Nic tutaj nie jest darmowe na zawsze. Otrzymujesz darmowy start i bardzo mały rachunek po jego zakończeniu. Zarejestruj się za pomocą Google lub e-maila i hasła, otwórz stronę klucza API i odebierz $0,50 kredytu próbnego jednym kliknięciem. Nie jest potrzebna karta — doładowania akceptowane są wyłącznie w kryptowalutach. Kredyt jest ważny przez 7 dni, a każda osoba może go odebrać raz.

Po wyczerpaniu kredytu płacisz za zużycie: $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Nie ma subskrypcji ani miesięcznego minimum. Minimalne doładowanie to $20, a przedpłacony kredyt nie wygasa, więc możesz go wydać w ciągu roku, jeśli Twój projekt jest wolny.

Co daje próba za $0,50

Koszt zapytania jest prosty: tokeny wejściowe razy $0,15 plus tokeny wyjściowe razy $0,50, oba podzielone przez 1 000 000. Dwa przykłady pokazują zakres.

Sprawdź pierwszy wiersz: 1500 x $0,15 / 1 000 000 = $0,000225, a 300 x $0,50 / 1 000 000 = $0,00015. Suma to $0,000375. Dla drugiego wiersza 20 000 tokenów wejściowych kosztuje $0,003, a 800 tokenów wyjściowych kosztuje $0,0004, więc łącznie $0,0034.

W praktyce próba wystarczy do podłączenia klienta, przetestowania strumieniowania, wypróbowania wywoływania funkcji i decyzji, czy model pasuje do Twojego projektu.

Dlaczego darmowe plany są trudne do wykorzystania w produkcji

Darmowe plany istnieją, abyś mógł wypróbować produkt, a ich limity są ustawione z tym celem. Szczegóły często się zmieniają, więc sprawdź bieżące warunki każdego dostawcy przed oparciem na nich. Ogólnie deweloperzy napotykają te same problemy.

• Limity zapytań dostosowane do demonstracji. Skrypt, który działa przy dziesięciu zapytaniach, staje się nieprzydatny przy kilku setkach.
• Zmieniające się limity. Limit, który jest dzisiaj OK, może zostać zaostrzony później, a Twój potok dowie się o tym z błędu.
• Filtry treści. Wiele modeli hostowanych odrzuca zapytania dotyczące fikcji, roleplay lub odważnych danych testowych. Odrzucenie w środku zadania wsadowego to błąd, którego nie można poprawić.
• Niejasne przetwarzanie danych. Niektóre darmowe oferty wykorzystują prompty do ulepszania swoich modeli. Przeczytaj warunki.

Nic z tego nie oznacza, że darmowe plany są złe. Na weekendowy prototyp są OK. Problemy zaczynają się, gdy prototyp staje się usługą.

Istnieje też problem planowania. Darmowy plan nie pozwala przewidzieć kosztu, ponieważ nie ma ceny do pomnożenia. Przy cenniku za token możesz zapisać budżet w jednym wierszu przed napisaniem kodu, co ułatwia obronę projektu przed klientem lub partnerem. Jeśli Twoje użycie wzrośnie dziesięciokrotnie, wiesz, że rachunek wzrośnie około dziesięciokrotnie, a nic się nie zmienia.

Co sprawdzić w dowolnym API przed zobowiązaniem się

Niezależnie od tego, czy usługa jest płatna, zadaj te same pytania przed podłączeniem jej do swojego kodu.

1. Czy protokół jest standardowy? To API jest kompatybilne z OpenAI, więc przejście na inne później oznacza zmianę dwóch linii, a nie przepisanie klienta.
2. Jakie są limity w liczbach? Tutaj są opublikowane: 8 równoległych zapytań i 300 na minutę przy pełnym kluczu, 2 i 60 przy kluczu próbnym, limit body 8 MB, okno kontekstu 100 000 tokenów.
3. Co się dzieje, gdy wywołanie się nie powiedzie? W tej usłudze nieudane lub odrzucone zapytania nie są rozliczane.
4. Co się dzieje z Twoimi promptami? Tutaj nie są używane do trenowania.
5. Czy model odrzuca Twój przypadek użycia? Ten jest dostosowany do odpowiadania bez odrzuceń treści dla legalnego użytku przez dorosłych, co ma znaczenie dla fikcji, roleplay i danych testowych. Jedynym twardym limitem jest treść seksualna z udziałem niepełnoletnich.
6. Czy możesz odejść? Kredyt jest przedpłacony i nigdy nie wygasa, i nie ma umowy.

Jak przedłużyć próbę

Małe nawyki rozciągają $0,50 na długo.

1. Ustaw max_tokens podczas testowania. Jest to opcjonalne w tym API, ale limit 300 zatrzymuje niekontrolowaną odpowiedź, która kosztowałaby dziesięciokrotnie więcej niż planowałeś. Wyjście jest droższą stroną w cenie $0,50 za 1 mln.
2. Trzymaj systemowe prompty krótkie. Systemowy prompt o 1000 tokenów wysyłany z każdym wywołaniem dodaje $0,00015 do kosztu zapytania.
3. Używaj seed i niskiej temperatury dla powtarzalnych testów, aby nie ponawiać wywołania tylko po to, aby zobaczyć inną odpowiedź.
4. Nie wysyłaj ponownie całych historii, chyba że ich potrzebujesz. Okno ma 100 000 tokenów, a każdy token w nim jest rozliczany jako wejście.
5. Śledź X-Balance-USD w nagłówkach odpowiedzi, aby zobaczyć dokładnie, ile kosztował każdy test.

Jeszcze jeden trik to logowanie resp.usage dla każdego wywołania podczas pracy nad projektem. Po dniu testów będziesz znać swój rzeczywisty średni koszt i możesz zastąpić zgadywanki w tabelach powyżej własnymi liczbami. Wielu ludzi odkrywa, że ich prompty są dwa lub trzy razy dłuższe niż zakładali, głównie ze względu na systemowe prompty i wklejone przykłady.

Budżet dla projektu pobocznego

Liczby pomagają w podjęciu decyzji, czy projekt jest wart sfinansowania. Weźmy małą aplikację wykonującą 200 zapytań dziennie w rozmiarze dev-loop: 1 500 tokenów wejściowych i 300 wyjściowych. Każde zapytanie kosztuje $0,000375, więc dzień kosztuje $0,075, a 30-dniowy miesiąc to $2,25. Doładowanie za $20 starczyłoby na około dziewięć miesięcy przy tym tempie.

Weźmy teraz cięższe narzędzie wykonujące 50 zapytań dziennie z 20 000 tokenami wklejonego kontekstu i 800 tokenami wyjściowymi. Każde zapytanie kosztuje $0,0034, więc dzień to $0,17, a miesiąc to $5,10. Nawet podwojenie ruchu utrzyma oba projekty w zakresie kilku dolarów miesięcznie.

Chodzi o to, że cennik za token na tym poziomie sprawia, że koszt jest drobną pozycją w większości projektów pobocznych. O sukcesie decyduje, czy model wykonuje zadanie i czy limity pasują do Twojego ruchu.

Pierwsze wywołanie, które możesz uruchomić teraz

API jest kompatybilne z OpenAI, więc standardowe SDK Python działa po zmianie bazowego URL i klucza.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

Obiekt usage daje Ci dokładne liczby tokenów prompt i completion. Pomnóż je przez powyższe stawki i masz koszt tego zapytania. Dostępne są też strumieniowanie, tryb JSON i wywoływanie funkcji; w dokumentacji znajdziesz przykłady dla każdego.

Kiedy przejść z próby na doładowanie

Przejdź na doładowanie, gdy próba się skończy lub gdy potrzebujesz więcej niż 2 równoległych zapytań. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Doładowania wynoszą od $20 do $500 w dowolnej całkowitej kwocie. Większe kwoty mają bonus: +5% od $50, +10% od $100 i +15% od $200. Doładowanie za $50 daje $52,50 kredytu, a $200 daje $230.

Możesz zapłacić kryptowalutami (USDT w sieci TRC20, USDC na Base). Pełne ceny znajdziesz na stronie z cenami, a klucz możesz wygenerować na stronie kluczy.

Czym to API nie jest

Aby zaoszczędzić Ci zmarnowany wieczór: to usługa tylko tekstowa. Nie ma generowania obrazów, audio ani wideo, nie ma embeddingów ani dostrajania. To jeden model o otwartych wagach obsługiwany przez niezależnego dostawcę, nie oficjalne API żadnego dużego dostawcy i nie router między kilkoma. Jeśli Twój projekt potrzebuje embeddingów do wyszukiwania, będziesz potrzebować innej usługi do tej części. Jeśli potrzebuje modelu czatu, który przestrzega instrukcji i nie odrzuca, to pasuje.

Jeśli jesteś nowy na stronie, poradnik dotyczący korzystania z LLM bez ograniczeń logowania wyjaśnia szczegółowo, jak działa rejestracja i klucze.

Więcej przewodników

• Endpointy API Open WebUI: podłącz LLM bez cenzury
• Jak korzystać z LLM bez ograniczeń logowania