Безкоштовний LLM API для розробників: Пробний період проти оплати за використання

Коротка відповідь: пробний період, потім цент за запит

Нічого тут не безкоштовне назавжди. Ви отримуєте безкоштовний старт і дуже невеликий рахунок після нього. Зареєструйтесь за допомогою електронної пошти та пароля, і $0.50 пробного кредиту буде додано при першому відкритті акаунту. Картка не потрібна. Кредит дійсний протягом 7 днів, і кожна особа отримує один.

Після цього ви платите за фактичне використання: $0.15 за 1M вхідних токенів і $0.50 за 1M вихідних токенів. Немає підписки та мінімального місячного ліміту. Мінімальна сума поповнення — $50 ($52.50 з бонусом), кредит не має строку дії, тому ви можете витрачати його протягом року, якщо ваш проект розвивається повільно.

Що купує пробний період за $0.50

Вартість запиту проста: кількість токенів вводу помножити на $0.15, плюс кількість токенів виводу помножити на $0.50, обидва значення поділені на 1,000,000. Два приклади показують діапазон.

Перевірте перший рядок: 1,500 × $0.15 / 1,000,000 = $0.000225, та 300 × $0.50 / 1,000,000 = $0.00015. Сума становить $0.000375. Для другого рядка: 20,000 вхідних токенів коштують $0.003, а 800 вихідних токенів коштують $0.0004, разом $0.0034.

На практиці пробного періоду достатньо, щоб підключити клієнт, протестувати потокову передачу, спробувати виклик інструментів та вирішити, чи підходить модель для вашого проєкту.

Чому на безкоштовних тарифах важко будувати

Безкоштовні тарифи існують для того, щоб ви могли спробувати продукт, і їхні ліміти встановлені з цією метою. Деталі часто змінюються, тому перед використанням обов'язково перевіряйте поточні умови кожного постачальника. Зазвичай розробники стикаються з однією й самою низкою проблем.

• Ліміти швидкості, розраховані на демо. Скрипт, що працює на рівні десяти запитів, стає непридатним при кількох сотнях.
• Зміна лімітів. Обмеження, яке сьогодні є прийнятним, може бути посилене пізніше, і ваша система дізнається про це з помилки.
• Фільтри контенту. Багато хостованих моделей відхиляють запити на художні тексти, рольові ігри або різкі тестові дані. Відхилення посеред пакетного завдання — це помилка, яку не можна виправити патчем.
• Незрозуміла обробка даних. Деякі безкоштовні пропозиції використовують промпти для покращення своїх моделей. Ознайомтеся з умовами.

Жодне з цього не робить безкоштовні тарифи поганими. Для прототипу на вихідних вони чудово підходять. Проблеми починаються, коли прототип перетворюється на сервіс.

Також існує проблема планування. Безкоштовний рівень не дає способу прогнозувати витрати, оскільки немає ціни для множення. При ціноутворенні за токени ви можете записати бюджет в один рядок перед написанням коду, і це полегшує захист проекту перед клієнтом або партнером. Якщо ваше використання зросте в десять разів, ви знаєте, що рахунок зросте приблизно в десять разів, і нічого іншого не зміниться.

Що перевірити в будь-якому API перед підключенням

Незалежно від того, чи є сервіс платним чи безкоштовним, ставте однакові запитання перед тим, як підключити його до свого коду.

1. Чи є протокол стандартним? Це API сумісне з OpenAI, тому перехід на інший постачальник пізніше означає зміну двох рядків, а не переписування клієнта.
2. Які ліміти в цифрах? Ось їхні ліміти: 8 одночасних запитів та 300 на хвилину для повного ключа, 2 та 60 для пробного ключа, тіло до 8 МБ, вікно на 262 144 токенів.
3. Що відбувається, коли виклик завершується невдало? На цьому сервісі невдалі або відхилені запити не нараховуються.
4. Що стається з вашими промптами? Тут вони не використовуються для навчання.
5. Чи відмовляє модель у вашому сценарії використання? Ця модель налаштована на відповіді без відмов у вмісті для законного дорослого використання, що важливо для художньої літератури, рольових ігор та тестових даних. Єдиним суворим обмеженням є сексуальний контент із залученням неповнолітніх.
6. Чи можете ви піти? Кредити передоплачуються і не мають строку дії, договір не потрібен.

Як продовжити пробний період

Маленькі звички дозволяють довго тримати $0.50.

1. Встановіть max_tokens під час тестування. Це необов'язково для цього API, але ліміт у 300 запобігає тому, щоб неконтрольована відповідь коштувала в десять разів більше запланованого. Вивід є більш дорогим компонентом — $0.50 за 1M токенів.
2. Тримайте системні промпти короткими. Системний промпт на 1000 токенів, що надсилається з кожним запитом, додає $0.00015 на запит.
3. Використовуйте seed та низьку температуру для повторюваних тестів, щоб вам не доводилося знову запускати виклик лише заради іншої відповіді.
4. Не надсилайте повні історії знову якщо вони вам не потрібні. Вікно становить 262,144 токени, і кожен токен у ньому рахується як вхідні дані: запит, що заповнює його, коштує $0.0393.
5. Дивіться X-Balance-USD у заголовках відповіді, щоб точно побачити вартість кожного тесту.

Ще одна хитрість — логувати resp.usage для кожного виклику під час розробки. Після дня тестування ви дізнаєтеся свою реальну середню величину, і зможете замінити припущення в таблицях вище своїми власними цифрами. Багато людей виявляють, що їхні промпти в два-три рази довші, ніж вони припускали, переважно через системні промпти та вставлені приклади.

Бюджет для побічного проєкту

Цифри допомагають, коли ви вирішуєте, чи вартий проєкт фінансування. Візьмемо невеликий додаток, який робить 200 запитів на день із розміром dev-loop 1500 токенів на вхід і 300 на вихід. Кожен запит коштує $0.000375, тому день коштує $0.075, а 30-денний місяць — $2.25. Поповнення на $50 ($52.50 з бонусом) вистачить приблизно на 23 місяці за такою ставкою.

Тепер візьмімо важчий інструмент, який робить 50 запитів на день з 20 000 токенів вставленого контексту та 800 токенів на виході. Кожен запит коштує $0.0034, тому день коштує $0.17, а місяць — $5.10. Навіть подвоєння трафіку тримає обидва проекти в межах одиниць доларів на місяць.

Суть в тому, що ціноутворення за токени на цьому рівні робить витрати незначною статтею для більшості бічних проектів. Успіх визначається тим, чи виконує модель свою роботу та чи відповідають ліміти вашому трафіку.

Перший запит, який ви можете запустити зараз

API сумісний з OpenAI, тому стандартний Python SDK працює після зміни базового URL та ключа.

from openai import OpenAI

client = OpenAI(
    base_url="https://dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

The usage об'єкт надає точні підрахунки токенів запиту та відповіді. Помножте їх на вказані вище ставки, і ви отримаєте вартість цього виклику. Доступні також потокова передача, режим JSON та виклик інструментів; docs мають приклади для кожного.

Коли перейти з пробного періоду на поповнення

Продовжуйте роботу, коли закінчиться пробний період або коли вам потрібно більше ніж 2 одночасні запити. Після першого поповнення ваш ключ дозволяє 8 одночасних запитів і 300 за хвилину. Ви можете поповнити будь-яку суму від $50 до $10,000, і кожне поповнення супроводжується бонусом: +5% від $50, +10% від $100 та +15% від $200. Поповнення на $50 дає $52.50 кредиту, а $200 дає $230.

Ви можете сплатити карткою або криптовалютою (USDT, USDC). Повні дані на сторінка з цінами.

Що ця API не робить

Щоб заощадити вам вечір: це текстовий сервіс. Немає генерації зображень, аудіо чи відео, немає ембедінгів і немає донавчання. Це одна модель з відкритими вагами, яку обслуговує незалежний постачальник, а не офіційне API жодного великого постачальника і не роутер між кількома. Якщо вашому проекту потрібні ембедінги для пошуку, вам знадобиться інший сервіс для цієї частини. Якщо потрібна чат-модель, яка слідує інструкціям і не відмовляє, це підходить.

Якщо ви новачок на сайті, сторінка на використання LLM без обмежень на вхід пояснює, як працюють реєстрація та ключі, більш детально.