API Dolphin LLM: локально, орендований GPU або хмарний

Що люди мають на увазі під моделлю Dolphin

Dolphin — це назва лінії спільнотних доопрацювань базових моделей з відкритими вагами. Дані для доопрацювання відфільтровані так, щоб модель виконувала інструкції без зайвих лекцій або відмов у звичайних запитах. Оскільки базова модель змінюється між релізами, немає єдиного постачальника Dolphin з одним офіційним кінцевим пунктом. Коли хтось запитує API Dolphin LLM, зазвичай мається на увазі будь-який API, який надає модель без цензури в цьому стилі.

Це важливо для планування. Ви обираєте не бренд, а те, де виконуються ваги моделі та хто ними керує. Якість моделі залежить від базової моделі та доопрацювання, а операційна частина — від обраного вами маршруту, наведеного нижче.

Примітка щодо обсягу: ці моделі налаштовані для законного дорослого використання. Жоден провайдер тут і жоден розумний провайдер скрізь не буде подавати сексуальний вміст із неповнолітніми. Вважайте це фіксованою межею і у своїй власній програмі.

Маршрут 1: запустіть його на власній машині

Найдешевший варіант на один токен — це модель, для якої у вас вже є апаратне забезпечення. Інструменти на кшталт Ollama та llama.cpp завантажують квантовані ваги та надають локальний сервер. Обидва можуть надавати ендпоінт у стилі OpenAI на localhost, тому код клієнта виглядатиме так само, як і для будь-якого хостингового сервісу.

Підступ полягає в пам'яті. Квантована модель потребує приблизно стільки ж оперативної пам'яті (RAM) або відеопам'яті (VRAM), скільки становить її розмір на диску, плюс місце для кешу контексту. Малі моделі поміщаються на ноутбуці, але більші вимагають GPU з великою кількістю пам'яті, а довгі промпти збільшують кеш. Якщо модель не поміщається у VRAM, вона переноситься в системну RAM, і швидкість різко падає.

Локальне середовище добре підходить, якщо ви працюєте офлайн, дані ніколи не повинні залишати ваш пристрій або якщо ви хочете експериментувати з різними дообученими моделями. Воно не підходить для продукту з користувачами, оскільки ваш ноутбук стає сервером. Повний посібник для локального середовища дивіться тут як запустити Dolphin LLM.

Маршрут 2: орендуйте GPU та обслуговуйте його самостійно

Оренда GPU погодинно дозволяє отримати доступ до більших моделей без необхідності купівлі обладнання. Ви встановлюєте стек обслуговування, такий як vLLM або сервер llama.cpp, завантажуєте вагові коефіцієнти та відкриваєте порт. Після цього ви володієте всім навколишнім середовищем.

• Налаштування драйверів, програмного забезпечення для сервера та TLS.
• Додавання автентифікації, щоб сторонні користувачі не могли використовувати ваш GPU.
• Перезапуск після збоїв та моніторинг пам'яті.
• Оплата за години роботи сервера, незалежно від того, чи надходять запити.

Останній пункт є справжнім драйвером витрат. GPU, який простоює вночі, все одно нараховує витрати. Маршрут окупається, коли у вас стабільний високий трафік і хтось готовий ним керувати. Для побічного проекту з періодичними навантаженнями ви платите переважно за час простою. Наші порівняння з орендою GPU має поточні годинні ставки та точку беззбитковості.

Маршрут 3: зверніться до хостованої OpenAI-сумісної кінцевої точки

Хостований ендпоінт усуває операційні витрати. Ви надсилаєте HTTPS-запити і платите за використані токени. Цей сайт пропонує саме це: хостований, OpenAI-сумісний текстовий API для однієї моделі з відкритими вагами, яку обслуговує незалежний провайдер і яка налаштована на відповіді без відмов у вмісті для законного дорослого використання. Щоб бути чіткими щодо того, чим це не є: це не офіційний API жодного постачальника моделі, і це не маршрутизатор між кількома моделями. Ідентифікатор моделі uncensored.

Оскільки API сумісний з OpenAI, будь-який SDK OpenAI працюватиме після зміни двох налаштувань: базової URL-адреси та ключа. Ось мінімальний виклик Python:

from openai import OpenAI

client = OpenAI(
    base_url="https://dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a direct, helpful assistant."},
        {"role": "user", "content": "Explain how a context window works."},
    ],
)
print(resp.choices[0].message.content)

Такий самий запит у curl:

curl https://dolphinllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Потокова передача (stream: trueвиклик інструментів, режим JSON та звичайні параметри вибірки працюють так само, як у API OpenAI. Контекстне вікно становить 262 144 токенів, враховуючи запит і відповідь разом. Це Документація API перелічує всі підтримувані кінцеві точки та параметри.

Порівняння поруч

Рядок, що визначає більшість випадків, — це вибір моделі. Якщо вам потрібна конкретна настройка Dolphin, лише перші два маршрути дадуть вам це. Якщо вам потрібна здатна модель без цензури за стабільним API і вам не важливо, яка саме це настройка, хостований маршрут заощадить вам операційні зусилля.

Скільки коштує хостований виклик

Ціна становить $0.15 за 1M входних токенів та $0.50 за 1M вихідних токенів, сплачується з попередньо оплаченого кредиту. Немає підписки, невдалі або відхилені запити не нараховуються, а кредит не має строку дії. Типовий крок чату з 2,000 входними токенами та 500 вихідними токенами коштує:

• Вхідні: 2,000 × $0.15 / 1,000,000 = $0.0003
• Вивід: 500 × $0.50 / 1,000,000 = $0.00025
• Загальна вартість: $0.00055 за запит або $0.55 за 1,000 запитів

Ви поповнюєте будь-якою сумою від $50 до $10 000, з +5% від $50, +10% від $100 та +15% від $200. Ви можете оплатити карткою або криптою (USDT, USDC). The сторінка з цінами має поточні деталі.

Щоб порівняти з орендованим GPU, поділіть годинну ставку на кількість запитів, які ви можете обслуговувати за годину при реальному трафіку. При низькому або сплесковому навантаженні модель за токени зазвичай вигідніша, оскільки ви ніколи не платите за час простою.

Спробуйте перед оплатою

Нові користувачі отримують $0.50 пробного кредиту при першому відкритті акаунту. Це один раз на особу, дійсний протягом 7 днів, без необхідності вказувати картку. Реєстрація займає електронну адресу та пароль. За вказаними цінами $0.50 покриває приблизно 900 із 2,000 запитів (2000 вхідних, 500 вихідних) з прикладу, що цілком достатньо для тестування, чи відповідає тон моделі вашим потребам. Пробні ключі обмежені 2 одночасними запитами та 60 запитами за хвилину.

Створити обліковий запис щоб отримати ваш ключ. Якщо вам потрібна модель з мінімальними бар'єрами для реєстрації, дивіться LLM без входу в систему статтю, а для налаштування клієнта у фронтенді чату читайте про Кінцеві точки Open WebUI.