Ключевые моменты
- Dolphin — это семейство моделей, дообученных сообществом, поэтому единого официального API для регистрации не существует.
- Вы можете запустить её на локальной машине, запустить на арендованном GPU или вызвать размещённый эндпоинт.
- Размещённому эндпоинту, совместимому с OpenAI, нужны только base URL, ключ и ID модели uncensored.
- Стоимость хостинга здесь: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, без подписки.
Что обычно имеют в виду под Dolphin-моделью
Dolphin — это название линейки дообученных сообществом версий базовых моделей с открытыми весами. Данные для дообучения отфильтрованы так, чтобы модель выполняла инструкции без поучений или отказов в обычных запросах. Поскольку базовая модель меняется от релиза к релизу, нет единого вендора Dolphin с одним официальным эндпоинтом. Когда кто-то ищет dolphin llm api, обычно имеется в виду любой API, который предоставляет модель без цензуры такого стиля.
Это важно для планирования. Вы выбираете не бренд, а то, где запускаются веса и кто ими управляет. Качество модели зависит от базовой модели и дообучения, а операционная часть зависит от выбранного вами маршрута ниже.
Одно замечание по охвату: эти модели дообучены для законного использования взрослыми. Ни один провайдер здесь и ни один разумный провайдер в целом не будет предоставлять сексуальный контент с участием несовершеннолетних. Рассматривайте это как фиксированную границу в вашем собственном приложении.
Маршрут 1: запуск на вашей собственной машине
Самый дешевый маршрут на токен — это модель, для которой у вас уже есть оборудование. Такие инструменты, как Ollama и llama.cpp, загружают квантованные веса и предоставляют локальный сервер. Оба могут предложить эндпоинт в стиле OpenAI на localhost, поэтому клиентский код выглядит так же, как для любого облачного сервиса.
Подвох в памяти. Квантованной модели требуется примерно её размер файла в RAM или VRAM, плюс место для контекстного кэша. Маленькие модели помещаются на ноутбуке, но более крупные требуют GPU с большим объемом памяти, а длинные промпты увеличивают кэш. Если модель не помещается в VRAM, она перетекает в системную RAM, и скорость резко падает.
Локальный запуск хорош, когда вы работаете офлайн, когда данные никогда не должны покидать вашу машину или когда вы хотите экспериментировать с разными дообучениями. Это плохой выбор для продукта с пользователями, потому что ваш ноутбук становится сервером. Полное руководство по локальному варианту см. в отдельной статье о том, как запустить модель в стиле Dolphin.
Маршрут 2: арендуйте GPU и предоставляйте его как сервис самостоятельно
Аренда GPU почасово дает доступ к большим моделям без покупки оборудования. Вы устанавливаете стек для обслуживания моделей, такой как vLLM или сервер llama.cpp, загружаете веса и открываете порт. Затем вы управляете всем вокруг.
- Настройка драйверов, программного обеспечения для обслуживания моделей и TLS.
- Добавление аутентификации, чтобы посторонние не могли использовать ваш GPU.
- Перезапуск после сбоев и мониторинг памяти.
- Оплата часов работы сервера, независимо от того, отправляются ли запросы.
Этот последний пункт — главный драйвер стоимости. GPU, простаивающий ночью, все равно тарифицируется. Маршрут окупается при стабильном высоком трафике и наличии человека, готового управлять им. Для побочного проекта с всплесками использования вы платите в основном за время простоя. Проверьте текущие почасовые ставки на странице цен самого провайдера, так как они меняются.
Маршрут 3: вызов размещённого эндпоинта, совместимого с OpenAI
Размещённый эндпоинт избавляет от операционной работы. Вы отправляете HTTPS-запросы и платите за использованные токены. Этот сайт предлагает это: размещённый текстовый API, совместимый с OpenAI, для одной модели с открытыми весами, запущенный независимым провайдером и дообученный для ответов без отказов по контенту для законного использования взрослыми. Чтобы было понятно, чем это не является: это не официальный API какого-либо вендора моделей, и это не маршрутизатор между несколькими моделями. ID модели uncensored.
Поскольку API совместим с OpenAI, любой OpenAI SDK работает после изменения двух настроек: base URL и ключа. Вот минимальный вызов Python:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)Тот же запрос в curl:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Потоковая передача (stream: true), вызов функций, JSON-режим и обычные параметры сэмплирования работают так же, как в API OpenAI. Контекстное окно — 100 000 токенов, включая промпт и завершение. В документации API перечислены все поддерживаемые эндпоинты и параметры.
Сравнение бок о бок
| Фактор | Локально | Арендованный GPU | Размещённый эндпоинт |
|---|---|---|---|
| Предварительная работа | Установка и загрузка | Настройка сервера, аутентификация, TLS | Получите ключ |
| Модель ценообразования | Ваше собственное оборудование | Почасовая оплата, включено время простоя | За токен, предоплата |
| Размер модели | Ограничено вашей VRAM | Ограничено арендованным GPU | Одна модель, фиксированная |
| Выбор модели | Любое дообучение, которое вы можете скачать | Любое дообучение, которое вы можете загрузить | Только предлагаемая модель |
| Расположение данных | Остаются на вашем устройстве | На арендованном сервере | Отправлено провайдеру |
| Обслуживание | Вы | Вы | Провайдер |
Строка, которая решает большинство случаев — это выбор модели. Если вам нужна одна конкретная дообученная модель Dolphin, только первые два маршрута дают вам это. Если вам нужна мощная модель без цензуры за стабильным API и вам не важно, какое именно это дообучение, маршрут с размещённым API сэкономит вам операционную работу.
Сколько стоит вызов размещённого API
Стоимость: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, оплата с предоплаченного баланса. Подписки нет, неудачные или отклоненные запросы не тарифицируются, и баланс не сгорает. Типичный ход чата с 2000 входными токенами и 500 выходными токенами стоит:
- Вход: 2 000 × $0,15 / 1 000 000 = $0,0003
- Выход: 500 × $0,50 / 1 000 000 = $0,00025
- Итого: $0,00055 за запрос или $0,55 за 1000 запросов
Пополнение возможно на любую целую сумму от $20 до $500, с +5% от $50, +10% от $100 и +15% от $200. Вы можете оплатить криптовалютой (USDT в сети TRC20, USDC в сети Base). На странице с ценами указаны актуальные детали.
Чтобы сравнить с арендованным GPU, разделите почасовую ставку на количество запросов, которое вы можете обслужить за час при вашем реальном трафике. При низком или всплесковом объеме модель на токены обычно выигрывает, потому что вы никогда не платите за время простоя.
Попробуйте перед оплатой
Новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице API-ключа после входа. Он предоставляется один раз на человека, действует 7 дней и не требует привязки карты. Вход осуществляется через Google или по электронной почте и паролю. По указанным выше ценам $0,50 покрывают около 900 запросов из примера (2000 входных и 500 выходных токенов), чего достаточно, чтобы проверить, подходит ли тон модели для ваших задач. Ключи пробного баланса ограничены 2 параллельными запросами и 60 запросами в минуту.
Получите свой ключ на странице API-ключей. Если вам нужна модель, не требующая входа в систему, см. статью LLM без входа в систему, а для настройки клиента в интерфейсе чата ознакомьтесь с эндпоинтами Open WebUI.
