Подключение к API без цензуры

Что вам нужно

• SillyTavern установлен и работает (последняя версия; меню ниже соответствует текущему интерфейсу).
• Ключ API из вашего аккаунта. Зарегистрироваться с помощью электронной почты и пароля; при первом открытии аккаунта добавляется пробный кредит на $0.50.
• Базовый URL https://dolphinllm.com/v1 и идентификатор модели uncensored.

Подключение за четыре шага

1. Откройте API Connections панель (иконка в виде розетки в верхней панели).
2. Установите API to Chat Completion, затем Chat Completion Source to Custom (OpenAI-compatible).
3. Вставить https://dolphinllm.com/v1 into Custom Endpoint (Base URL) и ваш ключ в Custom API Key.
4. Нажмите Connect. Выберите uncensored from Available Models, или введите его в Enter a Model ID. Статус становится зеленым, когда первое тестовое сообщение проходит.

Не выбирайте Text Completion. Этот API поддерживает только формат чата (/v1/chat/completions); шаблон чата самой модели применяется на сервере, поэтому вам не нужен инструктивный шаблон в SillyTavern для этого подключения.

Настройки, важные для ролевой игры

Открыть AI Response Configuration (иконка слайдеров).

• Context Size (tokens): до 262,144. Каждое сообщение отправляет карточку персонажа, персону, информацию о мире и столько истории чата, сколько поместится, и всё это оплачивается как ввод. 16,000–32,000 — хороший баланс между памятью и стоимостью для большинства чатов; полный контекст в 262,144 токена стоит около $0.0393 за сообщение на ввод. Увеличьте его для длинных кампаний, где модели нужно помнить ранние события.
• Max Response Length (tokens): 300–800 для ответов в чате. Вывод — более дорогая часть: $0.50 за 1M токенов.
• Streaming: текст появляется по мере его генерации, и вы можете остановить ответ, который вам не нравится, до его завершения.
• Temperature: 0.7 до 1.0 для творческого письма. Top P, частота и наличие штрафов и стоп-строк передаются модели.

Модель настроена на ответы без отказов по цензурным соображениям для законного использования взрослыми, поэтому джейлбрейк-промпты вам редко понадобятся. Короткий системный промпт, задающий стиль и перспективу, работает лучше. Единственное строгое правило этого API: запрет на сексуальный контент с участием несовершеннолетних, независимо от того, что написано в карточке персонажа.

Расширения и пробный ключ

Некоторые расширения SillyTavern отправляют собственные запросы через то же подключение, например, для сводок чата или автоматических выражений персонажа, если они настроены на использование основного API. На пробном ключе, который позволяет 2 параллельных запроса и 60 в минуту, эти дополнительные вызовы могут конфликтовать с вашим сообщением и возвращать HTTP 429 с кодом concurrency. Выключите их во время тестирования или укажите на локальную модель. После первого пополнения ключ позволяет 8 параллельных запросов и 300 в минуту.

Групповые чаты отправляют один запрос на каждый ход персонажа, поэтому они расходуют кредиты быстрее, чем одностронние чаты.

Сколько стоит сессия

Стоимость: $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов. Сообщение с 6,000 токенами карточки и истории и ответом на 400 токенов стоит:

• Ввод: 6,000 × $0.15 / 1,000,000 = $0.0009
• Вывод: 400 × $0.50 / 1,000,000 = $0.0002
• Итого: $0.0011 за сообщение, около $1.10 за 1 000 сообщений

По мере роста чата до контекста в 32 000 токенов одно сообщение обходится примерно в $0.005. Пробного баланса в $0.50 хватит примерно на 450 сообщений меньшего размера. Минимальная сумма пополнения — $50; см. страница с ценами.

Устранение неполадок

• В списке нет моделей. Проверьте, что URL заканчивается на /v1 без завершающего слэша, затем введите uncensored в поле идентификатора модели вручную.
• 401 invalid_key — неверный ключ. Ключ был скопирован с пробелом или был отозван. Создайте новый в своём аккаунте.
• 402 no_credit — нет средств. Баланс пуст или пробный период истёк. Пополните счёт в своём аккаунте.
• 400 bad_request — ошибка контекста. Сумма длины промпта и максимальной длины ответа превышает 262 144 токенов. Уменьшите размер контекста.
• 503 upstream_busy — сервер перегружен. Общие серверы временно перегружены. Обновите страницу или сгенерируйте ответ снова через несколько секунд; за ошибку вам не начислят плату.