Добавьте Dolphin LLM в LibreChat как пользовательскую конечную точку
Обновлено

LibreChat добавляет совместимые с OpenAI провайдеры через пользовательские конечные точки в librechat.yaml. Один блок конфигурации даёт каждому пользователю вашей установки LibreChat доступ к модели.
Ключевые моменты
- Добавьте блок под
endpoints.custominlibrechat.yamlс baseURL, apiKey и модельюuncensored. - Храните ключ в .env и обращайтесь к нему как
${DOLPHIN_API_KEY}. - Установите
apiKeytouser_providedдолжен ли каждый пользователь предоставлять свой собственный ключ. - Монтируйте
librechat.yamlв контейнер и перезапустите LibreChat.
Блок конечной точки
Открыть librechat.yaml в папку LibreChat (скопируйте librechat.example.yaml если у вас его еще нет) и добавьте это под endpoints:
version: 1.2.1
endpoints:
custom:
- name: "Dolphin LLM"
apiKey: "${DOLPHIN_API_KEY}"
baseURL: "https://dolphinllm.com/v1"
models:
default: ["uncensored"]
fetch: false
titleConvo: true
titleModel: "uncensored"
modelDisplayLabel: "Dolphin LLM"
Используйте version значение, которое ожидает ваш релиз LibreChat (оно находится в начале librechat.example.yaml). fetch: false ограничивает список одной моделью; с fetch: true LibreChat спрашивает GET /v1/models, который возвращает тот же единственный модель.
Вставьте ключ в .env
# .env
DOLPHIN_API_KEY=YOUR_KEY
Создайте ключ в своем аккаунте (зарегистрироваться сначала, если у вас их нет; $0.50 пробного кредита добавляются при первом открытии аккаунта). Никогда не фиксируйте .env в git.
Если каждый пользователь вашей установки должен платить со своего баланса, установите apiKey: "user_provided" вместо этого. LibreChat затем запрашивает у каждого пользователя ключ при первом выборе Dolphin LLM и сохраняет его для них.

Docker: смонтируйте файл и перезапустите
При стандартной настройке Docker LibreChat считывает librechat.yaml только если он смонтирован в контейнер API. Добавьте файл переопределения рядом с docker-compose.yml:
# docker-compose.override.yml
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
docker compose down
docker compose up -d
Откройте LibreChat, выберите Dolphin LLM в меню эндпоинта и начните чат. Если эндпоинт не отображается, в логах API-контейнера указана причина, обычно это ошибка отступов в YAML.
Полезные опции
- titleConvo делает один дополнительный короткий запрос для каждой новой беседы, чтобы дать ей имя. Для пробного ключа (2 параллельных запроса, 60 в минуту) установите это значение в
falseесли вы видите задержки. - Контекст: модель принимает до 262 144 токенов, промпт плюс ответ. LibreChat отправляет историю разговора с каждым сообщением, поэтому длинные диалоги обходятся дороже за шаг; шаг, заполняющий окно, стоит около $0.0393 на вход.
- Параметры: temperature, top_p, max tokens, stop и штрафы из панели параметров LibreChat передаются напрямую. API работает только с текстом, поэтому загрузки файлов, требующие зрения или встраиваний, не будут работать с этой конечной точкой.
- Пресеты и агенты: вы можете сохранить системный промпт в качестве пресета. Вызов инструментов поддерживается API (
tools,tool_choice), поэтому агенты LibreChat могут его использовать; протестируйте один инструмент, прежде чем полагаться на него.
Общая установка, единый баланс
С одним ключом .env, каждый пользователь LibreChat тратит из общего баланса. Отключите открытую регистрацию, если установка публичная, и проверяйте баланс в своей учётной записи или в X-Balance-USD заголовок ответа. Лимиты применяются на каждую ключ: после первого пополнения доступно 8 параллельных запросов и 300 в минуту, общие для всех пользователей.
Модель настроена на ответы без отказов по цензурным соображениям для законного использования взрослыми, поэтому правила платформы определяете вы, например, задав их в системном промпте. Сексуальный контент с участием несовершеннолетних всегда запрещён в API.
Стоимость
По ставкам $0.15 за 1M входных и $0.50 за 1M выходных токенов диалог с историей в 3,000 токенов и ответом в 600 токенов обходится в $0.00075. Небольшая команда, отправляющая 500 таких сообщений в день, тратит около $11 в месяц. См. страница с ценами для пакетов и бонусов.
Вопросы и ответы
Куда вставить endpoint Dolphin LLM в LibreChat?
В endpoints.custom in librechat.yaml, с baseURL https://dolphinllm.com/v1, ваш ключ и модель uncensored.
Может ли каждый пользователь LibreChat использовать свой собственный ключ?
Да. Установите apiKey to user_provided и LibreChat будет запрашивать ключ у каждого пользователя.
Почему endpoint не появляется после редактирования файла?
Файл должен быть смонтирован в контейнер API, а LibreChat перезапущен. Проверьте логи контейнера на наличие ошибок YAML.
Другие руководства
Откройте API-конечные точки WebUI: подключите LLM без цензурыПодключите Open WebUI к API Dolphin LLM: базовый URL, ключ и идентификатор модели, панель администратора и настройки Docker, параметры, которые стоит изменить, типичные ошибки и стоимость чата.
Подключение к API без цензурыНастройте SillyTavern с API Dolphin LLM: Chat Completion, пользовательский источник (совместимый с OpenAI), базовый URL, ключ и модель, длину контекста и ответа, а также стоимость сессии ролевой игры.
Бесплатный API для LLM для разработчиков: Пробный период vs Оплата по факту использованияЧто дает бесплатный уровень API LLM и где он заканчивается. Пробный период без привязки карты за $0.50, затем центы за вызов: что это покупает, как продлить срок использования и что проверить перед подключением.