Добавьте Dolphin LLM в LibreChat как пользовательскую конечную точку

Обновлено

LibreChat добавляет совместимые с OpenAI провайдеры через пользовательские конечные точки в librechat.yaml. Один блок конфигурации даёт каждому пользователю вашей установки LibreChat доступ к модели.

Ключевые моменты

  • Добавьте блок под endpoints.custom in librechat.yaml с baseURL, apiKey и моделью uncensored.
  • Храните ключ в .env и обращайтесь к нему как ${DOLPHIN_API_KEY}.
  • Установите apiKey to user_provided должен ли каждый пользователь предоставлять свой собственный ключ.
  • Монтируйте librechat.yaml в контейнер и перезапустите LibreChat.

Блок конечной точки

Открыть librechat.yaml в папку LibreChat (скопируйте librechat.example.yaml если у вас его еще нет) и добавьте это под endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Используйте version значение, которое ожидает ваш релиз LibreChat (оно находится в начале librechat.example.yaml). fetch: false ограничивает список одной моделью; с fetch: true LibreChat спрашивает GET /v1/models, который возвращает тот же единственный модель.

Вставьте ключ в .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Создайте ключ в своем аккаунте (зарегистрироваться сначала, если у вас их нет; $0.50 пробного кредита добавляются при первом открытии аккаунта). Никогда не фиксируйте .env в git.

Если каждый пользователь вашей установки должен платить со своего баланса, установите apiKey: "user_provided" вместо этого. LibreChat затем запрашивает у каждого пользователя ключ при первом выборе Dolphin LLM и сохраняет его для них.

Страница аккаунта с префиксом активного API-ключа, базовым URL, совместимым с OpenAI, и готовой командой curl
Аккаунт → API и баланс: ваш ключ и базовый URL, с примером команды curl для копирования.

Docker: смонтируйте файл и перезапустите

При стандартной настройке Docker LibreChat считывает librechat.yaml только если он смонтирован в контейнер API. Добавьте файл переопределения рядом с docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
docker compose down
docker compose up -d

Откройте LibreChat, выберите Dolphin LLM в меню эндпоинта и начните чат. Если эндпоинт не отображается, в логах API-контейнера указана причина, обычно это ошибка отступов в YAML.

Полезные опции

  • titleConvo делает один дополнительный короткий запрос для каждой новой беседы, чтобы дать ей имя. Для пробного ключа (2 параллельных запроса, 60 в минуту) установите это значение в false если вы видите задержки.
  • Контекст: модель принимает до 262 144 токенов, промпт плюс ответ. LibreChat отправляет историю разговора с каждым сообщением, поэтому длинные диалоги обходятся дороже за шаг; шаг, заполняющий окно, стоит около $0.0393 на вход.
  • Параметры: temperature, top_p, max tokens, stop и штрафы из панели параметров LibreChat передаются напрямую. API работает только с текстом, поэтому загрузки файлов, требующие зрения или встраиваний, не будут работать с этой конечной точкой.
  • Пресеты и агенты: вы можете сохранить системный промпт в качестве пресета. Вызов инструментов поддерживается API (tools, tool_choice), поэтому агенты LibreChat могут его использовать; протестируйте один инструмент, прежде чем полагаться на него.

Общая установка, единый баланс

С одним ключом .env, каждый пользователь LibreChat тратит из общего баланса. Отключите открытую регистрацию, если установка публичная, и проверяйте баланс в своей учётной записи или в X-Balance-USD заголовок ответа. Лимиты применяются на каждую ключ: после первого пополнения доступно 8 параллельных запросов и 300 в минуту, общие для всех пользователей.

Модель настроена на ответы без отказов по цензурным соображениям для законного использования взрослыми, поэтому правила платформы определяете вы, например, задав их в системном промпте. Сексуальный контент с участием несовершеннолетних всегда запрещён в API.

Стоимость

По ставкам $0.15 за 1M входных и $0.50 за 1M выходных токенов диалог с историей в 3,000 токенов и ответом в 600 токенов обходится в $0.00075. Небольшая команда, отправляющая 500 таких сообщений в день, тратит около $11 в месяц. См. страница с ценами для пакетов и бонусов.

Вопросы и ответы

Куда вставить endpoint Dolphin LLM в LibreChat?

В endpoints.custom in librechat.yaml, с baseURL https://dolphinllm.com/v1, ваш ключ и модель uncensored.

Может ли каждый пользователь LibreChat использовать свой собственный ключ?

Да. Установите apiKey to user_provided и LibreChat будет запрашивать ключ у каждого пользователя.

Почему endpoint не появляется после редактирования файла?

Файл должен быть смонтирован в контейнер API, а LibreChat перезапущен. Проверьте логи контейнера на наличие ошибок YAML.

Другие руководства

Ваш ключ — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.