Додати Dolphin LLM до LibreChat як кастомну кінцеву точку

Оновлено

LibreChat додає сумісні з OpenAI постачальники через користувацькі кінцеві точки в librechat.yaml. Один блок конфігурації надає кожному користувачу вашої інсталяції LibreChat доступ до моделі.

Ключові моменти

  • Додайте блок під endpoints.custom in librechat.yaml з baseURL, apiKey та моделлю uncensored.
  • Зберігайте ключ у .env і посилайтеся на нього як ${DOLPHIN_API_KEY}.
  • Встановіть apiKey to user_provided чи кожен користувач має надати свій власний ключ.
  • Монтувати librechat.yaml у контейнер та перезапустіть LibreChat.

Блок ендпоінту

Відкрити librechat.yaml у папці LibreChat (скопіюйте librechat.example.yaml якщо у вас його ще немає) і додайте це під endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Використовуйте version значення, яке очікує ваш реліз LibreChat (воно знаходиться на верхівці librechat.example.yaml). fetch: false залишає список з однієї моделі; з fetch: true LibreChat запитує GET /v1/models, що повертає ту саму єдину модель.

Вставте ключ у .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Створіть ключ у своєму обліковому записі (зареєструватися спочатку, якщо у вас їх немає; $0.50 пробного кредиту додається, коли ви вперше відкриваєте акаунт). Ніколи не фіксуйте .env до git.

Якщо кожен користувач вашої інсталяції має платити зі свого власного балансу, встановіть apiKey: "user_provided" натомість. LibreChat запитує у кожного користувача ключ при першому виборі Dolphin LLM і зберігає його для них.

Сторінка акаунта з префіксом активного API-ключа, OpenAI-сумісним базовим URL та готовою командою curl
Акаунт → API та баланс: ваш ключ та базовий URL, з прикладом curl для копіювання.

Docker: змонтуйте файл і перезавантажте

За стандартної конфігурації Docker LibreChat читає librechat.yaml тільки якщо вона монтується в контейнер API. Додайте файл перевизначення поруч із docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
docker compose down
docker compose up -d

Відкрийте LibreChat, оберіть Dolphin LLM у меню ендпоінту та почніть чат. Якщо ендпоінт не відображається, логи контейнера API пояснюють причину, зазвичай це помилка відступів у YAML.

Опції, варті знань

  • titleConvo робить один короткий додатковий запит для кожної нової розмови, щоб надати їй назву. Для пробного ключа (2 паралельні запити, 60 за хвилину) встановіть це на false якщо ви бачите затримки.
  • Контекст: модель приймає до 262 144 токенів, запит плюс відповідь. LibreChat надсилає історію розмови з кожним повідомленням, тому довгі потоки коштують більше за крок; крок, що заповнює вікно, коштує приблизно $0.0393 на вхід.
  • Параметри: temperature, top_p, max tokens, stop та штрафи з панелі параметрів LibreChat передаються напряму. API працює лише з текстом, тому завантаження файлів, що вимагають візуального аналізу чи ембедінгів, не працюватиме з цим ендпоінтом.
  • Пресети та агенти: ви можете зберегти системний промпт як пресет. Виклик інструментів підтримується API (tools, tool_choice) так, агенти LibreChat можуть його використовувати; протестуйте один інструмент, перш ніж покладатися на нього.

Спільна інсталяція, один баланс

З одним ключем у .env, кожен користувач LibreChat витрачає з одного спільного балансу. Вимкніть відкриту реєстрацію, якщо встановлення є публічним, і перевіряйте баланс у своєму обліковому записі або в X-Balance-USD заголовок відповіді. Ліміти діють для кожного ключа: після першого поповнення 8 паралельних запитів і 300 за хвилину спільно для всіх користувачів.

Модель налаштована на відповіді без відмов у вмісті для законного дорослого використання, тому правила вашої платформи залежать від вас, наприклад, через системний промпт у налаштуваннях. Сексуальний контент із залученням неповнолітніх завжди заборонений в API.

Вартість

За ставкою $0.15 за 1M вхідних та $0.50 за 1M вихідних токенів, обмін з історією в 3000 токенів та відповіддю в 600 токенів коштує $0.00075. Невелика команда, яка надсилає 500 таких повідомлень на день, витрачає близько $11 на місяць. Дивіться сторінка з цінами для пакетів та бонусів.

Питання та відповіді

Куди вказати endpoint Dolphin LLM у LibreChat?

Під endpoints.custom in librechat.yaml, з baseURL https://dolphinllm.com/v1, ваш ключ та модель uncensored.

Чи може кожен користувач LibreChat використовувати свій власний ключ?

Так. Встановіть apiKey to user_provided і LibreChat запитає у кожного користувача їхній ключ.

Чому endpoint не з’являється після редагування файлу?

Файл має бути монтовано в контейнер API, після чого LibreChat потрібно перезапустити. Перевірте логи контейнера на наявність помилок YAML.

Більше посібників

Ваш ключ — всього одна форма

Створіть обліковий запис, скопіюйте ключ, змініть базовий URL. Ось і вся налаштування.