Додати Dolphin LLM до LibreChat як кастомну кінцеву точку
Оновлено

LibreChat додає сумісні з OpenAI постачальники через користувацькі кінцеві точки в librechat.yaml. Один блок конфігурації надає кожному користувачу вашої інсталяції LibreChat доступ до моделі.
Ключові моменти
- Додайте блок під
endpoints.custominlibrechat.yamlз baseURL, apiKey та моделлюuncensored. - Зберігайте ключ у .env і посилайтеся на нього як
${DOLPHIN_API_KEY}. - Встановіть
apiKeytouser_providedчи кожен користувач має надати свій власний ключ. - Монтувати
librechat.yamlу контейнер та перезапустіть LibreChat.
Блок ендпоінту
Відкрити librechat.yaml у папці LibreChat (скопіюйте librechat.example.yaml якщо у вас його ще немає) і додайте це під endpoints:
version: 1.2.1
endpoints:
custom:
- name: "Dolphin LLM"
apiKey: "${DOLPHIN_API_KEY}"
baseURL: "https://dolphinllm.com/v1"
models:
default: ["uncensored"]
fetch: false
titleConvo: true
titleModel: "uncensored"
modelDisplayLabel: "Dolphin LLM"
Використовуйте version значення, яке очікує ваш реліз LibreChat (воно знаходиться на верхівці librechat.example.yaml). fetch: false залишає список з однієї моделі; з fetch: true LibreChat запитує GET /v1/models, що повертає ту саму єдину модель.
Вставте ключ у .env
# .env
DOLPHIN_API_KEY=YOUR_KEY
Створіть ключ у своєму обліковому записі (зареєструватися спочатку, якщо у вас їх немає; $0.50 пробного кредиту додається, коли ви вперше відкриваєте акаунт). Ніколи не фіксуйте .env до git.
Якщо кожен користувач вашої інсталяції має платити зі свого власного балансу, встановіть apiKey: "user_provided" натомість. LibreChat запитує у кожного користувача ключ при першому виборі Dolphin LLM і зберігає його для них.

Docker: змонтуйте файл і перезавантажте
За стандартної конфігурації Docker LibreChat читає librechat.yaml тільки якщо вона монтується в контейнер API. Додайте файл перевизначення поруч із docker-compose.yml:
# docker-compose.override.yml
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
docker compose down
docker compose up -d
Відкрийте LibreChat, оберіть Dolphin LLM у меню ендпоінту та почніть чат. Якщо ендпоінт не відображається, логи контейнера API пояснюють причину, зазвичай це помилка відступів у YAML.
Опції, варті знань
- titleConvo робить один короткий додатковий запит для кожної нової розмови, щоб надати їй назву. Для пробного ключа (2 паралельні запити, 60 за хвилину) встановіть це на
falseякщо ви бачите затримки. - Контекст: модель приймає до 262 144 токенів, запит плюс відповідь. LibreChat надсилає історію розмови з кожним повідомленням, тому довгі потоки коштують більше за крок; крок, що заповнює вікно, коштує приблизно $0.0393 на вхід.
- Параметри: temperature, top_p, max tokens, stop та штрафи з панелі параметрів LibreChat передаються напряму. API працює лише з текстом, тому завантаження файлів, що вимагають візуального аналізу чи ембедінгів, не працюватиме з цим ендпоінтом.
- Пресети та агенти: ви можете зберегти системний промпт як пресет. Виклик інструментів підтримується API (
tools,tool_choice) так, агенти LibreChat можуть його використовувати; протестуйте один інструмент, перш ніж покладатися на нього.
Спільна інсталяція, один баланс
З одним ключем у .env, кожен користувач LibreChat витрачає з одного спільного балансу. Вимкніть відкриту реєстрацію, якщо встановлення є публічним, і перевіряйте баланс у своєму обліковому записі або в X-Balance-USD заголовок відповіді. Ліміти діють для кожного ключа: після першого поповнення 8 паралельних запитів і 300 за хвилину спільно для всіх користувачів.
Модель налаштована на відповіді без відмов у вмісті для законного дорослого використання, тому правила вашої платформи залежать від вас, наприклад, через системний промпт у налаштуваннях. Сексуальний контент із залученням неповнолітніх завжди заборонений в API.
Вартість
За ставкою $0.15 за 1M вхідних та $0.50 за 1M вихідних токенів, обмін з історією в 3000 токенів та відповіддю в 600 токенів коштує $0.00075. Невелика команда, яка надсилає 500 таких повідомлень на день, витрачає близько $11 на місяць. Дивіться сторінка з цінами для пакетів та бонусів.
Питання та відповіді
Куди вказати endpoint Dolphin LLM у LibreChat?
Під endpoints.custom in librechat.yaml, з baseURL https://dolphinllm.com/v1, ваш ключ та модель uncensored.
Чи може кожен користувач LibreChat використовувати свій власний ключ?
Так. Встановіть apiKey to user_provided і LibreChat запитає у кожного користувача їхній ключ.
Чому endpoint не з’являється після редагування файлу?
Файл має бути монтовано в контейнер API, після чого LibreChat потрібно перезапустити. Перевірте логи контейнера на наявність помилок YAML.
Більше посібників
Відкрийте кінцеві точки API Open WebUI: підключіть LLM без цензуриПідключіть Open WebUI до API Dolphin LLM: базовий URL, ключ та ідентифікатор моделі, панель адміністратора та налаштування Docker, налаштування, які варто змінити, поширені помилки та вартість чату.
Підключіть SillyTavern до API без цензуриНалаштуйте SillyTavern з API Dolphin LLM: Chat Completion, кастомне (сумісне з OpenAI) джерело, базовий URL, ключ, модель, довжина контексту та відповіді, а також вартість сесії рольової гри.
Безкоштовний LLM API для розробників: Пробний період проти оплати за використанняЩо дає безкоштовний рівень API LLM і де він закінчується. Пробний період без картки на $0.50, потім центи за виклик: що це купує, як витратити з розумом і що перевірити перед підпискою.