Відкрийте кінцеві точки API Open WebUI: підключіть LLM без цензури

Значення, які вам потрібні

Open WebUI потребує лише трьох речей від цього сервісу. Перше — це базовий URL, https://dolphinllm.com/v1. Другий — це API-ключ з вашого облікового запису. Третій — ідентифікатор моделі, uncensored, який Open WebUI зчитує зі списку моделей самостійно, після встановлення з'єднання.

Залучено два кінцеві точки. GET /v1/models заповнює випадаючий список моделей, та POST /v1/chat/completions передає кожне повідомлення, яке ви надсилаєте. Для чату нічого більше не потрібно. Це текстовий API, тому функції зображень, аудіо та вбудовування Open WebUI тут ні до чого.

Для спробування не потрібна картка. При першому відкритті акаунту вам нараховується пробний кредит у розмірі $0.50. Він діє протягом 7 днів.

Додайте з'єднання в панелі адміністратора

Якщо Open WebUI вже запущено, це найшвидший шлях.

1. Увійдіть як адміністратор та відкрийте Admin Settings, потім Connections.
2. У розділі OpenAI API натисніть кнопку плюс, щоб додати з'єднання.
3. Вставити https://dolphinllm.com/v1 як URL та ваш ключ як ключ.
4. Використовуйте кнопку перевірки поруч із полями. Зелений підтверджувальний знак означає, що список моделей було отримано.
5. Збережіть, відкрийте новий чат та виберіть uncensored з меню вибору моделі.

Назви меню трохи змінюються між випусками Open WebUI. Якщо ви не можете знайти "Connections", шукайте в налаштуваннях "OpenAI". Поля завжди однакові: URL, ключ і іноді фільтр моделей.

Налаштуйте його за допомогою змінних середовища Docker

Для свіжої установки ви можете пропустити екран адміністратора та передати параметри підключення під час запуску контейнера. Open WebUI читає OPENAI_API_BASE_URL and OPENAI_API_KEY під час запуску.

docker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL="https://dolphinllm.com/v1" \
  -e OPENAI_API_KEY="YOUR_KEY" \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Тоді перейдіть до http://localhost:3000, створіть перший обліковий запис (він стане адміністратором), і модель має вже бути в списку. Зберігайте ключ поза історією команд, якщо машина спільна: помістіть його у файл середовища та використовуйте --env-file instead.

Деякі версії Open WebUI сприймають ці змінні лише як початкові значення. Після збереження підключення в інтерфейсі переважає збережене значення. Якщо ви змінюєте змінну, але нічого не відбувається, відредагуйте підключення в Адміністративних налаштуваннях.

Запуск для кількох користувачів

Open WebUI має власні облікові записи користувачів, тому одне встановлення може обслуговувати домашнє господарство або невелику команду, поки на сервері знаходиться лише один API-ключ. Це зручно, але також є ризик: кожен користувач витрачає кошти з одного балансу. Вирішіть, хто отримує обліковий запис, та перегляньте X-Balance-USD або на сторінці вашого облікового запису час від часу, щоб довгі вихідні з рольовими іграми не стали для вас несподіванкою.

Тримайте ключ у змінній середовища або файлі секретів, ніколи не зберігайте його на скріншотах або в спільних документах. Якщо ви підозрюєте, що ключ був скомпрометований, анулюйте його в своєму обліковому записі, створіть новий і замініть його в Open WebUI. Для публічного встановлення розмістіть його за HTTPS та вимкніть відкриту реєстрацію, щоб сторонні користувачі не могли створювати облікові записи та використовувати ваш кредит.

Ще один момент для спільних налаштувань: модель налаштована відповідати без відмов у вмісті для законного дорослого використання. Це функція для художньої літератури та приватних досліджень, і це також означає, що ви визначаєте внутрішні правила. Системний промпт на спільній моделі — найпростіше місце для їх запису. У API заборонено будь-який сексуальний вміст із неповнолітніми, незалежно від того, що говорить промпт.

Хороші сценарії використання для цієї конфігурації

Користувачі, які підключають Open WebUI до ендпоінту без цензури, зазвичай хочуть чистого вікна чату без обмежень хостованого чат-бота. Поширені сценарії використання: написання довгих художніх творів і створення світів, рольові ігри та персонажі-компаньйони для дорослих, підготовка матеріалів, які звичайні асистенти відмовляються обробляти, а також звичайна допомога з кодуванням або написанням текстів. Одна й та сама модель обслуговує всі ці завдання, тому ви можете перемикатися між задачами в межах одного чату.

Open WebUI допомагає в кількох конкретних аспектах. Збережені промпти та налаштування моделей дозволяють зберегти персонажа або редактора в один клік. Завантаження документів та функції пошуку в мережі, якщо ви їх увімкнете, надсилають додатковий текст у промпт, що збільшує використання токенів, тому слідкуйте за розміром того, що ви прикріплюєте. Теки чату та пошук полегшують повернення до довгих проектів.

Він не генеруватиме зображення, голос або відео через це з’єднання, оскільки API працює лише з текстом.

Протестуйте ендпоінт, перш ніж звинувачувати Open WebUI

Більшість невдалих налаштувань виникають через одрук у URL або застарілий ключ, і обидва швидше виявляються в терміналі. Виконайте ці два запити з машини, на якій розміщено Open WebUI.

curl https://dolphinllm.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

curl https://dolphinllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Перший запит має перелічити uncensored. Другий має повертати звичайне завершення чату. Перевірте також заголовки відповіді: X-Balance-USD показує, що залишилося на вашому акаунті, що є зручним способом підтвердити, що Open WebUI витрачає кошти з тим ключем, який ви вважаєте правильним.

Повний список параметрів знаходиться в Документація API.

Налаштування, які варто змінити для чату

Системний промпт та вибір параметрів

Open WebUI дозволяє встановлювати системний промпт для кожної моделі або для кожного чату. Оскільки модель налаштована відповідати без відмов у вмісті для законного дорослого використання, короткий системний промпт, який фіксує тон, персонажа або формат виводу, робить більше, ніж довгий список правил. Температура, top_p, stop, seed та штрафи передаються, тому повзунки в Open WebUI дійсно мають ефект.

Довжина контексту

Вікно становить 262 144 токенів для запиту плюс відповідь, приблизно 490 сторінок тексту. Довгі чати збільшують запит на кожному кроці, і ви платите за всю історію кожного разу: крок, що заповнює вікно, коштує приблизно $0.0393 на вхід. Якщо потік стає важким, почніть новий чат або стисніть старий. Власна настройка контексту моделі в Open WebUI визначає, скільки історії вона надсилає.

Фонові запити

Open WebUI може надсилати додаткові запити у фоновому режимі для генерування назв чатів і тегів, за замовчуванням використовуючи ту саму модель. На пробному ключі, який дозволяє 2 одночасні запити та 60 за хвилину, ці запити можуть створити зайве навантаження для ваших реальних повідомлень. Вимкніть генерування назв і тегів або погодьтеся на короткий затримку. Після першого поповнення ключ дозволяє 8 одночасних запитів та 300 за хвилину, що цілком достатньо для особистого встановлення або невеликої команди.

Потокова передача, режим JSON та інструменти

Open WebUI за замовчуванням потоково передає відповіді, а API підтримує події, надіслані сервером (stream: true) з блоком використання в кінці потоку. Ви бачите, як текст з’являється токен за токеном.

Виклик інструментів підтримується API також: tools, tool_choice, потокове tool_calls, і результати надсилаються назад як role: "tool". Наскільки Open WebUI відкриває це, залежить від версії та інструментів або функцій, які ви встановили, тому протестуйте з одним невеликим інструментом перед створенням робочого процесу навколо нього. Режим JSON (response_format встановити на json_object) корисний, коли ви викликаєте той самий ендпоінт зі скриптів поруч із чат-інтерфейсом.

Практичний шаблон: використовуйте Open WebUI для людей, а той самий ключ із скрипта — для пакетної роботи. Обидва підходи використовують одну базову URL-адресу, тому один баланс покриває все. Просто пам’ятайте, що ліміти застосовуються на ключ: 8 одночасних запитів на повному ключі, розділені між UI та вашими скриптами.

Поширені помилки та їх виправлення

• Моделей не знайдено. Ймовірно, URL не містить /v1 або містить помилку. Порівняйте його символ за символом із значенням вище та видаліть будь-який завершальний слеш.
• Помилка автентифікації. Ключ було вставлено з провідним або кінцевим пробілом, або його було анульовано. Створіть новий ключ у своєму акаунті та вставте його знову.
• Селектор моделей показує неправильний список. Open WebUI також надсилає запити до інших підключень, які ви додали, наприклад, локального Ollama. Вимкніть ті, якими не користуєтеся.
• Відповіді припиняють з'являтися посеред потоку. Зворотний проксі перед Open WebUI може буферизувати server-sent events. Вимкніть буферизацію для цього маршруту.
• Баланс майже вичерпано. Поповніть баланс, перш ніж він досягне нуля. Невдалі або відхилені запити не нараховуються, тому ви платите лише за доставлені відповіді.

Скільки коштує чат-інтерфейс для цього API

Ціна становить $0.15 за 1M входних токенів та $0.50 за 1M вихідних токенів, сплачується з попередньо оплаченого кредиту. Розглянемо типовий крок у середньому за довжиною чаті: 4,000 токенів історії надходять на вхід і 500 токенів виводяться. Вхідні дані коштують 4,000 × $0.15 / 1,000,000 = $0.0006. Вихідні дані коштують 500 × $0.50 / 1,000,000 = $0.00025. Вартість кроку становить $0.00085.

За такою ставкою пробний пакет за $0.50 охоплює близько 588 ходів, а поповнення на $50 ($52.50 з урахуванням бонуса) — приблизно 61 700. Див. сторінка з цінами для бонусів поповнення. Якщо ви хочете використовувати той самий ключ поза Open WebUI, наприклад, у скриптах, яким ніколи не потрібен екран входу, сторінка на використання LLM без обмежень на вхід покриття цієї сторони.