Endpoint API Open WebUI: Kết nối LLM không kiểm duyệt

Các giá trị bạn cần

Open WebUI chỉ cần ba thứ từ dịch vụ này. Thứ nhất là base URL, https://api.dolphinllm.com/v1. Thứ hai là khóa API từ tài khoản của bạn. Thứ ba là ID mô hình, uncensored, mà Open WebUI tự đọc từ danh sách mô hình khi kết nối hoạt động.

Có hai endpoint liên quan. GET /v1/models điền vào danh sách thả xuống mô hình, và POST /v1/chat/completions xử lý mọi tin nhắn bạn gửi. Không cần gì thêm cho trò chuyện. Đây là API văn bản, nên các tính năng hình ảnh, âm thanh và embedding của Open WebUI không có gì để kết nối ở đây.

Bạn không cần thẻ để dùng thử. Sau khi đăng ký, bạn có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa. Tín dụng này có hiệu lực trong 7 ngày.

Thêm kết nối trong bảng quản trị

Nếu Open WebUI đã chạy, đây là cách nhanh nhất.

1. Đăng nhập với tư cách quản trị viên và mở Cài đặt quản trị, sau đó Kết nối.
2. Trong phần API OpenAI, nhấp vào nút cộng để thêm kết nối.
3. Dán https://api.dolphinllm.com/v1 làm URL và khóa của bạn làm khóa.
4. Sử dụng nút xác minh bên cạnh các trường. Xác nhận màu xanh cho biết danh sách mô hình đã được trả về.
5. Lưu, mở một cuộc trò chuyện mới và chọn uncensored từ trình chọn mô hình.

Tên menu thay đổi một chút giữa các phiên bản Open WebUI. Nếu bạn không thể tìm thấy Kết nối, hãy tìm kiếm trong cài đặt với từ khóa "OpenAI". Các trường luôn giống nhau: URL, khóa và đôi khi là bộ lọc mô hình.

Cấu hình với biến môi trường Docker

Đối với lần cài đặt mới, bạn có thể bỏ qua màn hình quản trị và truyền thông tin kết nối khi container khởi động. Open WebUI đọc OPENAI_API_BASE_URL và OPENAI_API_KEY khi khởi động.

Copydocker run -d -p 3000:8080 \
  -e OPENAI_API_BASE_URL="https://api.dolphinllm.com/v1" \
  -e OPENAI_API_KEY="YOUR_KEY" \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

Sau đó, hãy truy cập http://localhost:3000, tạo tài khoản đầu tiên (tài khoản này sẽ trở thành quản trị viên) và mô hình hẳn đã được liệt kê. Giữ khóa khỏi lịch sử shell nếu máy được chia sẻ: đặt nó vào tệp môi trường và sử dụng --env-file thay thế.

Một số phiên bản Open WebUI coi các biến này chỉ là giá trị ban đầu. Một khi bạn đã lưu một kết nối trong giao diện người dùng, giá trị đã lưu sẽ được ưu tiên. Nếu bạn thay đổi biến nhưng không có gì xảy ra, hãy chỉnh sửa kết nối trong Cài đặt quản trị thay vào đó.

Chạy cho nhiều người

Open WebUI có tài khoản người dùng riêng, vì vậy một lần cài đặt có thể phục vụ một hộ gia đình hoặc một nhóm nhỏ trong khi chỉ một khóa API nằm trên máy chủ. Điều đó thuận tiện nhưng cũng là rủi ro: mọi người dùng đều chi trả từ cùng một số dư. Hãy quyết định ai nhận được tài khoản, và kiểm tra X-Balance-USD thường xuyên để một cuối tuần dài chơi nhập vai không làm bạn bất ngờ.

Giữ khóa trong một biến môi trường hoặc tệp bí mật, không bao giờ trong ảnh chụp màn hình hoặc tài liệu chia sẻ. Khóa của bạn nằm trên trang khóa API; nếu bạn nghi ngờ nó bị rò rỉ, hãy thay thế nó trong Open WebUI ngay khi bạn có một khóa mới. Đối với lần cài đặt công khai, hãy đặt nó sau HTTPS và tắt đăng ký mở để người lạ không thể tạo tài khoản và sử dụng tín dụng của bạn.

Một điểm nữa cho các thiết lập dùng chung: mô hình được tinh chỉnh để trả lời mà không bị từ chối nội dung cho việc sử dụng người trưởng thành hợp pháp. Đó là một tính năng cho tiểu thuyết và nghiên cứu riêng tư, và nó cũng có nghĩa là bạn quyết định các quy tắc của nhà. Một prompt hệ thống trên mô hình chia sẻ là nơi dễ nhất để viết chúng. Không cho phép bất kỳ nội dung tình dục nào liên quan đến trẻ vị thành niên trên API, bất kể prompt nói gì.

Các cách sử dụng tốt cho cài đặt này

Những người kết nối Open WebUI với một endpoint không kiểm duyệt thường muốn một cửa sổ trò chuyện sạch sẽ mà không có các giới hạn của một chatbot được lưu trữ. Các cách sử dụng phổ biến bao gồm tiểu thuyết dài hạn và xây dựng thế giới, roleplay và nhân vật đồng hành cho người lớn, soạn thảo tài liệu mà các trợ lý chính thống từ chối chạm vào, và hỗ trợ lập trình hoặc viết thông thường. Mô hình tương tự xử lý tất cả những điều này, vì vậy bạn có thể chuyển đổi nhiệm vụ trong một cuộc trò chuyện.

Open WebUI giúp ích theo một vài cách cụ thể. Các prompt đã lưu và các chế độ cài đặt mô hình cho phép bạn giữ một nhân vật hoặc persona biên tập viên chỉ trong một cú nhấp chuột. Tính năng tải lên tài liệu và tìm kiếm web, nơi bạn kích hoạt chúng, gửi thêm văn bản vào prompt, điều này làm tăng việc sử dụng token, vì vậy hãy để mắt đến kích thước của những gì bạn đính kèm. Các thư mục trò chuyện và tìm kiếm giúp dễ dàng quay lại một dự án dài hạn.

Điều nó không thể làm là tạo hình ảnh, giọng nói hoặc video từ kết nối này, vì API chỉ hỗ trợ văn bản.

Kiểm thử endpoint trước khi đổ lỗi cho Open WebUI

Hầu hết các cài đặt thất bại đến từ lỗi đánh máy trong URL hoặc khóa cũ, và cả hai đều hiển thị nhanh hơn trong terminal. Chạy hai lệnh gọi này từ máy chủ Open WebUI.

Copycurl https://api.dolphinllm.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

curl https://api.dolphinllm.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Lời gọi đầu tiên nên liệt kê uncensored. Lời gọi thứ hai nên trả về một phản hồi hoàn tất trò chuyện bình thường. Hãy kiểm tra các tiêu đề phản hồi: X-Balance-USD cho biết số dư còn lại trên tài khoản của bạn, đây là cách tiện lợi để xác nhận Open WebUI đang chi trả từ khóa bạn nghĩ rằng nó đang dùng.

Danh sách đầy đủ các tham số có trong tài liệu API.

Các cài đặt đáng thay đổi cho trò chuyện

Prompt hệ thống và lấy mẫu

Open WebUI cho phép bạn đặt prompt hệ thống cho từng mô hình hoặc từng cuộc trò chuyện. Vì mô hình được tinh chỉnh để trả lời mà không có từ chối nội dung cho mục đích người trưởng thành hợp pháp, một prompt hệ thống ngắn xác định giọng điệu, persona hoặc định dạng đầu ra sẽ hiệu quả hơn một danh sách dài các quy tắc. Temperature, top_p, stop, seed và các hình phạt được truyền qua, vì vậy các thanh trượt trong Open WebUI có hiệu lực.

Độ dài ngữ cảnh

Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với phần hoàn thành. Các cuộc trò chuyện dài làm tăng prompt ở mỗi lượt, và bạn phải trả tiền cho toàn bộ lịch sử mỗi lần. Nếu một chuỗi trở nên nặng, hãy bắt đầu một cuộc trò chuyện mới hoặc tóm tắt chuỗi cũ.

Yêu cầu nền

Open WebUI có thể gửi các lệnh gọi bổ sung trong nền cho tiêu đề và thẻ trò chuyện, sử dụng cùng một mô hình theo mặc định. Trên khóa dùng thử, cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút, các lệnh gọi đó có thể lấn át tin nhắn thực tế của bạn. Tắt việc tạo tiêu đề và thẻ, hoặc chấp nhận độ trễ ngắn. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, đủ cho cài đặt cá nhân hoặc nhóm nhỏ.

Truyền phát, chế độ JSON và công cụ

Open WebUI truyền phát phản hồi theo mặc định, và API hỗ trợ sự kiện gửi bởi máy chủ (stream: true), với một khối sử dụng ở cuối luồng. Bạn sẽ thấy văn bản xuất hiện từng token một, và tiêu đề số dư trên phản hồi cuối cùng phản ánh những gì bạn đã chi trả.

API cũng hỗ trợ gọi công cụ: tools, tool_choice, truyền phát tool_calls và kết quả được gửi lại dưới dạng role: "tool". Mức độ mà Open WebUI hiển thị tính năng này phụ thuộc vào phiên bản của nó cũng như các công cụ hoặc hàm bạn cài đặt, vì vậy hãy thử nghiệm với một công cụ nhỏ trước khi xây dựng quy trình làm việc xung quanh nó. Chế độ JSON (response_format đặt thành json_object) hữu ích khi bạn gọi cùng một endpoint từ các tập lệnh bên cạnh giao diện trò chuyện.

Một mẫu thực tế là giữ Open WebUI cho người dùng và sử dụng cùng một khóa từ tập lệnh cho công việc hàng loạt. Cả hai đều đi qua cùng một base URL, vì vậy một số dư bao phủ mọi thứ. Chỉ nhớ rằng các giới hạn áp dụng cho mỗi khóa: 8 yêu cầu đồng thời trên khóa đầy đủ, được chia sẻ giữa giao diện người dùng và các tập lệnh của bạn.

Lỗi thường gặp và cách khắc phục

• Không có mô hình nào xuất hiện. URL có lẽ thiếu /v1 hoặc có lỗi chính tả. So sánh nó ký tự với ký tự với giá trị ở trên và xóa bất kỳ dấu gạch chéo cuối nào.
• Lỗi xác thực. Khóa được dán có khoảng trắng ở đầu hoặc cuối, hoặc nó thuộc về một tài khoản đã bị xóa. Sao chép lại nó từ trang khóa.
• Bộ chọn mô hình hiển thị danh sách sai. Open WebUI cũng truy vấn các kết nối khác mà bạn đã thêm, chẳng hạn như Ollama cục bộ. Vô hiệu hóa những kết nối bạn không sử dụng.
• Câu trả lời ngừng xuất hiện giữa chừng. Một reverse proxy phía trước Open WebUI có thể đệm các sự kiện gửi bởi máy chủ (SSE). Tắt tính năng đệm cho route đó.
• Số dư thấp. Hãy nạp tiền trước khi nó về 0. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí, vì vậy bạn chỉ trả tiền cho các kết quả hoàn tất đã được gửi đi.

Chi phí giao diện trò chuyện trên API này

Giá là $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, trừ từ tín dụng trả trước. Hãy xem xét một lượt tương tác điển hình trong một cuộc trò chuyện có độ dài trung bình: 4.000 token lịch sử được gửi đi và 500 token được trả về. Chi phí đầu vào là 4.000 x $0,15 / 1.000.000 = $0,0006. Chi phí đầu ra là 500 x $0,50 / 1.000.000 = $0,00025. Tổng chi phí cho một lượt là $0,00085.

Với tỷ lệ đó, tín dụng dùng thử $0,50 bao gồm khoảng 588 lượt, và khoản nạp tiền $20 bao gồm khoảng 23.500. Xem trang giá cả để biết tiền thưởng khi nạp. Nếu bạn muốn sử dụng cùng một khóa bên ngoài Open WebUI, ví dụ trong các script không bao giờ cần màn hình đăng nhập, trang về cách sử dụng LLM không cần đăng nhập sẽ đề cập đến khía cạnh đó.

Hướng dẫn khác

• API LLM miễn phí cho nhà phát triển: Dùng thử so với trả theo nhu cầu
• Cách sử dụng LLM không cần đăng nhập