Kết nối SillyTavern với một API không kiểm duyệt
Đã cập nhật

SillyTavern kết nối với bất kỳ máy chủ tương thích OpenAI nào thông qua chế độ Chat Completion. Trang này hiển thị các trường cần điền, các cài đặt quan trọng cho việc nhập vai dài hạn và chi phí cho mỗi tin nhắn.
Điểm chính
- Sử dụng loại API Chat Completion với nguồn Custom (tương thích OpenAI), không phải Text Completion.
- Endpoint: URL cơ sở hiển thị bên dưới; ID mô hình:
uncensored. - Giữ kích thước ngữ cảnh ở mức 262.144 token trở xuống, bao gồm prompt và phản hồi.
- Một tin nhắn có 6,000 token lịch sử và phản hồi 400 token tốn khoảng $0.0011.
Những gì bạn cần
- SillyTavern đã được cài đặt và đang chạy (phiên bản mới nhất; các menu bên dưới khớp với bố cục hiện tại).
- Một khóa API từ tài khoản của bạn. Đăng ký với email và mật khẩu; $0.50 tín dụng dùng thử được thêm vào khi bạn mở tài khoản lần đầu.
- Base URL
https://dolphinllm.com/v1và ID mô hìnhuncensored.

Kết nối trong bốn bước
- Mở API Connections bảng điều khiển (biểu tượng ổ cắm trong thanh công cụ trên cùng).
- Đặt API to Chat Completion, sau đó Chat Completion Source to Custom (OpenAI-compatible).
- Dán
https://dolphinllm.com/v1into Custom Endpoint (Base URL) và khóa của bạn vào Custom API Key. - Nhấp Connect. Chọn
uncensoredfrom Available Models, hoặc nhập nó vào Enter a Model ID. Trạng thái chuyển sang màu xanh khi tin nhắn kiểm tra đầu tiên đi qua.
Không chọn Hoàn thành văn bản. API này chỉ phục định dạng trò chuyện (/v1/chat/completions); mẫu trò chuyện riêng của mô hình được áp dụng trên máy chủ, vì vậy bạn không cần mẫu hướng dẫn trong SillyTavern cho kết nối này.
Cài đặt quan trọng cho đóng vai
Mở AI Response Configuration (biểu tượng thanh trượt).
- Context Size (tokens): lên đến 262.144. Mọi tin nhắn đều gửi thẻ ký tự, nhân vật, thông tin thế giới và nhiều lịch sử trò chuyện nhất có thể, và tất cả đều được tính phí là đầu vào. 16.000 đến 32.000 là sự cân bằng tốt giữa bộ nhớ và chi phí cho hầu hết các cuộc trò chuyện; ngữ cảnh đầy đủ 262.144 token tốn khoảng $0.0393 cho mỗi tin nhắn cho đầu vào. Tăng nó lên cho các chiến dịch dài nơi mô hình phải nhớ các sự kiện sớm.
- Max Response Length (tokens): 300 đến 800 cho phản hồi trò chuyện. Phần đầu ra là phần tốn kém hơn với giá $0.50 cho mỗi 1M token.
- Streaming: bật. Văn bản xuất hiện khi nó được viết, và bạn có thể dừng một câu trả lời mà bạn không thích trước khi nó hoàn tất.
- Temperature: 0.7 đến 1.0 cho văn học sáng tạo. Top P, tần suất và sự hiện diện của các hình phạt và chuỗi dừng được chuyển tiếp đến mô hình.
Mô hình được tinh chỉnh để trả lời mà không có sự từ chối nội dung cho mục đích người trưởng thành hợp pháp, vì vậy bạn hiếm khi cần các prompt jailbreak. Một prompt hệ thống ngắn thiết lập phong cách và góc nhìn sẽ hoạt động tốt hơn. Quy tắc cố định duy nhất trên API này: không có nội dung tình dục liên quan đến trẻ vị thành niên, bất kể thẻ nhân vật nói gì.
Tiện ích mở rộng và khóa dùng thử
Một số tiện ích mở rộng của SillyTavern gửi các yêu cầu riêng thông qua cùng một kết nối, ví dụ như tóm tắt cuộc trò chuyện hoặc biểu hiện nhân vật tự động khi chúng được đặt để sử dụng API chính. Với khóa dùng thử, cho phép 2 yêu cầu song song và 60 yêu cầu mỗi phút, các cuộc gọi bổ sung này có thể xung đột với tin nhắn của bạn và trả về HTTP 429 với mã concurrency. Tắt chúng trong khi bạn kiểm tra, hoặc trỏ chúng vào một mô hình cục bộ. Sau lần nạp tiền đầu tiên, khóa cho phép 8 yêu cầu song song và 300 mỗi phút.
Trò chuyện nhóm gửi một yêu cầu cho mỗi lượt chuyển đổi của nhân vật, vì vậy chúng sử dụng tín dụng nhanh hơn so với trò chuyện một-một.
Chi phí một phiên là bao nhiêu
Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Một tin nhắn với 6.000 token bao gồm thẻ và lịch sử cùng phản hồi 400 token có chi phí:
- Đầu vào: 6.000 × $0,15 / 1.000.000 = $0,0009
- Đầu ra: 400 × $0.50 / 1,000,000 = $0.0002
- Tổng cộng: $0.0011 cho mỗi tin nhắn, khoảng $1.10 cho 1,000 tin nhắn
Khi ngữ cảnh hội thoại mở rộng lên 32.000 token, một tin nhắn có giá khoảng $0.005. Gói dùng thử $0.50 tương đương khoảng 450 tin nhắn ở kích thước nhỏ hơn. Nạp tiền bắt đầu từ $50; xem trang giá.
Hướng dẫn khắc phục sự cố
- Không có mô hình trong danh sách. Kiểm tra xem URL có kết thúc bằng
/v1không có dấu gạch chéo ở cuối, sau đó nhậpuncensoredvào trường ID mô hình bằng tay. - 401 khóa không hợp lệ. Key đã được sao chép kèm theo một khoảng trắng hoặc đã bị thu hồi. Tạo một key mới trong tài khoản của bạn.
- 402 không đủ tín dụng. Số dư trống hoặc thời gian dùng thử đã hết. Hãy nạp tiền vào tài khoản của bạn.
- 400 bad_request về ngữ cảnh. Prompt cộng với Độ dài Phản hồi Tối đa vượt quá 262.144 token. Giảm Kích thước Ngữ cảnh.
- 503 máy chủ phụ tải. Máy chủ chia sẻ đang đầy tạm thời. Hãy trượt hoặc tạo lại sau vài giây; bạn sẽ không bị tính phí cho lỗi này.
Câu hỏi và câu trả lời
Tôi nên chọn loại API SillyTavern nào?
Chat Completion với nguồn Custom (tương thích OpenAI). Text Completion không được hỗ trợ bởi API này.
Base URL nào sẽ được đưa vào SillyTavern?
Sử dụng https://dolphinllm.com/v1 làm Custom Endpoint, và uncensored theo ID mô hình.
Tôi có cần prompt jailbreak không?
Thường là không. Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Một system prompt ngắn để định dạng phong cách là đủ.
Ngữ cảnh có thể lớn đến mức nào?
Lên đến 262.144 token cho lời nhắc cộng với câu trả lời, khoảng 490 trang văn bản. Ngữ cảnh lớn hơn tốn nhiều tiền hơn cho mỗi tin nhắn, vì toàn bộ lịch sử được tính phí là đầu vào: một cửa sổ đầy đủ tốn khoảng $0.0393 cho mỗi tin nhắn.
Hướng dẫn khác
Mở các điểm cuối API của WebUI: Kết nối một LLM không kiểm duyệtKết nối Open WebUI với Dolphin LLM API: URL cơ sở, khóa và ID model, bảng điều khiển quản trị và cấu hình Docker, các cài đặt nên thay đổi, các lỗi thường gặp và chi phí cho một cuộc trò chuyện.
Thêm Dolphin LLM vào LibreChat như một điểm cuối tùy chỉnhThêm API Dolphin LLM vào LibreChat: một điểm cuối tùy chỉnh librechat.yaml với URL cơ sở, khóa và mô hình, thiết lập Docker, khóa cho từng người dùng, tạo tiêu đề và giới hạn.
Cách sử dụng LLM không cần đăng nhập để truy cập ngay lập tứcKhám phá cách sử dụng LLM mà không gặp phải các rào cản đăng nhập. Nhận quyền truy cập API ngay lập tức vào Dolphin LLM chỉ với một địa chỉ email. Không cần điện thoại, không cần thẻ cho bản dùng thử.