Thêm Dolphin LLM vào LibreChat như một điểm cuối tùy chỉnh

Khối điểm cuối

Mở librechat.yaml trong thư mục LibreChat (sao chép librechat.example.yaml nếu bạn chưa có một cái) và thêm cái này vào endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Sử dụng version giá trị mà bản phát hành LibreChat của bạn mong đợi (nó nằm ở đầu của librechat.example.yaml). fetch: false giữ danh sách chỉ ở một mô hình; với fetch: true LibreChat hỏi GET /v1/models, trả về cùng một mô hình duy nhất.

Đặt khóa vào .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Tạo khóa trong tài khoản của bạn (đăng ký trước tiên nếu bạn không có; $0.50 tín dụng dùng thử được thêm khi bạn mở tài khoản lần đầu). Không bao giờ cam kết .env để git.

Nếu mọi người dùng trong cài đặt của bạn đều phải thanh toán từ số dư của riêng mình, hãy thiết lập apiKey: "user_provided" thay vào đó. LibreChat sau đó yêu cầu mỗi người dùng nhập khóa lần đầu tiên họ chọn Dolphin LLM, và lưu trữ nó cho họ.

Docker: gắn tệp và khởi động lại

Với cấu hình Docker tiêu chuẩn, LibreChat đọc librechat.yaml chỉ nếu nó được gắn vào container API. Thêm một tệp ghi đè bên cạnh docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Mở LibreChat, chọn Dolphin LLM trong menu điểm cuối và bắt đầu một cuộc trò chuyện. Nếu điểm cuối không hiển thị, nhật ký container API sẽ cho biết lý do, thường là lỗi thụt lề YAML.

Các tùy chọn đáng biết

• titleConvo thực hiện một yêu cầu phụ ngắn bổ sung cho mỗi cuộc trò chuyện mới để đặt tên cho nó. Với khóa dùng thử (2 yêu cầu song song, 60 mỗi phút), hãy đặt nó thành false nếu bạn thấy độ trễ.
• Ngữ cảnh: mô hình chấp nhận lên đến 262.144 token, lời nhắc cộng với câu trả lời. LibreChat gửi lịch sử cuộc trò chuyện cùng với mỗi tin nhắn, vì vậy các chuỗi dài tốn nhiều tiền hơn cho mỗi lượt; một lượt lấp đầy cửa sổ tốn khoảng $0.0393 cho đầu vào.
• Tham số: temperature, top_p, max tokens, stop và các hình phạt từ bảng tham số của LibreChat sẽ được chuyển tiếp. API chỉ hỗ trợ văn bản, vì vậy việc tải lên tệp cần vision hoặc embeddings sẽ không hoạt động với điểm cuối này.
• Cài đặt sẵn và tác nhân: bạn có thể lưu prompt hệ thống dưới dạng cài đặt trước. Gọi công cụ được hỗ trợ bởi API (tools, tool_choice), vì vậy các tác nhân LibreChat có thể sử dụng nó; hãy kiểm tra một công cụ trước khi dựa vào nó.

Cài đặt chung, một số dư

Với một khóa duy nhất .env, mỗi người dùng LibreChat chi trả từ cùng một số dư. Tắt đăng ký mở nếu bản cài đặt là công khai, và kiểm tra số dư trong tài khoản của bạn hoặc X-Balance-USD tiêu đề phản hồi. Các giới hạn áp dụng cho mỗi key: sau lần nạp tiền đầu tiên, 8 yêu cầu song song và 300 mỗi phút được chia sẻ bởi tất cả người dùng.

Mô hình được tinh chỉnh để trả lời mà không có sự từ chối nội dung cho mục đích người trưởng thành hợp pháp, vì vậy các quy tắc của trang web là do bạn đặt, ví dụ như trong một prompt hệ thống được lưu trước. Nội dung tình dục liên quan đến trẻ vị thành niên luôn bị cấm trên API.

Chi phí

Với giá $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, một lượt với 3.000 token lịch sử và câu trả lời 600 token tốn $0.00075. Một nhóm nhỏ gửi 500 tin nhắn như vậy mỗi ngày chi khoảng $11 mỗi tháng. Xem trang giá cho các gói và ưu đãi.