Sử dụng Dolphin LLM trong Continue cho VS Code và JetBrains

Thêm mô hình vào config.yaml

Mở Tiếp tục cài đặt (bánh răng trong bảng Continue) và chọn mở tệp cấu hình, hoặc chỉnh sửa ~/.continue/config.yaml trực tiếp. Thêm một mô hình:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Lưu tệp. Continue tự tải lại và Dolphin LLM xuất hiện trong menu mô hình của bảng trò chuyện. Tạo khóa của bạn trong tài khoản của bạn; nếu bạn chưa có tài khoản, đăng ký và $0.50 tín dụng dùng thử sẽ được thêm khi bạn mở tài khoản lần đầu.

Giữ khóa ra khỏi tệp

Nếu bạn chia sẻ hoặc đồng bộ hóa cấu hình của mình, đừng dán khóa vào đó. Các phiên bản mới nhất của Continue đọc bí mật từ ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

và khối mô hình sau đó sử dụng apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Nếu phiên bản của bạn không giải quyết được nó, nó báo thiếu khóa; dán khóa trực tiếp và giữ tệp ở chế độ riêng tư.

Các vai trò nên gán cho nó

• chat: câu hỏi về mã nguồn, giải thích, kế hoạch tái cấu trúc. Cửa sổ 262.144 token chứa khoảng 490 trang mã nguồn và văn bản, vì vậy nhiều tệp vừa trong một câu hỏi.
• edit and apply: viết lại một phần được chọn hoặc áp dụng một thay đổi được đề xuất cho tệp.
• autocomplete: không được khuyến nghị. Tính năng hoàn thành tab gửi yêu cầu gần như mỗi lần bạn tạm dừng gõ, làm tăng chi phí và chờ độ trễ mạng. Một mô hình cục bộ nhỏ hơn sẽ phù hợp hơn cho việc đó.
• embed: không khả dụng. API này không có endpoint embedding, vì vậy việc lập chỉ mục codebase cần một nhà cung cấp embedding riêng biệt hoặc cục bộ.

Mẹo cho công việc lập trình

• Sử dụng nhiệt độ thấp (0.2 đến 0.4) cho mã, chỉ sử dụng cao hơn cho việc brainstorm.
• Chỉ đính kèm các tệp bạn cần. Mỗi dòng đính kèm là token đầu vào trong mỗi yêu cầu trong cuộc trò chuyện đó.
• Bắt đầu một cuộc trò chuyện mới khi bạn chuyển đổi nhiệm vụ, để lịch sử cũ không được gửi lại.
• Continue phát trực tuyến các phản hồi; API hỗ trợ phát trực tuyến với việc sử dụng token ở cuối.

Chi phí

Một yêu cầu điển hình với 8,000 token mã và câu hỏi cùng câu trả lời 1,000 token tốn 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017. Một ngày với 100 yêu cầu như vậy tốn $0.17, khoảng $5 một tháng. Gói dùng thử bao phủ khoảng 290 yêu cầu như vậy. Xem trang giá.

Hướng dẫn khắc phục sự cố

• 404 không tìm thấy. apiBase phải kết thúc bằng /v1; Continue thêm /chat/completions itself.
• 401 khóa không hợp lệ. Kiểm tra key hoặc tên secret; khởi động lại editor sau khi thay đổi .env.
• 429 concurrency trên khóa dùng thử. Dùng thử cho phép 2 yêu cầu song song. Tắt các tính năng khác của Continue có cùng gọi mô hình, hoặc nạp thêm để có 8 yêu cầu song song.