API LLM Dolphin: Chạy cục bộ, thuê GPU hoặc lưu trữ

Ý nghĩa của mô hình Dolphin

Dolphin là tên của một dòng các bản tinh chỉnh cộng đồng của các mô hình nền tảng trọng số mở. Dữ liệu tinh chỉnh được lọc để mô hình làm theo hướng dẫn mà không giảng dạy hoặc từ chối các yêu cầu thông thường. Vì mô hình nền tảng thay đổi giữa các bản phát hành, không có nhà cung cấp Dolphin đơn lẻ nào có một endpoint chính thức. Khi ai đó hỏi về dolphin llm api, họ thường có nghĩa là bất kỳ API nào phục vụ mô hình không kiểm duyệt theo phong cách đó.

Điều đó quan trọng đối với cách bạn lập kế hoạch. Bạn không chọn một thương hiệu, bạn chọn nơi trọng số chạy và ai vận hành chúng. Chất lượng mô hình phụ thuộc vào mô hình nền tảng và bản tinh chỉnh, và khía cạnh vận hành phụ thuộc vào tuyến đường bạn chọn bên dưới.

Một lưu ý về phạm vi: các mô hình này được tinh chỉnh cho việc sử dụng người lớn hợp pháp. Không có nhà cung cấp nào ở đây, và không có nhà cung cấp hợp lý nào ở bất cứ nơi nào, sẽ phục vụ nội dung tình dục liên quan đến người chưa thành niên. Hãy coi đó là ranh giới cố định trong ứng dụng của bạn.

Lộ trình 1: chạy trên máy của bạn

Tuyến đường rẻ nhất trên mỗi token là mô hình bạn đã có phần cứng cho. Các công cụ như Ollama và llama.cpp tải xuống trọng số lượng tử hóa và cung cấp máy chủ cục bộ. Cả hai đều có thể cung cấp endpoint kiểu OpenAI trên localhost, vì vậy mã khách của bạn trông giống nhau như đối với bất kỳ dịch vụ lưu trữ nào.

Điểm hạn chế là bộ nhớ. Một mô hình lượng tử hóa cần khoảng kích thước tệp của nó trong RAM hoặc VRAM, cộng với dung lượng cho bộ nhớ đệm ngữ cảnh. Các mô hình nhỏ vừa với máy tính xách tay, nhưng các mô hình lớn hơn cần GPU có nhiều bộ nhớ, và các prompt dài làm tăng bộ nhớ đệm. Nếu mô hình không vừa với VRAM, nó tràn vào RAM hệ thống và tốc độ giảm mạnh.

Chạy cục bộ phù hợp khi bạn làm việc ngoại tuyến, khi dữ liệu không bao giờ rời khỏi máy của bạn, hoặc khi bạn muốn thử nghiệm với các bản tinh chỉnh khác nhau. Nó không phù hợp cho một sản phẩm có người dùng, vì máy tính xách tay của bạn trở thành máy chủ. Để có hướng dẫn đầy đủ về phía cục bộ, hãy xem bài viết riêng về cách chạy mô hình kiểu Dolphin.

Tuyến đường 2: thuê GPU và tự phục vụ

Thuê GPU theo giờ cho phép bạn sử dụng các mô hình lớn hơn mà không cần mua phần cứng. Bạn cài đặt một bộ phục vụ như vLLM hoặc máy chủ của llama.cpp, tải trọng số và mở một cổng. Sau đó bạn sở hữu mọi thứ xung quanh nó.

• Cài đặt trình điều khiển, phần mềm phục vụ và TLS.
• Thêm xác thực để người lạ không thể sử dụng GPU của bạn.
• Khởi động lại sau khi sự cố và theo dõi bộ nhớ.
• Trả tiền cho số giờ máy hoạt động, bất kể có ai gửi yêu cầu hay không.

Điểm cuối cùng này là yếu tố chi phối chi phí thực sự. Một GPU vẫn tính phí dù để nhàn rỗi qua đêm. Tuyến đường này có lợi khi bạn có lưu lượng truy cập ổn định, cao và có người sẵn sàng vận hành. Đối với dự án phụ có các đợt sử dụng tăng đột biến, bạn chủ yếu phải trả tiền cho thời gian nhàn rỗi. Hãy kiểm tra các mức giá theo giờ hiện tại trên trang định giá của nhà cung cấp, vì chúng có thể thay đổi.

Tuyến đường 3: gọi endpoint tương thích OpenAI được lưu trữ

Một endpoint được lưu trữ loại bỏ công việc vận hành. Bạn gửi các yêu cầu HTTPS và trả tiền cho các token bạn sử dụng. Trang web này cung cấp dịch vụ đó: một API văn bản tương thích với OpenAI được lưu trữ cho một mô hình trọng số mở duy nhất, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Để rõ ràng về những gì nó không phải: nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào, và nó không phải là một bộ chuyển mạch giữa nhiều mô hình. ID mô hình là uncensored.

Vì API tương thích OpenAI, bất kỳ SDK OpenAI nào cũng hoạt động sau khi thay đổi hai cài đặt, base URL và khóa. Đây là một lệnh gọi Python tối thiểu:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a direct, helpful assistant."},
        {"role": "user", "content": "Explain how a context window works."},
    ],
)
print(resp.choices[0].message.content)

Cùng một yêu cầu trong curl:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Streaming (stream: true), gọi công cụ, chế độ JSON và các tham số lấy mẫu thông thường hoạt động như trong API OpenAI. Cửa sổ ngữ cảnh là 100,000 token, prompt cộng với kết quả. Tài liệu API liệt kê mọi endpoint và tham số được hỗ trợ.

So sánh cạnh nhau

Hàng quyết định phần lớn các trường hợp là lựa chọn mô hình. Nếu bạn cần một bản tinh chỉnh Dolphin cụ thể, chỉ có hai tuyến đường đầu tiên cho phép bạn điều đó. Nếu bạn cần một mô hình không kiểm duyệt mạnh mẽ đằng sau một API ổn định và bạn không quan tâm đó chính xác là bản tinh chỉnh nào, tuyến đường lưu trữ giúp bạn tiết kiệm công việc vận hành.

Chi phí của một cuộc gọi đến dịch vụ lưu trữ

Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra, trả từ tín dụng trả trước. Không có gói đăng ký, các yêu cầu thất bại hoặc bị từ chối không được tính phí, và tín dụng không bao giờ hết hạn. Một lượt chat điển hình với 2.000 token đầu vào và 500 token đầu ra tốn:

• Đầu vào: 2.000 x $0,15 / 1.000.000 = $0,0003
• Đầu ra: 500 x $0,50 / 1.000.000 = $0,00025
• Tổng cộng: $0,00055 cho mỗi yêu cầu, hoặc $0,55 cho mỗi 1.000 yêu cầu

Nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200. Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Trang giá có chi tiết hiện tại.

Để so sánh với GPU bạn thuê, hãy chia tỷ lệ theo giờ cho số lượng yêu cầu bạn có thể phục vụ trong một giờ với lưu lượng truy cập thực tế của bạn. Ở lưu lượng thấp hoặc theo đợt, mô hình trên mỗi token thường thắng, vì bạn không bao giờ trả tiền cho thời gian nhàn rỗi.

Thử trước khi trả tiền

Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ bằng một cú nhấp chuột trên trang khóa sau khi đăng ký. Mỗi người chỉ được nhận một lần, có hiệu lực trong 7 ngày và không cần thẻ. Đăng ký bằng Google hoặc bằng email và mật khẩu. Với giá ở trên, $0,50 chi trả cho khoảng 900 yêu cầu theo ví dụ 2.000 token đầu vào, 500 token đầu ra, đủ để bạn kiểm tra xem giọng điệu của mô hình có phù hợp với mục đích sử dụng của bạn không. Khóa dùng thử giới hạn ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút.

Lấy khóa của bạn trên trang khóa API. Nếu bạn muốn một mô hình không cần đăng nhập, hãy xem bài viết LLM không cần đăng nhập, và để thiết lập máy khách trong giao diện người dùng trò chuyện, hãy đọc về endpoint Open WebUI.

Hướng dẫn khác

• Cách chạy Dolphin LLM: Thiết lập cục bộ so với API lưu trữ
• API LLM miễn phí cho nhà phát triển: Dùng thử so với trả theo sử dụng