API được lưu trữ so với thuê GPU cho mô hình kích thước trung bình
Đã cập nhật · giá đã được kiểm tra vào ngày đó
Một mô hình trọng lượng mở kích thước trung bình ở chế độ 4-bit vừa với một GPU 48 GB, nên tự lưu trữ là khả thi. Việc này có đáng giá hay không phụ thuộc vào số lượng token bạn sử dụng mỗi tháng.
Điểm chính
- Ở chế độ 4-bit, một mô hình có 30–40B tham số chiếm khoảng 20–25 GB, vì vậy một card 48 GB là đủ cho ngữ cảnh 64,000 token.
- Một GPU L40S thuê ngoài có giá $0,79–$1,09 mỗi giờ trên RunPod: khoảng $577–$796 mỗi tháng hoạt động liên tục.
- Với giá của Dolphin LLM, $577 mua được khoảng 2.6B token mỗi tháng trong hỗn hợp đầu vào/đầu ra điển hình là 80/20.
- Tự lưu trữ hợp lý khi có khối lượng ổn định, rất cao; dưới mức đó, API được lưu trữ sẽ rẻ hơn và không cần bảo trì.
Phần cứng cần thiết cho mô hình như vậy
Ở chế độ 4-bit, trọng số của mô hình có 30–40B tham số chiếm khoảng 20–25 GB. Trên một card 48 GB, còn lại khoảng 20 GB cho bộ nhớ đệm KV, đủ cho ngữ cảnh 64.000 token với một vài yêu cầu song song. Phục vụ toàn bộ cửa sổ 262.144 token tự yêu cầu nhiều bộ nhớ đệm hơn hoặc ít yêu cầu song song hơn. Ngữ cảnh dài hơn hoặc nhiều người dùng song song hơn cần nhiều bộ nhớ hơn hoặc nhiều card hơn.
Giá thuê
| GPU | Ở đâu | Theo giờ | Theo tháng, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / Bảo mật | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (trung bình của 4 đề xuất) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / Bảo mật | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
Số liệu hàng tháng bằng giá theo giờ × 730 giờ, chưa bao gồm lưu trữ, lưu lượng truy cập hoặc thời gian thẻ ở trạng thái chờ.
Xây dựng chatbot tự nhiên hơn và ít bị hạn chế hơn. Phát trực tiếp phản hồi để có luồng hội thoại tự nhiên.
Một hỗn hợp điển hình gồm 80% token đầu vào và 20% token đầu ra tốn $0.22 cho mỗi 1M token trên Dolphin LLM. Vì vậy, giá hàng tháng của một card thuê mua được:
| Ngân sách hàng tháng | Tương đương trên Dolphin LLM | Theo ngày |
|---|---|---|
| $241 (RTX A6000, Community) | khoảng 1.1B tokens | khoảng 36M |
| $577 (L40S, Community) | khoảng 2.6B token | khoảng 87M |
| $796 (L40S, Secure) | khoảng 3.6B token | khoảng 120M |
Nếu bạn sử dụng ít token hơn mức này, API được lưu trữ sẽ rẻ hơn. Trên mức đó, một thẻ được thuê có thể rẻ hơn, miễn là nó hoạt động suốt phần lớn ngày.
Chi phí không có trong bảng giá
- Thiết lập và cập nhật: máy chủ suy luận, trình điều khiển, tải xuống mô hình, giám sát.
- Thời gian nhàn rỗi: một thẻ được thuê có giá như nhau vào ban đêm khi không có yêu cầu nào được gửi.
- Đỉnh điểm: một thẻ chỉ phục vụ một số lượng yêu cầu song song có hạn; nhiều người dùng hơn nghĩa là cần nhiều thẻ hơn.
Nên chọn cái nào
- Tự lưu trữ nếu bạn có khối lượng ổn định, rất cao, cần kiểm soát hoàn toàn ngăn xếp hoặc ngữ cảnh dài hơn 262.144 token.
- Sử dụng Dolphin LLM nếu khối lượng công việc của bạn nằm dưới điểm hòa vốn, biến động từ ngày này sang ngày khác, hoặc bạn không muốn chạy máy chủ.
Nguồn
Giá cả thay đổi. Hãy kiểm tra trang của từng nhà cung cấp trước khi quyết định.
Câu hỏi và câu trả lời
Tôi có thể chạy một mô hình kích thước này trên máy tính của mình không?
Có, với một GPU có đủ bộ nhớ: ở chế độ 4-bit, mô hình như vậy chiếm khoảng 20–25 GB, vì vậy một thẻ 48 GB là thoải mái và một thẻ 24 GB là quá nhỏ cho ngữ cảnh hữu ích.
API được lưu trữ có chậm hơn GPU tại chỗ không?
Nó thêm độ trễ mạng vào thời gian tạo. Tốc độ tạo phụ thuộc vào tải trên các máy chủ chia sẻ; đối với trò chuyện và hầu hết các tác vụ hàng loạt, sự khác biệt là nhỏ.
Hướng dẫn khác
Dolphin LLM so với API OpenAIDolphin LLM so với OpenAI GPT-6 Luna và GPT-6.1 Terra: giá cho mỗi 1 triệu token, cửa sổ ngữ cảnh, chính sách dữ liệu, thanh toán và khi nào nên dùng từng loại.
Dolphin LLM so với các mô hình trọng lượng mở kích thước trung bình trên OpenRouterGiá cho mỗi 1M token cho một mô hình trò chuyện trọng lượng mở kích thước trung bình phổ biến trên các nhà cung cấp OpenRouter và DeepInfra bên cạnh Dolphin LLM, cùng với phí tín dụng, ngữ cảnh và thời điểm mỗi bên rẻ hơn.