API LLM miễn phí cho nhà phát triển: Dùng thử so với trả theo nhu cầu

Câu trả lời ngắn gọn: dùng thử, sau đó là vài xu cho mỗi lệnh gọi

Không có gì ở đây miễn phí mãi mãi. Những gì bạn nhận được là khởi đầu miễn phí và hóa đơn rất nhỏ sau đó. Bạn đăng ký bằng Google hoặc bằng email và mật khẩu, mở trang khóa API và nhận $0,50 tín dụng dùng thử chỉ bằng một cú nhấp chuột. Không cần thẻ. Tín dụng có hiệu lực trong 7 ngày và mỗi người chỉ nhận được một lần.

Sau đó bạn trả theo nhu cầu với giá $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Không có đăng ký và không có mức tối thiểu hàng tháng. Nạp tiền nhỏ nhất là $20 và tín dụng không bao giờ hết hạn, vì vậy bạn có thể chi tiêu nó trong một năm nếu dự án của bạn chạy chậm.

Những gì $0,50 dùng thử mua được

Chi phí cho mỗi yêu cầu rất đơn giản: token đầu vào nhân với $0,15, cộng token đầu ra nhân với $0,50, cả hai chia cho 1.000.000. Hai ví dụ minh họa phạm vi chi phí.

Hãy kiểm tra hàng đầu tiên: 1.500 x $0,15 / 1.000.000 = $0,000225, và 300 x $0,50 / 1.000.000 = $0,00015. Tổng là $0,000375. Đối với hàng thứ hai, 20.000 token đầu vào tốn $0,003 và 800 token đầu ra tốn $0,0004, vậy tổng cộng là $0,0034.

Trong thực tế, gói dùng thử đủ để kết nối một client, kiểm thử streaming, thử gọi hàm và quyết định xem mô hình có phù hợp với dự án của bạn không.

Tại sao các gói miễn phí khó để phát triển trên đó

Các gói miễn phí tồn tại để bạn có thể thử một sản phẩm, và các giới hạn của chúng được đặt ra với mục đích đó. Chi tiết thay đổi thường xuyên, vì vậy bạn hãy kiểm tra các điều khoản hiện tại của từng nhà cung cấp trước khi dựa vào chúng. Nhìn chung, các nhà phát triển gặp phải một vài vấn đề tương tự.

• Giới hạn tốc độ được thiết kế cho bản demo. Một script hoạt động tốt ở mười yêu cầu sẽ trở nên vô dụng ở vài trăm yêu cầu.
• Thay đổi giới hạn. Một giới hạn phù hợp hôm nay có thể bị siết chặt hơn sau này, và pipeline của bạn sẽ biết điều đó qua một lỗi.
• Bộ lọc nội dung. Nhiều mô hình được lưu trữ từ chối các yêu cầu về truyện hư cấu, nhập vai hoặc dữ liệu thử nghiệm nhạy cảm. Một lệnh từ chối ở giữa một công việc hàng loạt là một lỗi bạn không thể vá.
• Xử lý dữ liệu không rõ ràng. Một số gói miễn phí sử dụng prompt để cải thiện mô hình của họ. Hãy đọc các điều khoản.

Không có điều nào trong số này khiến các gói miễn phí trở nên tệ. Đối với nguyên mẫu cuối tuần thì chúng ổn. Vấn đề bắt đầu khi nguyên mẫu trở thành dịch vụ.

Cũng có một vấn đề về lập kế hoạch. Một gói miễn phí không cho phép bạn dự báo chi phí, vì không có giá để nhân với số lượng. Với giá theo token, bạn có thể viết ngân sách trên một dòng trước khi viết bất kỳ mã nào, và điều đó khiến dự án dễ được bảo vệ trước khách hàng hoặc đối tác hơn. Nếu mức sử dụng tăng gấp mười lần, bạn biết hóa đơn tăng khoảng mười lần và không có gì khác thay đổi.

Những gì cần kiểm tra trong bất kỳ API nào trước khi bạn cam kết

Bất kể dịch vụ có tốn tiền hay không, bạn hãy đặt cùng các câu hỏi trước khi kết nối nó vào mã của mình.

1. Giao thức có tiêu chuẩn không? API này tương thích với OpenAI, vì vậy việc chuyển sang bên khác sau này chỉ cần thay đổi hai dòng, không cần viết lại client.
2. Các giới hạn là bao nhiêu? Chúng được công bố ở đây: 8 yêu cầu đồng thời và 300 mỗi phút trên khóa đầy đủ, 2 và 60 trên khóa dùng thử, thân yêu cầu 8 MB, cửa sổ ngữ cảnh 100.000 token.
3. Điều gì xảy ra khi một lệnh gọi thất bại? Trên dịch vụ này, các yêu cầu bị lỗi hoặc từ chối không bị tính phí.
4. Điều gì xảy ra với các prompt của bạn? Ở đây chúng không được sử dụng để huấn luyện.
5. Mô hình có từ chối trường hợp sử dụng của bạn không? Mô hình này được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, điều này quan trọng cho truyện, nhập vai và dữ liệu thử nghiệm. Điểm dừng cứng duy nhất là nội dung tình dục liên quan đến trẻ vị thành niên.
6. Bạn có thể rời đi không? Tín dụng là trả trước và không bao giờ hết hạn, và không có hợp đồng.

Cách để gói dùng thử kéo dài

Những thói quen nhỏ giúp $0,50 kéo dài rất lâu.

1. Đặt max_tokens khi thử nghiệm. Tùy chọn trên API này, nhưng giới hạn 300 token ngăn câu trả lời chạy dài tốn gấp 10 lần dự kiến. Phần output đắt hơn, $0,50 cho 1 triệu token.
2. Giữ các prompt hệ thống ngắn. Một prompt hệ thống 1.000 token được gửi với mỗi lệnh gọi thêm $0,00015 cho mỗi yêu cầu.
3. Sử dụng seed và nhiệt độ thấp cho các bài kiểm tra có thể lặp lại, để bạn không phải chạy lại một lệnh gọi chỉ để xem một câu trả lời khác.
4. Không gửi lại toàn bộ lịch sử trừ khi bạn cần chúng. Cửa sổ ngữ cảnh là 100.000 token và mỗi token trong đó được tính phí như token đầu vào.
5. Theo dõi X-Balance-USD trong tiêu đề phản hồi để xem chính xác mỗi lần thử nghiệm đã tốn bao nhiêu.

Một thủ thuật khác là ghi lại resp.usage cho mỗi lệnh gọi trong quá trình phát triển. Sau một ngày kiểm thử, bạn sẽ biết trung bình thực tế của mình và có thể thay thế các phỏng đoán trong các bảng trên bằng số liệu của riêng bạn. Nhiều người nhận thấy các prompt của họ dài hơn hai hoặc ba lần so với giả định, chủ yếu là do prompt hệ thống và các ví dụ được dán vào.

Ngân sách cho một dự án phụ

Số liệu giúp ích khi bạn quyết định xem một dự án có đáng để tài trợ không. Hãy lấy một ứng dụng nhỏ thực hiện 200 lệnh gọi mỗi ngày với kích thước dev-loop là 1.500 token đầu vào và 300 token đầu ra. Mỗi lệnh gọi tốn $0,000375, nên một ngày tốn $0,075 và một tháng 30 ngày tốn $2,25. Một khoản nạp tiền $20 đủ dùng khoảng chín tháng với tốc độ đó.

Bây giờ hãy lấy một công cụ nặng hơn thực hiện 50 lệnh gọi mỗi ngày với 20.000 token ngữ cảnh được dán vào và 800 token đầu ra. Mỗi lệnh gọi tốn $0,0034, vì vậy một ngày là $0,17 và một tháng là $5,10. Ngay cả khi lưu lượng tăng gấp đôi, cả hai dự án vẫn nằm trong mức vài đô la mỗi tháng.

Điểm mấu chốt là giá theo token ở mức này khiến chi phí trở thành một mục nhỏ đối với hầu hết các dự án phụ. Thành công được quyết định bởi việc mô hình có thực hiện công việc hay không và các giới hạn có phù hợp với lưu lượng của bạn không.

Một lệnh gọi đầu tiên bạn có thể chạy ngay bây giờ

API tương thích với OpenAI, vì vậy SDK Python tiêu chuẩn hoạt động sau khi thay đổi base URL và khóa.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

Đối tượng usage cho bạn biết chính xác số lượng token prompt và completion. Nhân chúng với các tỷ lệ ở trên và bạn có chi phí của lệnh gọi đó. Truyền phát, chế độ JSON và gọi hàm đều có sẵn; tài liệu có ví dụ cho từng cái.

Khi nào chuyển từ dùng thử sang nạp tiền

Hãy chuyển sang nạp tiền khi hết tín dụng dùng thử hoặc khi bạn cần nhiều hơn 2 yêu cầu đồng thời. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Các lần nạp tiền chạy từ $20 đến $500 với bất kỳ số nguyên nào. Các khoản lớn hơn đi kèm với phần thưởng: +5% từ $50, +10% từ $100 và +15% từ $200. Một lần nạp $50 cung cấp $52,50 tín dụng và $200 cung cấp $230.

Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Chi tiết có trên trang giá, và bạn có thể lấy khóa từ trang khóa.

API này không phải là gì

Để tiết kiệm cho bạn một buổi tối lãng phí: đây là một dịch vụ chỉ văn bản. Không có tạo hình ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning. Đây là một mô hình trọng số mở được chạy bởi một nhà cung cấp độc lập, không phải là API chính thức của bất kỳ nhà cung cấp lớn nào và không phải là một bộ định tuyến qua nhiều mô hình. Nếu dự án của bạn cần embedding cho tìm kiếm, bạn sẽ cần một dịch vụ khác cho phần đó. Nếu nó cần một mô hình chat tuân theo hướng dẫn và không từ chối, thì cái này phù hợp.

Nếu bạn mới làm quen với trang web, trang về sử dụng LLM mà không có hạn chế đăng nhập giải thích chi tiết hơn về cách đăng ký và khóa hoạt động.

Hướng dẫn khác

• Các endpoint API Open WebUI: Kết nối LLM không kiểm duyệt
• Cách sử dụng LLM không cần đăng nhập