API LLM gratuita para desenvolvedores: teste vs pagamento por uso

Resposta curta: um teste, depois centavos por chamada

Nada aqui é gratuito para sempre. Você recebe um início gratuito e uma fatura muito pequena depois disso. Cadastre-se com Google ou com e-mail e senha, abra a página da chave de API e resgate $0,50 de crédito de teste grátis com um clique. Nenhum cartão é necessário. O crédito é válido por 7 dias e cada pessoa recebe um.

Depois disso, você paga por uso a $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída. Não há assinatura nem mínimo mensal. O menor recarregamento é de $20, e o crédito não expira, então você pode gastá-lo ao longo de um ano se seu projeto for lento.

O que o teste de $0,50 oferece

O custo por solicitação é simples: tokens de entrada vezes $0,15, mais tokens de saída vezes $0,50, ambos divididos por 1.000.000. Dois exemplos mostram a faixa.

Verifique a primeira linha: 1.500 x $0,15 / 1.000.000 = $0,000225, e 300 x $0,50 / 1.000.000 = $0,00015. A soma é $0,000375. Para a segunda linha, 20.000 tokens de entrada custam $0,003 e 800 tokens de saída custam $0,0004, então $0,0034 no total.

Na prática, o teste é suficiente para conectar um cliente, testar streaming, tentar chamadas de funções e decidir se o modelo se encaixa no seu projeto.

Por que é difícil construir em cima de planos gratuitos

Planos gratuitos existem para você experimentar um produto, e seus limites são definidos com esse propósito em mente. Os detalhes mudam frequentemente, então verifique os termos atuais de cada provedor antes de depender de um. Em geral, os desenvolvedores enfrentam os mesmos poucos problemas.

• Limites de taxa dimensionados para uma demonstração. Um script que funciona com dez requisições torna-se inutilizável com algumas centenas.
• Limites que mudam. Um limite que é bom hoje pode ser apertado depois, e seu pipeline descobre isso por meio de um erro.
• Filtros de conteúdo. Muitos modelos hospedados recusam solicitações para ficção, roleplay ou dados de teste ousados. Uma recusa no meio de um trabalho em lote é um bug que você não pode corrigir.
• Tratamento de dados pouco claro. Algumas ofertas gratuitas usam prompts para melhorar seus modelos. Leia os termos.

Nada disso torna os planos gratuitos ruins. Para um protótipo de fim de semana eles são bons. O problema começa quando o protótipo se torna um serviço.

Também há um problema de planejamento. Um plano gratuito não oferece maneira de prever o custo, porque não há preço para multiplicar. Com preços por token, você pode escrever o orçamento em uma linha antes de escrever qualquer código, e isso torna um projeto mais fácil de defender para um cliente ou parceiro. Se seu uso crescer dez vezes, você sabe que a conta cresce cerca de dez vezes, e nada mais muda.

O que verificar em qualquer API antes de se comprometer

Se um serviço custa dinheiro ou não, faça as mesmas perguntas antes de conectá-lo ao seu código.

1. O protocolo é padrão? Esta API é compatível com OpenAI, então mudar depois significa alterar duas linhas, não reescrever um cliente.
2. Quais são os limites em números? Eles estão publicados aqui: 8 requisições simultâneas e 300 por minuto em uma chave completa, 2 e 60 em uma chave de teste, corpo de 8 MB, janela de 100.000 tokens.
3. O que acontece quando uma chamada falha? Neste serviço, requisições falhas ou recusadas não são cobradas.
4. O que acontece com seus prompts? Aqui eles não são usados para treinamento.
5. O modelo recusa seu caso de uso? Este é ajustado para responder sem recusas de conteúdo para uso adulto legal, o que importa para ficção, roleplay e dados de teste. A única parada rígida é conteúdo sexual envolvendo menores.
6. Você pode sair? O crédito é pré-pago e nunca expira, e não há contrato.

Como fazer o teste durar

Pequenos hábitos fazem $0,50 durarem muito mais.

1. Defina max_tokens durante os testes. É opcional nesta API, mas um limite de 300 impede que uma resposta descontrolada custe dez vezes mais do que você planejou. A saída é o lado caro a $0,50 por 1M.
2. Mantenha prompts de sistema curtos. Um prompt de sistema de 1.000 tokens enviado com cada chamada adiciona $0,00015 por solicitação.
3. Use seed e baixa temperatura para testes repetíveis, para que você não execute novamente uma chamada apenas para ver uma resposta diferente.
4. Não reenvie históricos inteiros a menos que você precise deles. A janela é de 100.000 tokens, e cada token nela é cobrado como entrada.
5. Observe X-Balance-USD nos cabeçalhos de resposta para ver exatamente quanto cada teste custou.

Mais um truque é registrar resp.usage para cada chamada durante o desenvolvimento. Após um dia de testes, você conhecerá sua média real e poderá substituir as suposições nas tabelas acima pelos seus próprios números. Muitas pessoas descobrem que seus prompts são duas ou três vezes mais longos do que assumiram, principalmente devido a prompts de sistema e exemplos colados.

Um orçamento para um projeto paralelo

Números ajudam quando você decide se um projeto vale a pena financiar. Pegue um pequeno aplicativo que faz 200 chamadas por dia no tamanho do loop de desenvolvimento de 1.500 tokens de entrada e 300 de saída. Cada chamada custa $0,000375, então um dia custa $0,075 e um mês de 30 dias custa $2,25. Um recarregamento de $20 pagaria por cerca de nove meses a essa taxa.

Agora pegue uma ferramenta mais pesada que faz 50 chamadas por dia com 20.000 tokens de contexto colado e 800 tokens de saída. Cada chamada custa $0,0034, então um dia custa $0,17 e um mês custa $5,10. Mesmo dobrando o tráfego mantém ambos os projetos em dólares de dígito único por mês.

O ponto é que o preço por token nesse nível torna o custo uma linha menor para a maioria dos projetos paralelos. O que decide o sucesso é se o modelo faz o trabalho e se os limites se adequam ao seu tráfego.

Uma primeira chamada que você pode executar agora

A API é compatível com OpenAI, então o SDK padrão do Python funciona após alterar a URL base e a chave.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain idempotency in two sentences."}],
    max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage)

O objeto usage fornece contagens exatas de tokens de prompt e conclusão. Multiplique-os pelas taxas acima e você terá o custo dessa chamada. Streaming, modo JSON e chamada de funções também estão disponíveis; a documentação tem exemplos para cada um.

Quando mudar do teste para um recarregamento

Migre quando o teste acabar ou quando você precisar de mais de 2 requisições simultâneas. Uma chave completa permite 8 requisições simultâneas e 300 por minuto. Recarregamentos variam de $20 a $500 em qualquer valor inteiro. Maiores vêm com um bônus: +5% a partir de $50, +10% a partir de $100 e +15% a partir de $200. Um recarregamento de $50 dá $52,50 de crédito, e $200 dá $230.

Você pode pagar com cripto (USDT na TRC20, USDC na Base). Valores completos estão na página de preços, e você pode obter uma chave em a página da chave.

O que esta API não é

Para economizar sua noite: é um serviço apenas de texto. Não há geração de imagem, áudio ou vídeo, nem embeddings nem fine-tuning. É um único modelo de pesos abertos executado por um provedor independente, não a API oficial de nenhum grande fornecedor e não um roteador entre vários. Se seu projeto precisa de embeddings para pesquisa, você precisará de outro serviço para essa parte. Se precisa de um modelo de chat que siga instruções e não recuse, este se encaixa.

Se você é novo no site, a página sobre como usar um LLM sem restrições de login explica como o cadastro e as chaves funcionam em mais detalhes.

Mais guias

• Endpoints da API Open WebUI: Conecte um LLM sem censura
• Como usar um LLM sem restrições de login