Points clés
- Dolphin est une famille de fine-tunes communautaires, il n'existe donc pas d'API officielle unique à laquelle s'inscrire.
- Vous pouvez le servir vous-même sur une machine locale, le servir sur un GPU loué ou appeler un endpoint hébergé.
- Un endpoint hébergé compatible OpenAI nécessite uniquement une URL de base, une clé et l'ID de modèle uncensored.
- La tarification hébergée ici est de 0,15 $ par 1M de tokens d'entrée et de 0,50 $ par 1M de tokens de sortie, sans abonnement.
Ce que les gens entendent par modèle Dolphin
Dolphin est le nom d'une ligne de fine-tunes communautaires de modèles de base à poids ouverts. Les données d'ajustement sont filtrées pour que le modèle suive les instructions sans faire la leçon ou refuser les requêtes ordinaires. Comme le modèle de base change entre les versions, il n'y a pas de fournisseur Dolphin unique avec un endpoint officiel. Lorsque quelqu'un cherche une api llm dolphin, il entend généralement n'importe quelle API qui sert un modèle sans censure de ce style.
Cela a de l'importance pour votre planification. Vous ne choisissez pas une marque, vous choisissez où les poids s'exécutent et qui les opère. La qualité du modèle dépend du modèle de base et du fine-tune, et le côté opérationnel dépend de la route que vous choisissez ci-dessous.
Une note sur la portée : ces modèles sont ajustés pour une utilisation adulte légale. Aucun fournisseur ici, et aucun fournisseur raisonnable ailleurs, ne servira de contenu sexuel impliquant des mineurs. Traitez cela comme une limite fixe dans votre propre application.
Voie 1 : exécutez-le sur votre propre machine
La route la moins chère par token est un modèle pour lequel vous possédez déjà le matériel. Des outils comme Ollama et llama.cpp téléchargent des poids quantifiés et exposent un serveur local. Tous deux peuvent offrir un endpoint de style OpenAI sur localhost, de sorte que votre code client ressemble à celui utilisé pour n'importe quel service hébergé.
Le hic est la mémoire. Un modèle quantifié nécessite environ sa taille de fichier en RAM ou VRAM, plus de la place pour le cache de contexte. Les petits modèles tiennent sur un ordinateur portable, mais les plus gros nécessitent un GPU avec beaucoup de mémoire, et les longs prompts font grossir le cache. Si le modèle ne tient pas dans la VRAM, il déborde vers la RAM système et la vitesse chute fortement.
Le local est un bon choix lorsque vous travaillez hors ligne, lorsque les données ne doivent jamais quitter votre machine, ou lorsque vous voulez expérimenter avec différents fine-tunes. C'est un mauvais choix pour un produit avec des utilisateurs, car votre ordinateur portable devient le serveur. Pour un guide complet du côté local, consultez l'article séparé sur l'exécution d'un modèle de type Dolphin.
Option 2 : louer un GPU et le servir vous-même
Louer un GPU à l'heure vous donne accès à des modèles plus gros sans acheter de matériel. Vous installez une pile de service comme vLLM ou le serveur de llama.cpp, chargez les poids et exposez un port. Vous possédez alors tout ce qui l'entoure.
- Configuration des pilotes, du logiciel de service et du TLS.
- Ajout de l'authentification pour empêcher les inconnus d'utiliser votre GPU.
- Redémarrage après les plantages et surveillance de la mémoire.
- Paiement des heures où la machine est allumée, que des requêtes soient envoyées ou non.
Ce dernier point est le vrai facteur de coût. Un GPU inactif la nuit continue d'être facturé. La route est rentable lorsque vous avez un trafic constant et élevé et quelqu'un pour le gérer. Pour un projet secondaire avec des pics d'utilisation, vous payez surtout pour le temps d'inactivité. Consultez les tarifs horaires actuels sur la page de tarification du fournisseur, car ils changent.
Route 3 : appeler un endpoint hébergé compatible OpenAI
Un endpoint hébergé supprime le travail d'exploitation. Vous envoyez des requêtes HTTPS et payez pour les tokens que vous utilisez. Ce site offre cela : une API textuelle hébergée et compatible OpenAI pour un seul modèle à poids ouverts, exécutée par un fournisseur indépendant et optimisée pour répondre sans refus de contenu pour une utilisation adulte légale. Pour être clair sur ce que ce n'est pas : ce n'est pas l'API officielle d'un fournisseur de modèle, et ce n'est pas un routeur entre plusieurs modèles. L'ID de modèle est uncensored.
Comme l'API est compatible OpenAI, tout SDK OpenAI fonctionne une fois que vous modifiez deux paramètres, l'URL de base et la clé. Voici un appel Python minimal :
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)La même requête avec curl :
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Le streaming (stream: true), l'appel de fonctions, le mode JSON et les paramètres d'échantillonnage habituels fonctionnent comme dans l'API OpenAI. La fenêtre de contexte est de 100 000 tokens, prompt plus complétion. La documentation de l'API liste tous les endpoints et paramètres pris en charge.
Comparaison côte à côte
| Facteur | Local | GPU loué | Endpoint hébergé |
|---|---|---|---|
| Travail initial | Installation et téléchargement | Configuration du serveur, authentification, TLS | Obtenez une clé |
| Modèle de coût | Matériel que vous possédez | Par heure, temps d'inactivité inclus | Par token, prépayé |
| Taille du modèle | Limité par votre VRAM | Limité par le GPU que vous louez | Un modèle, fixe |
| Choix du modèle | Tout modèle affiné que vous pouvez télécharger | Tout modèle affiné que vous pouvez charger | Seul le modèle proposé |
| Emplacement des données | Reste sur votre machine | Sur la machine louée | Envoyé au fournisseur |
| Maintenance | Vous | Vous | Fournisseur |
La ligne qui décide de la plupart des cas est le choix du modèle. Si vous avez besoin d'un affinage Dolphin spécifique, seules les deux premières voies vous le donnent. Si vous avez besoin d'un modèle sans censure capable derrière une API stable et que vous vous moquez de l'affinage exact, la voie hébergée vous fait économiser le travail d'exploitation.
Combien coûte un appel hébergé
La tarification est de $0,15 par 1M de tokens d'entrée et de $0,50 par 1M de tokens de sortie, payée à partir d'un crédit prépayé. Il n'y a pas d'abonnement, les requêtes échouées ou refusées ne sont pas facturées, et le crédit n'expire jamais. Un tour de chat typique avec 2 000 tokens d'entrée et 500 tokens de sortie coûte :
- Entrée : 2 000 x $0,15 / 1 000 000 = $0,0003
- Sortie : 500 x 0,50 $ / 1 000 000 = 0,00025 $
- Total : 0,00055 $ par requête, ou 0,55 $ pour 1 000 requêtes
Les recharges sont des montants entiers de 20 $ à 500 $, avec +5 % à partir de 50 $, +10 % à partir de 100 $ et +15 % à partir de 200 $. Vous pouvez payer avec de la crypto (USDT sur TRC20, USDC sur Base). La page de tarification contient les détails actuels.
Pour comparer avec un GPU que vous louez, divisez le taux horaire par le nombre de requêtes que vous pouvez servir en une heure à votre trafic réel. À faible volume ou avec des pics, le modèle de tarification au token gagne généralement, car vous ne payez jamais pour le temps d'inactivité.
Essayez avant de payer
Les nouveaux utilisateurs peuvent réclamer $0,50 de crédit d'essai en un clic sur la page de la clé après l'inscription. Il est attribué une fois par personne, valable 7 jours, et ne nécessite aucune carte. L'inscription se fait avec Google ou avec un e-mail et un mot de passe. Aux prix indiqués ci-dessus, $0,50 couvre environ 900 des requêtes de l'exemple (2 000 tokens en entrée, 500 tokens en sortie), ce qui est largement suffisant pour tester si le ton du modèle convient à votre cas d'usage. Les clés d'essai sont limitées à 2 requêtes simultanées et 60 requêtes par minute.
Obtenez votre clé sur la page clé API. Si vous souhaitez un modèle sans connexion du tout, consultez l'article LLM sans connexion, et pour la configuration du client dans un frontend de chat, lisez à propos des endpoints Open WebUI.
