Punti chiave
- Dolphin è una famiglia di fine-tuning della community, quindi non esiste un'unica API ufficiale a cui iscriversi.
- Puoi servire un modello tu stesso su una macchina locale, su una GPU in affitto o chiamare un endpoint ospitato.
- Un endpoint ospitato compatibile con OpenAI richiede solo un URL base, una chiave e l'ID del modello uncensored.
- I prezzi per l'hosting qui sono $0,15 per 1M di token in input e $0,50 per 1M di token in output, senza abbonamento.
Cosa si intende per modello Dolphin
Dolphin è il nome di una linea di fine-tuning della community su modelli base a pesi aperti. I dati di tuning sono filtrati in modo che il modello segua le istruzioni senza fare prediche o rifiutare richieste ordinarie. Poiché il modello base cambia tra le release, non esiste un singolo vendor Dolphin con un endpoint ufficiale. Quando qualcuno cerca un'API LLM Dolphin, di solito intende qualsiasi API che serva un modello senza censura di quello stile.
Questo è importante per la tua pianificazione. Non stai scegliendo un marchio, ma dove vengono eseguiti i pesi e chi li gestisce. La qualità del modello dipende dal modello base e dal fine-tuning, mentre l'aspetto operativo dipende dalla strada che scegli di seguito.
Una nota sull'ambito: questi modelli sono ottimizzati per un uso adulto legale. Nessun provider qui, e nessun provider sensato ovunque, servirà contenuti sessuali che coinvolgono minorenni. Considera questo un confine fisso anche nella tua applicazione.
Strada 1: eseguilo sulla tua macchina
La strada più economica per token è un modello per cui possiedi già l'hardware. Strumenti come Ollama e llama.cpp scaricano pesi quantizzati ed espongono un server locale. Entrambi possono offrire un endpoint stile OpenAI su localhost, quindi il tuo codice client appare uguale a quello per qualsiasi servizio ospitato.
Il punto critico è la memoria. Un modello quantizzato richiede circa la sua dimensione in file in RAM o VRAM, più spazio per la cache del contesto. I modelli piccoli stanno su un laptop, ma quelli più grandi richiedono una GPU con molta memoria, e prompt lunghi fanno crescere la cache. Se il modello non entra nella VRAM, viene scaricato nella RAM di sistema e la velocità cala drasticamente.
Il locale è una buona scelta quando lavori offline, quando i dati non devono mai lasciare la tua macchina o quando vuoi sperimentare con diversi fine-tuning. È una scelta peggiore per un prodotto con utenti, perché il tuo laptop diventa il server. Per una guida completa sul lato locale, vedi l'articolo separato su come eseguire un modello stile Dolphin.
Strada 2: affitta una GPU e servila tu stesso
Affittare una GPU a ore ti permette di usare modelli più grandi senza comprare hardware. Installi uno stack di servizio come vLLM o il server di llama.cpp, carichi i pesi ed esponi una porta. Poi possiedi tutto ciò che lo circonda.
- Configurazione dei driver, del software di servizio e TLS.
- Aggiunta dell'autenticazione per impedire che estranei usino la tua GPU.
- Riavvio dopo i crash e monitoraggio della memoria.
- Pagamento delle ore in cui la macchina è accesa, che tu invii richieste o meno.
Quest'ultimo punto è il vero fattore di costo. Una GPU che resta in idle di notte continua a fatturare. La strada conviene quando hai traffico costante e elevato e qualcuno disposto a gestirla. Per un progetto secondario con picchi di utilizzo, paghi soprattutto per il tempo di inattività. Controlla i prezzi orari attuali sulla pagina dei prezzi del provider, poiché cambiano.
Strada 3: chiama un endpoint ospitato compatibile con OpenAI
Un endpoint in hosting remoto elimina il lavoro operativo. Invii richieste HTTPS e paghi i token che utilizzi. Questo sito offre esattamente questo: un’API testuale in hosting, compatibile con OpenAI, per un singolo modello a pesi aperti, gestita da un provider indipendente e ottimizzata per rispondere senza rifiuti sui contenuti per l’uso adulto lecito. Per chiarezza su cosa non è: non è l’API ufficiale di alcun fornitore di modelli e non è un router tra più modelli. L’ID del modello è uncensored.
Poiché l'API è compatibile con OpenAI, qualsiasi SDK OpenAI funziona dopo aver modificato due impostazioni: l'URL base e la chiave. Ecco una chiamata Python minimale:
from openai import OpenAI
client = OpenAI(
base_url="https://api.dolphinllm.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a direct, helpful assistant."},
{"role": "user", "content": "Explain how a context window works."},
],
)
print(resp.choices[0].message.content)La stessa richiesta in curl:
curl https://api.dolphinllm.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'Lo streaming (stream: true), la chiamata di funzioni, la modalità JSON e i normali parametri di campionamento funzionano come nell'API OpenAI. La finestra di contesto è di 100.000 token, prompt più completamento. La documentazione API elenca tutti gli endpoint e i parametri supportati.
Confronto lato a lato
| Fattore | Locale | GPU affittata | Endpoint ospitato |
|---|---|---|---|
| Lavoro iniziale | Installazione e download | Configurazione server, auth, TLS | Ottieni una chiave |
| Modello di costo | Hardware di tua proprietà | Orario, tempo in idle incluso | Per token, prepagato |
| Dimensioni del modello | Limitato dalla tua VRAM | Limitato dalla GPU che affitti | Un modello, fisso |
| Scelta del modello | Qualsiasi fine-tuning che puoi scaricare | Qualsiasi fine-tuning che puoi caricare | Solo il modello offerto |
| Posizione dei dati | Restano sul tuo dispositivo | Sulla macchina in affitto | Inviato al provider |
| Manutenzione | Tu | Tu | Provider |
La riga che decide la maggior parte dei casi è la scelta del modello. Se ti serve un specifico fine-tuning Dolphin, solo i primi due percorsi te lo permettono. Se ti serve un modello senza censura capace dietro un'API stabile e non ti importa quale fine-tuning esatto sia, il percorso in hosting ti risparmia il lavoro operativo.
Quanto costa una chiamata ospitata
I prezzi sono $0,15 per 1M di token in input e $0,50 per 1M di token in output, pagati dal credito prepagato. Non c'è abbonamento, le richieste fallite o rifiutate non vengono addebitate e il credito non scade mai. Un turno di chat tipico con 2.000 token in input e 500 in output costa:
- Input: 2.000 x $0,15 / 1.000.000 = $0,0003
- Output: 500 x $0,50 / 1.000.000 = $0,00025
- Totale: $0,00055 per richiesta, o $0,55 per 1.000 richieste
Le ricariche sono importi interi da $20 a $500, con +5% da $50, +10% da $100 e +15% da $200. Puoi pagare con cripto (USDT su TRC20, USDC su Base). La pagina prezzi contiene i dettagli attuali.
Per confrontare con una GPU che affitti, dividi il prezzo orario per il numero di richieste che puoi servire in un'ora con il tuo traffico reale. A volumi bassi o a picchi, il modello per token di solito vince, perché non paghi mai per il tempo di inattività.
Provalo prima di pagare
I nuovi utenti possono richiedere $0,50 di credito di prova gratuito con un clic nella pagina della chiave dopo l'accesso. È uno per persona, valido per 7 giorni, e non richiede carta. L'accesso è con Google o con email e password. Ai prezzi sopra, $0,50 coprono circa 900 delle richieste 2.000-in, 500-out dell'esempio, il che è più che sufficiente per testare se il tono del modello si adatta al tuo uso. Le chiavi di prova sono limitate a 2 richieste parallele e 60 richieste al minuto.
Ottieni la tua chiave nella pagina chiave API. Se vuoi un modello senza accesso, consulta l'articolo LLM senza accesso e, per la configurazione del client in un'interfaccia chat, leggi la sezione sugli endpoint Open WebUI.
