Hoe je Dolphin LLM draait: lokale setup vs. gehoste API

Bepaal eerst: welke hardware heb je?

Geheugen beslist alles. Een taalmodel is een zeer grote verzameling getallen, en de hele verzameling moet in snel geheugen staan tijdens het genereren. Kwantificering verkleint die getallen. Een 4-bit gekwantificeerd model neemt ongeveer een halve byte per parameter in beslag, dus een model met 8 miljard parameters landt rond de 5 GB, en een met 70 miljard landt rond de 40 GB. Beschouw deze als ruwe cijfers, omdat de exacte grootte afhangt van het kwantificeringsformaat.

Naast de gewichten heb je ruimte nodig voor de contextcache. Deze groeit met de lengte van de prompt, dus een lange roleplay-geschiedenis of een groot document kost meer geheugen dan een korte vraag. Houd rekening met een paar extra gigabytes bij een bescheiden contextvenster, meer als je naar lange prompts gaat.

• 8 GB laptop zonder GPU: alleen kleine modellen, trage uitvoer.
• 16 tot 32 GB Apple Silicon Mac: modellen van middelgrote grootte draaien goed omdat CPU en GPU geheugen delen.
• Enkele consumenten-GPU met 12 tot 24 GB VRAM: modellen van middelgrote grootte met goede snelheid.
• Alles wat groter is: meerdere GPU's of een gehuurde server.

Methode 1: Ollama in een paar commando's

Ollama is de kortste weg. Het downloadt een gekwantiseerd model, start een achtergrondserver en geeft je een chatprompt. Installeer het vanaf de officiële site voor je besturingssysteem en controleer welke Dolphin-tags de Ollama-modelbibliotheek momenteel vermeldt, omdat namen en maten veranderen tussen releases.

Copy# replace <tag> with a Dolphin tag from the Ollama library
ollama pull <tag>
ollama run <tag>

Het eerste commando downloadt het bestand, wat even kan duren bij een trage verbinding. Het tweede opent een interactieve chat in de terminal. Ollama biedt ook een HTTP API op je machine, inclusief een OpenAI-stijl route onder /v1, zodat andere programma's het kunnen gebruiken.

Als de generatie erg traag is, past het model waarschijnlijk niet in VRAM en draait een deel op de CPU. Kies een kleinere tag of een kwantificering met minder bits.

Methode 2: llama.cpp voor meer controle

llama.cpp is de C++-engine waarop veel andere tools zijn gebouwd. Je downloadt een GGUF-bestand van het model en start vervolgens de server. Dit kost meer stappen dan Ollama, maar stelt je in staat de contextlengte, het aantal lagen dat naar de GPU gaat, en de gewenste kwantificering in te stellen.

Copy# after building llama.cpp and downloading a GGUF file
llama-server -m ./model.gguf -c 8192 -ngl 99 --port 8080

Hier stelt -c de contextlengte in, -ngl stelt in hoeveel lagen naar de GPU gaan, en --port kiest de poort. Controleer de README van het project voor de vlaggen in jouw versie, omdat deze evolueren. Een grotere -c gebruikt meer geheugen, dus verhoog deze alleen als je het nodig hebt.

Voor grafisch gebruik kunnen frontends zoals Open WebUI met beide servers communiceren. Onze notitie over Open WebUI API endpoints laat zien hoe je een aangepaste endpoint toevoegt.

Je lokale server aanroepen vanuit code

Beide tools kunnen het OpenAI-chatformaat spreken, dus je schrijft de client één keer en wijzigt het doel met twee instellingen. Dit script houdt beide doelen naast elkaar. De lokale gebruikt de poort die Ollama standaard gebruikt; wijzig dit als je llama.cpp op 8080 hebt gestart.

Copyfrom openai import OpenAI

TARGETS = {
    "local": {"base_url": "http://localhost:11434/v1", "key": "not-needed", "model": "your-local-tag"},
    "hosted": {"base_url": "https://api.dolphinllm.com/v1", "key": "YOUR_KEY", "model": "uncensored"},
}

t = TARGETS["hosted"]
client = OpenAI(base_url=t["base_url"], api_key=t["key"])

resp = client.chat.completions.create(
    model=t["model"],
    messages=[{"role": "user", "content": "Summarize what a GGUF file is."}],
)
print(resp.choices[0].message.content)

Lokale servers negeren meestal de sleutel, maar de SDK vereist een niet-lege string. De modelnaam voor een lokale server is de tag of alias die je hebt geladen, terwijl de gehoste model-ID altijd uncensored is.

Methode 3: sla de setup over en gebruik een gehoste endpoint

Als de rekenkracht van de hardware niet goed is, of je wilt hetzelfde gedrag op elke machine, dan is een gehost endpoint eenvoudiger. Deze dienst biedt één open-weight model, uitgevoerd door een onafhankelijke provider en afgestemd op het geven van antwoorden zonder inhoudelijke weigeringen voor wettelijk gebruik door volwassenen. Het is niet de officiële API van een modelleverancier, en het laat je niet toe om andere modellen te kiezen. Wat je krijgt is een stabiele URL, een sleutel en facturatie per token.

De stappen zijn kort. Registreer je met Google of met e-mail en wachtwoord, open de API-sleutelpagina en claim het $0,50 proeftegoed met één klik. Er is geen kaart nodig, het is 7 dagen geldig en is beperkt tot één per persoon. Voer vervolgens het Python-script hierboven uit met het gehoste doel. Als je de voorkeur geeft aan curl:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Het contextvenster is 100.000 tokens, wat meer is dan de meeste laptops comfortabel in cache kunnen houden. Prompts worden niet gebruikt voor training.

Kosten en inspanning vergeleken

Lokaal voelt gratis aan, maar dat is het niet. Je betaalt voor hardware, elektriciteit en je eigen tijd. Gehost kost geld per verzoek, maar de bedragen zijn klein. Bij $0,15 per 1M inputtokens en $0,50 per 1M outputtokens kost een chatbeurt met 3.000 inputtokens en 700 outputtokens:

• Input: 3.000 x $0,15 / 1.000.000 = $0,00045
• Uitvoer: 700 x $0,50 / 1.000.000 = $0,00035
• Totaal: $0,0008 per beurt, dus $0,80 per 1.000 beurten

Zelfs een zware gebruiker die 5.000 van zulke beurten in een maand verstuurt, geeft ongeveer $4 uit. Een GPU die honderden dollars kost, zou jaren gebruik nodig hebben om zijn investering terugverdiend te hebben bij dat volume. De vergelijking keert om als je continu hoog volume hebt, een specifieke fine-tuning nodig hebt, of data niet buiten je machine mag sturen.

Volledige prijsdetails, inclusief de +5%, +10% en +15% opwaardeerbonussen, staan op de prijspagina, en de documentatie behandelt limieten en parameters.

Eén eenvoudige regel voor kiezen

Voer lokaal uit als je wilt experimenteren met veel fine-tunings, offline wilt werken of elke prompt op je eigen schijf wilt houden. Gebruik het gehoste endpoint als je iets bouwt dat andere mensen zullen gebruiken, als je hardware bescheiden is, of als je een lange context van 100.000 tokens wilt zonder geheugenbeheer. Veel ontwikkelaars doen beide: een lokaal model voor privé-tinkeren, en een gehost endpoint voor alles wat online moet blijven. Omdat de clientcode hetzelfde is, kost overschakelen één regel.

Meer handleidingen

• Dolphin LLM API: Lokaal, Gehuurde GPU of Gehost
• Gratis LLM API voor Ontwikkelaars: Proef vs. Betaal per Gebruik