Verbind SillyTavern met een ongecensureerd API

Wat je nodig hebt

• SillyTavern geïnstalleerd en draaiend (een recente versie; de menu's hieronder komen overeen met de huidige lay-out).
• Een API-sleutel van je account. Registreren met een e-mail en een wachtwoord; $0.50 aan proefkrediet wordt toegevoegd wanneer je het account voor het eerst opent.
• De basis-URL https://dolphinllm.com/v1 en de model-ID uncensored.

Verbind in vier stappen

1. Open de API Connections paneel (het stekkerpictogram in de bovenbalk).
2. Instellen API to Chat Completion, dan Chat Completion Source to Custom (OpenAI-compatible).
3. Plakken https://dolphinllm.com/v1 into Custom Endpoint (Base URL) en uw sleutel in Custom API Key.
4. Klik Connect. Kies uncensored from Available Models, of typ het in Enter a Model ID. De status wordt groen wanneer het eerste testbericht wordt verstuurd.

Kies niet voor Tekstaanvulling. Deze API levert alleen het chatformaat (/v1/chat/completions); de eigen chat-sjabloon van het model wordt op de server toegepast, dus je hebt geen instruct-sjabloon nodig in SillyTavern voor deze verbinding.

Instellingen die er toe doen voor rollenspel

Open AI Response Configuration (het schuifregelaar-icoon).

• Context Size (tokens): tot 262.144. Elk bericht verzendt de karakterkaart, het persona, wereldinfo en zoveel gespreksgeschiedenis als past, en alles wordt als input gefactureerd. 16.000 tot 32.000 is een goede balans tussen geheugen en kosten voor de meeste chats; een volledige context van 262.144 tokens kost ongeveer $0.0393 per bericht aan input. Verhoog dit voor lange campagnes waarbij het model vroege gebeurtenissen moet onthouden.
• Max Response Length (tokens): 300 tot 800 voor chatantwoorden. Output is de dure kant bij $0,50 per 1M tokens.
• Streaming: aan. Tekst verschijnt terwijl deze wordt geschreven, en je kunt een antwoord dat je niet leuk vindt stoppen voordat het af is.
• Temperature: 0,7 tot 1,0 voor creatief schrijven. Top P, frequentie- en aanwezigheidsstrafwaarden en stopstrings worden doorgegeven aan het model.

Het model is afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik, dus je hebt zelden jailbreak-prompts nodig. Een korte systeemprompt die de stijl en het perspectief vastlegt, werkt beter. De enige vaste regel op deze API: geen seksuele inhoud met minderjarigen, wat de karakterkaart ook zegt.

Extensies en de proefversleutel

Sommige SillyTavern-extensies sturen hun eigen verzoeken via dezelfde verbinding, bijvoorbeeld samenvattingen van chats of automatische karakterexpressies wanneer deze zijn ingesteld om de hoofd-API te gebruiken. Met een proefsleutel, die 2 gelijktijdige verzoeken en 60 per minuut toestaat, kunnen deze extra aanroepen botsen met je bericht en HTTP 429 retourneren met de code concurrency. Zet ze uit tijdens het testen, of wijs ze naar een lokaal model. Na de eerste oplading staat de sleutel toe dat 8 gelijktijdige verzoeken en 300 per minuut worden verwerkt.

Groepsgesprekken sturen één request per karakterbeurt, dus ze gebruiken credit sneller dan één-op-één gesprekken.

Wat een sessie kost

Prijzen zijn $0,15 per 1M inputtokens en $0,50 per 1M outputtokens. Een bericht met 6.000 tokens aan kaart en geschiedenis en een antwoord van 400 tokens kost:

• Input: 6.000 × $0,15 / 1.000.000 = $0,0009
• Uitvoer: 400 × $0,50 / 1.000.000 = $0,0002
• Totaal: $0.0011 per bericht, ongeveer $1.10 per 1.000 berichten

As the chat grows toward a 32,000-token context, a message costs about $0.005. The $0.50 trial covers roughly 450 messages at the smaller size. Top-ups start at $50; see the prijzenpagina.

Probleemoplossing

• Geen modellen in de lijst. Controleer of de URL eindigt op /v1 zonder een trailing slash, typ dan uncensored handmatig in het model-ID-veld.
• 401 ongeldige sleutel. De sleutel is gekopieerd met een spatie of is ingetrokken. Maak een nieuwe aan in je account.
• 402 geen tegoed. Het saldo is leeg of de proefperiode is verlopen. Laad op in je account.
• 400 bad_request over context. Prompt plus maximale antwoordlengte is boven de 262.144 tokens. Verlaag de contextgrootte.
• 503 upstream bezet. De gedeelde servers zijn tijdelijk vol. Veeg of genereer opnieuw na een paar seconden; je wordt niet aangerekend voor de fout.