SillyTavern mit einer unzensierten API verbinden

Was Sie benötigen

• SillyTavern installiert und läuft (eine aktuelle Version; die Menüs unten entsprechen dem aktuellen Layout).
• Ein API-Schlüssel aus deinem Konto. Registrieren mit einer E-Mail und einem Passwort; $0.50 Testguthaben werden hinzugefügt, wenn Sie das Konto zum ersten Mal öffnen.
• Die Base URL https://dolphinllm.com/v1 und die Modell-ID uncensored.

In vier Schritten verbinden

1. Öffne den API Connections Panel (das Steckdosensymbol in der oberen Leiste).
2. Einstellen API to Chat Completion, dann Chat Completion Source to Custom (OpenAI-compatible).
3. Einfügen https://dolphinllm.com/v1 into Custom Endpoint (Base URL) und Ihren Schlüssel in Custom API Key.
4. Klicken Connect. Wählen Sie uncensored from Available Models, oder geben Sie es ein in Enter a Model ID. Der Status wird grün, wenn die erste Testnachricht durchgeht.

Wähle nicht Text Completion. Diese API bietet ausschließlich das Chat-Format an (/v1/chat/completions); die eigene Chat-Vorlage des Modells wird auf dem Server angewendet, daher benötigen Sie für diese Verbindung keine Instruct-Vorlage in SillyTavern.

Einstellungen, die für Roleplay wichtig sind

Offen AI Response Configuration (das Slider-Symbol).

• Context Size (tokens): bis zu 262.144. Jede Nachricht sendet die Charakterkarte, die Persona, die Weltinformationen und so viel Chat-Historie wie passt, und alles wird als Eingabe abgerechnet. 16.000 bis 32.000 ist für die meisten Chats eine gute Balance zwischen Speicher und Kosten; ein voller Kontext von 262.144 Token kostet etwa 0,0393 $ pro Nachricht in der Eingabe. Erhöhen Sie diesen Wert für lange Kampagnen, bei denen das Modell frühe Ereignisse merken muss.
• Max Response Length (tokens): 300 bis 800 für Chat-Antworten. Die Ausgabe ist die teurere Seite mit $0,50 pro 1M Tokens.
• Streaming: an. Text erscheint, während er geschrieben wird, und Sie können eine Antwort, die Ihnen nicht gefällt, vor Abschluss abbrechen.
• Temperature: 0,7 bis 1,0 für kreatives Schreiben. Top P, Häufigkeits- und Präsenzstrafen sowie Stoppzeichen werden an das Modell weitergegeben.

Das Modell ist darauf abgestimmt, ohne Inhaltsablehnungen für legale Erwachsenennutzung zu antworten, sodass Sie selten Jailbreak-Prompts benötigen. Ein kurzer System-Prompt, der Stil und Perspektive festlegt, funktioniert besser. Die einzige feste Regel auf dieser API: Keine sexuellen Inhalte, die Minderjährige betreffen, unabhängig davon, was die Character Card besagt.

Erweiterungen und der Test-Key

Einige SillyTavern-Erweiterungen senden über dieselbe Verbindung eigene Anfragen, z. B. Chat-Zusammenfassungen oder automatische Charakterausdrücke, wenn sie auf die Haupt-API eingestellt sind. Bei einem Test-Key, der 2 parallele Anfragen und 60 pro Minute erlaubt, können diese zusätzlichen Aufrufe mit Ihrer Nachricht kollidieren und HTTP 429 mit dem Code zurückgeben concurrency. Schalten Sie sie während des Tests aus oder verweisen Sie sie auf ein lokales Modell. Nach der ersten Aufladung erlaubt der Schlüssel 8 parallele Anfragen und 300 pro Minute.

Gruppenchats senden eine Anfrage pro Zeichen-Runde, daher verbrauchen sie Guthaben schneller als Eins-zu-Eins-Chats.

Was eine Sitzung kostet

Der Preis beträgt $0.15 pro 1M Eingabe-Token und $0.50 pro 1M Ausgabe-Token. Eine Nachricht mit 6.000 Token an Karte und Verlauf und einer Antwort mit 400 Token kostet:

• Eingabe: 6.000 × $0,15 / 1.000.000 = $0,0009
• Output: 400 × $0.50 / 1.000.000 = $0,0002
• Gesamt: $0.0011 pro Nachricht, etwa $1.10 pro 1.000 Nachrichten

As the chat grows toward a 32,000-token context, a message costs about $0.005. The $0.50 trial covers roughly 450 messages at the smaller size. Top-ups start at $50; see the Preisseite.

Fehlerbehebung

• Keine Modelle in der Liste. Stellen Sie sicher, dass die URL mit /v1 ohne abschließenden Slash, dann geben Sie uncensored von Hand in das Modell-ID-Feld eingeben.
• 401 ungültiger Schlüssel. Der Key wurde mit einem Leerzeichen kopiert oder wurde widerrufen. Erstellen Sie einen neuen Key in Ihrem Konto.
• 402 kein Guthaben. Das Guthaben ist leer oder das Testguthaben ist abgelaufen. Laden Sie es in Ihrem Konto auf.
• 400 bad_request wegen des Kontexts. Prompt plus Max Response Length liegt über 262.144 Tokens. Reduzieren Sie die Kontextgröße.
• 503 Upstream ausgelastet. Die Shared-Server sind kurzzeitig voll. Wischen oder generieren Sie nach einigen Sekunden neu; Sie werden für den Fehler nicht belastet.