Dodaj Dolphin LLM do LibreChat jako niestandardowy punkt końcowy

Blok endpointu

Otwórz librechat.yaml w folderze LibreChat (skopiuj librechat.example.yaml jeśli jeszcze go nie masz) i dodaj to pod endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

Użyj version wartość, której oczekuje Twoje wydanie LibreChat (znajduje się na górze librechat.example.yaml). fetch: false utrzymuje listę tylko do jednego modelu; z fetch: true LibreChat pyta GET /v1/models, co zwraca ten sam pojedynczy model.

Umieść klucz w .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

Utwórz klucz w swoim koncie (zarejestruj się jeśli jeszcze ich nie masz; $0.50 kredytu próbowego jest dodawane przy pierwszym otwarciu konta). Nigdy nie commituj .env do git.

Jeśli każdy użytkownik Twojej instalacji powinien płacić z własnego salda, ustaw apiKey: "user_provided" zamiast tego. LibreChat następnie pyta każdego użytkownika o klucz za pierwszym razem, gdy wybierze Dolphin LLM, i przechowuje go dla niego.

Docker: zamontuj plik i zrestartuj

Ze standardową konfiguracją Docker, LibreChat odczytuje librechat.yaml tylko jeśli jest zamontowany w kontenerze API. Dodaj plik override obok docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

Otwórz LibreChat, wybierz Dolphin LLM w menu endpointu i rozpocznij czat. Jeśli endpoint nie pojawia się, log kontenera API wskazuje przyczynę, zwykle jest to błąd wcięcia w YAML.

Opcje warte poznania

• titleConvo wykonuje jedno krótkie dodatkowe żądanie dla każdej nowej rozmowy, aby ją nazwać. Dla klucza próbnej wersji (2 równoległe żądania, 60 na minutę) ustaw to na false jeśli zauważysz opóźnienia.
• Kontekst: model akceptuje do 262,144 tokenów, prompt plus odpowiedź. LibreChat wysyła historię rozmowy z każdą wiadomością, więc długie wątki kosztują więcej na turę; tura wypełniająca okno kosztuje około $0.0393 w danych wejściowych.
• Parametry: temperature, top_p, max tokens, stop oraz kary z panelu parametrów LibreChat są przekazywane dalej. API obsługuje tylko tekst, więc przesyłanie plików wymagających widzenia lub osadzania (embeddings) nie będzie działać z tym punktem końcowym.
• Cena to $0.15 za 1M tokenów wejściowych i $0.50 za 1M tokenów wyjściowych, płatne z kredytu prepaid. Kredyt prepaid nigdy nie wygasa, a nieudane lub odrzucone żądania nie są rozliczane. możesz zapisać prompt systemowy jako predefiniowany ustawienie. Wywoływanie narzędzi jest obsługiwane przez API (tools, tool_choice), więc agenty LibreChat mogą go używać; przetestuj jedno narzędzie, zanim się na nim oparzesz.

Wspólna instalacja, jedno saldo

Z jednym kluczem w .env, każdy użytkownik LibreChat pobiera środki z tego samego salda. Wyłącz rejestrację otwartą, jeśli instalacja jest publiczna, i sprawdzaj saldo w swoim koncie lub w X-Balance-USD nagłówek odpowiedzi. Ograniczenia dotyczą każdego klucza: po pierwszym doładowaniu 8 równoległych żądań i 300 na minutę dzielonych przez wszystkich użytkowników.

Model jest dostrojony do odpowiadania bez odmów treści dla prawnego użytku dorosłych, więc zasady firmy są Twoje do ustalenia, na przykład w predefiniowanym promptzie systemowym. Treści seksualne z udziałem małoletnich są zawsze niedozwolone w API.

Koszt

Po cenie $0.15 za 1M tokenów wejściowych i $0.50 za 1M tokenów wyjściowych, jedna tura z historią 3000 tokenów i odpowiedzią 600 tokenów kosztuje $0.00075. Mały zespół wysyłający 500 takich wiadomości dziennie wyda około $11 miesięcznie. Zobacz strona z cenami dla pakietów i bonusów.