Użyj Dolphin LLM w Continue dla VS Code i JetBrains

Dodaj model do pliku config.yaml

Otwórz ustawienia Continue (koło zębate w panelu Continue) i wybierz opcję otwarcia pliku konfiguracyjnego lub edytuj ~/.continue/config.yaml bezpośrednio. Dodaj model:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Zapisz plik. Continue przeładowuje go, a Dolphin LLM pojawia się w menu modeli panelu czatu. Utwórz klucz w swoim koncie; jeśli jeszcze go nie masz, zarejestruj się i $0.50 kredytu próbnego jest dodawane przy pierwszym otwarciu konta.

Nie umieszczaj klucza w pliku

Jeśli udostępniasz lub synchronizujesz swoją konfigurację, nie wklejaj klucza do niej. Nowe wersje Continue odczytują sekrety z ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

i blok modelu, a następnie używa apiKey: ${{ secrets.DOLPHIN_API_KEY }}, który zwraca ten sam pojedynczy model. Jeśli Twoja wersja nie rozwiązuje tego problemu, zgłasza brakujący klucz; wklej klucz bezpośrednio i zachowaj plik prywatny.

Jakie role mu przyznać

• chat: pytania dotyczące kodu, wyjaśnienia, plany refaktoryzacji. Okno 262,144 tokenów mieści około 490 stron kodu i tekstu, więc kilka plików mieści się w jednym pytaniu.
• edit and apply: przepisywanie zaznaczonego fragmentu lub zastosowanie sugerowanej zmiany do pliku.
• autocomplete: niezalecane. Uzupełnianie zakładek wysyła żądanie przy niemal każdej pauzie w pisaniu, co zwiększa koszty i opóźnienia spowodowane opóźnieniami sieciowymi. Lepsze jest małe model lokalny.
• embed: niedostępne. To API nie ma endpointu do embeddingów, więc indeksowanie bazy kodu wymaga oddzielnego dostawcy embeddingów lub lokalnego rozwiązania.

Wskazówki do pracy programistycznej

• Użyj niskiej temperatury (0.2 do 0.4) dla kodu, wyższej tylko do burzy mózgów.
• Dołączaj tylko potrzebne pliki. Każda dołączona linia to tokeny wejściowe w każdym żądaniu w tej rozmowie.
• Rozpocznij nową rozmowę po przełączeniu zadań, aby stara historia nie była wysyłana ponownie.
• Continue przesyła odpowiedzi strumieniowo; interfejs API obsługuje strumieniowanie z podsumowaniem zużycia tokenów na końcu.

Koszt

Typowe żądanie z 8 000 tokenami kodu i pytania oraz odpowiedzią 1 000 tokenów kosztuje 8 000 × $0.15 / 1 000 000 + 1 000 × $0.50 / 1 000 000 = $0.0017. Dzień z 100 takimi żądaniami to $0.17, czyli około $5 miesięcznie. Klucz próbny wystarcza na około 290 takich żądań. Zobacz strona z cenami.

Rozwiązywanie problemów

• 404 nie znaleziono. apiBase musi kończyć się na /v1; Kontynuuj dodaje /chat/completions itself.
• 401 nieprawidłowy klucz. Sprawdź klucz lub nazwę sekretu; po zmianie zrestartuj edytor .env.
• 429 concurrency na kluczu próbny. Okres próbny pozwala na 2 równoległe żądania. Wyłącz inne funkcje Continue, które wywołują ten sam model, lub doładuj konto, aby uzyskać możliwość 8 równoległych żądań.