Використовуйте Dolphin LLM у Continue для VS Code та JetBrains

Оновлено

Continue — це інструмент для програмування з відкритим кодом для VS Code та JetBrains. Він підтримує будь-яку модель, сумісну з OpenAI, тому ви можете використовувати Dolphin LLM для чату, редагування та пояснення коду в вашому редакторі.

Ключові моменти

  • Додайте модель з постачальником openai, модель uncensored and apiBase встановіть на базовий URL нижче.
  • Надайте йому ролі чату, редагування та застосування; залиште автодоповнення на невеликій локальній моделі.
  • Встановіть contextLength до 262144 токенів. Dolphin LLM коректно обрізає довгі запити.
  • Ендпоінту для ембедінгів немає, тому використовуйте іншого постачальника для індексації кодової бази.

Додайте модель до config.yaml

Відкрийте налаштування Continue (шестерню в панелі Continue) і виберіть відкрити файл конфігурації або редагуйте ~/.continue/config.yaml безпосередньо. Додайте модель:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Збережіть файл. Continue перезавантажує його, і Dolphin LLM з’являється в меню моделей панелі чату. Створіть свій ключ у акаунті; якщо його ще немає, зареєструватися та нараховується пробний кредит у розмірі $0.50 при першому відкритті акаунту.

Сторінка акаунта з префіксом активного API-ключа, OpenAI-сумісним базовим URL та готовою командою curl
Акаунт → API та баланс: ваш ключ та базовий URL, з прикладом curl для копіювання.

Тримайте ключ поза файлом

Якщо ви ділитеся або синхронізуєте конфігурацію, не вставляйте ключ до неї. Останні версії Continue читають секрети з ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

та блок моделі потім використовує apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Якщо ваша версія не вирішує це, вона повідомляє про відсутність ключа; вставте ключ безпосередньо та зберігайте файл приватним.

Які ролі йому надати

  • chat: питання щодо коду, пояснення, плани рефакторингу. Вікно на 262 144 токенів вміщує приблизно 490 сторінок коду та тексту, тому кілька файлів поміщаються в одному запиті.
  • edit and apply: переписування виділеного фрагмента або застосування запропонованої зміни до файлу.
  • autocomplete: не рекомендується. Завершення вкладки надсилає запит майже на кожну паузу під час набору, що збільшує витрати та затримується через затримку мережі. Для цього краще підходить невелика локальна модель.
  • embed: недоступно. Цей API не має кінцевої точки для вбудовування (embeddings), тому індексація кодової бази потребує окремого постачальника вбудовувань або локального.

Поради для кодування

  • Використовуйте низьку температуру (0.2–0.4) для коду, підвищуйте її лише для мозкового штурму.
  • Прикріплюйте лише необхідні файли. Кожна прикріплений рядок є вхідними токенами в кожному запиті в цьому чаті.
  • Починайте новий чат при перемиканні задач, щоб історія не надсилалася знову.
  • Continue передає відповіді потоком; API підтримує потокову передачу з використанням токенів у кінці.

Вартість

Типовий запит із 8,000 токенів коду та питання та відповіддю на 1,000 токенів коштує 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017. День із 100 такими запитами — $0.17, близько $5 на місяць. Тестовий баланс покриває близько 290 таких запитів. Дивіться сторінка з цінами.

Усунення неполадок

  • 404 не знайдено. apiBase має закінчуватися на /v1; Продовжити додає /chat/completions itself.
  • 401 недійсний ключ. Перевірте ключ або назву секриту; перезапустіть редактор після зміни .env.
  • 429 перевищення одночасності на пробному ключі. Пробний період дозволяє 2 паралельні запити. Вимкніть інші функції Continue, які викликають ту саму модель, або поповніть баланс для 8 паралельних запитів.

Питання та відповіді

Якого провайдера вибрати в Continue?

provider: openai with apiBase встановити на https://dolphinllm.com/v1 і модель uncensored.

Чи можу я використовувати його для автодоповнення в таблицях?

Це працює, але це не найкращий варіант: автодоповнення надсилає дуже багато дрібних запитів. Використовуйте невелику локальну модель для автодоповнення та Dolphin LLM для чату та редагування.

Чи підтримується індексація кодової бази?

Сам по собі ні. API не має ендпоінту для ембедінгів, тому налаштуйте окрему модель для ембедінгів.

Більше посібників

Ваш ключ — всього одна форма

Створіть обліковий запис, скопіюйте ключ, змініть базовий URL. Ось і вся налаштування.