Используйте Dolphin LLM в Continue для VS Code и JetBrains

Обновлено

Continue — это помощник для программирования с открытым исходным кодом для VS Code и JetBrains. Он принимает любую модель, совместимую с OpenAI, поэтому вы можете использовать Dolphin LLM для общения, редактирования и объяснений в вашем редакторе.

Ключевые моменты

  • Добавьте модель с провайдером openai, модель uncensored and apiBase установите на базовый URL ниже.
  • Назначьте роли для чата, редактирования и применения; оставьте автодополнение на небольшой локальной модели.
  • Установите contextLength до 262144, поэтому Continue корректно обрезает длинные промпты.
  • Эндпоинта для эмбеддингов нет, поэтому для индексации кодовой базы используйте другого провайдера.

Добавьте модель в config.yaml

Открыть настройки Continue (шестеренка в панели Continue) и выберите открытие файла конфигурации или редактирование ~/.continue/config.yaml напрямую. Добавьте модель:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Сохраните файл. Continue перезагружается, и Dolphin LLM появляется в меню моделей панели чата. Создайте ключ в своем аккаунте; если у вас его еще нет, зарегистрироваться и при первом открытии аккаунта добавляется пробный баланс в размере $0.50.

Страница аккаунта с префиксом активного API-ключа, базовым URL, совместимым с OpenAI, и готовой командой curl
Аккаунт → API и баланс: ваш ключ и базовый URL, с примером команды curl для копирования.

Держите ключ вне файла

Если вы делитесь или синхронизируете свою конфигурацию, не вставляйте ключ в нее. Последние версии Continue читают секреты из ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

и блок модели затем использует apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Если ваша версия не разрешает это, она сообщает об отсутствии ключа; вставьте ключ напрямую и держите файл в секрете.

Какие роли ему назначить

  • chat: вопросы по коду, объяснения, планы рефакторинга. Окно на 262 144 токена вмещает около 490 страниц кода и текста, поэтому несколько файлов помещаются в один запрос.
  • edit and apply: переписывание выделения или применение предложенного изменения к файлу.
  • autocomplete: не рекомендуется. Завершение по вкладкам отправляет запрос почти при каждой паузе в наборе текста, что увеличивает расходы и задержки из-за сетевой задержки. Для этого лучше подходит небольшая локальная модель.
  • embed: недоступно. У этого API нет конечной точки для эмбеддингов, поэтому индексация кодовой базы требует отдельного провайдера эмбеддингов или локального.

Советы для задач программирования

  • Используйте низкую температуру (0.2–0.4) для кода, повышайте её только для мозгового штурма.
  • Прикрепляйте только нужные файлы. Каждая прикреплённая строка — это входные токены при каждом запросе в этом чате.
  • Начинайте новый чат при переключении задач, чтобы старая история не отправлялась снова.
  • Continue потоково передает ответы; API поддерживает потоковую передачу с указанием использования токенов в конце.

Стоимость

Типичный запрос с 8,000 токенов кода и вопроса и ответом на 1,000 токенов стоит 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017. День с 100 такими запросами — $0.17, примерно $5 в месяц. Пробный период покрывает около 290 таких запросов. См. страница с ценами.

Устранение неполадок

  • 404 not_found — не найдено. apiBase должно заканчиваться на /v1; Продолжение добавляет /chat/completions itself.
  • 401 invalid_key — неверный ключ. Проверьте ключ или имя секрета; перезапустите редактор после изменений .env.
  • 429 concurrency — ограничение параллельных запросов на пробном ключе. Пробный период позволяет выполнять 2 параллельных запроса. Отключите другие функции Continue, использующие ту же модель, или пополните баланс для 8 параллельных запросов.

Вопросы и ответы

Какого провайдера выбрать в Continue?

provider: openai with apiBase установлено на https://dolphinllm.com/v1 и модель uncensored.

Можно ли использовать для автодополнения в табах?

Работает, но это не лучший вариант: автозаполнение отправляет очень много мелких запросов. Используйте небольшую локальную модель для автозаполнения, а Dolphin LLM — для чата и редактирования.

Поддерживается ли индексация кодовой базы?

Сама по себе нет. У API нет эндпоинта для эмбеддингов, поэтому настройте отдельную модель для эмбеддингов.

Другие руководства

Ваш ключ — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.