Используйте Dolphin LLM в Continue для VS Code и JetBrains
Обновлено

Continue — это помощник для программирования с открытым исходным кодом для VS Code и JetBrains. Он принимает любую модель, совместимую с OpenAI, поэтому вы можете использовать Dolphin LLM для общения, редактирования и объяснений в вашем редакторе.
Ключевые моменты
- Добавьте модель с провайдером
openai, модельuncensoredandapiBaseустановите на базовый URL ниже. - Назначьте роли для чата, редактирования и применения; оставьте автодополнение на небольшой локальной модели.
- Установите
contextLengthдо 262144, поэтому Continue корректно обрезает длинные промпты. - Эндпоинта для эмбеддингов нет, поэтому для индексации кодовой базы используйте другого провайдера.
Добавьте модель в config.yaml
Открыть настройки Continue (шестеренка в панели Continue) и выберите открытие файла конфигурации или редактирование ~/.continue/config.yaml напрямую. Добавьте модель:
name: My config
version: 0.0.1
schema: v1
models:
- name: Dolphin LLM
provider: openai
model: uncensored
apiBase: https://dolphinllm.com/v1
apiKey: YOUR_KEY
roles:
- chat
- edit
- apply
defaultCompletionOptions:
contextLength: 262144
maxTokens: 2048
temperature: 0.3
Сохраните файл. Continue перезагружается, и Dolphin LLM появляется в меню моделей панели чата. Создайте ключ в своем аккаунте; если у вас его еще нет, зарегистрироваться и при первом открытии аккаунта добавляется пробный баланс в размере $0.50.

Держите ключ вне файла
Если вы делитесь или синхронизируете свою конфигурацию, не вставляйте ключ в нее. Последние версии Continue читают секреты из ~/.continue/.env:
# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY
и блок модели затем использует apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Если ваша версия не разрешает это, она сообщает об отсутствии ключа; вставьте ключ напрямую и держите файл в секрете.
Какие роли ему назначить
- chat: вопросы по коду, объяснения, планы рефакторинга. Окно на 262 144 токена вмещает около 490 страниц кода и текста, поэтому несколько файлов помещаются в один запрос.
- edit and apply: переписывание выделения или применение предложенного изменения к файлу.
- autocomplete: не рекомендуется. Завершение по вкладкам отправляет запрос почти при каждой паузе в наборе текста, что увеличивает расходы и задержки из-за сетевой задержки. Для этого лучше подходит небольшая локальная модель.
- embed: недоступно. У этого API нет конечной точки для эмбеддингов, поэтому индексация кодовой базы требует отдельного провайдера эмбеддингов или локального.
Советы для задач программирования
- Используйте низкую температуру (0.2–0.4) для кода, повышайте её только для мозгового штурма.
- Прикрепляйте только нужные файлы. Каждая прикреплённая строка — это входные токены при каждом запросе в этом чате.
- Начинайте новый чат при переключении задач, чтобы старая история не отправлялась снова.
- Continue потоково передает ответы; API поддерживает потоковую передачу с указанием использования токенов в конце.
Стоимость
Типичный запрос с 8,000 токенов кода и вопроса и ответом на 1,000 токенов стоит 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017. День с 100 такими запросами — $0.17, примерно $5 в месяц. Пробный период покрывает около 290 таких запросов. См. страница с ценами.
Устранение неполадок
- 404 not_found — не найдено.
apiBaseдолжно заканчиваться на/v1; Продолжение добавляет/chat/completionsitself. - 401 invalid_key — неверный ключ. Проверьте ключ или имя секрета; перезапустите редактор после изменений
.env. - 429 concurrency — ограничение параллельных запросов на пробном ключе. Пробный период позволяет выполнять 2 параллельных запроса. Отключите другие функции Continue, использующие ту же модель, или пополните баланс для 8 параллельных запросов.
Вопросы и ответы
Какого провайдера выбрать в Continue?
provider: openai with apiBase установлено на https://dolphinllm.com/v1 и модель uncensored.
Можно ли использовать для автодополнения в табах?
Работает, но это не лучший вариант: автозаполнение отправляет очень много мелких запросов. Используйте небольшую локальную модель для автозаполнения, а Dolphin LLM — для чата и редактирования.
Поддерживается ли индексация кодовой базы?
Сама по себе нет. У API нет эндпоинта для эмбеддингов, поэтому настройте отдельную модель для эмбеддингов.
Другие руководства
Используйте Dolphin LLM в рабочих процессах n8nИспользуйте API Dolphin LLM в n8n: учетные данные OpenAI с пользовательским базовым URL, узел Chat Model OpenAI в AI Agent и LLM chains, альтернатива через HTTP Request, повторные попытки и ограничения частоты запросов.
API Dolphin LLM: локально, арендованный GPU или хостингТри способа получить API для модели Dolphin без цензуры: запустить локально, запустить на арендованном GPU или вызвать хостинг-сервис, совместимый с OpenAI. Сравнение усилий и затрат.
Бесплатный API для LLM для разработчиков: Пробный период vs Оплата по факту использованияЧто дает бесплатный уровень API LLM и где он заканчивается. Пробный период без привязки карты за $0.50, затем центы за вызов: что это покупает, как продлить срок использования и что проверить перед подключением.