VS Code 및 JetBrains에서 Continue로 Dolphin LLM 사용
업데이트됨
Continue는 VS Code 및 JetBrains용 오픈소스 코딩 어시스턴트입니다. 모든 OpenAI 호환 모델을 지원하므로 Dolphin LLM을 편집기에서 채팅, 수정, 설명에 사용할 수 있습니다.
핵심 포인트
- 공급자와 함께 모델 추가
openai, 모델uncensoredandapiBase아래 기본 URL로 설정합니다. - 채팅, 편집 및 적용 역할을 부여하고 자동 완성은 작은 로컬 모델로 유지하세요.
- 설정
contextLength262144까지 가능하므로 Continue는 긴 프롬프트를 올바르게 잘라냅니다. - 임베딩 엔드포인트가 없으므로 코드베이스 인덱싱에는 다른 제공자를 사용하세요.
config.yaml에 모델 추가
Continue의 설정(Continue 패널의 기어)을 열고 구성 파일을 열거나 편집하세요. ~/.continue/config.yaml 직접 추가합니다: 모델 추가:
name: My config
version: 0.0.1
schema: v1
models:
- name: Dolphin LLM
provider: openai
model: uncensored
apiBase: https://dolphinllm.com/v1
apiKey: YOUR_KEY
roles:
- chat
- edit
- apply
defaultCompletionOptions:
contextLength: 262144
maxTokens: 2048
temperature: 0.3파일을 저장합니다. 계속 새로고침하면, 그리고 Dolphin LLM 채팅 패널의 모델 메뉴에 나타납니다. 계정에서 키를 생성하세요. 아직 계정이 없다면 가입 계정을 처음 생성할 때 $0.50의 체험 크레딧이 제공됩니다.
키는 파일에 넣지 마세요
설정을 공유하거나 동기화할 때 키를 복사해 붙여넣지 마세요. 최신 버전의 Continue는 시크릿을 ~/.continue/.env:
# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY및 모델 블록은 apiKey: ${{ secrets.DOLPHIN_API_KEY }}버전에서 이를 해결하지 못하면 누락된 키를 보고합니다. 키를 직접 붙여넣고 파일을 비공개로 유지하세요.
어떤 역할을 부여해야 하나요?
- chat: 코드 관련 질문, 설명, 리팩토링 계획에 적합합니다. 262,144 토큰의 윈도우는 약 490페이지 분량의 코드와 텍스트를 담을 수 있으므로 여러 파일을 하나의 질문으로 처리할 수 있습니다.
- edit and apply: 선택 항목을 다시 쓰거나 파일에 제안된 변경 사항을 적용합니다.
- autocomplete: 추천하지 않습니다. 탭 자동 완성은 입력 중 거의 모든 일시 정지 시 요청을 발생시켜 비용이 증가하고 네트워크 지연 시간으로 인해 기다려야 합니다. 그런 경우 작은 로컬 모델이 더 좋습니다.
- embed: 사용할 수 없습니다. 이 API에는 임베딩 엔드포인트가 없으므로 코드베이스 인덱싱에는 별도의 임베딩 제공업체 또는 로컬 제공업체가 필요합니다.
코딩 작업을 위한 팁
- 코드 생성에는 낮은 temperature(0.2~0.4)를 사용하고, 브레인스토링 시에만 높게 설정하세요.
- 필요한 파일만 첨부하세요. 첨부된 줄마다 각 요청에서 입력 토큰이 발생합니다.
- 작업을 전환할 때 새 채팅을 시작하여 이전 대화 기록이 다시 전송되지 않도록 합니다.
- Continue는 응답을 스트리밍합니다. API는 스트리밍을 지원하며 토큰 사용량은 마지막에 표시됩니다.
비용
8,000개의 토큰의 코드와 질문, 그리고 1,000개의 토큰의 응답을 포함하는 일반적인 요청의 비용은 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017입니다. 하루에 100번의 이러한 요청을 수행하면 $0.17이며, 월 약 $5의 비용이 듭니다. 시험용 키는 약 290번의 이러한 요청을 커버할 수 있습니다. 자세한 내용은 가격 책정 페이지.
문제 해결
- 404 리소스를 찾을 수 없음.
apiBase다음으로 끝나야 합니다/v1; 계속하기 추가/chat/completionsitself. - 401 유효하지 않은 키. 키 또는 시크릿 이름을 확인하세요. 변경 후 편집기를 다시 시작하세요
.env. - 트라이얼 키에서 429 concurrency. 트라이얼은 2개의 병렬 요청을 허용합니다. 동일한 모델을 호출하는 다른 Continue 기능을 끄거나, 8개의 병렬 요청을 위해 잔액을 충전하세요.
질문과 답변
Continue에서 어떤 제공자를 선택해야 하나요?
provider: openai with apiBase 설정됨 https://dolphinllm.com/v1 및 모델 uncensored.
탭 자동 완성용으로 사용할 수 있나요?
작동하지만 적합하지 않습니다. 자동완성은 매우 많은 작은 요청을 전송합니다. 자동완성에는 작은 로컬 모델을 사용하고, 채팅 및 수정에는 Dolphin LLM을 사용하세요.
코드베이스 인덱싱을 지원하나요?
단독으로는 아닙니다. API에 임베딩 엔드포인트가 없으므로 별도의 임베딩 모델을 구성해야 합니다.
더 많은 가이드
n8n 워크플로우에서 Dolphin LLM 사용n8n에서 Dolphin LLM API 사용: 커스텀 base URL을 가진 OpenAI 자격 증명, AI Agent 및 LLM 체인의 OpenAI Chat Model 노드, HTTP Request 대체 옵션, 재시도 및 속도 제한 설정.
Dolphin LLM API: 로컬, 임대 GPU 또는 호스팅Dolphin 스타일의 무검열 모델용 API를 얻는 세 가지 방법: 로컬에서 실행, 임대된 GPU에서 서비스 제공, 또는 호스팅된 OpenAI 호환 엔드포인트 호출. 노력과 비용 비교.
개발자를 위한 무료 LLM API: 체험 vs 종량제무료 LLM API 티어가 제공하는 것과 한계. 카드 없이 사용할 수 있는 $0.50 체험판 이후, 호출당 센트 단위 비용: 무엇을 얻을 수 있는지, 어떻게 오래 사용할 수 있는지, 그리고 가입 전에 확인해야 할 사항.