LibreChat에 Dolphin LLM을 사용자 정의 엔드포인트로 추가

업데이트됨

LibreChat은 librechat.yaml의 커스텀 엔드포인트를 통해 OpenAI 호환 제공업체를 추가합니다. 구성 블록 하나만으로 LibreChat 설치의 모든 사용자가 모델에 접근할 수 있습니다.

핵심 포인트

  • 아래에 블록 추가 endpoints.custom in librechat.yaml baseURL, apiKey 및 모델과 함께 uncensored.
  • 키를 .env에 보관하고 ${DOLPHIN_API_KEY}.
  • 설정 apiKey to user_provided 각 사용자가 자체 키를 가져와야 하는지 여부.
  • 마운트 librechat.yaml 컨테이너에 넣고 LibreChat을 다시 시작합니다.

엔드포인트 블록

열기 librechat.yaml LibreChat 폴더에서 (복사 librechat.example.yaml 아직 없는 경우) 및 다음 아래에 추가합니다 endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

사용 version LibreChat 릴리스가 기대하는 값 (상단에 있음) librechat.example.yaml). fetch: false 목록을 하나의 모델로 유지합니다; fetch: true LibreChat 질문 GET /v1/models동일한 단일 모델을 반환합니다.

키를 .env에 입력하세요

# .env
DOLPHIN_API_KEY=YOUR_KEY

계정에서 키를 생성합니다 (가입 먼저 없다면(계정을 처음 열 때 0.50달러의 체험 크레딧이 추가됩니다). 절대 커밋하지 마세요 .env git으로.

설치된 환경의 모든 사용자가 자신의 잔액에서 결제하도록 하려면 apiKey: "user_provided" 대신합니다. LibreChat은 사용자가 Dolphin LLM을 처음 선택할 때 각 사용자에게 키를 요청하고 이를 저장합니다.

활성 API 키 접두사, OpenAI 호환 기본 URL, 그리고 바로 사용할 수 있는 cURL 명령어가 포함된 계정 페이지
계정 → API 및 잔액: 키와 기본 URL, 복사 가능한 cURL 예제 제공.

Docker: 파일을 마운트하고 재시작

표준 Docker 설정을 사용하면 LibreChat은 다음을 읽습니다 librechat.yaml API 컨테이너에 마운트된 경우에만 가능합니다. docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
docker compose down
docker compose up -d

LibreChat을 열고, 다음을 선택하세요. Dolphin LLM 엔드포인트 메뉴에서 채팅을 시작합니다. 엔드포인트가 표시되지 않으면 API 컨테이너 로그에 그 이유(보통 YAML 들여쓰기 오류)가 표시됩니다.

알아두면 유용한 옵션

  • titleConvo 새로운 대화마다 이름 지정을 위해 하나의 짧은 추가 요청을 보냅니다. 시험용 키(동시 요청 2개, 분당 60개)의 경우 이를 false 지연이 발생하는 경우.
  • 컨텍스트: 모델은 프롬프트와 응답을 합쳐 최대 262,144개의 토큰을 처리할 수 있습니다. LibreChat은 각 메시지마다 대화 기록을 함께 전송하므로 긴 스레드는 턴당 비용이 더 많이 듭니다. 창을 가득 채우는 한 턴의 입력 비용은 약 $0.0393입니다.
  • 매개변수: LibreChat의 매개변수 패널에서 온도, top_p, 최대 토큰, 중지 및 패널티가 전달됩니다. API는 텍스트 전용이므로 시력이나 임베딩이 필요한 파일 업로는 이 엔드포인트로 작동하지 않습니다.
  • 프리셋 및 에이전트: 시스템 프롬프트를 프리셋으로 저장할 수 있습니다. API는 도구 호출을 지원합니다 (tools, tool_choiceLibreChat 에이전트가 이를 사용할 수 있습니다. 신뢰하기 전에 하나의 도구로 테스트하세요.

공유 설치, 단일 잔액

키 하나만 입력하면 .env모든 LibreChat 사용자가 동일한 잔액에서 사용합니다. 설치가 공개적인 경우 공개 등록을 끄고 계정 또는 X-Balance-USD 응답 헤더. 제한은 키별로 적용됩니다: 첫 번째 충전 후 8개의 병렬 요청과 모든 사용자가 공유하는 분당 300개.

이 모델은 합법적인 성인용 콘텐츠에 대해 콘텐츠 거부 없이 답변하도록 튜닝되었으므로, 사전 설정된 시스템 프롬프트와 같은 방식으로 규칙을 설정할 수 있습니다. API에서는 미성년자가 포함된 성적인 콘텐츠는 절대 허용되지 않습니다.

비용

입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50의 가격으로, 3,000토큰의 이력과 600토큰의 응답을 가진 한 턴은 $0.00075가 발생합니다. 하루에 500개의 메시지를 보내는 소규모 팀은 월 약 $11을 지출합니다. 자세한 내용은 가격 책정 페이지 팩 및 보너스를 위해.

질문과 답변

LibreChat에서 Dolphin LLM 엔드포인트는 어디에 설정하나요?

미만 endpoints.custom in librechat.yaml, 와 baseURL https://dolphinllm.com/v1, 키와 모델 uncensored.

각 LibreChat 사용자가 자신의 키를 사용할 수 있나요?

예. 설정 apiKey to user_provided 로 설정하고 LibreChat은 각 사용자에게 키를 요청합니다.

파일을 편집한 후 엔드포인트가 표시되지 않는 이유는 무엇인가요?

파일을 API 컨테이너에 마운트하고 LibreChat을 다시 시작해야 합니다. YAML 오류를 위해 컨테이너 로그를 확인하세요.

더 많은 가이드

키를 얻으려면 양식 하나면 충분합니다

계정을 생성하고 키를 복사한 후, 베이스 URL을 변경하세요. 설정은 이것으로 끝입니다.