Dolphin LLM API: 로컬, 렌탈 GPU 또는 호스팅 호스팅

사람들이 Dolphin 모델을 말할 때의 의미

Dolphin은 오픈 웨이트 베이스 모델의 커뮤니티 파인튜닝 계열의 이름입니다. 튜닝 데이터는 모델이 강요나 거부 없이 지시를 따르도록 필터링됩니다. 베이스 모델은 릴리스마다 다르므로, 단일 엔드포인트를 가진 단일 Dolphin 벤더는 없습니다. 누군가가 dolphin llm api를 요청할 때, 그들은 일반적으로 해당 스타일의 무검열 모델을 제공하는 모든 API를 의미합니다.

이는 계획 수립 방식에 중요합니다. 당신은 브랜드를 선택하는 것이 아니라, 가중치가 실행되는 위치와 운영 주체를 선택하는 것입니다. 모델 품질은 베이스 모델과 튜닝에 따라 달라지며, 운영 측면은 아래에서 선택한 경로에 따라 달라집니다.

범위에 대한 참고: 이 모델들은 합법적인 성인 사용을 위해 튜닝되었습니다. 이 곳의 어떤 제공자도, 그리고 어디의 합리적인 제공자도 미성년자가 등장하는 성적인 콘텐츠는 제공하지 않습니다. 이를 자체 애플리케이션의 고정된 경계로 간주하세요.

경로 1: 자체 머신에서 실행

토큰당 가장 저렴한 경로는 이미 하드웨어를 소유한 모델을 사용하는 것입니다. Ollama 및 llama.cpp와 같은 도구는 양자화된 가중치를 다운로드하고 로컬 서버를 노출합니다. 둘 다 로컬 호스트에서 OpenAI 스타일의 엔드포인트를 제공할 수 있으므로, 클라이언트 코드는 호스팅 서비스와 동일하게 보입니다.

문제는 메모리입니다. 양자화된 모델은 RAM 또는 VRAM에 파일 크기와 거의 같은 용량이 필요하며 컨텍스트 캐시를 위한 여유 공간도 필요합니다. 작은 모델은 노트북에 맞지만 더 큰 모델은 메모리가 많은 GPU가 필요하며 긴 프롬프트는 캐시를 크게 만듭니다. 모델이 VRAM에 맞지 않으면 시스템 RAM으로 넘침이 발생하고 속도가 급격히 떨어집니다.

로컬은 오프라인 작업 시, 데이터가 머신을 떠나서는 안 될 때, 또는 다양한 파인튜닝을 실험하고 싶을 때 적합합니다. 하지만 노트북이 서버가 되기 때문에 사용자 기반 제품에는 적합하지 않습니다. 로컬 측면에 대한 전체 가이드는 Dolphin 스타일 모델을 실행하는 방법을 참조하세요.

경로 2: GPU를 렌탈하고 직접 실행

시간 단위 GPU 렌탈은 하드웨어 구매 없이 더 큰 모델을 제공합니다. vLLM 또는 llama.cpp 서버와 같은 서빙 스택을 설치하고, 가중치를 로드한 후 포트를 노출합니다. 그러면 주변 모든 것을 소유하게 됩니다.

• 드라이버, 서빙 소프트웨어 및 TLS 설정.
• 타인이 GPU를 사용하지 못하도록 인증 추가.
• 크래시 후 재시작 및 메모리 모니터링.
• 요청이 있든 없든, 박스가 켜져 있는 시간 동안 지불.

마지막 점이 실제 비용 원인입니다. 밤새 대기 중인 GPU도 요금이 청구됩니다. 이 경로는 꾸준한 높은 트래픽과 운영할 사람이 있을 때 이익이 됩니다. 버스트 사용이 있는 사이드 프로젝트의 경우 주로 대기 시간 비용이 발생합니다. 변경되므로 제공업체의 가격 페이지에서 현재 시간당 요금을 확인하세요.

경로 3: 호스팅된 OpenAI 호환 엔드포인트 호출

호스팅 엔드포인트는 운영 작업을 제거합니다. HTTPS 요청을 보내고 사용한 토큰에 대해 지불합니다. 이 사이트는 독립적인 제공업체가 운영하고 합법적인 성인 사용을 위해 콘텐츠 거부 없이 답변하도록 튜닝된 단일 오픈 웨이트 모델용 호스팅 OpenAI 호환 텍스트 API를 제공합니다. 명확히 하자면: 이는 어떤 모델 벤더의 공식 API가 아니며, 여러 모델에 대한 라우터도 아닙니다. 모델 ID는 uncensored입니다.

API가 OpenAI 호환이므로, 베이스 URL과 키 두 가지 설정만 변경하면 모든 OpenAI SDK가 작동합니다. 다음은 최소 Python 호출입니다:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a direct, helpful assistant."},
        {"role": "user", "content": "Explain how a context window works."},
    ],
)
print(resp.choices[0].message.content)

curl에서의 동일한 요청:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

스트리밍(stream: true), 도구 호출, JSON 모드 및 일반적인 샘플링 매개변수는 OpenAI API와 동일하게 작동합니다. 컨텍스트 창은 프롬프트와 완성을 합쳐 100,000 토큰입니다. API 문서에는 지원되는 모든 엔드포인트와 매개변수가 나열되어 있습니다.

나란히 비교

대부분의 경우를 결정하는 행은 모델 선택입니다. 특정 Dolphin 파인튜닝이 필요한 경우, 첫 두 경로만 해당됩니다. 안정적인 API 뒤에 있는 강력한 무검열 모델이 필요하고 정확한 파인튜닝이 무엇인지 신경 쓰지 않는다면, 호스팅 경로가 운영 작업을 절약해 줍니다.

호스팅 호출 비용

가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며 선불 크레딧에서 지불됩니다. 구독은 없으며 실패하거나 거부된 요청에는 요금이 부과되지 않고 크레딧은 만료되지 않습니다. 입력 토큰 2,000개와 출력 토큰 500개로 구성된 일반적인 채팅 턴의 비용은 다음과 같습니다:

• 입력: 2,000 x $0.15 / 1,000,000 = $0.0003
• 출력: 500 x $0.50 / 1,000,000 = $0.00025
• 총: 요청당 $0.00055 또는 1,000개 요청당 $0.55

충전은 $20에서 $500 사이의 정수 금액으로 가능하며, $50 이상은 +5%, $100 이상은 +10%, $200 이상은 +15% 추가 금액이 제공됩니다. 암호화폐(TRC20 기반 USDT, Base 기반 USDC)로 결제할 수 있습니다. 가격 책정 페이지에서 현재 세부 정보를 확인하세요.

렌탈한 GPU와 비교하려면 시간당 요금을 시간당 처리할 수 있는 요청 수로 나눕니다. 낮은 또는 버스트 트래픽의 경우 대기 시간 비용을 지불하지 않으므로 토큰당 모델이 일반적으로 이깁니다.

결제 전에 먼저 사용해 보세요

새로운 사용자는 로그인 후 키 페이지에서 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 청구할 수 있습니다. 이는 사람당 하나이며 7일 동안 유효하고 카드가 필요하지 않습니다. 로그인은 Google 또는 이메일과 비밀번호로 가능합니다. 위의 가격으로 $0.50은 예시에서 언급한 2,000 입력/500 출력 요청 900개를 커버할 수 있어 모델의 어조가 사용 목적에 적합한지 테스트하기에 충분합니다. 체험 키는 동시 요청 2개와 분당 60개의 요청으로 제한됩니다.

API 키 페이지에서 키를 받으세요. 전체 로그인 없이 모델을 원한다면 로그인 없는 LLM 기사를 참조하고 채팅 프론트엔드에서 클라이언트 설정에 대해서는 Open WebUI 엔드포인트에 대해 읽어보세요.

더 많은 가이드

• Dolphin LLM 실행 방법: 로컬 설정 vs 호스팅 API
• 개발자를 위한 무료 LLM API: 체험 vs 사용량 기반 과금