API แบบโฮสต์ เทียบกับการเช่า GPU สำหรับโมเดลขนาดกลาง
อัปเดตแล้ว · ราคาตรวจสอบในวันที่นั้น
โมเดลขนาดกลางที่มีน้ำหนักเปิด (open-weight) ในรูปแบบ 4-bit สามารถรันบน GPU ขนาด 48 GB เพียงตัวเดียว ทำให้การโฮสต์ใช้งานเองเป็นไปได้จริงว่าการใช้งานนี้จะคุ้มค่าหรือไม่ขึ้นอยู่กับจำนวนโทเค็นที่คุณใช้ในแต่ละเดือน
จุดสำคัญ
- แบบ 4-bit โมเดลขนาด 30–40B พารามิเตอร์จะใช้พื้นที่ประมาณ 20–25 GB ดังนั้นการ์ดขนาด 48 GB เพียงใบเดียวก็เพียงพอสำหรับ context ขนาด 64,000 tokens
- ค่าเช่า L40S บน RunPod อยู่ที่ $0.79–$1.09 ต่อชั่วโมง: ประมาณ $577–$796 ต่อเดือนแบบต่อเนื่อง
- ที่ราคาของ Dolphin LLM เงิน $577 สามารถซื้อได้ประมาณ 2.6B tokens ต่อเดือน ในการผสมผสาน input/output 80/20 ทั่วไป
- การโฮสต์ด้วยตนเองมีความคุ้มค่าเมื่อมีปริมาณการใช้งานสูงอย่างสม่ำเสมอ ในกรณีอื่น ๆ API แบบโฮสต์มีต้นทุนต่ำกว่าและไม่ต้องดูแลรักษา
ฮาร์ดแวร์ที่โมเดลขนาดนี้ต้องการ
ในโหมด 4-bit น้ำหนักของโมเดลที่มีพารามิเตอร์ขนาด 30–40B จะใช้พื้นที่ประมาณ 20–25 GB บนการ์ดขนาด 48 GB จะเหลือพื้นที่ประมาณ 20 GB สำหรับ KV cache ซึ่งเพียงพอสำหรับบริบทขนาด 64,000 tokens พร้อมการร้องขอแบบขนานไม่กี่รายการ การให้บริการหน้าต่างขนาด 262,144 tokens เต็มรูปแบบด้วยตัวเองต้องการหน่วยความจำ cache มากกว่านี้ หรือรองรับการร้องขอแบบขนานได้น้อยลง บริบทที่ยาวขึ้นหรือผู้ใช้แบบขนานมากขึ้นต้องการหน่วยความจำหรือการ์ดมากขึ้น
ราคาเช่า
| GPU | ที่ไหน | ต่อชั่วโมง | ต่อเดือน, 24/7 |
|---|---|---|---|
| L40S 48 GB | RunPod Community / ปลอดภัย | $0.79 / $1.09 | $577 / $796 |
| L40S 48 GB | Vast.ai (ค่ามัธยฐานของ 4 ข้อเสนอ) | $0.80 | $584 |
| RTX A6000 48 GB | RunPod Community / ปลอดภัย | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 GB | RunPod Secure (PCIe) | $2.89 | $2,110 |
ตัวเลขรายเดือนคำนวณจากราคาต่อชั่วโมง × 730 ชั่วโมง โดยไม่รวมการจัดเก็บข้อมูล การใช้งานเครือข่าย หรือเวลาที่บัตรอยู่ในสถานะรอใช้งาน
จุดคุ้มทุน
การผสมผสานทั่วไประหว่าง input 80% และ output 20% มีค่าใช้จ่าย $0.22 ต่อ 1M tokens บน Dolphin LLM ดังนั้นราคาต่อเดือนของการ์ดที่เช่าได้จะซื้อได้:
| งบประมาณรายเดือน | เทียบเท่าบน Dolphin LLM | ต่อวัน |
|---|---|---|
| $241 (RTX A6000, Community) | ประมาณ 1.1B tokens | ประมาณ 36M |
| $577 (L40S, Community) | ประมาณ 2.6B tokens | ประมาณ 87M |
| $796 (L40S, Secure) | ประมาณ 3.6B tokens | ประมาณ 120M |
หากคุณใช้ token น้อยกว่านี้ API แบบโฮสต์จะมีราคาถูกกว่า หากใช้มากกว่านั้น การ์ดที่เช่าอาจคุ้มค่ากว่า หากการ์ดทำงานหนักตลอดทั้งวัน
ค่าใช้จ่ายที่ไม่อยู่ในรายการราคา
- การตั้งค่าและการอัปเดต: เซิร์ฟเวอร์อนุมาน, ไดรเวอร์, ดาวน์โหลดโมเดล, การตรวจสอบ
- เวลาว่าง: การ์ดที่เช่ามีราคาเท่ากันตอนกลางคืนเมื่อไม่มีใครส่งคำขอ
- ช่วง高峰: การ์ดหนึ่งใบรองรับจำนวนคำขอแบบขนานได้จำกัด; ผู้ใช้มากขึ้นหมายถึงต้องใช้การ์ดมากขึ้น
ควรเลือกอันไหน
- โฮสต์เองหากคุณมีปริมาณการใช้งานสูงและต่อเนื่อง ต้องการควบคุม stack อย่างเต็มรูปแบบ หรือต้องการบริบทที่ยาวกว่า 262,144 tokens
- ใช้ Dolphin LLM หากปริมาณการใช้งานของคุณอยู่ต่ำกว่าจุดคุ้มทุน เปลี่ยนแปลงไปมาในแต่ละวัน หรือคุณไม่ต้องการรันเซิร์ฟเวอร์เอง
แหล่งที่มา
ราคาเปลี่ยนแปลง ตรวจสอบหน้าของผู้ให้บริการแต่ละรายก่อนตัดสินใจ
คำถามและคำตอบ
ฉันสามารถรันโมเดลขนาดนี้บนคอมพิวเตอร์ของตัวเองได้หรือไม่?
ได้ หาก GPU มี memory เพียงพอ: โมเดลนี้เมื่อ quantize เป็น 4-bit จะใช้พื้นที่ประมาณ 20–25 GB ดังนั้นการ์ด 48 GB จึงเพียงพอ ในขณะที่การ์ด 24 GB จะเล็กเกินไปสำหรับ context ที่มีประโยชน์
API ที่โฮสต์มีความช้ากว่า GPU ในเครื่องหรือไม่?
มันเพิ่มเวลาหน่วงของเครือข่ายเข้าไปในเวลาที่ใช้ในการสร้าง ความเร็วในการสร้างขึ้นอยู่กับภาระงานบนเซิร์ฟเวอร์ที่ใช้ร่วมกัน; สำหรับการแชทและงานแบทช์ส่วนใหญ่ ความแตกต่างมีน้อย
คู่มือเพิ่มเติม
Dolphin LLM เทียบกับ API ของ OpenAIDolphin LLM เมื่อเทียบกับ OpenAI GPT-6 Luna และ GPT-6.1 Terra: ราคาต่อ 1M tokens, หน้าต่างบริบท, นโยบายข้อมูล, การเรียกเก็บเงิน และเมื่อใดที่แต่ละตัวเหมาะสม
Dolphin LLM เทียบกับโมเดลเปิดขนาดกลางบน OpenRouterราคาต่อ 1M โทเค็นสำหรับโมเดลแชทที่มีน้ำหนักเปิด (open-weight) ขนาดกลางยอดนิยมบนผู้ให้บริการ OpenRouter และ DeepInfpa เมื่อเทียบกับ Dolphin LLM รวมถึงค่าธรรมเนียมเครดิต บริบท และเมื่อใดที่แต่ละตัวเลือกจะคุ้มค่ากว่า