Dolphin LLM API: รันในเครื่อง เช่า GPU หรือใช้เอนด์พอยต์ที่เข้ากันได้กับ OpenAI แบบโฮสต์ ต้นทุนและโค้ด, เช่า GPU หรือแบบ Hosted

สิ่งที่ผู้คนหมายถึงด้วยโมเดล Dolphin

Dolphin คือชื่อของสาย community fine-tunes ของโมเดลฐาน open-weight ข้อมูลการปรับแต่งถูกกรองเพื่อให้โมเดลทำตามคำสั่งโดยไม่สอนหรือปฏิเสธคำขอทั่วไป เนื่องจากโมเดลฐานเปลี่ยนระหว่างการปล่อย จึงไม่มีผู้ขาย Dolphin รายเดียวที่มีเอนด์พอยต์ทางการ เมื่อใครบางคนขอ dolphin llm api พวกเขาหมายถึง API ใดๆ ที่ให้บริการโมเดล uncensored สไตล์นั้น

นั่นสำคัญต่อการวางแผนของคุณ คุณไม่ได้เลือกแบรนด์ คุณกำลังเลือกว่า weights ทำงานที่ไหนและใครเป็นผู้ดำเนินการ คุณภาพโมเดลขึ้นอยู่กับโมเดลฐานและการปรับแต่ง และด้านปฏิบัติการขึ้นอยู่กับเส้นทางที่คุณเลือกด้านล่าง

หมายเหตุเรื่องขอบเขต: โมเดลเหล่านี้ปรับแต่งสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ผู้ให้บริการที่นี่และผู้ให้บริการที่สมเหตุสมผลที่อื่นจะไม่ให้บริการเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ ถือว่าเป็นขอบเขตคงที่ในแอปพลิเคชันของคุณเช่นกัน

เส้นทางที่ 1: รันบนเครื่องของคุณเอง

เส้นทางที่ถูกที่สุดต่อ token คือโมเดลที่คุณมีฮาร์ดแวร์อยู่แล้ว เครื่องมือเช่น Ollama และ llama.cpp ดาวน์โหลด quantized weights และเปิดเผยเซิร์ฟเวอร์ท้องถิ่น ทั้งสองสามารถเสนอเอนด์พอยต์สไตล์ OpenAI บน localhost ดังนั้นโค้ดไคลเอนต์ของคุณจะดูเหมือนกันกับบริการโฮสต์ใดๆ

จุดสำคัญคือหน่วยความจำ โมเดลแบบ quantized ต้องการ RAM หรือ VRAM ประมาณเท่ากับขนาดไฟล์ของมัน รวมถึงพื้นที่สำหรับแคชบริบท โมเดลขนาดเล็กทำงานบนแล็ปท็อปได้ แต่โมเดลขนาดใหญ่ต้องการ GPU ที่มีหน่วยความจำมาก และพรอมต์ที่ยาวทำให้แคชขยายใหญ่ขึ้น หากโมเดลไม่พอดีกับ VRAM มันจะเทลง RAM ของระบบและความเร็วจะลดลงอย่างมาก

การรันแบบโลคัลเหมาะเมื่อคุณทำงานออฟไลน์ เมื่อข้อมูลต้องไม่ออกจากเครื่องของคุณเลย หรือเมื่อคุณต้องการทดลองกับโมเดลที่ปรับแต่งเฉพาะทาง (fine-tunes) แต่มันไม่เหมาะสำหรับผลิตภัณฑ์ที่มีผู้ใช้ เพราะแล็ปท็อปของคุณจะกลายเป็นเซิร์ฟเวอร์ สำหรับการแนะนำแบบครบถ้วนเกี่ยวกับด้านโลคัล โปรดดูบทความแยกต่างหากเกี่ยวกับการรันโมเดลสไตล์ Dolphin

เส้นทางที่ 2: เช่า GPU และให้บริการเอง

การเช่า GPU เป็นรายชั่วโมงทำให้คุณได้โมเดลที่ใหญ่ขึ้นโดยไม่ต้องซื้อฮาร์ดแวร์ คุณติดตั้งชุดซอฟต์แวร์ให้บริการ (serving stack) เช่น vLLM หรือเซิร์ฟเวอร์ของ llama.cpp โหลดน้ำหนักโมเดล (weights) และเปิดพอร์ต จากนั้นคุณรับผิดชอบทุกอย่างรอบๆ ตัวมัน

• การติดตั้งไดรเวอร์ ซอฟต์แวร์ให้บริการ และ TLS
• เพิ่มระบบการตรวจสอบสิทธิ์ (authentication) เพื่อให้คนแปลกหน้าไม่สามารถใช้ GPU ของคุณได้
• การรีสตาร์ทหลังจากเกิดข้อผิดพลาดและการเฝ้าระวังหน่วยความจำ
• การจ่ายค่าชั่วโมงที่เครื่องทำงานอยู่ ไม่ว่าจะมีใครส่งคำขอหรือไม่ก็ตาม

จุดสุดท้ายนี้คือตัวขับเคลื่อนต้นทุนที่แท้จริง GPU ที่รอคำสั่งอยู่ตอนกลางคืนยังคงมีการเรียกเก็บเงิน เส้นทางนี้คุ้มค่าเมื่อคุณมีปริมาณการใช้งานสูงอย่างต่อเนื่องและมีคนพร้อมที่จะดูแลจัดการ สำหรับโปรเจกต์ข้างเคียงที่มีการใช้งานแบบเป็นช่วงๆ คุณจ่ายส่วนใหญ่สำหรับเวลาที่เครื่องรออยู่ ตรวจสอบอัตราค่าเช่ารายชั่วโมงปัจจุบันที่หน้ากำหนดราคาของผู้ให้บริการโดยตรง เนื่องจากอัตราเหล่านี้มีการเปลี่ยนแปลง

เส้นทางที่ 3: เรียกใช้เอนด์พอยต์ที่โฮสต์ซึ่งเข้ากันได้กับ OpenAI

เอนด์พอยต์แบบโฮสต์ช่วยลดภาระงานด้านการปฏิบัติการ คุณส่งคำขอ HTTPS และจ่ายตามจำนวนโทเคนที่คุณใช้ เว็บไซต์นี้ให้บริการนั้น: API ข้อความที่เข้ากันได้กับ OpenAI แบบโฮสต์สำหรับโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องกฎหมาย เพื่อชี้แจงให้ชัดเจนว่าสิ่งนี้ไม่ใช่ API ทางการของผู้ขายโมเดลใดๆ และไม่ใช่ตัวกระจายคำขอข้ามหลายโมเดล รหัสโมเดลคือ uncensored

เนื่องจาก API นี้เข้ากันได้กับ OpenAI SDK ของ OpenAI ใดๆ ก็ใช้ได้หลังจากเปลี่ยนการตั้งค่าสองอย่างคือ base URL และคีย์ นี่คือ Python call ขั้นต่ำ:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.dolphinllm.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a direct, helpful assistant."},
        {"role": "user", "content": "Explain how a context window works."},
    ],
)
print(resp.choices[0].message.content)

คำขอเดียวกันใน curl:

Copycurl https://api.dolphinllm.com/v1/chat/completions   -H "Authorization: Bearer YOUR_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

การสตรีมมิง (stream: true) การเรียกใช้ฟังก์ชัน โหมด JSON และพารามิเตอร์การสุ่มตัวอย่างอื่นๆ ทำงานเหมือนกับ API ของ OpenAI หน้าต่างบริบทมีขนาด 100,000 โทเคน รวมพรอมต์และการสร้างข้อความ เอกสาร API ระบุเอนด์พอยต์และพารามิเตอร์ที่รองรับทั้งหมด

การเปรียบเทียบแบบเคียงข้างกัน

แถวที่ตัดสินกรณีส่วนใหญ่คือการเลือกโมเดล หากคุณต้องการโมเดลปรับแต่งเฉพาะทาง (fine-tune) ของ Dolphin เพียงตัวเดียว เส้นทางสองเส้นทางแรกเท่านั้นที่ให้สิ่งนั้น หากคุณต้องการโมเดลแบบไม่เซ็นเซอร์ที่มีความสามารถสูงที่อยู่เบื้องหลัง API ที่เสถียร และคุณไม่สนใจว่าเป็นโมเดลปรับแต่งเฉพาะทาง (fine-tune) ตัวใดโดยเฉพาะ เส้นทางแบบโฮสต์จะช่วยประหยัดงานด้านการปฏิบัติการของคุณ

ต้นทุนของการเรียกใช้งานแบบโฮสต์

ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens โดยหักจากเครดิตแบบเติมเงินล่วงหน้า ไม่มีค่าสมาชิก คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ การสนทนาทั่วไปที่มี input tokens 2,000 และ output tokens 500 มีต้นทุน:

• อินพุต: 2,000 x $0.15 / 1,000,000 = $0.0003
• เอาต์พุต: 500 x $0.50 / 1,000,000 = $0.00025
• รวม: $0.00055 ต่อคำขอ หรือ $0.55 ต่อ 1,000 คำขอ

การเติมเงินทำได้ทุกจำนวนเต็มตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% เมื่อเติม $50, +10% เมื่อเติม $100 และ +15% เมื่อเติม $200 คุณสามารถชำระเงินด้วยคริปโต (USDT บน TRC20, USDC บน Base) รายละเอียดปัจจุบันมีอยู่ที่หน้า ราคา

เพื่อเปรียบเทียบกับการเช่า GPU ให้หารอัตราต่อชั่วโมงด้วยจำนวนคำขอที่ให้บริการได้ต่อชั่วโมงตามปริมาณจริงของคุณ ที่ปริมาณต่ำหรือแบบไม่สม่ำเสมอ โมเดลต่อโทเคนมักชนะ เพราะคุณไม่จ่ายสำหรับเวลาว่าง

ลองใช้งานก่อนชำระเงิน

ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกเดียวที่หน้าคีย์หลัง sign-up เป็นสิทธิ์หนึ่งต่อคน ใช้ได้ 7 วัน และไม่ต้องการบัตร ราคาข้างต้น $0.50 ครอบคลุมคำขอประมาณ 900 จากตัวอย่าง 2,000-in 500-out ซึ่งเพียงพอสำหรับการทดสอบว่าโทนของโมเดลเหมาะกับงานของคุณหรือไม่ คีย์ทดลองจำกัดคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที

รับคีย์ของคุณที่หน้า คีย์ API หากคุณต้องการโมเดลที่ไม่ต้องล็อกอินเลย ดูบทความ LLM แบบไม่ล็อกอิน และสำหรับการตั้งค่าไคลเอนต์ในเว็บแชท ให้ดูเกี่ยวกับ เอนด์พอยต์ Open WebUI

คู่มือเพิ่มเติม

• วิธีรัน Dolphin LLM: การตั้งค่าในเครื่อง vs API แบบโฮสต์
• API LLM ฟรีสำหรับนักพัฒนา: ทดลองใช้ vs จ่ายตามการใช้งาน