ใช้ Dolphin LLM ใน Continue สำหรับ VS Code และ JetBrains
อัปเดตแล้ว

Continue คือผู้ช่วยเขียนโค้ดโอเพนซอร์สสำหรับ VS Code และ JetBrains รองรับโมเดลที่เข้ากันได้กับ OpenAI ดังนั้นคุณจึงสามารถใช้ Dolphin LLM สำหรับการสนทนา การแก้ไข และการอธิบายโค้ดใน editor ของคุณได้
จุดสำคัญ
- เพิ่มโมเดลพร้อมผู้ให้บริการ
openai, โมเดลuncensoredandapiBaseตั้งค่าเป็น URL ฐานด้านล่าง - กำหนดบทบาท chat, edit และ apply ให้มัน; keep autocomplete ไว้กับโมเดลท้องถิ่นขนาดเล็ก
- ตั้งค่า
contextLengthถึง 262144 เพื่อให้ Continue ตัด prompt ยาวๆ ได้อย่างถูกต้อง - ไม่มี endpoint สำหรับ embeddings ดังนั้นให้ใช้ผู้ให้บริการอื่นสำหรับการจัดทำดัชนีโค้ด
เพิ่มโมเดลลงใน config.yaml
เปิดการตั้งค่าของ Continue (รูปเฟืองในแผง Continue) แล้วเลือกเปิดไฟล์ config หรือแก้ไข ~/.continue/config.yaml โดยตรง เพิ่มโมเดล:
name: My config
version: 0.0.1
schema: v1
models:
- name: Dolphin LLM
provider: openai
model: uncensored
apiBase: https://dolphinllm.com/v1
apiKey: YOUR_KEY
roles:
- chat
- edit
- apply
defaultCompletionOptions:
contextLength: 262144
maxTokens: 2048
temperature: 0.3
บันทึกไฟล์ การโหลดซ้ำจะดำเนินการต่อ และ Dolphin LLM ปรากฏในเมนูโมเดลของแผงแชท สร้างคีย์ของคุณในบัญชีของคุณ; หากคุณยังไม่มี สมัครสมาชิก และเครดิตทดลองมูลค่า $0.50 จะถูกเพิ่มเมื่อคุณเปิดบัญชีเป็นครั้งแรก

เก็บ key ออกจากรายการไฟล์
หากคุณแชร์หรือซิงค์ config ของคุณ อย่าวางคีย์ลงใน config นั้น เวอร์ชันล่าสุดของ Continue อ่าน secrets จาก ~/.continue/.env:
# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY
และบล็อกโมเดลจากนั้นใช้ apiKey: ${{ secrets.DOLPHIN_API_KEY }}. หากเวอร์ชันของคุณไม่สามารถแก้ไขได้ จะรายงานคีย์ที่หายไป; วางคีย์โดยตรงและเก็บไฟล์ให้เป็นส่วนตัว
ควรกำหนดบทบาท (roles) อะไรให้มัน
- chat: คำถามเกี่ยวกับโค้ด คำอธิบาย และแผนการ refactor ขอบเขต 262,144 tokens สามารถเก็บโค้ดและข้อความได้ประมาณ 490 หน้า ดังนั้นจึงใส่ไฟล์หลายไฟล์ลงในคำถามเดียวได้
- edit and apply: การเขียนใหม่ของการเลือกหรือการนำไปใช้กับการเปลี่ยนแปลงที่แนะนำในไฟล์
- autocomplete: ไม่แนะนำ การเติมแท็บจะส่งการขอข้อมูลเกือบทุกครั้งที่มีการหยุดพิมพ์ ซึ่งเพิ่มต้นทุนและรอความล่าช้าของเครือข่าย โมเดลท้องถิ่นขนาดเล็กดีกว่าสำหรับสิ่งนั้น
- embed: ไม่พร้อมใช้งาน API นี้ไม่มีจุดปลาย embeddings ดังนั้นการจัดทำดัชนีฐานโค้ดจึงต้องการผู้ให้บริการ embeddings แยกต่างหากหรือแบบท้องถิ่น
เคล็ดลับสำหรับงานเขียนโค้ด
- ใช้ค่า temperature ต่ำ (0.2 ถึง 0.4) สำหรับโค้ด และใช้ค่าสูงเฉพาะสำหรับการระดมความคิด
- แนบเฉพาะไฟล์ที่คุณต้องการ ทุกบรรทัดที่แนบมาจะเป็น input tokens ในแต่ละ request ในการสนทนาครั้งนั้น
- เริ่มแชทใหม่เมื่อเปลี่ยนงาน เพื่อให้ประวัติเก่าไม่ถูกส่งอีกครั้ง
- Continue ส่งการตอบกลับแบบสตรีม; API รองรับการสตรีมพร้อมแสดงการใช้โทเค็นในตอนท้าย
ค่าใช้จ่าย
คำขอทั่วไปที่มีโค้ดและคำถามรวม 8,000 tokens และคำตอบ 1,000 tokens มีค่าใช้จ่าย 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017 หากทำคำขอลักษณะนี้ 100 ครั้งต่อวัน จะหมดงบประมาณ $0.17 หรือประมาณ $5 ต่อเดือน ยอดทดลองใช้จึงครอบคลุมคำขอลักษณะนี้ได้ประมาณ 290 ครั้ง ดู หน้าราคา.
การแก้ปัญหา
- ไม่พบหน้า (404).
apiBaseต้องลงท้ายด้วย/v1; Continue เพิ่ม/chat/completionsitself. - 401 invalid_key. ตรวจสอบ key หรือชื่อ secret; รีสตาร์ท editor หลังจากทำการเปลี่ยนแปลง
.env. - 429 concurrency บน trial key การทดลองอนุญาตให้ส่งคำขอแบบขนานได้ 2 คำขอ ปิดฟีเจอร์ Continue อื่นๆ ที่เรียกใช้โมเดลเดียวกัน หรือเติมเงินสำหรับคำขอแบบขนาน 8 คำขอ
คำถามและคำตอบ
ฉันควรเลือกผู้ให้บริการ (provider) อะไรใน Continue?
provider: openai with apiBase ตั้งค่าเป็น https://dolphinllm.com/v1 และโมเดล uncensored.
สามารถนำไปใช้สำหรับ tab autocomplete ได้หรือไม่?
ใช้งานได้ แต่ไม่เหมาะ: autocomplete ส่งคำขอขนาดเล็กจำนวนมาก ใช้โมเดลขนาดเล็กในเครื่องสำหรับ autocomplete และใช้ Dolphin LLM สำหรับแชทและการแก้ไข
รองรับการทำดัชนีโค้ดเบสหรือไม่?
ไม่ใช่ในตัวเอง API ไม่มีจุดปลาย embeddings ดังนั้นให้กำหนดค่าโมเดล embeddings แยกต่างหาก
คู่มือเพิ่มเติม
ใช้ Dolphin LLM ใน workflow ของ n8nใช้ API ของ Dolphin LLM ใน n8n: ใช้ OpenAI credential พร้อม custom base URL, โหนด OpenAI Chat Model ใน AI Agent และ LLM chains, ทางเลือก HTTP Request รวมถึงการ retry และ rate limits
API ของ Dolphin LLM: โลคอล, GPU เช่า หรือโฮสต์สามวิธีในการรับ API สำหรับโมเดล uncensored สไตล์ Dolphin: รันแบบโลคัล บริการบน GPU ที่เช่า หรือเรียกใช้ endpoint แบบโฮสต์ที่เข้ากันได้กับ OpenAI เปรียบเทียบความพยายามและต้นทุน
Free LLM API สำหรับนักพัฒนา: Trial vs Pay as You Goสิ่งที่คุณจะได้รับจาก tier ฟรีของ LLM API และจุดสิ้นสุดของมัน เริ่มต้นด้วย trial มูลค่า $0.50 โดยไม่ต้องใช้บัตร แล้วคิดเงินเป็นเซ็นต์ต่อการเรียกใช้: สิ่งที่คุณจะได้รับ, วิธีทำให้เครดิตอยู่ได้นาน และสิ่งที่ควรตรวจสอบก่อนตัดสินใจ