ใช้ Dolphin LLM ใน Continue สำหรับ VS Code และ JetBrains

อัปเดตแล้ว

Continue คือผู้ช่วยเขียนโค้ดโอเพนซอร์สสำหรับ VS Code และ JetBrains รองรับโมเดลที่เข้ากันได้กับ OpenAI ดังนั้นคุณจึงสามารถใช้ Dolphin LLM สำหรับการสนทนา การแก้ไข และการอธิบายโค้ดใน editor ของคุณได้

จุดสำคัญ

  • เพิ่มโมเดลพร้อมผู้ให้บริการ openai, โมเดล uncensored and apiBase ตั้งค่าเป็น URL ฐานด้านล่าง
  • กำหนดบทบาท chat, edit และ apply ให้มัน; keep autocomplete ไว้กับโมเดลท้องถิ่นขนาดเล็ก
  • ตั้งค่า contextLength ถึง 262144 เพื่อให้ Continue ตัด prompt ยาวๆ ได้อย่างถูกต้อง
  • ไม่มี endpoint สำหรับ embeddings ดังนั้นให้ใช้ผู้ให้บริการอื่นสำหรับการจัดทำดัชนีโค้ด

เพิ่มโมเดลลงใน config.yaml

เปิดการตั้งค่าของ Continue (รูปเฟืองในแผง Continue) แล้วเลือกเปิดไฟล์ config หรือแก้ไข ~/.continue/config.yaml โดยตรง เพิ่มโมเดล:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

บันทึกไฟล์ การโหลดซ้ำจะดำเนินการต่อ และ Dolphin LLM ปรากฏในเมนูโมเดลของแผงแชท สร้างคีย์ของคุณในบัญชีของคุณ; หากคุณยังไม่มี สมัครสมาชิก และเครดิตทดลองมูลค่า $0.50 จะถูกเพิ่มเมื่อคุณเปิดบัญชีเป็นครั้งแรก

หน้าบัญชีพร้อมคำนำหน้าคีย์ API ที่ใช้งานอยู่, URL ฐานที่เข้ากันได้กับ OpenAI และคำสั่ง curl พร้อมใช้งาน
หน้าบัญชี → API และยอดเงิน: คีย์ของคุณและ URL ฐาน พร้อมตัวอย่างคำสั่ง curl สำหรับคัดลอก

เก็บ key ออกจากรายการไฟล์

หากคุณแชร์หรือซิงค์ config ของคุณ อย่าวางคีย์ลงใน config นั้น เวอร์ชันล่าสุดของ Continue อ่าน secrets จาก ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

และบล็อกโมเดลจากนั้นใช้ apiKey: ${{ secrets.DOLPHIN_API_KEY }}. หากเวอร์ชันของคุณไม่สามารถแก้ไขได้ จะรายงานคีย์ที่หายไป; วางคีย์โดยตรงและเก็บไฟล์ให้เป็นส่วนตัว

ควรกำหนดบทบาท (roles) อะไรให้มัน

  • chat: คำถามเกี่ยวกับโค้ด คำอธิบาย และแผนการ refactor ขอบเขต 262,144 tokens สามารถเก็บโค้ดและข้อความได้ประมาณ 490 หน้า ดังนั้นจึงใส่ไฟล์หลายไฟล์ลงในคำถามเดียวได้
  • edit and apply: การเขียนใหม่ของการเลือกหรือการนำไปใช้กับการเปลี่ยนแปลงที่แนะนำในไฟล์
  • autocomplete: ไม่แนะนำ การเติมแท็บจะส่งการขอข้อมูลเกือบทุกครั้งที่มีการหยุดพิมพ์ ซึ่งเพิ่มต้นทุนและรอความล่าช้าของเครือข่าย โมเดลท้องถิ่นขนาดเล็กดีกว่าสำหรับสิ่งนั้น
  • embed: ไม่พร้อมใช้งาน API นี้ไม่มีจุดปลาย embeddings ดังนั้นการจัดทำดัชนีฐานโค้ดจึงต้องการผู้ให้บริการ embeddings แยกต่างหากหรือแบบท้องถิ่น

เคล็ดลับสำหรับงานเขียนโค้ด

  • ใช้ค่า temperature ต่ำ (0.2 ถึง 0.4) สำหรับโค้ด และใช้ค่าสูงเฉพาะสำหรับการระดมความคิด
  • แนบเฉพาะไฟล์ที่คุณต้องการ ทุกบรรทัดที่แนบมาจะเป็น input tokens ในแต่ละ request ในการสนทนาครั้งนั้น
  • เริ่มแชทใหม่เมื่อเปลี่ยนงาน เพื่อให้ประวัติเก่าไม่ถูกส่งอีกครั้ง
  • Continue ส่งการตอบกลับแบบสตรีม; API รองรับการสตรีมพร้อมแสดงการใช้โทเค็นในตอนท้าย

ค่าใช้จ่าย

คำขอทั่วไปที่มีโค้ดและคำถามรวม 8,000 tokens และคำตอบ 1,000 tokens มีค่าใช้จ่าย 8,000 × $0.15 / 1,000,000 + 1,000 × $0.50 / 1,000,000 = $0.0017 หากทำคำขอลักษณะนี้ 100 ครั้งต่อวัน จะหมดงบประมาณ $0.17 หรือประมาณ $5 ต่อเดือน ยอดทดลองใช้จึงครอบคลุมคำขอลักษณะนี้ได้ประมาณ 290 ครั้ง ดู หน้าราคา.

การแก้ปัญหา

  • ไม่พบหน้า (404). apiBase ต้องลงท้ายด้วย /v1; Continue เพิ่ม /chat/completions itself.
  • 401 invalid_key. ตรวจสอบ key หรือชื่อ secret; รีสตาร์ท editor หลังจากทำการเปลี่ยนแปลง .env.
  • 429 concurrency บน trial key การทดลองอนุญาตให้ส่งคำขอแบบขนานได้ 2 คำขอ ปิดฟีเจอร์ Continue อื่นๆ ที่เรียกใช้โมเดลเดียวกัน หรือเติมเงินสำหรับคำขอแบบขนาน 8 คำขอ

คำถามและคำตอบ

ฉันควรเลือกผู้ให้บริการ (provider) อะไรใน Continue?

provider: openai with apiBase ตั้งค่าเป็น https://dolphinllm.com/v1 และโมเดล uncensored.

สามารถนำไปใช้สำหรับ tab autocomplete ได้หรือไม่?

ใช้งานได้ แต่ไม่เหมาะ: autocomplete ส่งคำขอขนาดเล็กจำนวนมาก ใช้โมเดลขนาดเล็กในเครื่องสำหรับ autocomplete และใช้ Dolphin LLM สำหรับแชทและการแก้ไข

รองรับการทำดัชนีโค้ดเบสหรือไม่?

ไม่ใช่ในตัวเอง API ไม่มีจุดปลาย embeddings ดังนั้นให้กำหนดค่าโมเดล embeddings แยกต่างหาก

คู่มือเพิ่มเติม

ใช้ Dolphin LLM ใน workflow ของ n8nใช้ API ของ Dolphin LLM ใน n8n: ใช้ OpenAI credential พร้อม custom base URL, โหนด OpenAI Chat Model ใน AI Agent และ LLM chains, ทางเลือก HTTP Request รวมถึงการ retry และ rate limitsAPI ของ Dolphin LLM: โลคอล, GPU เช่า หรือโฮสต์สามวิธีในการรับ API สำหรับโมเดล uncensored สไตล์ Dolphin: รันแบบโลคัล บริการบน GPU ที่เช่า หรือเรียกใช้ endpoint แบบโฮสต์ที่เข้ากันได้กับ OpenAI เปรียบเทียบความพยายามและต้นทุนFree LLM API สำหรับนักพัฒนา: Trial vs Pay as You Goสิ่งที่คุณจะได้รับจาก tier ฟรีของ LLM API และจุดสิ้นสุดของมัน เริ่มต้นด้วย trial มูลค่า $0.50 โดยไม่ต้องใช้บัตร แล้วคิดเงินเป็นเซ็นต์ต่อการเรียกใช้: สิ่งที่คุณจะได้รับ, วิธีทำให้เครดิตอยู่ได้นาน และสิ่งที่ควรตรวจสอบก่อนตัดสินใจ

คีย์ของคุณอยู่ห่างออกไปเพียงแบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน URL พื้นฐาน นั่นคือการตั้งค่าทั้งหมด