เพิ่ม Dolphin LLM ใน LibreChat เป็น endpoint แบบกำหนดเอง

บล็อก endpoint

เปิด librechat.yaml ในโฟลเดอร์ LibreChat (คัดลอก librechat.example.yaml หากคุณยังไม่มี) และเพิ่มสิ่งนี้ใต้ endpoints:

version: 1.2.1
endpoints:
  custom:
    - name: "Dolphin LLM"
      apiKey: "${DOLPHIN_API_KEY}"
      baseURL: "https://dolphinllm.com/v1"
      models:
        default: ["uncensored"]
        fetch: false
      titleConvo: true
      titleModel: "uncensored"
      modelDisplayLabel: "Dolphin LLM"

ใช้ version ค่าที่ LibreChat release ของคุณคาดหวัง (อยู่ที่ด้านบนของ librechat.example.yaml). fetch: false คงรายการไว้ที่โมเดลเดียว; ด้วย fetch: true LibreChat ถาม GET /v1/models, ซึ่งส่งกลับโมเดลเดียวเดียวกัน

ใส่คีย์ลงใน .env

# .env
DOLPHIN_API_KEY=YOUR_KEY

สร้างคีย์ในบัญชีของคุณ (สมัครสมาชิก ก่อนอื่นหากคุณไม่มีเลย; เครดิตทดลอง $0.50 จะถูกเพิ่มเมื่อคุณเปิดบัญชีเป็นครั้งแรก) อย่าทำ .env ไปยัง git

หากผู้ใช้ทุกคนในการติดตั้งของคุณควรจ่ายจากยอดเงินของตนเอง ให้ตั้งค่า apiKey: "user_provided" แทนที่ LibreChat จะขอคีย์จากผู้ใช้แต่ละคนเป็นครั้งแรกเมื่อพวกเขาเลือก Dolphin LLM และเก็บไว้ให้พวกเขา

Docker: mount ไฟล์และรีสตาร์ท

ด้วยการตั้งค่า Docker มาตรฐาน LibreChat จะอ่าน librechat.yaml เฉพาะเมื่อมันถูกติดตั้งลงในคอนเทนเนอร์ API เพิ่มไฟล์กำหนดค่าใหม่ถัดจาก docker-compose.yml:

# docker-compose.override.yml
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml

docker compose down
docker compose up -d

เปิด LibreChat แล้วเลือก Dolphin LLM ในเมนู endpoint และเริ่มแชท หาก endpoint ไม่ปรากฏขึ้น บันทึกการเรียกใช้ API จะบอกสาเหตุ ซึ่งมักเป็นข้อผิดพลาดในการจัดย่อหน้า YAML

ตัวเลือกที่ควรรู้

• titleConvo ทำการขอข้อมูลสั้นๆ เพิ่มเติมหนึ่งครั้งต่อการสนทนาใหม่เพื่อตั้งชื่อมัน บนคีย์ทดลอง (2 การขอข้อมูลแบบขนาน, 60 ครั้งต่อนาที) ตั้งค่าเป็น false หากคุณเห็นการดีเลย์
• บริบท: โมเดลรองรับได้สูงสุด 262,144 tokens สำหรับ prompt และคำตอบรวมกัน LibreChat ส่งประวัติการสนทนาพร้อมกับข้อความแต่ละครั้ง ดังนั้นการสนทนาที่ยาวนานจึงมีต้นทุนต่อรอบสูงกว่า; รอบที่เต็มขอบเขตจะมีต้นทุน input ประมาณ $0.0393
• พารามิเตอร์: temperature, top_p, max tokens, stop และค่าปรับจากแผงพารามิเตอร์ของ LibreChat จะถูกส่งผ่าน API ใช้ได้เฉพาะข้อความ ดังนั้นการอัปโหลดไฟล์ที่ต้องการ vision หรือ embeddings จะไม่ทำงานกับ endpoint นี้
• Presets และ agents: คุณสามารถบันทึกพรอมต์ระบบเป็นค่ากำหนดล่วงหน้า การเรียกใช้เครื่องมือได้รับการสนับสนุนโดย API (tools, tool_choice) ดังนั้นตัวแทน LibreChat จึงสามารถใช้ได้; ทดสอบเครื่องมือหนึ่งตัวก่อนที่คุณจะพึ่งพา

ติดตั้งร่วมกัน ใช้ยอดเงินร่วมกัน

เมื่อใส่คีย์เพียงคีย์เดียว .env, ผู้ใช้ LibreChat ทุกคนใช้จากยอดเงินเดียวกัน ปิดการลงทะเบียนแบบเปิดหากการติดตั้งเป็นแบบสาธารณะ และตรวจสอบยอดเงินในบัญชีของคุณหรือ X-Balance-USD header ของ response ขีดจำกัดใช้ต่อคีย์: หลังจากเติมเงินครั้งแรก มีคำขอแบบขนานได้ 8 รายการ และ 300 รายการต่อนาที ซึ่งใช้ร่วมกันโดยผู้ใช้ทั้งหมด

โมเดลถูกปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดังนั้นกฎของบ้านจึงเป็นไปตามที่คุณกำหนด เช่น ในระบบ prompt ล่วงหน้า เนื้อหาทางเพศที่เกี่ยวข้องกับเด็กไม่อนุญาตบน API เด็ดขาด

ค่าใช้จ่าย

ที่อัตรา $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens การสนทนาหนึ่งรอบที่มี history ขนาด 3,000 tokens และคำตอบขนาด 600 tokens จะมีค่าใช้จ่าย $0.00075 ทีมเล็กๆ ที่ส่งข้อความขนาดดังกล่าว 500 ข้อความต่อวัน จะใช้จ่ายประมาณ $11 ต่อเดือน ดู หน้าราคา สำหรับแพ็กและโบนัส