واجهة برمجة تطبيقات مستضافة مقابل استئجار بطاقة GPU لنموذج متوسط الحجم
تم التحديث · الأسعار تم التحقق منها في ذلك التاريخ
نموذج مفتوح متوسطة الحجم بوزن 4-بت يتسع لبطاقة واحدة بسعة 48 جيجابايت، مما يجعل الاستضافة الذاتية خياراً واقعياً. يعتمد جدواه على عدد الرموز التي تستخدمها شهرياً.
نقاط رئيسية
- بالكمّية بـ 4 بت، يستهلك نموذج بـ 30–40 مليار معلمة حوالي 20–25 جيجابايت، لذا فإن بطاقة سعة 48 جيجابايت كافية لسياق يتكون من 64,000 رمز.
- تكاليف استئجار L40S $0.79–$1.09 في الساعة على RunPod: حوالي $577–$796 في الشهر على مدار الساعة.
- بناءً على أسعار Dolphin LLM، يشتري 577 دولارًا حوالي 2.6 مليار رمز شهريًا في مزيج نموذجي بنسبة 80/20 للإدخال/الإخراج.
- تكون الاستضافة الذاتية مجدية عند حجم ثابت وعالي جداً؛ أما دون ذلك، فتكون تكلفة واجهة برمجة التطبيقات المستضافة أقل ولا تتطلب صيانة.
ما العت مورد اللازم لتشغيل نموذج بهذا الحجم
بالنسبة للنماذج ذات 30-40B معلمة، تأخذ الأوزان بحجم 4-bit حوالي 20-25 جيجابايت. على بطاقة سعة 48 جيجابايت، يتبقى حوالي 20 جيجابايت لخازن KV، وهو ما يكفي لسياق يتكون من 64,000 رمز مع بضع طلبات متوازية. يتطلب تقديم نافذة كاملة تتكون من 262,144 رمزًا ذاكرة أكبر بكثير لخازن KV، أو عدد أقل من الطلبات المتوازية. السياقات الأطول أو عدد أكبر من المستخدمين المتوازيين يتطلب ذاكرة أكبر أو بطاقات أكثر.
أسعار الإيجار
| GPU | أين | في الساعة | شهرياً، على مدار الساعة 24/7 |
|---|---|---|---|
| L40S 48 جيجابايت | مجتمع RunPod / آمن | $0.79 / $1.09 | $577 / $796 |
| L40S 48 جيجابايت | Vast.ai (متوسط 4 عروض) | $0.80 | $584 |
| RTX A6000 48 جيجابايت | مجتمع RunPod / آمن | $0.33 / $0.59 | $241 / $431 |
| A100 80 GB | RunPod Secure | $1.79 | $1,307 |
| H100 80 جيجابايت | RunPod Secure (PCIe) | $2.89 | $2,110 |
الأرقام الشهرية هي السعر بالساعة × 730 ساعة، بدون تخزين أو حركة مرور أو الوقت الذي يبقى فيه البطاقة خاملة.
نقطة التعادل
يبلغ متوسط التكلفة لخلط يتكون من 80% من رموز الإدخال و20% من رموز المخرجات 0.22 دولار لكل مليون رمز على Dolphin LLM. لذا، فإن السعر الشهري للبطاقة المستأجرة يشتري:
| الميزانية الشهرية | يساوي على Dolphin LLM | في اليوم |
|---|---|---|
| $241 (RTX A6000, Community) | حوالي 1.1 مليار رمز | حوالي 36M |
| $577 (L40S, Community) | حوالي 2.6 مليار رمز | حوالي 87M |
| $796 (L40S, Secure) | حوالي 3.6 مليار رمز | حوالي 120 مليون |
إذا استخدمت رموزاً أقل من هذا، فإن الـ API المستضاف يكون أرخص. فوق هذا الحد، يمكن أن تفوز البطاقة المستأجرة، بشرط أن تكون مشغولة معظم اليوم.
التكاليف غير المدرجة في قائمة الأسعار
- الإعداد والتحديثات: خادم الاستدلال، برامج التشغيل، تنزيل النماذج، المراقبة.
- وقت الخمول: بطاقة مستأجرة تكلف نفس السعر ليلاً عندما لا يرسل أحد طلبات.
- أوقات الذروة: بطاقة واحدة تخدم عدداً محدوداً من الطلبات المتوازية؛ فكلما زاد عدد المستخدمين، زادت الحاجة إلى بطاقات أكثر.
أيها تختار
- استضف النموذج بنفسك إذا كان لديك حجم طلبات مرتفع ومستقر، وتحتاج إلى تحكم كامل في المكدس أو سياق أطول من 262,144 رمزاً.
- استخدم Dolphin LLM إذا كان حجم استخدامك أقل من نقطة التعادل، أو يتغير من يوم لآخر، أو إذا كنت لا تريد تشغيل الخوادم.
المصادر
تتغير الأسعار. تحقق من صفحة كل مزود قبل اتخاذ القرار.
الأسئلة والأجوبة
هل يمكنني تشغيل نموذج بهذا الحجم على حاسوبي الخاص؟
نعم، بشرط توفر بطاقة رسوميات (GPU) ذات ذاكرة كافية: في التكميم الرباعي (4-bit)، يستهلك هذا النموذج حوالي 20–25 جيجابايت، لذا تعتبر بطاقة سعة 48 جيجابايت مريحة، بينما بطاقة سعة 24 جيجابايت صغيرة جداً لدعم سياق مفيد.
هل الـ API المستضاف أبطأ من بطاقة الرسومات المحلية؟
يضيف ذلك زمن تأخير الشبكة بالإضافة إلى وقت التوليد. تعتمد سرعة التوليد على الحمل على الخوادم المشتركة؛ بالنسبة للدردشة ومعظم أعمال الدفعات، يكون الفرق ضئيلاً.
مزيد من الأدلة
Dolphin LLM مقابل واجهة برمجة تطبيقات OpenAIDolphin LLM بجانب OpenAI GPT-6 Luna و GPT-6.1 Terra: السعر لكل 1M رمز، نافذة السياق، سياسة البيانات، الفوترة ومتى يناسب كل منها.
Dolphin LLM مقابل النماذج المفتوحة متوسطة الحجم على OpenRouterالسعر لكل 1M رمز لنموذج دردشة مفتوح متوسطة الحجم وشائع على مزودي OpenRouter و DeepInfra بجانب Dolphin LLM، بالإضافة إلى رسوم الرصيد، والسياق، ومتى يكون كل خيار أرخص.