التاليالدليل التالي
تسجيل التنبؤ والتقاط البيانات الاستدلالية
التقنية
الدليل الفني
خادم تريتون الاستدلال
Triton Inference Server هو نظام أساسي مفتوح المصدر من NVIDIA لنشر وتقديم نماذج الذكاء الاصطناعي في الإنتاج على نطاق واسع.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه أمر مهم لأنه يوحد عدد النماذج - عبر أطر عمل مختلفة - التي يتم استضافتها وتجميعها والوصول إليها من خلال واجهة برمجة تطبيقات واحدة فعالة.
الغوص العميق
يقع Triton بين نماذجك المدربة والتطبيقات التي تستدعيها. يقوم بتحميل النماذج من "مستودع النماذج" ويقدمها عبر HTTP/REST وgRPC. وتتمثل ميزتها البارزة في أنها لا تعتمد على إطار عمل: يمكن لمثيل Triton واحد أن يخدم في نفس الوقت PyTorch وTensorFlow وONNX وTensorRT وحتى Python أو الواجهات الخلفية المخصصة. تشمل الإمكانات الرئيسية التجميع الديناميكي، الذي يقوم تلقائيًا بتجميع الطلبات الواردة التي تصل في وقت قريب لاستخدام وحدة معالجة الرسومات بشكل أكثر كفاءة؛ التنفيذ المتزامن للنموذج، أو تشغيل نماذج متعددة أو نسخ متعددة على وحدة معالجة رسومات واحدة؛ والمجموعات النموذجية/البرمجة النصية لمنطق الأعمال، والتي تربط المعالجة المسبقة والاستدلال والمعالجة اللاحقة في خط أنابيب واحد من جانب الخادم. فهو يعرض مقاييس Prometheus، ويدعم إصدارات النموذج، ويتناسب بشكل جيد مع Kubernetes.
التنفيذ في العالم الحقيقي
استضافة نموذج كشف الاحتيال ونموذج التوصية ومصنف الصور على خادم GPU مشترك واحد باستخدام تنفيذ النموذج المتزامن
استخدام التجميع الديناميكي لخدمة واجهة برمجة تطبيقات التعرف على الصور ذات حركة المرور العالية بحيث يتم تجميع الطلبات المتفرقة للحصول على استنتاج فعال لوحدة معالجة الرسومات
إنشاء مجموعة من جانب الخادم تقوم بتشغيل المعالجة المسبقة للصور وكاشف TensorRT والمعالجة اللاحقة للتسمية في خط أنابيب Triton واحد
نشر LLM مع الواجهة الخلفية TensorRT-LLM في Triton لدفق استجابات chatbot لآلاف المستخدمين المتزامنين
مستقبل خادم الاستدلال تريتون
يتطور Triton نحو أعباء العمل ذات النماذج الكبيرة والمولدة، ويتكامل بشكل وثيق مع الواجهات الخلفية بنمط TensorRT-LLM وvLLM لتدفق الرموز المميزة عالي الإنتاجية. توقع دعمًا أعمق للخدمة المفصلة، وتوازي موتر وحدات معالجة الرسومات المتعددة ومتعدد العقد، والتوجيه المدرك لذاكرة التخزين المؤقت KV، ونقاط النهاية الموحدة المتوافقة مع OpenAI. نظرًا لأن المؤسسات تدير العشرات من النماذج، فإن دور Triton كطبقة خدمة موحدة يمكن ملاحظتها في Kubernetes ومكدس NVIDIA Dynamo سوف ينمو.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
قم بإجراء اختبار Triton Inference Server
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو خادم تريتون الاستدلالي؟
Triton Inference Server هو نظام أساسي مفتوح المصدر من NVIDIA لنشر وتقديم نماذج الذكاء الاصطناعي في الإنتاج على نطاق واسع. إنه أمر مهم لأنه يوحد عدد النماذج - عبر أطر عمل مختلفة - التي يتم استضافتها وتجميعها والوصول إليها من خلال واجهة برمجة تطبيقات واحدة فعالة.
ما الذي يجعل خادم Triton Inference Server "محايدًا لإطار العمل"؟
يدعم Triton واجهات خلفية متعددة في وقت واحد، لذلك يمكن تقديم النماذج المدربة في أطر عمل مختلفة من نفس الخادم.
كيف يعمل التجميع الديناميكي على تحسين الأداء؟
ينتظر التجميع الديناميكي نافذة صغيرة لدمج الطلبات في دفعة، مما يزيد من استخدام وحدة معالجة الرسومات نظرًا لأن وحدات معالجة الرسومات تكون أكثر كفاءة في الدفعات الأكبر.
ما هي المقايضة التي يمكن أن يقدمها الخلط الديناميكي لشركة Triton؟
يقول الدليل أن Triton قد يجمع طلبات عديمة الحالة المتوافقة ضمن تأخير قائمة الانتظار المهيأ؛ تعتمد الإنتاجية وزمن الانتظار على حركة المرور والحدود وسلوك النموذج والتكوين.
ما الذي تتيح لك "مجموعة نماذج" Triton (أو البرمجة النصية لمنطق الأعمال) القيام به؟
تربط المجموعات خطوات متعددة بحيث يؤدي طلب واحد إلى تشغيل مسار كامل على الخادم، مما يؤدي إلى تجنب الرحلات الإضافية ذهابًا وإيابًا إلى العميل.
ما الذي يسمح به تنفيذ نموذج Triton المتزامن؟
يستطيع Triton تنفيذ نماذج أو مثيلات متعددة في وقت واحد؛ يعتمد الاستخدام الفعلي على التنافس على الأجهزة والموارد.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع