التاليالدليل التالي
سيلدون الأساسية والرسوم البيانية الاستدلالية
التقنية
الدليل الفني
LLM توجيه الاستدلال وموازنة التحميل
طبقة التحكم التي تقرر النسخة المتماثلة للنموذج، أو وحدة معالجة الرسومات، أو الواجهة الخلفية يجب أن تتعامل مع كل طلب LLM وارد، وكيفية توزيع حركة المرور بحيث لا يتم إرباك أي خادم واحد.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إذا تم تنفيذه بشكل جيد، فإنه يقلل من زمن الوصول والتكلفة؛ إذا تم تنفيذه بشكل سيء، فإنه يتسبب في انتهاء المهلات ووحدات معالجة الرسومات الخاملة.
الغوص العميق
إن تقديم LLM على نطاق واسع يعني تشغيل العديد من النسخ المتماثلة عبر العديد من وحدات معالجة الرسومات، وتكون حركة الاستدلال متقطعة وغير متساوية - وتختلف المطالبات بشكل كبير في الطول والصعوبة. يوجد جهاز التوجيه في المقدمة ويختار الوجهة باستخدام إشارات أكثر ثراءً بكثير من الإشارات الكلاسيكية. تأخذ أجهزة التوجيه الحديثة المدركة لـ LLM في الاعتبار عمق قائمة الانتظار، وإشغال ذاكرة التخزين المؤقت KV، وما إذا كانت النسخة المتماثلة تحتوي بالفعل على بادئة مطالبة مطابقة (تقارب ذاكرة التخزين المؤقت للبادئة)، لذلك يصل طلب المتابعة إلى المكان الذي توجد فيه ذاكرة التخزين المؤقت الخاصة به. تقوم بعض أجهزة التوجيه أيضًا باختيار النموذج الذي سيتم استخدامه، حيث يتم إرسال استعلامات سهلة إلى نموذج صغير رخيص الثمن واستعلامات صعبة إلى نموذج كبير (توجيه النموذج). تعمل موازنة التحميل بعد ذلك على معادلة الضغط عبر النسخ المتماثلة لتجنب النقاط الساخنة، واحترام حدود المعدل، والحفاظ على زمن الوصول المنخفض مع زيادة الإنتاجية الإجمالية واستخدام وحدة معالجة الرسومات إلى الحد الأقصى.
التنفيذ في العالم الحقيقي
تقوم منصة chatbot بتثبيت كل محادثة في النسخة المتماثلة التي تحتوي على ذاكرة التخزين المؤقت KV الخاصة بها، لذلك تصل دورات المتابعة إلى ذاكرة التخزين المؤقت للبادئة وتستجيب بشكل أسرع.
ترسل الأنظمة ذات نمط RouteLLM أسئلة بسيطة إلى نموذج صغير ورخيص، وتقوم بتصعيد الأسئلة الصعبة فقط إلى نموذج حدودي، مما يؤدي إلى خفض التكلفة مع فقدان القليل من الجودة.
مسارات ملحق Kubernetes Gateway API Inference Extension من خلال عمق قائمة انتظار GPU المباشرة وحالة ذاكرة التخزين المؤقت بدلاً من التدوير العادي عبر القرون.
تقوم LiteLLM بحركة مرور الوكلاء عبر OpenAI، Anthropic، والنماذج المستضافة ذاتيًا مع موازنة احتياطية ومدركة لحدود المعدل عندما يخنق أحد المزودين.
مستقبل توجيه الاستدلال LLM وموازنة التحميل
لقد أصبح التوجيه مكونًا مكتسبًا من الدرجة الأولى. تعمل مشاريع مثل Gateway API Inference Extension من Kubernetes، ومكدس إنتاج vLLM، وأجهزة التوجيه المستندة إلى LiteLLM/Envoy على توحيد الجدولة المدركة لذاكرة التخزين المؤقت والتكلفة. توقع المزيد من التوجيه النموذجي الدلالي والمبني على الصعوبة (نمط RouteLLM)، وقوائم الانتظار ذات الأولوية المستندة إلى SLA، والوعي بالمناطق المتعددة والمثيلات الموضعية، وسياسات التعلم المعزز التي توازن بين زمن الوصول والإنتاجية وتكلفة الدولار في الوقت الفعلي كنماذج وأسعار وتحول حركة المرور.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the LLM Inference Routing and Load Balancing quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو توجيه الاستدلال LLM وموازنة التحميل؟
طبقة التحكم التي تقرر النسخة المتماثلة للنموذج، أو وحدة معالجة الرسومات، أو الواجهة الخلفية يجب أن تتعامل مع كل طلب LLM وارد، وكيفية توزيع حركة المرور بحيث لا يتم إرباك أي خادم واحد. إذا تم تنفيذه بشكل جيد، فإنه يقلل من زمن الوصول والتكلفة؛ إذا تم تنفيذه بشكل سيء، فإنه يتسبب في انتهاء المهلات ووحدات معالجة الرسومات الخاملة.
لماذا غالبًا ما تكون لعبة round-robin البسيطة بمثابة استراتيجية سيئة لموازنة التحميل لاستدلال LLM؟
تختلف طلبات LLM بشكل كبير من حيث الطول/التكلفة، كما أن ذاكرة التخزين المؤقت KV الخاصة بالنسخة المتماثلة تجعل الجلسات ثابتة، لذلك تتجاهل الواجهات الخلفية للدوران بشكل أعمى تقارب ذاكرة التخزين المؤقت والتحميل الحقيقي.
ما الذي يحاول توجيه "تقارب ذاكرة التخزين المؤقت للبادئة" تحقيقه؟
إذا كانت النسخة المتماثلة تحتوي بالفعل على ذاكرة التخزين المؤقت KV لبادئة مشتركة، فإن توجيه المتابعة هناك يعيد استخدام ذاكرة التخزين المؤقت هذه بدلاً من إعادة حسابها، مما يوفر الحوسبة ووقت الاستجابة.
في توجيه النموذج القائم على الصعوبة، ما الذي يحدث عادةً للاستعلام السهل؟
ترسل أجهزة التوجيه النموذجية مثل RouteLLM استعلامات سهلة إلى طراز صغير رخيص وتحتفظ بالنماذج الحدودية باهظة الثمن للنماذج الصلبة، مما يقلل التكلفة مع الحد الأدنى من فقدان الجودة.
ما هي الإشارة الحية الأكثر فائدة لموازن التحميل المدرك لـ LLM؟
يعكس القياس عن بعد للواجهة الخلفية الحقيقية - الرموز المميزة المعلقة، وامتلاء الدفعة، وإشغال ذاكرة التخزين المؤقت - الحمل الحقيقي بشكل أفضل بكثير من أعداد الطلبات البسيطة.
ما الذي توفره أداة مثل LiteLLM في إعداد متعدد الموفرين؟
تعمل LiteLLM كوكيل توجيه عبر مقدمي الخدمة (OpenAI، Anthropic، مستضاف ذاتيًا)، مما يضيف موازنة احتياطية وتوازنًا مع تحديد المعدل.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع