التاليالدليل التالي
التدريب المستمر وإعادة التدريب الآلي
التقنية
الدليل الفني
الخلط المستمر
يعمل التجميع المستمر على تحديث مجموعة الطلبات النشطة بين تكرارات التوليد بدلاً من الاحتفاظ بدفعة واحدة ثابتة حتى انتهاء كل طلب.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
الغوص العميق
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
التنفيذ في العالم الحقيقي
واجهة برمجة تطبيقات للدردشة تقبل رسائل المستخدم التي وصلت حديثًا إلى الدفعة الجاري تشغيلها على الفور بدلاً من وضعها في قائمة الانتظار للدفعة التالية
طرد إجابة قصيرة مكتملة في منتصف الدفعة وإعادة ملء الفتحة الخاصة بها حتى لا تتوقف وحدة معالجة الرسومات أبدًا عن الانتظار لجيل طويل
الجمع بين الدفع المستمر مع PagedAttention الخاص بـ vLLM لإدراج وإزالة التسلسلات بسعر رخيص في كل خطوة من خطوات فك التشفير
خدمة إكمال التعليمات البرمجية التي تحافظ على الرموز المميزة العالية في الثانية في ظل حركة مرور متقطعة ومتغيرة الطول عن طريق الحفاظ على الدفعة ممتلئة
مستقبل الخلط المستمر
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Continuous Batching quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو الخلط المستمر؟
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
ما هي نقطة الضعف الرئيسية في الدفعات الثابتة (الثابتة) لخدمة LLM؟
ونظرًا لاختلاف أطوال المخرجات، تبقى التسلسلات النهائية في وضع الخمول حتى يكتمل التسلسل الأبطأ، مما يؤدي إلى إهدار دورات وحدة معالجة الرسومات وتأخير الطلبات الجديدة.
ما هي التفاصيل التي يضيفها الدفع المستمر للطلبات ويزيلها؟
تعمل الدفعات المستمرة (على مستوى التكرار) على تحديث المجموعة النشطة بعد كل خطوة فك تشفير واحدة، بحيث تعمل رمزًا مميزًا بدلاً من كل طلب كامل.
A continuous-batching request finishes and frees capacity. What can the scheduler do next?
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
ما هي التقنية التي تتزاوج بشكل طبيعي مع الدفع المستمر لجعل عملية إدراج/إزالة التسلسلات رخيصة؟
يقوم PagedAttention بتخزين ذاكرة التخزين المؤقت KV لكل تسلسل في كتل مستقلة، لذا فإن إضافة تسلسل أو إزالته في منتصف الرحلة لا يؤدي إلى إزعاج ذاكرة الآخرين.
ما هي الورقة البحثية التي يُنسب إليها عادة تعميم التجميع على مستوى التكرار (المستمر)؟
قدمت ورقة Orca الجدولة على مستوى التكرار، وتم اعتماد الفكرة من خلال أنظمة الخدمة مثل vLLM، وTGI، وTensorRT-LLM.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع