مسلسل بیچنگ

It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.

GPUs سب سے تیز ہوتے ہیں جب وہ ایک بیچ میں ایک ساتھ بہت سی درخواستوں پر کارروائی کرتے ہیں۔ سادہ طریقہ، جامد بیچنگ، درخواستوں کے ایک مقررہ سیٹ کو گروپ کرتا ہے، ان سب کو مکمل کرنے کے لیے چلاتا ہے، پھر اگلا بیچ شروع کرتا ہے۔ مسئلہ: لینگویج ماڈل کے آؤٹ پٹ لمبائی میں مختلف ہوتے ہیں، اس لیے مختصر درخواستیں جلد ختم ہو جاتی ہیں اور ان کے سلاٹس بیکار رہتے ہیں جب کہ بیچ سب سے طویل انتظار کرتا ہے، GPU سائیکل ضائع کرتا ہے اور نئی آمد میں تاخیر ہوتی ہے۔ مسلسل بیچنگ (جسے اِن فلائٹ یا اٹیریشن لیول بیچنگ بھی کہا جاتا ہے، جسے Orca پیپر کے ذریعے مقبول بنایا گیا ہے اور vLLM، TensorRT-LLM، اور TGI میں استعمال کیا جاتا ہے) ایک ہی ضابطہ کشائی کے مرحلے کی گرانولریٹی پر کام کرتا ہے۔ ہر ٹوکن کے تیار ہونے کے بعد، تیار شدہ سلسلے بیچ سے باہر نکل جاتے ہیں اور تازہ موصول ہونے والی درخواستوں کو فوری طور پر سلاٹ کیا جاتا ہے۔ اس سے بیچ بھرا رہتا ہے اور GPU سیر ہوتا ہے، اکثر انتظار کرنے والے صارفین کے لیے کم تاخیر کے ساتھ تھرو پٹ کو کئی بار بڑھاتا ہے۔