ক্রমাগত ব্যাচিং

It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.

একটি ব্যাচে একসাথে অনেক অনুরোধ প্রসেস করলে GPU গুলি দ্রুততম হয়। নিষ্পাপ দৃষ্টিভঙ্গি, স্ট্যাটিক ব্যাচিং, অনুরোধের একটি নির্দিষ্ট সেটকে গোষ্ঠীভুক্ত করে, সেগুলিকে সম্পূর্ণ করার জন্য চালায়, তারপর পরবর্তী ব্যাচ শুরু করে। সমস্যা: ল্যাঙ্গুয়েজ মডেলের আউটপুটগুলি দৈর্ঘ্যে ব্যাপকভাবে পরিবর্তিত হয়, তাই ছোট অনুরোধগুলি তাড়াতাড়ি শেষ হয়ে যায় এবং ব্যাচটি দীর্ঘতম সময়ের জন্য অপেক্ষা করার সময় তাদের স্লটগুলি নিষ্ক্রিয় থাকে, GPU চক্র নষ্ট করে এবং নতুন আগমনে বিলম্ব করে। ক্রমাগত ব্যাচিং (যাকে ইন-ফ্লাইট বা পুনরাবৃত্তি-স্তরের ব্যাচিংও বলা হয়, যা Orca কাগজ দ্বারা জনপ্রিয় এবং vLLM, TensorRT-LLM, এবং TGI তে ব্যবহৃত হয়) একটি একক ডিকোডিং ধাপের গ্রানুলিটিতে কাজ করে। প্রতিটি টোকেন তৈরি হওয়ার পরে, সমাপ্ত ক্রমগুলি ব্যাচ থেকে প্রস্থান করে এবং নতুনভাবে আসা অনুরোধগুলি অবিলম্বে স্লট করা হয়। এটি ব্যাচকে পূর্ণ রাখে এবং GPU-কে স্যাচুরেটেড রাখে, অপেক্ষাকৃত ব্যবহারকারীদের জন্য অপেক্ষাকৃত কম বিলম্বের সাথে প্রায়শই থ্রুপুটকে কয়েকবার বাড়িয়ে দেয়।