পরবর্তী আপপরবর্তী গাইড
ক্রমাগত প্রশিক্ষণ এবং স্বয়ংক্রিয় পুনঃপ্রশিক্ষণ
টেকনিক্যাল
প্রযুক্তিগত গাইড
ক্রমাগত ব্যাচিং
Continuous batching প্রতিটি অনুরোধ শেষ হওয়া পর্যন্ত একটি নির্দিষ্ট ব্যাচ ধরে রাখার পরিবর্তে জেনারেশন ইটারেশনগুলির মধ্যে সক্রিয় অনুরোধের সেট আপডেট করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
গভীর ডুব
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
বাস্তব-বিশ্ব বাস্তবায়ন
একটি চ্যাট এপিআই নতুন আগত ব্যবহারকারীর বার্তাগুলিকে পরবর্তী ব্যাচের জন্য সারিবদ্ধ করার পরিবর্তে অবিলম্বে চলমান ব্যাচে ভর্তি করে
মিড-ব্যাচের একটি সংক্ষিপ্ত সম্পূর্ণ উত্তর উচ্ছেদ করা এবং এর স্লট ব্যাকফিল করা যাতে GPU দীর্ঘ প্রজন্মের জন্য অপেক্ষা না করে
vLLM-এর PagedAttention-এর সাথে ক্রমাগত ব্যাচিং একত্রিত করা প্রতিটি ডিকোড ধাপে সস্তায় সিকোয়েন্স সন্নিবেশ করা এবং অপসারণ করা
একটি কোড-সম্পূর্ণতা পরিষেবা যা ব্যাচ পূর্ণ রেখে বিস্ফোরিত, পরিবর্তনশীল-দৈর্ঘ্যের ট্র্যাফিকের অধীনে উচ্চ টোকেন-প্রতি-সেকেন্ড বজায় রাখে
ক্রমাগত ব্যাচিং এর ভবিষ্যত
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Continuous Batching quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
কন্টিনিউয়াস ব্যাচিং কি?
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
এলএলএম পরিবেশনের জন্য স্ট্যাটিক (স্থির) ব্যাচিংয়ের প্রধান দুর্বলতা কী?
যেহেতু আউটপুট দৈর্ঘ্য পরিবর্তিত হয়, সমাপ্ত সিকোয়েন্সগুলি ধীরতমটি সম্পূর্ণ না হওয়া পর্যন্ত নিষ্ক্রিয় থাকে, GPU চক্র নষ্ট করে এবং নতুন অনুরোধগুলি বিলম্বিত করে।
ক্রমাগত ব্যাচিং কোন গ্রানুলিটিতে অনুরোধ যোগ এবং অপসারণ করে?
ক্রমাগত (পুনরাবৃত্তি-স্তরের) ব্যাচিং প্রতিটি একক ডিকোড পদক্ষেপের পরে সক্রিয় সেট আপডেট করে, তাই এটি সম্পূর্ণ অনুরোধের পরিবর্তে টোকেন-বাই-টোকেন পরিচালনা করে।
A continuous-batching request finishes and frees capacity. What can the scheduler do next?
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
কোন কৌশলটি স্বাভাবিকভাবে ক্রমাগত ব্যাচিংয়ের সাথে যোগ করে যাতে সিকোয়েন্সগুলি সন্নিবেশ করা/অপসারণ করা সস্তা হয়?
PagedAttention প্রতিটি সিকোয়েন্সের কেভি ক্যাশে স্বাধীন ব্লকে সঞ্চয় করে, তাই একটি সিকোয়েন্স মিড-ফ্লাইট যোগ করা বা অপসারণ করা অন্যদের মেমরিকে বিরক্ত করে না।
পুনরাবৃত্তি-স্তরের (নিরবিচ্ছিন্ন) ব্যাচিং জনপ্রিয় করার জন্য কোন গবেষণাপত্রকে সাধারণত কৃতিত্ব দেওয়া হয়?
Orca পেপারটি পুনরাবৃত্তি-স্তরের সময়সূচী প্রবর্তন করেছে, এবং ধারণাটি vLLM, TGI, এবং TensorRT-LLM-এর মতো সিস্টেম পরিবেশন করে গৃহীত হয়েছিল।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড