VolgendeVolgende gids
Continue training en geautomatiseerde omscholing
Technisch
Technische GIDS
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes.
Luister naar deze gidsAI-verteld · ~2 min
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
Een chat-API die nieuw binnengekomen gebruikersberichten onmiddellijk toestaat in de lopende batch, in plaats van ze in de wachtrij te plaatsen voor de volgende batch
Een kort voltooid antwoord halverwege de batch verwijderen en het slot opvullen, zodat de GPU nooit stilstaat bij het wachten op een lange generatie
Het combineren van continue batching met vLLM's PagedAttention om sequenties goedkoop in te voegen en te verwijderen bij elke decodeerstap
Een service voor het voltooien van codes die hoge tokens per seconde ondersteunt onder bursty verkeer van variabele lengte door de batch vol te houden
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Omdat de uitvoerlengte varieert, blijven voltooide reeksen inactief totdat de langzaamste is voltooid, waardoor GPU-cycli worden verspild en nieuwe verzoeken worden vertraagd.
Continue batchverwerking (iteratieniveau) werkt de actieve set bij na elke afzonderlijke decodeerstap, zodat deze token per token werkt in plaats van per hele aanvraag.
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
PagedAttention slaat de KV-cache van elke reeks op in onafhankelijke blokken, zodat het toevoegen of verwijderen van een reeks halverwege de vlucht het geheugen van anderen niet verstoort.
Het Orca-artikel introduceerde planning op iteratieniveau en het idee werd overgenomen door systemen als vLLM, TGI en TensorRT-LLM.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Continue training en geautomatiseerde omscholing
Technisch