DalšíDalší průvodce
Průběžné školení a automatizovaná rekvalifikace
Technický
Technický PRŮVODCE
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
Rozhraní API pro chat, které nově příchozí uživatelské zprávy okamžitě přijme do běžící dávky, místo aby je řadilo do fronty pro další dávku
Vyřazení krátké dokončené odpovědi v polovině dávky a zaplnění jejího slotu, aby GPU nikdy nezahálelo čekáním na dlouhou generaci
Kombinace nepřetržitého dávkování s PagedAttention vLLM pro levné vkládání a odstraňování sekvencí v každém kroku dekódování
Služba dokončování kódu, která udržuje vysoké množství tokenů za sekundu při nárazovém provozu s proměnnou délkou tím, že udržuje plnou dávku
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Vzhledem k tomu, že výstupní délky se liší, hotové sekvence jsou nečinné, dokud se nedokončí ta nejpomalejší, čímž se plýtvají cykly GPU a zpožďují se nové požadavky.
Nepřetržité dávkování (na úrovni iterace) aktualizuje aktivní sadu po každém jednotlivém kroku dekódování, takže funguje po tokenu po tokenu, nikoli po celém požadavku.
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
PagedAttention ukládá KV mezipaměť každé sekvence do nezávislých bloků, takže přidání nebo odebrání sekvence během letu nenaruší paměť ostatních.
Dokument Orca zavedl plánování na úrovni iterací a myšlenku převzaly systémy jako vLLM, TGI a TensorRT-LLM.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Průběžné školení a automatizovaná rekvalifikace
Technický