Il prossimoProssima guida
Formazione continua e riqualificazione automatizzata
Tecnico
GUIDA TECNICA
Continuous batching aggiorna l'insieme di richieste attive tra le iterazioni di generazione, invece di mantenere un batch fisso fino al completamento di tutte le richieste.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
Un'API di chat che ammette immediatamente i messaggi degli utenti appena arrivati nel batch in esecuzione invece di metterli in coda per il batch successivo
Eliminare una breve risposta completata a metà batch e riempire il suo slot in modo che la GPU non resti mai inattiva in attesa di una lunga generazione
Combinazione di batch continui con PagedAttention di vLLM per inserire e rimuovere sequenze in modo economico in ogni fase di decodifica
Un servizio di completamento del codice che sostiene elevati token al secondo in caso di traffico intenso e di lunghezza variabile mantenendo il batch pieno
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Poiché la lunghezza dell'output varia, le sequenze finite rimangono inattive finché non viene completata quella più lenta, sprecando cicli GPU e ritardando nuove richieste.
Il batch continuo (a livello di iterazione) aggiorna il set attivo dopo ogni singolo passaggio di decodifica, quindi funziona token per token anziché per l'intera richiesta.
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
PagedAttention memorizza la cache KV di ciascuna sequenza in blocchi indipendenti, quindi l'aggiunta o la rimozione di una sequenza durante il volo non disturba la memoria degli altri.
Il documento Orca ha introdotto la pianificazione a livello di iterazione e l'idea è stata adottata servendo sistemi come vLLM, TGI e TensorRT-LLM.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Formazione continua e riqualificazione automatizzata
Tecnico