Mai departeUrmătorul ghid
Formare continuă și recalificare automată
Tehnic
GHID tehnic
Dozare continuă
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Scufundare în profunzime
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
Implementare în lumea reală
Un API de chat care admite imediat mesajele utilizatorului nou sosite în lotul care rulează, în loc să le pună în coadă pentru următorul lot
Evacuarea unui răspuns scurt finalizat la mijlocul lotului și umplerea slotului acestuia, astfel încât GPU-ul să nu stea niciodată inactiv așteptând o generație lungă
Combinând loturile continue cu PagedAttention de la vLLM pentru a introduce și elimina secvențe ieftin la fiecare pas de decodificare
Un serviciu de completare a codului care susține jetoane mari pe secundă în condiții de trafic intens, de lungime variabilă, menținând lotul plin
Viitorul loturilor continue
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
Punând-o în practică
De ce contează
- Cost și buget. Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
- Decizii mai clare. Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
- Controlul calității. Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Atenție la
- Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
- Costurile de infrastructură și întreținere sunt adesea subestimate.
- Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Următorii pași
- Definiți obiectivele de latență, calitate și cost înainte de implementare.
- Benchmark în condiții realiste de încărcare și date.
- Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
- Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Continuous Batching quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este dotarea continuă?
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Care este principala slăbiciune a loturilor statice (fixe) pentru servirea LLM?
Deoarece lungimile de ieșire variază, secvențele terminate rămân inactive până când cea mai lentă se finalizează, irosind ciclurile GPU și întârziind noile solicitări.
La ce grad de granularitate adaugă și elimină solicitările în loturi continue?
Loturile continue (la nivel de iterație) actualizează setul activ după fiecare pas de decodare, astfel încât funcționează token-cu-token, mai degrabă decât pe întreaga solicitare.
A continuous-batching request finishes and frees capacity. What can the scheduler do next?
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
Ce tehnică se asociază în mod natural cu dotarea continuă pentru a face inserarea/eliminarea secvențelor ieftine?
PagedAttention stochează memoria cache KV a fiecărei secvențe în blocuri independente, astfel încât adăugarea sau eliminarea unei secvențe în timpul zborului nu deranjează memoria celorlalți.
Ce lucrare de cercetare este în mod obișnuit creditată cu popularizarea loturilor (continue) la nivel de iterație?
Lucrarea Orca a introdus programarea la nivel de iterație, iar ideea a fost adoptată de sisteme precum vLLM, TGI și TensorRT-LLM.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect