SeterusnyaPanduan seterusnya
Latihan Berterusan dan Latihan Semula Automatik
Teknikal
PANDUAN Teknikal
Batching Berterusan
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Menyelam dalam
GPUs are fastest when they process many requests together in a batch. The naive approach, static batching, groups a fixed set of requests, runs them all to completion, then starts the next batch. The problem: language model outputs vary wildly in length, so short requests finish early and their slots sit idle while the batch waits for the longest one, wasting GPU cycles and delaying new arrivals. Continuous batching (also called in-flight or iteration-level batching, popularized by the Orca paper and used in vLLM, TensorRT-LLM, and TGI) operates at the granularity of a single decoding step. After each token is generated, finished sequences exit the batch and queued requests can be admitted when the scheduler has capacity. Iteration-level admission can improve utilization and reduce avoidable waiting compared with fixed batches; the measured effect depends on request lengths, capacity, and scheduling.
Pelaksanaan Dunia Sebenar
API sembang yang mengakui mesej pengguna yang baru tiba ke dalam kumpulan yang sedang berjalan serta-merta dan bukannya beratur untuk kumpulan seterusnya
Mengusir jawapan pertengahan kumpulan pendek yang lengkap dan mengisi semula slotnya supaya GPU tidak pernah melahu menunggu generasi yang lama
Menggabungkan batching berterusan dengan vLLM's PagedAttention untuk memasukkan dan mengalih keluar urutan dengan murah pada setiap langkah penyahkod
Perkhidmatan penyiapan kod yang mengekalkan token-sesaat yang tinggi di bawah trafik yang penuh dan panjang berubah-ubah dengan memastikan kumpulan penuh
Masa Depan Batching Berterusan
Serving teams balance throughput with time to first token and time between generated tokens. Long prefill work can delay decoding unless the scheduler splits or otherwise manages it. Capacity budgets, request priorities, and fairness policies determine which work is admitted. Continuous batching can be combined with paged caches, chunked prefill, and speculative decoding, but each combination should be measured on the actual traffic and hardware.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Continuous Batching quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah itu Continuous Batching?
Continuous batching updates the active request set between generation iterations instead of holding one fixed batch until every request finishes. It can improve serving utilization, while capacity limits and scheduling policy still govern latency.
Apakah kelemahan utama batching statik (tetap) untuk sajian LLM?
Oleh kerana panjang output berbeza-beza, jujukan siap terdiam sehingga yang paling perlahan selesai, membazirkan kitaran GPU dan melambatkan permintaan baharu.
Pada butiran apakah pengumpulan berterusan menambah dan mengalih keluar permintaan?
Batching berterusan (peringkat lelaran) mengemas kini set aktif selepas setiap langkah penyahkod tunggal, jadi ia mengendalikan token demi token dan bukannya setiap permintaan keseluruhan.
A continuous-batching request finishes and frees capacity. What can the scheduler do next?
Iteration-level scheduling can refill available capacity subject to memory, token, and other limits.
Teknik yang manakah berpasangan secara semula jadi dengan batching berterusan untuk menjadikan urutan memasukkan/mengalih keluar murah?
PagedAttention menyimpan setiap cache KV jujukan dalam blok bebas, jadi menambah atau mengalih keluar jujukan pertengahan penerbangan tidak mengganggu ingatan orang lain.
Apakah kertas penyelidikan yang lazimnya dikreditkan dengan mempopularkan batching peringkat lelaran (berterusan)?
Kertas Orca memperkenalkan penjadualan peringkat lelaran, dan idea itu diterima pakai oleh sistem penyajian seperti vLLM, TGI dan TensorRT-LLM.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini