Pengelompokan Berkelanjutan
Pengelompokan berkelanjutan adalah teknik penyajian yang menambah dan menghapus permintaan dari kumpulan token demi token yang sedang berjalan, alih-alih menunggu seluruh kumpulan tetap selesai.
Ikhtisar
It keeps the GPU constantly busy and sharply increases how many users an AI model can serve at once.
Menyelam Lebih Dalam
GPU menjadi yang tercepat ketika memproses banyak permintaan secara bersamaan dalam satu batch. Pendekatan naif, pengelompokan statis, mengelompokkan serangkaian permintaan tetap, menjalankan semuanya hingga selesai, lalu memulai kumpulan berikutnya. Masalahnya: panjang keluaran model bahasa sangat bervariasi, sehingga permintaan yang pendek selesai lebih awal dan slotnya tidak digunakan sementara batch menunggu yang paling lama, membuang-buang siklus GPU dan menunda kedatangan baru. Pengelompokan berkelanjutan (juga disebut pengelompokan dalam penerbangan atau tingkat iterasi, dipopulerkan oleh makalah Orca dan digunakan dalam vLLM, TensorRT-LLM, dan TGI) beroperasi pada rincian satu langkah penguraian kode. Setelah setiap token dibuat, urutan yang sudah selesai keluar dari batch dan permintaan yang baru tiba segera dimasukkan. Hal ini membuat batch tetap penuh dan GPU tetap jenuh, sering kali meningkatkan throughput beberapa kali lipat dengan latensi lebih rendah untuk pengguna yang menunggu.
Wawasan Teknis
Pergeseran kuncinya adalah dari mengelompokkan seluruh permintaan menjadi mengelompokkan iterasi individual. Pada setiap langkah decode, penjadwal membangun set aktif: ia menjalankan satu forward pass pada semua rangkaian dalam penerbangan, masing-masing mengeluarkan satu token, mengeluarkan token apa pun yang mencapai token akhir urutan atau batas panjang, dan menerima permintaan antrian untuk mengisi slot yang kosong. Memasangkannya dengan memori KV fleksibel PagedAttention membuat penyisipan dan penghapusan urutan di tengah penerbangan menjadi murah, karena cache setiap urutan berada di blok independen.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Batching Berkelanjutan
Pengelompokan berkelanjutan kini menjadi standar dalam penyajian LLM produksi. Pekerjaan di masa depan menyempurnakan penjadwal: memisahkan fase pengisian awal yang banyak komputasi dari fase dekode yang lebih ringan (disagregasi), pengisian awal yang terpotong untuk menghindari penghentian penguraian kode, kebijakan prioritas dan keadilan untuk beban kerja campuran, dan penggabungan yang lebih erat dengan penguraian kode spekulatif sehingga beberapa token draf divalidasi per langkah. Sasarannya adalah memaksimalkan token per detik per GPU sekaligus menjaga latensi respons individu tetap rendah dan dapat diprediksi.
Implementasi Dunia Nyata
API obrolan yang menerima pesan pengguna yang baru tiba ke dalam batch yang sedang berjalan dengan segera alih-alih mengantrinya untuk batch berikutnya
Menghapus jawaban singkat yang sudah selesai di tengah-tengah batch dan mengisi kembali slotnya sehingga GPU tidak pernah menganggur menunggu generasi yang lama
Menggabungkan pengelompokan berkelanjutan dengan PagedAttention vLLM untuk menyisipkan dan menghapus urutan dengan murah pada setiap langkah dekode
Layanan penyelesaian kode yang mempertahankan token per detik yang tinggi dalam lalu lintas yang panjang dan bervariasi dengan menjaga batch tetap penuh
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continuous Batching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Kubernetes untuk Beban Kerja ML
Pertanyaan yang sering diajukan
What is Continuous Batching?
Pengelompokan berkelanjutan adalah teknik penyajian yang menambah dan menghapus permintaan dari kumpulan token demi token yang sedang berjalan, alih-alih menunggu seluruh kumpulan tetap selesai. Hal ini membuat GPU terus-menerus sibuk dan secara signifikan meningkatkan jumlah pengguna yang dapat dilayani oleh model AI secara bersamaan.
Apa kelemahan utama batching statis (tetap) untuk penyajian LLM?
Karena panjang output berbeda-beda, rangkaian yang telah selesai tidak akan digunakan hingga rangkaian yang paling lambat selesai, sehingga membuang siklus GPU dan menunda permintaan baru.
Pada tingkat perincian apa batching berkelanjutan menambah dan menghapus permintaan?
Pengelompokan berkelanjutan (tingkat iterasi) memperbarui set aktif setelah setiap langkah dekode, sehingga ia mengoperasikan token demi token, bukan per seluruh permintaan.
Ketika suatu urutan selesai di tengah batch dalam batching berkelanjutan, apa yang terjadi pada slotnya?
Urutan yang sudah selesai akan dikeluarkan dan permintaan yang menunggu segera dimasukkan, membuat batch tetap penuh dan GPU sibuk.
Teknik mana yang berpasangan secara alami dengan pengelompokan berkelanjutan untuk membuat urutan penyisipan/penghapusan menjadi murah?
PagedAttention menyimpan cache KV setiap urutan dalam blok independen, sehingga menambah atau menghapus urutan di tengah penerbangan tidak mengganggu memori orang lain.
Makalah penelitian apa yang umumnya dianggap mempopulerkan batching tingkat iterasi (kontinu)?
Makalah Orca memperkenalkan penjadwalan tingkat iterasi, dan ide tersebut diadopsi oleh sistem layanan seperti vLLM, TGI, dan TensorRT-LLM.