SelanjutnyaPanduan berikutnya
Pelatihan Berkelanjutan dan Pelatihan Ulang Otomatis
Teknis
PANDUAN Teknis
Pengelompokan Berkelanjutan
Pengelompokan berkelanjutan memperbarui permintaan aktif yang ditetapkan di antara iterasi generasi alih-alih menahan satu batch tetap hingga setiap permintaan selesai.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Hal ini dapat meningkatkan pemanfaatan layanan, sementara batasan kapasitas dan kebijakan penjadwalan tetap mengatur latensi.
Menyelam Lebih Dalam
GPU menjadi yang tercepat ketika memproses banyak permintaan secara bersamaan dalam satu batch. Pendekatan naif, pengelompokan statis, mengelompokkan serangkaian permintaan tetap, menjalankan semuanya hingga selesai, lalu memulai kumpulan berikutnya. Masalahnya: panjang keluaran model bahasa sangat bervariasi, sehingga permintaan yang pendek selesai lebih awal dan slotnya tidak digunakan sementara batch menunggu yang paling lama, membuang-buang siklus GPU dan menunda kedatangan baru. Pengelompokan berkelanjutan (juga disebut pengelompokan dalam penerbangan atau tingkat iterasi, dipopulerkan oleh makalah Orca dan digunakan di vLLM, TensorRT-LLM, dan TGI) beroperasi pada rincian satu langkah penguraian kode. Setelah setiap token dihasilkan, urutan yang sudah selesai keluar dari batch dan permintaan yang diantri dapat diterima ketika penjadwal memiliki kapasitas. Penerimaan tingkat iterasi dapat meningkatkan pemanfaatan dan mengurangi waktu tunggu yang dapat dihindari dibandingkan dengan batch tetap; efek yang diukur bergantung pada panjang permintaan, kapasitas, dan penjadwalan.
Implementasi Dunia Nyata
API obrolan yang menerima pesan pengguna yang baru tiba ke dalam batch yang sedang berjalan dengan segera alih-alih mengantrinya untuk batch berikutnya
Menghapus jawaban singkat yang sudah selesai di tengah-tengah batch dan mengisi kembali slotnya sehingga GPU tidak pernah menganggur menunggu generasi yang lama
Menggabungkan pengelompokan berkelanjutan dengan PagedAttention vLLM untuk menyisipkan dan menghapus urutan dengan murah pada setiap langkah dekode
Layanan penyelesaian kode yang mempertahankan token per detik yang tinggi dalam lalu lintas yang panjang dan bervariasi dengan menjaga batch tetap penuh
Masa Depan Batching Berkelanjutan
Tim yang melayani menyeimbangkan throughput dengan waktu hingga token pertama dan waktu antar token yang dihasilkan. Pekerjaan pra-pengisian yang lama dapat menunda penguraian kode kecuali penjadwal membagi atau mengaturnya. Anggaran kapasitas, prioritas permintaan, dan kebijakan keadilan menentukan pekerjaan mana yang diperbolehkan. Pengelompokan berkelanjutan dapat digabungkan dengan cache halaman, pra-pengisian terpotong, dan penguraian kode spekulatif, namun setiap kombinasi harus diukur berdasarkan lalu lintas dan perangkat keras sebenarnya.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Continuous Batching quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Batching Berkelanjutan?
Pengelompokan berkelanjutan memperbarui permintaan aktif yang ditetapkan di antara iterasi generasi alih-alih menahan satu batch tetap hingga setiap permintaan selesai. Hal ini dapat meningkatkan pemanfaatan layanan, sementara batasan kapasitas dan kebijakan penjadwalan tetap mengatur latensi.
Apa kelemahan utama batching statis (tetap) untuk penyajian LLM?
Karena panjang output berbeda-beda, rangkaian yang telah selesai tidak akan digunakan hingga rangkaian yang paling lambat selesai, sehingga membuang siklus GPU dan menunda permintaan baru.
Pada tingkat perincian apa batching berkelanjutan menambah dan menghapus permintaan?
Pengelompokan berkelanjutan (tingkat iterasi) memperbarui set aktif setelah setiap langkah dekode, sehingga ia mengoperasikan token demi token, bukan per seluruh permintaan.
Permintaan pengelompokan berkelanjutan selesai dan mengosongkan kapasitas. Apa yang dapat dilakukan penjadwal selanjutnya?
Penjadwalan tingkat iterasi dapat mengisi ulang kapasitas yang tersedia sesuai dengan memori, token, dan batasan lainnya.
Teknik mana yang berpasangan secara alami dengan pengelompokan berkelanjutan untuk membuat urutan penyisipan/penghapusan menjadi murah?
PagedAttention menyimpan cache KV setiap urutan dalam blok independen, sehingga menambah atau menghapus urutan di tengah penerbangan tidak mengganggu memori orang lain.
Makalah penelitian apa yang umumnya dianggap mempopulerkan batching tingkat iterasi (kontinu)?
Makalah Orca memperkenalkan penjadwalan tingkat iterasi, dan ide tersebut diadopsi oleh sistem layanan seperti vLLM, TGI, dan TensorRT-LLM.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini