Kuiz berkaitan panduan · Keras Tahap
Kuiz Penyajian Praisi dan Dekod yang diasingkan
Menyemak praisi dan menyahkod kesesakan, pemindahan KV-cache, gangguan fasa, penalaan sumber dan sistem penyajian diagregat.
soalan 1 daripada 8
Apakah sebab perkakasan teras untuk memisahkan praisi dan nyahkod ke kumpulan GPU yang berbeza?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah sebab perkakasan teras untuk memisahkan praisi dan nyahkod ke kumpulan GPU yang berbeza?
- Praisi adalah terikat pengiraan manakala penyahkod adalah terikat lebar jalur memori
- Mereka menggunakan bahasa pengaturcaraan yang berbeza
- Nyahkod memerlukan lebih banyak elektrik daripada praisi
- Praisi tidak boleh dijalankan pada GPU sama sekali
- Apakah struktur data yang mesti dipindahkan daripada pekerja praisi kepada menyahkod pekerja?
- Berat model
- Cache KV (nilai-kunci).
- Perbendaharaan kata tokenizer
- Keadaan pengoptimum
- Masalah manakah yang dikurangkan secara khusus dalam persediaan GPU kongsi?
- Pemandu GPU ranap
- Kehilangan paket rangkaian di internet
- Penyekatan ketua baris di mana praisi panjang menghalang penyahkod orang lain
- Model halusinasi
- Mengapakah praisi boleh dikumpulkan secara agresif tetapi menyahkod faedah daripada penalaan yang berbeza?
- Nyahkod tidak pernah menggunakan GPU
- Praisi hanya berjalan sekali setiap hari
- Batching adalah mustahil semasa praisi
- Token praisi dibaca secara selari, memaksimumkan penggunaan pengiraan setiap pas
- Sambungan manakah yang biasanya digunakan untuk mengalihkan cache KV antara kumpulan terpisah?
- NVLink atau InfiniBand
- Modem dail
- Kabel USB 2.0
- Bluetooth
- Sistem bernama manakah yang dikaitkan dengan sajian praisi/nyahkod terpisah?
- TCP, UDP dan HTTP
- DistServe, Splitwise dan Mooncake
- Word, Excel dan PowerPoint
- JPEG, PNG dan GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck