Kuiz berkaitan panduan · Keras Tahap

Kuiz Penyajian Praisi dan Dekod yang diasingkan

Menyemak praisi dan menyahkod kesesakan, pemindahan KV-cache, gangguan fasa, penalaan sumber dan sistem penyajian diagregat.

Laluan panduan yang berkaitanPenyajian Praisi Dan Nyahkod Terpisah
soalan 1 daripada 8

Apakah sebab perkakasan teras untuk memisahkan praisi dan nyahkod ke kumpulan GPU yang berbeza?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah sebab perkakasan teras untuk memisahkan praisi dan nyahkod ke kumpulan GPU yang berbeza?
    • Praisi adalah terikat pengiraan manakala penyahkod adalah terikat lebar jalur memori
    • Mereka menggunakan bahasa pengaturcaraan yang berbeza
    • Nyahkod memerlukan lebih banyak elektrik daripada praisi
    • Praisi tidak boleh dijalankan pada GPU sama sekali
  2. Apakah struktur data yang mesti dipindahkan daripada pekerja praisi kepada menyahkod pekerja?
    • Berat model
    • Cache KV (nilai-kunci).
    • Perbendaharaan kata tokenizer
    • Keadaan pengoptimum
  3. Masalah manakah yang dikurangkan secara khusus dalam persediaan GPU kongsi?
    • Pemandu GPU ranap
    • Kehilangan paket rangkaian di internet
    • Penyekatan ketua baris di mana praisi panjang menghalang penyahkod orang lain
    • Model halusinasi
  4. Mengapakah praisi boleh dikumpulkan secara agresif tetapi menyahkod faedah daripada penalaan yang berbeza?
    • Nyahkod tidak pernah menggunakan GPU
    • Praisi hanya berjalan sekali setiap hari
    • Batching adalah mustahil semasa praisi
    • Token praisi dibaca secara selari, memaksimumkan penggunaan pengiraan setiap pas
  5. Sambungan manakah yang biasanya digunakan untuk mengalihkan cache KV antara kumpulan terpisah?
    • NVLink atau InfiniBand
    • Modem dail
    • Kabel USB 2.0
    • Bluetooth
  6. Sistem bernama manakah yang dikaitkan dengan sajian praisi/nyahkod terpisah?
    • TCP, UDP dan HTTP
    • DistServe, Splitwise dan Mooncake
    • Word, Excel dan PowerPoint
    • JPEG, PNG dan GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck