Kuis terkait panduan · Keras Tingkat

Kuis Penyajian Pra-Isi dan Dekode Terpilah

Memeriksa kemacetan pra-pengisian dan dekode, transfer cache KV, gangguan fase, penyetelan sumber daya, dan sistem penyajian terpilah.

Jalur panduan terkaitPenyajian Prefill dan Decode Terpilah
Pertanyaan 1 dari 8

Apa alasan perangkat keras inti untuk memisahkan pra-pengisian dan dekode ke kumpulan GPU yang berbeda?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa alasan perangkat keras inti untuk memisahkan pra-pengisian dan dekode ke kumpulan GPU yang berbeda?
    • Pra-pengisian terikat pada komputasi sedangkan dekode terikat pada bandwidth memori
    • Mereka menggunakan bahasa pemrograman yang berbeda
    • Dekode membutuhkan lebih banyak listrik daripada pengisian awal
    • Prefill tidak dapat berjalan di GPU sama sekali
  2. Struktur data apa yang harus ditransfer dari pekerja pra-pengisian ke pekerja dekode?
    • Bobot model
    • Cache KV (nilai kunci).
    • Kosakata tokenizer
    • Status pengoptimal
  3. Masalah manakah yang secara khusus dikurangi oleh disagregasi dalam pengaturan GPU bersama?
    • Pengandar GPU mogok
    • Kehilangan paket jaringan di internet
    • Pemblokiran head-of-line di mana pengisian awal yang panjang menghentikan dekode orang lain
    • Halusinasi model
  4. Mengapa pra-pengisian dapat dikelompokkan secara agresif tetapi dekode mendapat manfaat dari penyetelan yang berbeda?
    • Decode tidak pernah menggunakan GPU
    • Pra-pengisian hanya berjalan sekali sehari
    • Pengelompokan tidak dimungkinkan selama pengisian awal
    • Token pra-pengisian dibaca secara paralel, sehingga memaksimalkan pemanfaatan komputasi per pass
  5. Interkoneksi mana yang biasanya digunakan untuk memindahkan cache KV antar kumpulan terpilah?
    • NVLink atau InfiniBand
    • Modem dial-up
    • Kabel USB 2.0
    • Bluetooth
  6. Sistem bernama manakah yang dikaitkan dengan penyajian pra-pengisian/dekode terpilah?
    • TCP, UDP, dan HTTP
    • DistServe, Splitwise, dan Kue Bulan
    • Word, Excel, dan PowerPoint
    • JPEG, PNG, dan GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck