Paralelisme Pakar untuk Kuis Pelayanan KLH

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang didistribusikan oleh paralelisme ahli ke seluruh GPU?
   • Salinan model lengkap untuk redundansi
   • Perhatian individu saja
   • Pakar feed-forward yang berbeda pada lapisan MoE
   • Lapisan tabel penyematan
2. Pola komunikasi manakah yang penting dalam paralelisme pakar di Kementerian Pendidikan?
   • Dua pertukaran semua-ke-semua (mengirimkan dan menggabungkan)
   • Satu siaran
   • Sinkronisasi gradien titik-ke-titik
   • Tidak diperlukan komunikasi
3. Mengapa KLH menjaga komputasi per token tetap rendah meskipun parameter totalnya besar?
   • Ini memampatkan bobot menjadi 1 bit
   • Itu melewatkan lapisan perhatian
   • Para ahli berbagi semua bobotnya
   • Hanya pakar terpilih teratas yang menjalankan per token
4. Masalah apa yang muncul karena perutean bergantung pada data?
   • Ledakan gradien
   • Ketidakseimbangan beban, dimana beberapa ahli mendapatkan lebih banyak token
   • Router tidak dapat dilatih
   • Token kehilangan penempatan posisinya
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. Bagaimana cara sistem menyembunyikan latensi dari semua langkah?
   • Dengan menjalankan pada CPU saja
   • Dengan menghapus langkah penggabungan
   • Dengan meningkatkan kecepatan pembelajaran
   • Dengan tumpang tindih komunikasi dengan perhitungan ahli
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory