Kuiz berkaitan panduan · Keras Tahap

Paralelisme Pakar untuk Kuiz Penyajian KPM

Uji penempatan pakar KPM, penghantaran token dan ketidakseimbangan beban, termasuk cara pakar dan komunikasi terpilih mempengaruhi inferens yang diedarkan.

Laluan panduan yang berkaitanParalelisme Pakar Untuk Penyajian Moe
soalan 1 daripada 8

Apakah yang diedarkan paralelisme pakar merentas GPU?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang diedarkan paralelisme pakar merentas GPU?
    • Salinan model penuh untuk redundansi
    • Ketua perhatian individu sahaja
    • Pakar suapan hadapan yang berbeza bagi lapisan MoE
    • Lapisan jadual benam
  2. Corak komunikasi manakah yang menjadi teras kepada keselarian pakar KPM?
    • Dua pertukaran semua-ke-semua (menghantar dan menggabungkan)
    • Satu siaran
    • Penyegerakan kecerunan titik ke titik
    • Tiada komunikasi diperlukan
  3. Mengapakah MoE mengekalkan pengiraan per-token rendah walaupun jumlah parameter yang besar?
    • Ia memampatkan pemberat kepada 1 bit
    • Ia melangkau lapisan perhatian
    • Pakar berkongsi semua berat mereka
    • Hanya pakar terpilih teratas menjalankan setiap token
  4. Apakah masalah yang timbul kerana penghalaan bergantung kepada data?
    • Letupan kecerunan
    • Ketidakseimbangan beban, di mana sesetengah pakar mendapat lebih banyak token
    • Penghala tidak boleh dilatih
    • Token kehilangan benam kedudukannya
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Bagaimanakah sistem menyembunyikan kependaman semua-ke-semua langkah?
    • Dengan berjalan pada CPU sebaliknya
    • Dengan mengalih keluar langkah gabungan
    • Dengan meningkatkan kadar pembelajaran
    • Dengan pertindihan komunikasi dengan pengiraan pakar
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory