Rehber bağlantılı sınav · Sert Seviye

MEB Hizmet Sınavı için Uzman Paralelliği

Seçilen uzmanların ve iletişimin dağıtılmış çıkarımı nasıl etkilediği de dahil olmak üzere MoE uzman yerleştirmesini, belirteç dağıtımını ve yük dengesizliğini test edin.

İlgili kılavuz yollarıMoe Sunumu İçin Uzman Paralellik
Soru 1 arasında 8

Uzman paralelliği GPU'lar arasında ne dağıtır?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Uzman paralelliği GPU'lar arasında ne dağıtır?
    • Artıklık için tam modelin kopyaları
    • Yalnızca bireysel dikkat kafaları
    • Bir MEB katmanının farklı ileri besleme uzmanları
    • Gömme tablosunun katmanları
  2. MEB uzman paralelliğinin merkezinde hangi iletişim modeli yer alır?
    • İki hepsi bir arada değişim (gönderme ve birleştirme)
    • Tek bir yayın
    • Noktadan noktaya degrade senkronizasyonu
    • İletişime gerek yok
  3. MoE, devasa toplam parametrelere rağmen neden jeton başına hesaplamayı düşük tutuyor?
    • Ağırlıkları 1 bit'e sıkıştırır
    • Dikkat katmanlarını atlar
    • Uzmanlar tüm ağırlıklarını paylaşıyor
    • Token başına yalnızca en iyi seçilen uzmanlar çalıştırılır
  4. Yönlendirmenin verilere bağlı olması nedeniyle hangi sorun ortaya çıkar?
    • Gradyan patlaması
    • Bazı uzmanların çok daha fazla token aldığı yük dengesizliği
    • Yönlendirici eğitilemez
    • Tokenlar konum yerleştirmelerini kaybediyor
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Sistemler tümden herkese adımların gecikmesini nasıl gizler?
    • Bunun yerine CPU üzerinde çalıştırarak
    • Birleştirme adımını kaldırarak
    • Öğrenme oranını artırarak
    • İletişimi uzman hesaplamayla örtüştürerek
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory