Kvíz spojený s průvodcem · Těžko úroveň

Expertní paralelismus pro kvíz o podávání MŽP

Testujte umístění expertů MŽP, odesílání tokenů a nerovnováhu zátěže, včetně toho, jak vybraní experti a komunikace ovlivňují distribuovanou inferenci.

Otázka 1 z 8

Co expertní paralelismus distribuuje mezi GPU?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co expertní paralelismus distribuuje mezi GPU?
    • Kopie úplného modelu pro redundanci
    • Pouze individuální pozornost
    • Různí dopřední experti vrstvy MŽP
    • Vrstvy tabulky pro vkládání
  2. Který komunikační model je ústředním bodem expertního paralelismu MŽP?
    • Dvě kompletní výměny (odeslání a spojení)
    • Jediné vysílání
    • Synchronizace přechodu z bodu do bodu
    • Není potřeba žádná komunikace
  3. Proč MŽP udržuje nízké výpočty na token navzdory obrovským celkovým parametrům?
    • Komprimuje váhy na 1 bit
    • Přeskočí vrstvy pozornosti
    • Odborníci sdílejí všechny své váhy
    • Každý žeton běží pouze nejlepší vybraní odborníci
  4. Jaký problém nastává, protože směrování je závislé na datech?
    • Gradientní exploze
    • Nevyváženost zatížení, kdy někteří experti získávají daleko více tokenů
    • Router nelze natrénovat
    • Žetony ztrácejí vložení pozice
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Jak systémy skryjí latenci kroků all-to-all?
    • Místo toho běží na CPU
    • Odstraněním slučovacího kroku
    • Zvýšením rychlosti učení
    • Překrýváním komunikace s expertním výpočtem
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory