Kvíz spojený s průvodcem · Těžko úroveň
Expertní paralelismus pro kvíz o podávání MŽP
Testujte umístění expertů MŽP, odesílání tokenů a nerovnováhu zátěže, včetně toho, jak vybraní experti a komunikace ovlivňují distribuovanou inferenci.
Otázka 1 z 8
Co expertní paralelismus distribuuje mezi GPU?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co expertní paralelismus distribuuje mezi GPU?
- Kopie úplného modelu pro redundanci
- Pouze individuální pozornost
- Různí dopřední experti vrstvy MŽP
- Vrstvy tabulky pro vkládání
- Který komunikační model je ústředním bodem expertního paralelismu MŽP?
- Dvě kompletní výměny (odeslání a spojení)
- Jediné vysílání
- Synchronizace přechodu z bodu do bodu
- Není potřeba žádná komunikace
- Proč MŽP udržuje nízké výpočty na token navzdory obrovským celkovým parametrům?
- Komprimuje váhy na 1 bit
- Přeskočí vrstvy pozornosti
- Odborníci sdílejí všechny své váhy
- Každý žeton běží pouze nejlepší vybraní odborníci
- Jaký problém nastává, protože směrování je závislé na datech?
- Gradientní exploze
- Nevyváženost zatížení, kdy někteří experti získávají daleko více tokenů
- Router nelze natrénovat
- Žetony ztrácejí vložení pozice
- Why are capacity limits and padding used in some MoE implementations?
- To control expert buffer sizes and make computation shapes more predictable
- To require every expert to process every token
- To eliminate all token routing
- To guarantee that every MoE system drops tokens
- Jak systémy skryjí latenci kroků all-to-all?
- Místo toho běží na CPU
- Odstraněním slučovacího kroku
- Zvýšením rychlosti učení
- Překrýváním komunikace s expertním výpočtem
- A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
- Run every expert in the model regardless of routing
- Dispatch its representation to the selected experts and combine their outputs
- Replace both expert networks with an attention head
- Drop the token solely because it selected two devices
- One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
- The total expert parameter count automatically doubles
- The router’s outputs become attention positions
- The overloaded expert becomes a straggler while other devices wait
- All other experts are removed from memory