Gids-gekoppelde quiz · Moeilijk Niveau
Expert-parallellisme voor MoE-servingquiz
Test de plaatsing van MoE-experts, tokenverzending en onbalans in de belasting, inclusief hoe geselecteerde experts en communicatie de gedistribueerde gevolgtrekking beïnvloeden.
Vraag 1 van 8
Wat verdeelt expert-parallellisme over GPU's?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat verdeelt expert-parallellisme over GPU's?
- Kopieën van het volledige model voor redundantie
- Alleen individuele aandachtshoofden
- Verschillende feed-forward experts van een MoE-laag
- Lagen van de insluitingstabel
- Welk communicatiepatroon staat centraal in het parallellisme van MoE-experts?
- Twee alles-tot-alles-uitwisselingen (verzenden en combineren)
- Eén enkele uitzending
- Punt-tot-punt gradiëntsynchronisatie
- Er is geen communicatie nodig
- Waarom houdt MoE de rekenkracht per token laag, ondanks enorme totale parameters?
- Het comprimeert gewichten tot 1 bit
- Het slaat de aandachtslagen over
- Deskundigen delen al hun gewichten
- Alleen de top-k geselecteerde experts rennen per token
- Welk probleem doet zich voor omdat routering gegevensafhankelijk is?
- Gradiënt explosie
- Onbalans in belasting, waarbij sommige experts veel meer tokens krijgen
- De router kan niet worden getraind
- Tokens verliezen hun positie-inbedding
- Why are capacity limits and padding used in some MoE implementations?
- To control expert buffer sizes and make computation shapes more predictable
- To require every expert to process every token
- To eliminate all token routing
- To guarantee that every MoE system drops tokens
- Hoe verbergen systemen de latentie van de alles-tot-allesstappen?
- Door in plaats daarvan op CPU te draaien
- Door de combineerstap te verwijderen
- Door het leertempo te verhogen
- Door communicatie te overlappen met deskundige berekeningen
- A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
- Run every expert in the model regardless of routing
- Dispatch its representation to the selected experts and combine their outputs
- Replace both expert networks with an attention head
- Drop the token solely because it selected two devices
- One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
- The total expert parameter count automatically doubles
- The router’s outputs become attention positions
- The overloaded expert becomes a straggler while other devices wait
- All other experts are removed from memory