Gids-gekoppelde quiz · Moeilijk Niveau

Expert-parallellisme voor MoE-servingquiz

Test de plaatsing van MoE-experts, tokenverzending en onbalans in de belasting, inclusief hoe geselecteerde experts en communicatie de gedistribueerde gevolgtrekking beïnvloeden.

Vraag 1 van 8

Wat verdeelt expert-parallellisme over GPU's?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat verdeelt expert-parallellisme over GPU's?
    • Kopieën van het volledige model voor redundantie
    • Alleen individuele aandachtshoofden
    • Verschillende feed-forward experts van een MoE-laag
    • Lagen van de insluitingstabel
  2. Welk communicatiepatroon staat centraal in het parallellisme van MoE-experts?
    • Twee alles-tot-alles-uitwisselingen (verzenden en combineren)
    • Eén enkele uitzending
    • Punt-tot-punt gradiëntsynchronisatie
    • Er is geen communicatie nodig
  3. Waarom houdt MoE de rekenkracht per token laag, ondanks enorme totale parameters?
    • Het comprimeert gewichten tot 1 bit
    • Het slaat de aandachtslagen over
    • Deskundigen delen al hun gewichten
    • Alleen de top-k geselecteerde experts rennen per token
  4. Welk probleem doet zich voor omdat routering gegevensafhankelijk is?
    • Gradiënt explosie
    • Onbalans in belasting, waarbij sommige experts veel meer tokens krijgen
    • De router kan niet worden getraind
    • Tokens verliezen hun positie-inbedding
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Hoe verbergen systemen de latentie van de alles-tot-allesstappen?
    • Door in plaats daarvan op CPU te draaien
    • Door de combineerstap te verwijderen
    • Door het leertempo te verhogen
    • Door communicatie te overlappen met deskundige berekeningen
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory