Quiz lié à un guide · Difficile Niveau

Parallélisme d'experts pour le quiz de service du MoE

Testez le placement des experts MoE, la répartition des jetons et le déséquilibre de charge, y compris la manière dont les experts sélectionnés et la communication affectent l'inférence distribuée.

Chemins de guidage associésParallélisme expert pour Moe Serving
Question 1 de 8

Que distribue le parallélisme expert sur les GPU ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Que distribue le parallélisme expert sur les GPU ?
    • Copies du modèle complet pour la redondance
    • Attention individuelle uniquement
    • Différents experts en feed-forward d'une couche MoE
    • Couches de la table d'intégration
  2. Quel modèle de communication est au cœur du parallélisme des experts du MoE ?
    • Deux échanges tout-à-tout (expédition et regroupement)
    • Une seule diffusion
    • Synchronisation du dégradé point à point
    • Aucune communication n'est nécessaire
  3. Pourquoi le MoE maintient-il le calcul par jeton à un faible niveau malgré des paramètres totaux énormes ?
    • Il compresse les poids à 1 bit
    • Il ignore les couches d'attention
    • Les experts partagent tous leurs poids
    • Seuls les k meilleurs experts sélectionnés fonctionnent par jeton
  4. Quel problème se pose parce que le routage dépend des données ?
    • Explosion de dégradé
    • Déséquilibre de charge, où certains experts obtiennent beaucoup plus de jetons
    • Le routeur ne peut pas être formé
    • Les jetons perdent leur intégration de position
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. Comment les systèmes masquent-ils la latence des étapes du tout-à-tout ?
    • En fonctionnant plutôt sur CPU
    • En supprimant l'étape de combinaison
    • En augmentant le taux d'apprentissage
    • En superposant la communication avec le calcul expert
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory