Quiz Mélange d'Experts

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Dans une couche de mélange d'experts, qu'est-ce qui décide quels experts traiteront un jeton donné ?
   • Un petit routeur savant (gating network) qui note les experts
   • Une table de recherche fixe définie avant la formation
   • La longueur de l'invite de l'utilisateur
   • Un tirage au sort à chaque étape
2. Pourquoi un modèle MoE peut-il avoir beaucoup plus de paramètres totaux qu’un modèle dense sans une augmentation correspondante du coût par jeton ?
   • Il compresse les paramètres en un seul poids partagé
   • Il ignore complètement les couches d'attention
   • Seuls quelques experts (top-k) sont activés pour chaque jeton
   • Il exécute tous les experts mais fait la moyenne des résultats
3. Quel problème une perte d’équilibrage de charge (auxiliaire) résout-elle pendant la formation MoE ?
   • Les jetons sont trop longs pour la fenêtre contextuelle
   • Le routeur abuse de quelques experts et affame les autres
   • Les dégradés disparaissent dans les têtes d'attention
   • Surajustement à l'ensemble de validation
4. Mixtral 8x7B active 2 de ses 8 experts par jeton. Qu'est-ce que cela implique concernant son calcul par rapport à sa taille ?
   • Il utilise le calcul des 8 experts sur chaque jeton
   • Il a moins de paramètres totaux qu'un modèle dense 7B
   • Il ne peut pas du tout fonctionner sur un GPU
   • Son calcul actif par jeton est bien inférieur à ce que suggère son nombre total de paramètres
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters