Quiz lié à un guide · Difficile Niveau

Quiz sur les modèles mixtes et clairsemés

Passez en revue le routage Mixtral, l'activation experte, les paramètres totaux et actifs, ainsi que les compromis pratiques en matière de mémoire et de déploiement des modèles clairsemés.

Chemins de guidage associésModèles mixtes et clairsemés
Question 1 de 8

Dans Mixtral 8x7B, combien d'experts traitent chaque jeton individuel ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Dans Mixtral 8x7B, combien d'experts traitent chaque jeton individuel ?
    • Deux experts
    • Les huit experts
    • Exactement un expert
    • Un numéro aléatoire à chaque fois
  2. Quel composant décide à quels experts un jeton est envoyé ?
    • Le tokeniseur
    • Le routeur (réseau de gate)
    • La couche d'attention
    • La table d'intégration
  3. Bien que Mixtral 8x7B ait environ 47 B de paramètres au total, combien environ sont actifs par jeton ?
    • Environ 47 milliards
    • Environ 7 milliards
    • Environ 13 milliards
    • Environ 70 milliards
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Sous quelle licence Mistral AI a-t-il publié Mixtral, alimentant ainsi une adoption ouverte ?
    • Apache2.0
    • Propriétaire, source fermée uniquement
    • GPLv3
    • Creative Commons non commercial
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • Cela supprime le besoin de données de formation
    • Supervised fine-tuning and direct preference optimization (DPO)
    • Il élimine complètement le besoin de GPU
    • Cela garantit que les modèles ne font jamais d’erreurs
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • Deux experts
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish