Quiz lié à un guide · Moyen Niveau

Quiz sur les mélanges de profondeurs

Testez le routeur de jetons appris du ministère de la Défense, la capacité top-k fixe, le chemin résiduel pour les jetons ignorés, les formes statiques et les garanties de routage causal.

Chemins de guidage associésMélange de profondeurs
Question 1 de 8

Qu'est-ce que le mélange de profondeurs varie selon les jetons ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que le mélange de profondeurs varie selon les jetons ?
    • Combien de calcul (quelles couches) chaque jeton reçoit
    • Le vocabulaire utilisé
    • L'ensemble de données de formation
    • La langue de sortie
  2. Comment le ministère de la Défense assure-t-il la prévisibilité de son budget de calcul ?
    • En laissant tomber au hasard la moitié des poids du modèle
    • En traitant une fraction top-k fixe de jetons à chaque bloc
    • En utilisant un modèle différent pour chaque phrase
    • En désactivant complètement l'attention
  3. Qu'arrive-t-il aux jetons que le routeur ne sélectionne PAS à un bloc donné ?
    • Ils sont supprimés de la séquence
    • Ils sont envoyés vers un modèle séparé
    • Ils sautent le bloc via la connexion résiduelle, passant par inchangé
    • Ils sont convertis en images
  4. Quel laboratoire a publié la technique du Mélange de Profondeurs ?
    • OpenAI en 2019
    • Meta en 2015
    • Microsoft en 2012
    • Google DeepMind en 2024
  5. Que produit la combinaison du MoD avec le Mixture-of-Experts ?
    • MoDE, qui s'appuie à la fois sur la profondeur et sur le choix d'experts
    • Un modèle sans paramètres
    • Un réseau purement convolutif
    • Un système uniquement tokenizer
  6. Pourquoi un top-k fixe est-il préféré à un seuil par jeton dans le ministère de la Défense ?
    • Cela permet au modèle de produire un texte aléatoire
    • Il maintient les formes de tenseurs statiques, ce qui est efficace sur le matériel
    • Cela supprime le besoin de formation
    • Cela augmente la taille du vocabulaire
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens