Quiz lié à un guide · Difficile Niveau

Quiz sur la normalisation RMSNorm et pré-couche

Vérifie les statistiques RMSNorm, le placement pré-LN, les chemins résiduels et la normalisation des clés de requête sans confondre ces choix de conception indépendants.

Chemins de guidage associésRmsnorm et normalisation pré-couche
Question 1 de 8

Qu'est-ce que RMSNorm omet par rapport au LayerNorm standard ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que RMSNorm omet par rapport au LayerNorm standard ?
    • Soustraction moyenne (recentrage)
    • Le paramètre d'échelle appris
    • La connexion résiduelle
    • L'opération softmax
  2. Par quelle quantité RMSNorm divise-t-il chaque vecteur d'activation ?
    • Sa variance
    • Sa racine carrée moyenne
    • Sa valeur absolue maximale
    • Sa norme L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Dans un bloc pré-LN, quel chemin la couche de normalisation laisse-t-elle délibérément intact ?
    • Les poids feed-forward
    • Les intégrations de jetons
    • La sortie softmax
    • La connexion résiduelle (identitaire)
  5. Quelles familles de modèles modernes à poids ouvert utilisent RMSNorm par défaut ?
    • LLaMA, Mistral et Qwen
    • AlexNet et VGG
    • ResNet et création
    • Base BERT et transformateur d'origine
  6. Qu'est-ce que la « norme QK », une application récente de RMSNorm ?
    • Normalisation des journaux de sortie finaux
    • Application de RMSNorm aux requêtes d'attention et aux clés pour contrôler la croissance du logit
    • Quantification du cache clé-valeur
    • Un moyen d’éviter complètement la normalisation
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block