Test legat de ghid · Greu Nivel

RMSNorm și chestionar de normalizare pre-layer

Verifică statisticile RMSNorm, plasarea pre-LN, căile reziduale și normalizarea cheilor de interogare fără a confunda aceste alegeri independente de proiectare.

Căi de ghidare aferenteRmsnorm și normalizarea prelayerului
Întrebare 1 de 8

Ce omite RMSNorm în comparație cu LayerNorm standard?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce omite RMSNorm în comparație cu LayerNorm standard?
    • Scăderea medie (recentrare)
    • Parametrul de scară învățat
    • Conexiunea reziduală
    • Operația softmax
  2. Cu ce cantitate RMSNorm împarte fiecare vector de activare?
    • Varianta sa
    • Rădăcina sa medie pătrată
    • Valoarea sa absolută maximă
    • Norma sa L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Într-un bloc Pre-LN, ce cale lasă în mod deliberat neatins stratul de normalizare?
    • Greutățile feed-forward
    • Înglobările de jetoane
    • Ieșirea softmax
    • Conexiunea reziduală (identității).
  5. Ce familii moderne de modele deschise folosesc implicit RMSNorm?
    • LLaMA, Mistral și Qwen
    • AlexNet și VGG
    • ResNet și Inception
    • Baza BERT și Transformerul original
  6. Ce este „QK-norm”, o aplicație recentă a RMSNorm?
    • Normalizarea logit-urilor finale de ieșire
    • Aplicarea RMSNorm la interogări de atenție și chei pentru a controla creșterea logit-ului
    • Cuantificarea memoriei cache-cheie-valoare
    • O modalitate de a omite complet normalizarea
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block