Kvíz spojený s průvodcem · Těžko úroveň

RMSNorm a Pre-Layer Normalization Quiz

Kontroluje statistiky RMSNorm, umístění před LN, zbytkové cesty a normalizaci klíče dotazu, aniž by tyto nezávislé volby návrhu zaměňovaly.

Související vodicí cestyNormalizace Rmsnorm a Pre Layer
Otázka 1 z 8

Co RMSNorm vynechává ve srovnání se standardním LayerNorm?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co RMSNorm vynechává ve srovnání se standardním LayerNorm?
    • Střední odečítání (znovu vycentrování)
    • Naučený parametr měřítka
    • Zbytkové spojení
    • Operace softmax
  2. Jakou veličinou dělí RMSNorm každý aktivační vektor?
    • Jeho rozptyl
    • Jeho střední kvadratická hodnota
    • Jeho maximální absolutní hodnota
    • Jeho norma L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Jakou cestu v bloku Pre-LN nechává normalizační vrstva záměrně nedotčena?
    • Dopředné váhy
    • Vložení tokenu
    • Výstup softmax
    • Zbytkové (identitní) spojení
  5. Které moderní rodiny modelů s otevřenou hmotností používají standardně RMSNorm?
    • LLaMA, Mistral a Qwen
    • AlexNet a VGG
    • ResNet a Inception
    • BERT-base a původní Transformer
  6. Co je 'QK-norm', nedávná aplikace RMSNorm?
    • Normalizace konečných výstupních logitů
    • Použití RMSNorm na dotazy a klíče upozornění pro řízení růstu logit
    • Kvantování mezipaměti párů klíč–hodnota
    • Způsob, jak úplně přeskočit normalizaci
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block