Gids-gekoppelde quiz · Moeilijk Niveau

RMSNorm en pre-laag-normalisatiequiz

Controleert RMSNorm-statistieken, pre-LN-plaatsing, restpaden en normalisatie van querysleutels zonder deze onafhankelijke ontwerpkeuzes te verwarren.

Gerelateerde gidspadenRmsnorm en pre-layer-normalisatie
Vraag 1 van 8

Wat laat RMSNorm weg in vergelijking met de standaard LayerNorm?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat laat RMSNorm weg in vergelijking met de standaard LayerNorm?
    • Gemiddelde aftrekking (opnieuw centreren)
    • De geleerde schaalparameter
    • De resterende verbinding
    • De softmax-bediening
  2. Door welke hoeveelheid deelt RMSNorm elke activeringsvector?
    • Zijn variantie
    • De wortel betekent vierkant
    • De maximale absolute waarde
    • Het is de L1-norm
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Welk pad laat de normalisatielaag in een Pre-LN-blok opzettelijk onaangeroerd?
    • De feed-forward-gewichten
    • De token-insluitingen
    • De uitvoer softmax
    • De resterende (identiteits)verbinding
  5. Welke moderne modelfamilies met open gewicht gebruiken standaard RMSNorm?
    • LLaMA, Mistral en Qwen
    • AlexNet en VGG
    • ResNet en Inception
    • BERT-basis en de originele Transformer
  6. Wat is 'QK-norm', een recente toepassing van RMSNorm?
    • Normaliseren van de uiteindelijke uitvoerlogits
    • RMSNorm toepassen op aandachtsquery's en sleutels om de logitgroei te beheersen
    • Het kwantificeren van de sleutelwaardecache
    • Een manier om de normalisatie volledig over te slaan
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block