Gids-gekoppelde quiz · Moeilijk Niveau
RMSNorm en pre-laag-normalisatiequiz
Controleert RMSNorm-statistieken, pre-LN-plaatsing, restpaden en normalisatie van querysleutels zonder deze onafhankelijke ontwerpkeuzes te verwarren.
Vraag 1 van 8
Wat laat RMSNorm weg in vergelijking met de standaard LayerNorm?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat laat RMSNorm weg in vergelijking met de standaard LayerNorm?
- Gemiddelde aftrekking (opnieuw centreren)
- De geleerde schaalparameter
- De resterende verbinding
- De softmax-bediening
- Door welke hoeveelheid deelt RMSNorm elke activeringsvector?
- Zijn variantie
- De wortel betekent vierkant
- De maximale absolute waarde
- Het is de L1-norm
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- Welk pad laat de normalisatielaag in een Pre-LN-blok opzettelijk onaangeroerd?
- De feed-forward-gewichten
- De token-insluitingen
- De uitvoer softmax
- De resterende (identiteits)verbinding
- Welke moderne modelfamilies met open gewicht gebruiken standaard RMSNorm?
- LLaMA, Mistral en Qwen
- AlexNet en VGG
- ResNet en Inception
- BERT-basis en de originele Transformer
- Wat is 'QK-norm', een recente toepassing van RMSNorm?
- Normaliseren van de uiteindelijke uitvoerlogits
- RMSNorm toepassen op aandachtsquery's en sleutels om de logitgroei te beheersen
- Het kwantificeren van de sleutelwaardecache
- Een manier om de normalisatie volledig over te slaan
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block