Kvíz spojený s průvodcem · Těžko úroveň
RMSNorm a Pre-Layer Normalization Quiz
Kontroluje statistiky RMSNorm, umístění před LN, zbytkové cesty a normalizaci klíče dotazu, aniž by tyto nezávislé volby návrhu zaměňovaly.
Otázka 1 z 8
Co RMSNorm vynechává ve srovnání se standardním LayerNorm?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co RMSNorm vynechává ve srovnání se standardním LayerNorm?
- Střední odečítání (znovu vycentrování)
- Naučený parametr měřítka
- Zbytkové spojení
- Operace softmax
- Jakou veličinou dělí RMSNorm každý aktivační vektor?
- Jeho rozptyl
- Jeho střední kvadratická hodnota
- Jeho maximální absolutní hodnota
- Jeho norma L1
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- Jakou cestu v bloku Pre-LN nechává normalizační vrstva záměrně nedotčena?
- Dopředné váhy
- Vložení tokenu
- Výstup softmax
- Zbytkové (identitní) spojení
- Které moderní rodiny modelů s otevřenou hmotností používají standardně RMSNorm?
- LLaMA, Mistral a Qwen
- AlexNet a VGG
- ResNet a Inception
- BERT-base a původní Transformer
- Co je 'QK-norm', nedávná aplikace RMSNorm?
- Normalizace konečných výstupních logitů
- Použití RMSNorm na dotazy a klíče upozornění pro řízení růstu logit
- Kvantování mezipaměti párů klíč–hodnota
- Způsob, jak úplně přeskočit normalizaci
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block