Útmutatóhoz kapcsolódó kvíz · Kemény Szint
RMSNorm és a réteg előtti normalizálási kvíz
Checks RMSNorm statistics, Pre-LN placement, residual paths and query-key normalization without confusing these independent design choices.
kérdés 1 -ból 8
Mit hagy ki az RMSNorm a szabványos LayerNormhoz képest?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit hagy ki az RMSNorm a szabványos LayerNormhoz képest?
- Átlag kivonás (újra központosítás)
- A tanult skálaparaméter
- A maradék kapcsolat
- A softmax művelet
- Milyen mennyiséggel osztja el az RMSNorm az egyes aktiválási vektorokat?
- A szórása
- Négyzetgyöke
- Maximális abszolút értéke
- L1 norma
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- Egy pre-LN blokkban milyen utat hagy szándékosan érintetlenül a normalizációs réteg?
- Az előretolható súlyok
- A token beágyazások
- A kimenet softmax
- A maradék (identitás) kapcsolat
- Mely modern, nyitott súlyú modellcsaládok használnak alapértelmezés szerint RMSNormot?
- LLaMA, Mistral és Qwen
- AlexNet és VGG
- ResNet és Inception
- BERT-bázis és az eredeti Transformer
- Mi az a „QK-norm”, az RMSNorm legújabb alkalmazása?
- A végső kimeneti logitok normalizálása
- Az RMSNorm alkalmazása figyelemkérésekre és kulcsokra a logit növekedésének szabályozására
- A kulcs-érték gyorsítótár kvantálása
- A normalizálás teljes kihagyásának módja
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block