Útmutatóhoz kapcsolódó kvíz · Kemény Szint

RMSNorm és a réteg előtti normalizálási kvíz

Checks RMSNorm statistics, Pre-LN placement, residual paths and query-key normalization without confusing these independent design choices.

Kapcsolódó útmutató utakRmsnorm és réteg előtti normalizálás
kérdés 1 -ból 8

Mit hagy ki az RMSNorm a szabványos LayerNormhoz képest?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit hagy ki az RMSNorm a szabványos LayerNormhoz képest?
    • Átlag kivonás (újra központosítás)
    • A tanult skálaparaméter
    • A maradék kapcsolat
    • A softmax művelet
  2. Milyen mennyiséggel osztja el az RMSNorm az egyes aktiválási vektorokat?
    • A szórása
    • Négyzetgyöke
    • Maximális abszolút értéke
    • L1 norma
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Egy pre-LN blokkban milyen utat hagy szándékosan érintetlenül a normalizációs réteg?
    • Az előretolható súlyok
    • A token beágyazások
    • A kimenet softmax
    • A maradék (identitás) kapcsolat
  5. Mely modern, nyitott súlyú modellcsaládok használnak alapértelmezés szerint RMSNormot?
    • LLaMA, Mistral és Qwen
    • AlexNet és VGG
    • ResNet és Inception
    • BERT-bázis és az eredeti Transformer
  6. Mi az a „QK-norm”, az RMSNorm legújabb alkalmazása?
    • A végső kimeneti logitok normalizálása
    • Az RMSNorm alkalmazása figyelemkérésekre és kulcsokra a logit növekedésének szabályozására
    • A kulcs-érték gyorsítótár kvantálása
    • A normalizálás teljes kihagyásának módja
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block