Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący normalizacji RMSNorm i przedwarstwowej

Sprawdza statystyki RMSNorm, rozmieszczenie przed LN, ścieżki resztkowe i normalizację klucza zapytania, nie myląc tych niezależnych wyborów projektowych.

Powiązane ścieżki prowadząceNormalizacja Rmsnorm i warstwy wstępnej
Pytanie 1 z 8

Co pomija RMSNorm w porównaniu ze standardową LayerNorm?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co pomija RMSNorm w porównaniu ze standardową LayerNorm?
    • Odejmowanie średniej (ponowne centrowanie)
    • Wyuczony parametr skali
    • Resztkowe połączenie
    • Operacja softmax
  2. Przez jaką wielkość RMSNorm dzieli każdy wektor aktywacji?
    • Jego odmienność
    • Jego średnia kwadratowa
    • Jego maksymalna wartość bezwzględna
    • To norma L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Jaką ścieżkę w bloku Pre-LN celowo pozostawia nietkniętą warstwę normalizacyjną?
    • Wagi wyprzedzające
    • Osadzanie tokenów
    • Wyjście softmax
    • Połączenie resztkowe (tożsamościowe).
  5. Które nowoczesne rodziny modeli o otwartej wadze domyślnie korzystają z RMSNorm?
    • LLaMA, Mistral i Qwen
    • AlexNet i VGG
    • ResNet i Incepcja
    • Baza BERT i oryginalny Transformer
  6. Co to jest „QK-norm” – najnowsze zastosowanie RMSNorm?
    • Normalizowanie końcowych logitów wyjściowych
    • Stosowanie RMSNorm do zapytań i kluczy dotyczących uwagi w celu kontrolowania wzrostu logitu
    • Kwantyzacja pamięci podręcznej klucz-wartość
    • Sposób na całkowite pominięcie normalizacji
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block