Вікторина, пов’язана з посібником · важко Рівень

RMSNorm і Тест нормалізації попереднього рівня

Перевіряє статистику RMSNorm, розміщення Pre-LN, залишкові шляхи та нормалізацію ключа запиту, не плутаючи ці незалежні варіанти дизайну.

Пов'язані напрямні шляхиRmsnorm і нормалізація попереднього рівня
Питання 1 з 8

Що не містить RMSNorm порівняно зі стандартним LayerNorm?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що не містить RMSNorm порівняно зі стандартним LayerNorm?
    • Середнє віднімання (повторне центрування)
    • Вивчений параметр масштабу
    • Залишкове з'єднання
    • Операція softmax
  2. На яку величину RMSNorm ділить кожен вектор активації?
    • Його дисперсія
    • Його середнє квадратичне значення
    • Його максимальне абсолютне значення
    • Його L1 норма
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. У блоці Pre-LN, який шлях шар нормалізації навмисно залишає недоторканим?
    • Упереджені ваги
    • Вбудовані маркери
    • Вихід softmax
    • Залишковий (тотожний) зв'язок
  5. Які сучасні сімейства відкритих моделей використовують RMSNorm за замовчуванням?
    • LLaMA, Mistral і Qwen
    • AlexNet і VGG
    • ResNet і Inception
    • BERT-база і оригінальний трансформер
  6. Що таке «QK-норма», нещодавнє застосування RMSNorm?
    • Нормалізація кінцевих вихідних логів
    • Застосування RMSNorm до запитів уваги та ключів для контролю зростання логіту
    • Квантування кешу ключ-значення
    • Спосіб повністю пропустити нормалізацію
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block