Викторина, связанная с руководством · Жесткий Уровень

RMSNorm и тест по нормализации предварительного слоя

Проверяет статистику RMSNorm, размещение Pre-LN, остаточные пути и нормализацию ключа запроса, не путая эти независимые варианты проектирования.

Связанные направляющие путиRmsnorm и нормализация предварительного слоя
Вопрос 1 из 8

Что отсутствует в RMSNorm по сравнению со стандартным LayerNorm?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что отсутствует в RMSNorm по сравнению со стандартным LayerNorm?
    • Среднее вычитание (повторное центрирование)
    • Изученный параметр масштаба
    • Остаточная связь
    • Операция softmax
  2. На какую величину RMSNorm делит каждый вектор активации?
    • Его дисперсия
    • Его корень означает квадрат
    • Его максимальное абсолютное значение
    • Это норма L1.
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Какой путь в блоке Pre-LN намеренно оставляет нетронутым уровень нормализации?
    • Веса прямой связи
    • Вложения токенов
    • Выходной софтмакс
    • Остаточная (идентичная) связь
  5. Какие современные семейства моделей с открытым весом используют RMSNorm по умолчанию?
    • LLaMA, Мистраль и Квен
    • АлексНет и ВГГ
    • ResNet и начало
    • BERT-база и оригинальный Трансформер
  6. Что такое «QK-норма», недавнее применение RMSNorm?
    • Нормализация окончательных выходных логитов
    • Применение RMSNorm к запросам внимания и ключам для контроля роста логита
    • Квантование кеша ключ-значение
    • Способ полностью пропустить нормализацию
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block