Тест, свързан с ръководство · трудно Ниво

RMSNorm и тест за нормализиране на предварителен слой

Проверява статистиката на RMSNorm, разположението на Pre-LN, остатъчните пътища и нормализирането на ключове за заявки, без да обърква тези независими дизайнерски решения.

Свързани ръководни пътекиRmsnorm и нормализиране на предварителен слой
Въпрос 1 на 8

Какво пропуска RMSNorm в сравнение със стандартния LayerNorm?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво пропуска RMSNorm в сравнение със стандартния LayerNorm?
    • Средно изваждане (повторно центриране)
    • Наученият мащабен параметър
    • Остатъчната връзка
    • Операцията softmax
  2. На какво количество RMSNorm разделя всеки активиращ вектор?
    • Неговата вариация
    • Неговият среден квадрат
    • Максималната му абсолютна стойност
    • Неговата L1 норма
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. В блок Pre-LN какъв път нормализиращият слой умишлено оставя недокоснат?
    • Предаващите тегла
    • Вграждането на токени
    • Изходът softmax
    • Остатъчната (идентичност) връзка
  5. Кои съвременни фамилии модели с отворено тегло използват RMSNorm по подразбиране?
    • LLaMA, Mistral и Qwen
    • AlexNet и VGG
    • ResNet и Inception
    • BERT-база и оригиналния трансформатор
  6. Какво е „QK-норма“, скорошно приложение на RMSNorm?
    • Нормализиране на крайните изходни логове
    • Прилагане на RMSNorm към заявки за внимание и ключове за контрол на растежа на logit
    • Квантуване на кеша ключ-стойност
    • Начин да пропуснете изцяло нормализацията
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block