Викторина, связанная с руководством · Средний Уровень

Тест по нормализации слоев

Проверяет статистику LayerNorm и аффинные параметры, поведение размера партии, эпсилон, RMSNorm и размещение до нормы. в глубоких сетях.

Связанные направляющие путиНормализация слоев
Вопрос 1 из 8

По чему нормализация слоев вычисляет среднее значение и дисперсию?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. По чему нормализация слоев вычисляет среднее значение и дисперсию?
    • По особенностям одного примера
    • По всем примерам в мини-пакете
    • По всем весам в сети
    • В течение нескольких эпох обучения
  2. Почему нормализация слоев предпочтительнее пакетной нормализации в трансформаторах?
    • Требуется очень большой размер партии
    • Он не зависит от размера пакета и обрабатывает последовательности переменной длины.
    • Это устраняет необходимость в каких-либо обучаемых параметрах.
    • Это работает только во время вывода
  3. Что позволяют изучаемые параметры гамма и бета LayerNorm?
    • Выберите скорость обучения
    • Установите количество слоев
    • Измените масштаб и сместите нормализованный вывод, чтобы сеть могла восстановить полезные представления.
    • Устраните необходимость в функции активации
  4. Чем RMSNorm отличается от стандартного LayerNorm?
    • Вместо этого он нормализуется по всей партии
    • Он не использует никаких параметров и разделения.
    • Работает только с изображениями
    • Он пропускает вычитание среднего значения и делится только на среднеквадратичное значение.
  5. Какую проблему в первую очередь помогает решить нормализация слоев в глубоких сетях?
    • Активации перемещаются в совершенно разные масштабы, что дестабилизирует тренировку.
    • Недостаточно места на диске
    • Выбор правильного набора данных
    • Шифрование весов модели
  6. Почему в очень глубоких трансформаторах часто используется «преднормативное» размещение?
    • Это делает модель меньше.
    • Нормализация перед каждым подслоем делает обучение глубоких стеков более простым и стабильным.
    • Убирает механизм внимания
    • Это автоматически удваивает скорость обучения
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling