Тест по пакетной нормализации

Ответы и пояснения появляются по мере прохождения теста.

1. Что нормализует пакетная нормализация?
   • Входные данные для слоя в примерах текущего мини-пакета.
   • Окончательные выходные метки сети
   • График скорости обучения с течением времени
   • Размер набора обучающих данных
2. Почему пакетная нормализация включает в себя обучаемые параметры гамма и бета?
   • Чтобы увеличить размер набора данных
   • Чтобы сеть масштабировалась и меняла нормализованные значения, сохраняя репрезентативную мощность.
   • Случайное удаление нейронов во время обучения
   • Чтобы вычислить функцию потерь
3. Какова часто упоминаемая практическая польза нормализации партии?
   • Это устраняет необходимость в каких-либо обучающих данных.
   • Это гарантирует, что модель не может переобучиться.
   • Это обеспечивает более высокую скорость обучения и более быструю и стабильную конвергенцию.
   • Устраняет необходимость в функции активации.
4. Какую статистику использует пакетная нормализация во время вывода (прогнозирования на основе новых данных)?
   • Среднее значение и дисперсия только текущего единственного входа
   • Случайно генерируемая статистика каждый раз
   • Статистика тестового набора рассчитывается заранее
   • Текущие средние значения и дисперсии, накопленные во время обучения
5. Почему нормализация партий может плохо работать при очень маленьких размерах партий?
   • Пакетная статистика становится зашумленной и ненадежной оценкой истинного распределения.
   • Небольшие партии делают модель слишком большой, чтобы поместиться в памяти.
   • Отключает функции активации
   • Небольшие партии вынуждают использовать регуляризацию L1.
6. Какой метод нормализации чаще всего используется в архитектурах трансформаторов в качестве альтернативы пакетной нормализации?
   • Нормализация отсева
   • Нормализация слоев
   • L2 нормализация потерь
   • Градиентное отсечение
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function