Викторина по стохастическому усреднению веса

Ответы и пояснения появляются по мере прохождения теста.

1. Что на самом деле означает стохастическое усреднение веса?
   • Веса модели выбираются в нескольких точках на поздних этапах обучения.
   • Прогнозы нескольких отдельно обученных моделей
   • Градиенты, рассчитанные для всех мини-пакетов
   • Скорость обучения, используемая в каждую эпоху
2. Почему SWA имеет тенденцию улучшать обобщение?
   • Он более точно запоминает обучающий набор
   • Он находит более широкие и плоские минимумы, которые более устойчивы к невидимым данным.
   • Увеличивает количество параметров в модели.
   • Это устраняет необходимость в наборе проверки
3. Какой дополнительный шаг требует SWA для сетей, использующих пакетную нормализацию?
   • Переобучение сети с нуля
   • Удвоение размера партии
   • Дополнительный проход вперед для пересчета статистики работы BN.
   • Удаление всех выпадающих слоев
4. Какое поведение скорости обучения обычно используется на этапе усреднения SWA?
   • Скорость обучения упала ровно до нуля
   • Скорость обучения равна единице для стабильности
   • Нет скорости обучения вообще, поскольку обучение заморожено
   • Постоянная или цикличная, относительно высокая скорость обучения
5. Как стоимость вывода SWA сравнивается с традиционным ансамблем из N моделей?
   • Это стоит примерно одну модель, так как в результате получается один набор гирь.
   • Это в N раз дороже
   • Это идентично запуску N моделей.
   • Его нельзя использовать для вывода
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress