Тест за стохастично осредняване на теглото

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво всъщност означава осредняването на стохастичното тегло?
   • Теглата на модела, взети в множество точки в края на обучението
   • Прогнозите на няколко отделно обучени модела
   • Градиентите, изчислени за всички мини-партиди
   • Скоростите на обучение, използвани през всяка епоха
2. Защо SWA има тенденция да подобрява генерализацията?
   • Запаметява по-прецизно набора от тренировки
   • Той намира по-широки, по-плоски минимуми, които са по-стабилни върху невидяни данни
   • Увеличава броя на параметрите в модела
   • Това елиминира необходимостта от набор за валидиране
3. Каква допълнителна стъпка изисква SWA за мрежи, които използват пакетна нормализация?
   • Преобучение на мрежата от нулата
   • Удвояване на размера на партидата
   • Допълнително преминаване напред за преизчисляване на текущи статистики на BN
   • Премахване на всички отпадащи слоеве
4. Какво поведение на скоростта на обучение обикновено се използва по време на фазата на осредняване на SWA?
   • Скоростта на учене спадна точно до нула
   • Скорост на обучение от едно за стабилност
   • Изобщо няма скорост на обучение, тъй като обучението е замразено
   • Постоянна или циклична, относително висока степен на учене
5. Каква е цената на извода на SWA в сравнение с традиционен ансамбъл от N модела?
   • Струва приблизително един модел, тъй като резултатът е един комплект тежести
   • Тя е N пъти по-скъпа
   • Идентичен е с работещите N модели
   • Не може да се използва за извод
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress