Вікторина, пов’язана з посібником · Середній Рівень

Тест щодо стохастичного усереднення ваги

Перевіряє усереднення ваги SWA, поведінку швидкості навчання, повторне калібрування нормалізації партії та те, чим одна усереднена модель відрізняється від ансамблю.

Пов'язані напрямні шляхиСтохастичне усереднення ваги
Питання 1 з 8

Що насправді усереднює стохастичне усереднення ваги?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що насправді усереднює стохастичне усереднення ваги?
    • Вибірка ваги моделі в кількох точках наприкінці навчання
    • Прогнози кількох окремо навчених моделей
    • Градієнти, обчислені для всіх міні-серій
    • Швидкості навчання, що використовуються протягом кожної епохи
  2. Чому SWA покращує узагальнення?
    • Це точніше запам'ятовує навчальний набір
    • Він знаходить ширші, плоскіші мінімуми, які є надійнішими на невидимих даних
    • Це збільшує кількість параметрів у моделі
    • Це усуває потребу в наборі перевірки
  3. Який додатковий крок вимагає SWA для мереж, які використовують пакетну нормалізацію?
    • Перенавчання мережі з нуля
    • Подвоєння розміру партії
    • Додатковий перехід вперед для повторного обчислення статистики роботи BN
    • Видалення всіх випадаючих шарів
  4. Яка поведінка швидкості навчання зазвичай використовується під час фази усереднення SWA?
    • Швидкість навчання впала точно до нуля
    • Швидкість навчання один для стабільності
    • Швидкість навчання взагалі відсутня, оскільки навчання заморожено
    • Постійний або циклічний, відносно високий рівень навчання
  5. Яка вартість висновку SWA у порівнянні з традиційним ансамблем N моделей?
    • Це приблизно коштує одна модель, оскільки в результаті виходить один набір ваг
    • Це в N разів дорожче
    • Він ідентичний робочим моделям N
    • Його не можна використовувати для висновку
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress