Тест за минимизиране с острота

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какъв минимум се опитва да намери SAM?
   • Плосък минимум, при който загубата остава ниска в квартал от тегла
   • Най-острият възможен минимум
   • Минимумът с най-много параметри
   • Всеки минимум, постижим в една стъпка
2. Колко минавания напред-назад изисква стандартна SAM стъпка?
   • Половин пас
   • Грубо казано две
   • Точно един
   • Десет или повече
3. Какво управлява радиусният хиперпараметър rho в SAM?
   • Скоростта на намаляване на скоростта на обучение
   • Броят на тренировъчните епохи
   • Размерът на квартала около теглата, който е защитен срещу пикове на загуба
   • Вероятността за отпадане
4. Коя е първата от двете стъпки на SAM при всяка итерация?
   • Свийте модела
   • Осреднете теглата на всички минали стъпки
   • Нулирайте състоянието на оптимизатора
   • Направете стъпка на изкачване с размер rho към близката точка в най-лошия случай
5. Защо SAM често подобрява устойчивостта за етикетиране на шум?
   • Тъй като плоските минимуми са по-малко склонни към запомняне на повредени етикети
   • Тъй като изтрива шумните етикети автоматично
   • Защото използва по-голям речник
   • Защото утроява размера на партидата
6. Кой от тях е вариант, предназначен да намали изчислителните разходи на SAM?
   • ReLU
   • ESAM (ефективен SAM)
   • BatchNorm
   • АдаГрад
7. In SAM’s second pass, which gradient is used to update the original model weights?
   • The gradient of a random label
   • The first pass gradient without evaluating the perturbed point
   • The gradient evaluated at the perturbed nearby weights
   • A gradient from a different model checkpoint
8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
   • The model parameters are all set to zero
   • The loss becomes independent of the weights
   • The optimizer takes an infinite step
   • There is no weight perturbation, so the neighborhood reduces to the current point