Вікторина щодо мінімізації з урахуванням різкості

Відповіді та пояснення з’являються під час виконання тесту.

1. Який мінімум намагається знайти SAM?
   • Рівний мінімум, коли втрати залишаються низькими в околицях ваг
   • Найгостріший можливий мінімум
   • Мінімум з найбільшою кількістю параметрів
   • Будь-який мінімум, досягнутий за один крок
2. Скільки проходів вперед-назад вимагає стандартний крок SAM?
   • Півпасу
   • Приблизно два
   • Рівно один
   • Десять і більше
3. Чим керує гіперпараметр rho радіуса в SAM?
   • Швидкість зниження швидкості навчання
   • Кількість епох навчання
   • Розмір околиці ваг, захищений від стрибків втрат
   • Імовірність відсіву
4. Який перший із двох кроків SAM на кожній ітерації?
   • Зменшити модель
   • Усередніть ваги всіх минулих кроків
   • Скинути стан оптимізатора
   • Зробіть сходинку розміром rho до найгіршої найближчої точки
5. Чому SAM часто покращує стійкість до позначення шуму?
   • Оскільки плоскі мінімуми менш схильні до запам’ятовування пошкоджених міток
   • Оскільки він автоматично видаляє зашумлені мітки
   • Тому що він використовує більший словниковий запас
   • Тому що це втричі збільшує розмір партії
6. Який із цих варіантів призначений для зменшення витрат на обчислення SAM?
   • ReLU
   • ESAM (Ефективний SAM)
   • BatchNorm
   • АдаГрад
7. In SAM’s second pass, which gradient is used to update the original model weights?
   • The gradient of a random label
   • The first pass gradient without evaluating the perturbed point
   • The gradient evaluated at the perturbed nearby weights
   • A gradient from a different model checkpoint
8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
   • The model parameters are all set to zero
   • The loss becomes independent of the weights
   • The optimizer takes an infinite step
   • There is no weight perturbation, so the neighborhood reduces to the current point