Тест по минимизации с учетом резкости

Ответы и пояснения появляются по мере прохождения теста.

1. Какой минимум пытается найти SAM?
   • Плоский минимум, при котором потери остаются низкими в окрестности весов.
   • Максимально резкий минимум
   • Минимум с наибольшим количеством параметров
   • Любой минимум, достижимый за один шаг
2. Сколько проходов вперед-назад требуется для стандартного шага SAM?
   • Половина прохода
   • Примерно два
   • Ровно один
   • Десять или больше
3. Чем управляет гиперпараметр rho радиуса в SAM?
   • Скорость затухания скорости обучения
   • Количество эпох обучения
   • Размер окрестности весов, защищенной от всплесков потерь.
   • Вероятность отсева
4. Каков первый из двух шагов SAM на каждой итерации?
   • Уменьшите модель
   • Усредните веса всех прошлых шагов
   • Сброс состояния оптимизатора
   • Сделайте шаг подъема размером rho к ближайшей точке, находящейся в наихудшем случае.
5. Почему SAM часто повышает устойчивость к маркировке шума?
   • Потому что плоские минимумы менее склонны к запоминанию искаженных меток.
   • Потому что он автоматически удаляет шумные метки.
   • Потому что он использует больший словарный запас
   • Потому что это утроит размер партии
6. Какой из этих вариантов предназначен для снижения вычислительных затрат SAM?
   • РеЛУ
   • ESAM (Эффективный SAM)
   • Пакетная норма
   • АдаГрад
7. Какой градиент используется во втором проходе SAM для обновления весов исходной модели?
   • Градиент случайной метки
   • Градиент первого прохода без оценки возмущенной точки
   • Градиент, оцененный по возмущенным соседним весам
   • Градиент из другой контрольной точки модели
8. Если радиус окрестности rho SAM равен нулю, что происходит с шагом его возмущения?
   • Все параметры модели установлены на ноль.
   • Потеря становится независимой от весов
   • Оптимизатор делает бесконечный шаг
   • Возмущения веса нет, поэтому окрестность сводится к текущей точке