Тест на распад веса и регуляризацию L2

Ответы и пояснения появляются по мере прохождения теста.

1. Что регуляризация L2 добавляет к функции потерь?
   • Количество слоев в сети
   • Штраф за скорость обучения
   • Количество обучающих примеров
   • Штраф, пропорциональный сумме квадратов весов.
2. Какую основную проблему помогает предотвратить снижение веса?
   • Медленная загрузка данных
   • Переобучение, при котором модель запоминает шум в обучающих данных.
   • Аппаратные сбои
   • Неправильные этикетки
3. В каком направлении уменьшение веса толкает вес модели?
   • К бесконечности
   • В сторону максимального веса
   • К нулю
   • К случайным значениям
4. Почему был представлен AdamW?
   • Чтобы отделить затухание веса от обновления адаптивного градиента, чтобы затухание вело себя правильно.
   • Чтобы полностью удалить градиент
   • Чтобы намеренно замедлить тренировку
   • Чтобы исключить необходимость в скорости обучения
5. Как связаны между собой регуляризация L2 и затухание веса для простого стохастического градиентного спуска?
   • Они всегда противоположности
   • Они математически эквивалентны
   • Снижение веса отключает градиент
   • L2 работает только для SGD с импульсом
6. Что контролирует коэффициент лямбда в регуляризации L2?
   • Размер партии
   • Количество эпох
   • Функция активации
   • Сила штрафа на больших весах
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size