Вікторина щодо зниження ваги та регулярізації L2

Відповіді та пояснення з’являються під час виконання тесту.

1. Що регулярізація L2 додає до функції втрат?
   • Кількість шарів у мережі
   • Штраф за швидкість навчання
   • Кількість навчальних прикладів
   • Штраф, пропорційний сумі квадратів ваг
2. Яка головна проблема, якій допомагає запобігти зниження ваги?
   • Повільне завантаження даних
   • Переобладнання, коли модель запам’ятовує шум у навчальних даних
   • Апаратні збої
   • Неправильні мітки
3. У якому напрямку розпад ваги штовхає ваги моделі?
   • До нескінченності
   • До найбільшої ваги
   • До нуля
   • До випадкових значень
4. Чому було представлено AdamW?
   • Щоб відокремити розпад ваги від оновлення адаптивного градієнта, щоб загасання поводилося правильно
   • Щоб повністю видалити градієнт
   • Навмисно зробити навчання повільніше
   • Щоб усунути потребу в курсі навчання
5. Для простого стохастичного градієнтного спуску, як пов’язані регулярізація L2 і спад ваги?
   • Вони завжди протилежні
   • Вони математично еквівалентні
   • Розпад ваги вимикає градієнт
   • L2 працює лише для SGD з імпульсом
6. Що контролює коефіцієнт лямбда в регуляризації L2?
   • Розмір партії
   • Кількість епох
   • Функція активації
   • Сила штрафу на великих вагах
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size