Тест за намаляване на теглото и регулиране на L2

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво добавя регулацията на L2 към функцията за загуба?
   • Броят на слоевете в мрежата
   • Наказание върху скоростта на обучение
   • Броят на примерите за обучение
   • Наказание, пропорционално на сумата от теглата на квадрат
2. Кой е основният проблем, който намаляването на теглото помага да се предотврати?
   • Бавно зареждане на данни
   • Пренастройване, при което моделът запомня шума в данните за обучение
   • Хардуерни повреди
   • Неправилни етикети
3. В каква посока намаляването на теглото тласка теглото на модела?
   • Към безкрайността
   • Към най-голямото тегло
   • Към нулата
   • Към случайни стойности
4. Защо беше представен AdamW?
   • За отделяне на затихването на теглото от актуализацията на адаптивния градиент, така че затихването да се държи правилно
   • За да премахнете изцяло градиента
   • За да направи тренировката по-бавна нарочно
   • За да се премахне необходимостта от скорост на обучение
5. За обикновен стохастичен градиент на спускане, как са свързани L2 регулацията и разпадането на теглото?
   • Те винаги са противоположни
   • Те са математически еквивалентни
   • Weight decay деактивира градиента
   • L2 работи само за SGD с инерция
6. Какво контролира ламбда коефициентът при L2 регулация?
   • Размерът на партидата
   • Броят на епохите
   • Функцията за активиране
   • Силата на наказанието при големи тежести
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size