Kvíz spojený s průvodcem · Střední úroveň
Hubnutí a L2 Regularizační kvíz
Otestujte tresty L2, smrštění k nule, SGD ekvivalenci, AdamW decoupling, adaptivní škálování a pokles síly v tréninku.
Otázka 1 z 8
Co přidává regularizace L2 ke ztrátové funkci?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co přidává regularizace L2 ke ztrátové funkci?
- Počet vrstev v síti
- Pokuta za rychlost učení
- Počet tréninkových příkladů
- Pokuta úměrná součtu druhých mocnin
- Jaký je hlavní problém, kterému hubnutí pomáhá předcházet?
- Pomalé načítání dat
- Overfitting, kdy si model zapamatuje hluk v trénovacích datech
- Selhání hardwaru
- Nesprávné štítky
- Jakým směrem tlačí úbytek hmotnosti závaží modelu?
- Směrem k nekonečnu
- Směrem k největší váze
- Směrem k nule
- Směrem k náhodným hodnotám
- Proč byl představen AdamW?
- Chcete-li oddělit pokles hmotnosti od aktualizace adaptivního gradientu, aby se pokles choval správně
- Chcete-li přechod zcela odstranit
- Aby byl trénink záměrně pomalejší
- Aby se eliminovala potřeba míry učení
- Jak souvisí regularizace L2 a pokles hmotnosti pro prostý stochastický gradient?
- Jsou vždy protiklady
- Jsou matematicky ekvivalentní
- Pokles hmotnosti deaktivuje gradient
- L2 funguje pouze pro SGD s hybností
- Co řídí koeficient lambda v regularizaci L2?
- Velikost šarže
- Počet epoch
- Aktivační funkce
- Síla trestu na velkých vahách
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size