Kvíz spojený s průvodcem · Střední úroveň

Hubnutí a L2 Regularizační kvíz

Otestujte tresty L2, smrštění k nule, SGD ekvivalenci, AdamW decoupling, adaptivní škálování a pokles síly v tréninku.

Související vodicí cestyÚbytek hmotnosti a L2 regularizace
Otázka 1 z 8

Co přidává regularizace L2 ke ztrátové funkci?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co přidává regularizace L2 ke ztrátové funkci?
    • Počet vrstev v síti
    • Pokuta za rychlost učení
    • Počet tréninkových příkladů
    • Pokuta úměrná součtu druhých mocnin
  2. Jaký je hlavní problém, kterému hubnutí pomáhá předcházet?
    • Pomalé načítání dat
    • Overfitting, kdy si model zapamatuje hluk v trénovacích datech
    • Selhání hardwaru
    • Nesprávné štítky
  3. Jakým směrem tlačí úbytek hmotnosti závaží modelu?
    • Směrem k nekonečnu
    • Směrem k největší váze
    • Směrem k nule
    • Směrem k náhodným hodnotám
  4. Proč byl představen AdamW?
    • Chcete-li oddělit pokles hmotnosti od aktualizace adaptivního gradientu, aby se pokles choval správně
    • Chcete-li přechod zcela odstranit
    • Aby byl trénink záměrně pomalejší
    • Aby se eliminovala potřeba míry učení
  5. Jak souvisí regularizace L2 a pokles hmotnosti pro prostý stochastický gradient?
    • Jsou vždy protiklady
    • Jsou matematicky ekvivalentní
    • Pokles hmotnosti deaktivuje gradient
    • L2 funguje pouze pro SGD s hybností
  6. Co řídí koeficient lambda v regularizaci L2?
    • Velikost šarže
    • Počet epoch
    • Aktivační funkce
    • Síla trestu na velkých vahách
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size