Kvíz spojený s průvodcem · Střední úroveň

Kvíz o plánování míry učení

Kontroluje zahřívací, kosinusové a krokové plány, chování při restartu, ranou nestabilitu a běžný tréninkový recept na zahřátí a poté pokles.

Související vodicí cestyPlánování míry učení
Otázka 1 z 8

Jaký je účel „zahřívací“ fáze v rozvrhu rychlosti učení?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je účel „zahřívací“ fáze v rozvrhu rychlosti učení?
    • Začněte s malou rychlostí a zvyšte rychlost, abyste se vyhnuli nestabilitě z počátečních hlučných přechodů
    • Aby byla výsledná přesnost nižší
    • Chcete-li přeskočit prvních několik dávek dat
    • Pro zmrazení všech závaží na začátku
  2. Který plán plynule sleduje půlkosinusovou křivku dolů k minimální sazbě?
    • Konstantní rozvrh
    • Kosinové žíhání
    • Náhodný rozvrh
    • Lineární nárůst
  3. Co se stane, když je rychlost učení nastavena příliš vysoko?
    • Trénink se okamžitě sbíhá s dokonalou přesností
    • Model trénuje pomaleji, ale vždy uspěje
    • Ztráta se může rozcházet nebo oscilovat místo toho, aby klesala
    • Nic se nemění; kurz nemá žádný vliv
  4. Co dělá útlum kroku s rychlostí učení?
    • Zvyšuje se lineárně každou várkou
    • Udržuje to dokonale konstantní
    • Nastaví jej náhodně při každém kroku
    • Poklesne o pevný faktor v předem definovaných epochách
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • Velikost šarže
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate