Kvíz spojený s průvodcem · Střední úroveň
Kvíz o plánování míry učení
Kontroluje zahřívací, kosinusové a krokové plány, chování při restartu, ranou nestabilitu a běžný tréninkový recept na zahřátí a poté pokles.
Otázka 1 z 8
Jaký je účel „zahřívací“ fáze v rozvrhu rychlosti učení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je účel „zahřívací“ fáze v rozvrhu rychlosti učení?
- Začněte s malou rychlostí a zvyšte rychlost, abyste se vyhnuli nestabilitě z počátečních hlučných přechodů
- Aby byla výsledná přesnost nižší
- Chcete-li přeskočit prvních několik dávek dat
- Pro zmrazení všech závaží na začátku
- Který plán plynule sleduje půlkosinusovou křivku dolů k minimální sazbě?
- Konstantní rozvrh
- Kosinové žíhání
- Náhodný rozvrh
- Lineární nárůst
- Co se stane, když je rychlost učení nastavena příliš vysoko?
- Trénink se okamžitě sbíhá s dokonalou přesností
- Model trénuje pomaleji, ale vždy uspěje
- Ztráta se může rozcházet nebo oscilovat místo toho, aby klesala
- Nic se nemění; kurz nemá žádný vliv
- Co dělá útlum kroku s rychlostí učení?
- Zvyšuje se lineárně každou várkou
- Udržuje to dokonale konstantní
- Nastaví jej náhodně při každém kroku
- Poklesne o pevný faktor v předem definovaných epochách
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- The number of model layers
- Velikost šarže
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate