Kvíz spojený s průvodcem · Střední úroveň
Cyklický kvíz o tempech učení
Kontroluje trojúhelníkové cykly rychlosti učení, test rozsahu, chování hybnosti a rozdíl mezi opakovanými cykly a jednocyklovým tréninkem.
Otázka 1 z 8
Jaký základní předpoklad zpochybňují cyklické míry učení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký základní předpoklad zpochybňují cyklické míry učení?
- Že rychlost učení by se měla snižovat pouze během tréninku
- Tato velikost dávky musí zůstat konstantní
- Tyto modely potřebují GPU
- Ta data se musí zamíchat
- What did Smith report for cyclical learning rates on tested classification tasks?
- They always lowered training loss to zero
- They improved accuracy versus fixed rates, often in fewer iterations
- They removed the need for validation data
- They guaranteed escape from every sharp minimum
- Co dělá 'LR range test'?
- Měří využití paměti GPU
- Spočítá počet parametrů modelu
- Zvyšuje rychlost učení a zároveň sleduje ztrátu, aby vybral dobré meze
- Testuje model na datech out-of-distribution
- Jak se v jednocyklové politice obvykle chová hybnost vzhledem k rychlosti učení?
- Tempo zůstává po celou dobu neměnné
- Momentum je po celou dobu nastaveno na nulu
- Hybnost se zvyšuje přesně v kroku s rychlostí
- Hybnost se pohybuje nepřímo – vysoká, když je rychlost nízká, a nízká, když je rychlost vysoká
- During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
- It rises from the base rate to the maximum, then falls back toward the base
- It only decreases from the first step
- It stays fixed at the maximum
- It jumps randomly at every minibatch
- Kdo zavedl cyklické míry učení a test rozsahu LR?
- Geoffrey Hinton
- Leslie Smithová
- Yann LeCun
- Andrej Karpathy
- What sets the duration of a cyclical learning-rate cycle?
- The number of model layers
- Velikost slovní zásoby
- A chosen number of training iterations for the up-and-down pattern
- The number of optimizer parameters
- What distinguishes the one-cycle policy from repeating several triangular cycles?
- It keeps the learning rate constant throughout
- It removes the optimizer’s momentum
- It measures the learning rate only once
- It uses one long learning-rate cycle for the training run