Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Tanulási ütem ütemezési kvíz
Checks warmup, cosine and step schedules, restart behavior, early instability and the common warmup-then-decay training recipe.
kérdés 1 -ból 8
Mi a célja a „bemelegítési” szakasznak a tanulási ütemtervben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a célja a „bemelegítési” szakasznak a tanulási ütemtervben?
- Kezdje kis sebességgel, és gyorsuljon fel, elkerülve a korai zajos gradiensek instabilitását
- Hogy a végső pontosság csökkenjen
- Az első néhány adatköteg kihagyásához
- Lefagyasztani az összes súlyt az elején
- Melyik ütemterv követi simán a fél-koszinuszos görbét lefelé a minimális árfolyam felé?
- Állandó menetrend
- Koszinuszos izzítás
- Véletlenszerű ütemezés
- Lineáris növekedés
- Mi történik, ha a tanulási arány túl magasra van állítva?
- Az edzés azonnal tökéletes pontossággal konvergál
- A modell lassabban edz, de mindig sikerül
- A veszteség csökkenés helyett eltérhet vagy oszcillálhat
- Semmi sem változik; az árfolyamnak nincs hatása
- Mit tesz a lépéscsökkenés a tanulási sebességgel?
- Minden tételben lineárisan növeli
- Tökéletesen állandóan tartja
- Véletlenszerűen állítja be minden lépésben
- Eldobja egy fix tényezővel előre meghatározott időszakokban
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- A modellrétegek száma
- A tétel mérete
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate