Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Tanulási ütem ütemezési kvíz

Checks warmup, cosine and step schedules, restart behavior, early instability and the common warmup-then-decay training recipe.

Kapcsolódó útmutató utakTanulási ütem ütemezése
kérdés 1 -ból 8

Mi a célja a „bemelegítési” szakasznak a tanulási ütemtervben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a célja a „bemelegítési” szakasznak a tanulási ütemtervben?
    • Kezdje kis sebességgel, és gyorsuljon fel, elkerülve a korai zajos gradiensek instabilitását
    • Hogy a végső pontosság csökkenjen
    • Az első néhány adatköteg kihagyásához
    • Lefagyasztani az összes súlyt az elején
  2. Melyik ütemterv követi simán a fél-koszinuszos görbét lefelé a minimális árfolyam felé?
    • Állandó menetrend
    • Koszinuszos izzítás
    • Véletlenszerű ütemezés
    • Lineáris növekedés
  3. Mi történik, ha a tanulási arány túl magasra van állítva?
    • Az edzés azonnal tökéletes pontossággal konvergál
    • A modell lassabban edz, de mindig sikerül
    • A veszteség csökkenés helyett eltérhet vagy oszcillálhat
    • Semmi sem változik; az árfolyamnak nincs hatása
  4. Mit tesz a lépéscsökkenés a tanulási sebességgel?
    • Minden tételben lineárisan növeli
    • Tökéletesen állandóan tartja
    • Véletlenszerűen állítja be minden lépésben
    • Eldobja egy fix tényezővel előre meghatározott időszakokban
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • A modellrétegek száma
    • A tétel mérete
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate