Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący planowania szybkości uczenia się

Sprawdza harmonogramy rozgrzewki, cosinusa i kroków, zachowanie przy ponownym uruchomieniu, wczesną niestabilność i typowy przepis na trening rozgrzewki, a następnie zaniku.

Powiązane ścieżki prowadzącePlanowanie szybkości uczenia się
Pytanie 1 z 8

Jaki jest cel fazy „rozgrzewki” w harmonogramie tempa uczenia się?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jaki jest cel fazy „rozgrzewki” w harmonogramie tempa uczenia się?
    • Zacznij od małej szybkości i zwiększaj ją, unikając niestabilności spowodowanej wczesnymi, hałaśliwymi gradientami
    • Aby obniżyć ostateczną dokładność
    • Aby pominąć kilka pierwszych partii danych
    • Aby na początku zamrozić wszystkie ciężary
  2. Który harmonogram płynnie podąża po krzywej półcosinusa w kierunku stawki minimalnej?
    • Stały harmonogram
    • Wyżarzanie cosinusowe
    • Losowy harmonogram
    • Wzrost liniowy
  3. Co się stanie, jeśli tempo uczenia się zostanie ustawione zbyt wysoko?
    • Trening przebiega natychmiastowo z doskonałą dokładnością
    • Modelka trenuje wolniej, ale zawsze odnosi sukces
    • Zamiast maleć, strata może się różnić lub oscylować
    • Nic się nie zmienia; stawka nie ma żadnego wpływu
  4. Jak zanik krokowy wpływa na szybkość uczenia się?
    • Zwiększa ją liniowo z każdą partią
    • Utrzymuje go idealnie na stałym poziomie
    • Ustawia go losowo w każdym kroku
    • Obniża go o ustalony współczynnik w określonych epokach
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • Rozmiar partii
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate