Quiz dotyczący harmonogramów rozgrzewania i wyżarzania cosinusowego

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel fazy rozgrzewki na początku treningu?
   • Do stabilizacji wczesnego treningu, gdy ciężary są losowe, a nachylenia są hałaśliwe
   • Aby stopniowo zwiększać wielkość partii
   • Aby zamrozić dolne warstwy modelu
   • Aby skompresować model w celu szybszego wnioskowania
2. Wyżarzanie cosinusowe zmniejsza szybkość uczenia się, kierując się jakim kształtem?
   • Prosta linia ukośna
   • Krzywa cosinus, która zaczyna się wysoko, zmniejsza się i spłaszcza w pobliżu zera
   • Funkcja schodkowa, która spada w ustalonych epokach
   • Wykładniczy skok w górę
3. Który optymalizator szczególnie zyskuje na rozgrzewce, ponieważ jego szacunki wariancji są na początku niewiarygodne?
   • Zwykły SGD bez dynamiki
   • Wyszukiwanie siatki
   • Adam i jego warianty
   • K-oznacza
4. Co we wzorze na cosinus oznacza T?
   • Temperatura modelu do pobierania próbek
   • Liczba używanych procesorów graficznych
   • Rozmiar słownictwa tokenizera
   • Całkowita liczba kroków szkoleniowych w harmonogramie
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • Jeden
   • One-half
   • Zero
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually