Kvíz spojený s průvodcem · Střední úroveň

Kvíz o rozpisech zahřívání a kosinového žíhání

Testuje roli počátečního tréninku zahřívání, přechod na kosinusový rozpad a jak číst lineární rampu a koncový bod plánu.

Otázka 1 z 8

Jaký je hlavní účel zahřívací fáze na začátku tréninku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní účel zahřívací fáze na začátku tréninku?
    • Ke stabilizaci raného tréninku, kdy jsou váhy náhodné a sklony jsou hlučné
    • Postupně zvyšovat velikost dávky
    • Chcete-li zmrazit spodní vrstvy modelu
    • Chcete-li komprimovat model pro rychlejší vyvozování
  2. Kosinové žíhání snižuje rychlost učení podle kterého tvaru?
    • Přímá diagonální čára
    • Kosinusová křivka, která začíná vysoko, zmírňuje se a zplošťuje blízko nule
    • Kroková funkce, která klesá v pevných epochách
    • Exponenciální skok nahoru
  3. Který optimalizátor obzvláště těží ze zahřívání, protože jeho odhady rozptylu jsou zpočátku nespolehlivé?
    • Prostý SGD bez hybnosti
    • Vyhledávání v mřížce
    • Adam a jeho varianty
    • K-znamená
  4. Co v kosinusovém vzorci představuje T?
    • Teplota modelu pro vzorkování
    • Počet použitých GPU
    • Velikost slovní zásoby tokenizeru
    • Celkový počet tréninkových kroků v rozvrhu
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • Jeden
    • One-half
    • nula
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually