Kvíz spojený s průvodcem · Střední úroveň
Kvíz o rozpisech zahřívání a kosinového žíhání
Testuje roli počátečního tréninku zahřívání, přechod na kosinusový rozpad a jak číst lineární rampu a koncový bod plánu.
Otázka 1 z 8
Jaký je hlavní účel zahřívací fáze na začátku tréninku?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní účel zahřívací fáze na začátku tréninku?
- Ke stabilizaci raného tréninku, kdy jsou váhy náhodné a sklony jsou hlučné
- Postupně zvyšovat velikost dávky
- Chcete-li zmrazit spodní vrstvy modelu
- Chcete-li komprimovat model pro rychlejší vyvozování
- Kosinové žíhání snižuje rychlost učení podle kterého tvaru?
- Přímá diagonální čára
- Kosinusová křivka, která začíná vysoko, zmírňuje se a zplošťuje blízko nule
- Kroková funkce, která klesá v pevných epochách
- Exponenciální skok nahoru
- Který optimalizátor obzvláště těží ze zahřívání, protože jeho odhady rozptylu jsou zpočátku nespolehlivé?
- Prostý SGD bez hybnosti
- Vyhledávání v mřížce
- Adam a jeho varianty
- K-znamená
- Co v kosinusovém vzorci představuje T?
- Teplota modelu pro vzorkování
- Počet použitých GPU
- Velikost slovní zásoby tokenizeru
- Celkový počet tréninkových kroků v rozvrhu
- In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
- Cosine decay begins from the peak learning rate
- All model weights are reset
- The schedule switches to a constant zero rate
- Momentum is removed from every optimizer
- A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
- The full target rate
- About half of the target rate
- The learning rate is exactly zero
- Twice the target rate
- At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
- Jeden
- One-half
- nula
- It becomes negative one
- Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
- It guarantees a global minimum
- It increases the model’s parameter count
- It removes the need to check training loss
- It lets the rate ease down so optimization can settle gradually