Kvíz spojený s průvodcem · Těžko úroveň
Výhledový kvíz a kvíz Lion Optimizers
Kontroluje rychlé a pomalé váhy Lookahead, aktualizaci hybnosti na základě znamení Lion a důsledky pro výběr paměti a rychlosti učení.
Otázka 1 z 8
Jaký je definující výpočetní krok v aktualizaci hmotnosti optimalizátoru lva?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je definující výpočetní krok v aktualizaci hmotnosti optimalizátoru lva?
- Znaménko termínu založeného na hybnosti
- Vydělení gradientu jeho klouzavým průměrem na druhou
- Výpočet Hessovské aproximace druhého řádu
- Průměrování vah přes více kontrolních bodů
- Jak Lookahead strukturuje svou optimalizaci?
- Používá jednu sadu závaží aktualizovanou dvakrát za krok
- Udržuje „rychlé“ váhy aktualizované základním optimalizátorem a „pomalé“ váhy, které se k nim periodicky interpolují
- Zcela odstraňuje hybnost, aby se ušetřila paměť
- Trénuje dvě sítě a zprůměruje jejich výkony
- Jak byl Lion optimalizátor původně objeven?
- Ručním odvozením z teorie konvexní optimalizace
- Zprůměrováním aktualizací SGD a Adama
- Prostřednictvím automatizovaného symbolického vyhledávání programu přes optimalizační algoritmy
- Z fyzikální simulace pohybu částic
- Jaká je klíčová paměťová výhoda Lva ve srovnání s Adamem?
- Neukládá vůbec žádný stav
- Automaticky používá závaží s poloviční přesností
- Sdílí stav napříč všemi vrstvami
- Udržuje pouze jednu vyrovnávací paměť hybnosti místo dvou Adamových stavových tenzorů
- Proč lev obvykle vyžaduje nižší rychlost učení než Adam?
- Protože operace se znaménkem činí každou aktualizaci jednotnou a efektivně škáluje krok
- Protože nepoužívá žádnou hybnost
- Protože zpracovává větší dávky
- Protože znemožňuje hubnutí
- Praktickou výhodou Lookahead je, že má tendenci provádět školení:
- Citlivější na volbu hyperparametrů
- Stabilnější a robustnější, se sníženou oscilací
- Desetinásobně pomalejší na krok
- Nekompatibilní s Adamem nebo SGD
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop