Kvíz spojený s průvodcem · Těžko úroveň

Výhledový kvíz a kvíz Lion Optimizers

Kontroluje rychlé a pomalé váhy Lookahead, aktualizaci hybnosti na základě znamení Lion a důsledky pro výběr paměti a rychlosti učení.

Související vodicí cestyOptimalizátory výhledu a lva
Otázka 1 z 8

Jaký je definující výpočetní krok v aktualizaci hmotnosti optimalizátoru lva?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je definující výpočetní krok v aktualizaci hmotnosti optimalizátoru lva?
    • Znaménko termínu založeného na hybnosti
    • Vydělení gradientu jeho klouzavým průměrem na druhou
    • Výpočet Hessovské aproximace druhého řádu
    • Průměrování vah přes více kontrolních bodů
  2. Jak Lookahead strukturuje svou optimalizaci?
    • Používá jednu sadu závaží aktualizovanou dvakrát za krok
    • Udržuje „rychlé“ váhy aktualizované základním optimalizátorem a „pomalé“ váhy, které se k nim periodicky interpolují
    • Zcela odstraňuje hybnost, aby se ušetřila paměť
    • Trénuje dvě sítě a zprůměruje jejich výkony
  3. Jak byl Lion optimalizátor původně objeven?
    • Ručním odvozením z teorie konvexní optimalizace
    • Zprůměrováním aktualizací SGD a Adama
    • Prostřednictvím automatizovaného symbolického vyhledávání programu přes optimalizační algoritmy
    • Z fyzikální simulace pohybu částic
  4. Jaká je klíčová paměťová výhoda Lva ve srovnání s Adamem?
    • Neukládá vůbec žádný stav
    • Automaticky používá závaží s poloviční přesností
    • Sdílí stav napříč všemi vrstvami
    • Udržuje pouze jednu vyrovnávací paměť hybnosti místo dvou Adamových stavových tenzorů
  5. Proč lev obvykle vyžaduje nižší rychlost učení než Adam?
    • Protože operace se znaménkem činí každou aktualizaci jednotnou a efektivně škáluje krok
    • Protože nepoužívá žádnou hybnost
    • Protože zpracovává větší dávky
    • Protože znemožňuje hubnutí
  6. Praktickou výhodou Lookahead je, že má tendenci provádět školení:
    • Citlivější na volbu hyperparametrů
    • Stabilnější a robustnější, se sníženou oscilací
    • Desetinásobně pomalejší na krok
    • Nekompatibilní s Adamem nebo SGD
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop