Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Előretekintés és Oroszlán-optimalizálók kvíz

Checks Lookahead’s fast and slow weights, Lion’s sign-based momentum update, and the implications for memory and learning-rate choice.

kérdés 1 -ból 8

Mi a meghatározó számítási lépés a Lion optimalizáló súlyfrissítésében?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a meghatározó számítási lépés a Lion optimalizáló súlyfrissítésében?
    • Egy lendület alapú kifejezés jelét véve
    • A gradienst elosztjuk a futóátlag négyzetével
    • Másodrendű Hess-közelítés kiszámítása
    • Súlyok átlagolása több ellenőrzőponton
  2. Hogyan építi fel a Lookahead optimalizálását?
    • Egyetlen súlykészletet használ, amelyet lépésenként kétszer frissítenek
    • Fenntartja az alapoptimalizáló által frissített „gyors” súlyokat és a hozzájuk időnként interpoláló „lassú” súlyokat.
    • Teljesen eltávolítja a lendületet a memória megtakarítása érdekében
    • Két hálózatot képez ki, és átlagolja a kimeneteiket
  3. Hogyan fedezték fel eredetileg a Lion optimalizálót?
    • A konvex optimalizációs elméletből kézzel levezetve
    • SGD és Adam frissítéseinek átlagával
    • Automatizált szimbolikus programkeresésen keresztül optimalizáló algoritmusokon keresztül
    • A részecskék mozgásának fizikai szimulációjából
  4. Ádámhoz képest mi a Lion legfontosabb memóriaelőnye?
    • Egyáltalán nem tárol állapotot
    • Automatikusan félpontos súlyokat használ
    • Megosztja az állapotot az összes rétegben
    • Ádám két állapottenzora helyett csak egy momentumpuffert tart meg
  5. Miért van az Oroszlánnak általában kisebb tanulási aránya, mint Ádámnak?
    • Mert a jelművelet egységessé teszi minden frissítés nagyságát, hatékonyan skálázva a lépést
    • Mert nem használ lendületet
    • Mert nagyobb tételeket dolgoz fel
    • Mert letiltja a súlycsökkenést
  6. A Lookahead gyakorlati előnye, hogy képzést nyújt:
    • Érzékenyebb a hiperparaméterek megválasztására
    • Stabilabb és robusztusabb, csökkentett oszcillációval
    • Lépésenként tízszeres lassabb
    • Nem kompatibilis Ádámmal vagy SGD-vel
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop