Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Előretekintés és Oroszlán-optimalizálók kvíz
Checks Lookahead’s fast and slow weights, Lion’s sign-based momentum update, and the implications for memory and learning-rate choice.
kérdés 1 -ból 8
Mi a meghatározó számítási lépés a Lion optimalizáló súlyfrissítésében?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a meghatározó számítási lépés a Lion optimalizáló súlyfrissítésében?
- Egy lendület alapú kifejezés jelét véve
- A gradienst elosztjuk a futóátlag négyzetével
- Másodrendű Hess-közelítés kiszámítása
- Súlyok átlagolása több ellenőrzőponton
- Hogyan építi fel a Lookahead optimalizálását?
- Egyetlen súlykészletet használ, amelyet lépésenként kétszer frissítenek
- Fenntartja az alapoptimalizáló által frissített „gyors” súlyokat és a hozzájuk időnként interpoláló „lassú” súlyokat.
- Teljesen eltávolítja a lendületet a memória megtakarítása érdekében
- Két hálózatot képez ki, és átlagolja a kimeneteiket
- Hogyan fedezték fel eredetileg a Lion optimalizálót?
- A konvex optimalizációs elméletből kézzel levezetve
- SGD és Adam frissítéseinek átlagával
- Automatizált szimbolikus programkeresésen keresztül optimalizáló algoritmusokon keresztül
- A részecskék mozgásának fizikai szimulációjából
- Ádámhoz képest mi a Lion legfontosabb memóriaelőnye?
- Egyáltalán nem tárol állapotot
- Automatikusan félpontos súlyokat használ
- Megosztja az állapotot az összes rétegben
- Ádám két állapottenzora helyett csak egy momentumpuffert tart meg
- Miért van az Oroszlánnak általában kisebb tanulási aránya, mint Ádámnak?
- Mert a jelművelet egységessé teszi minden frissítés nagyságát, hatékonyan skálázva a lépést
- Mert nem használ lendületet
- Mert nagyobb tételeket dolgoz fel
- Mert letiltja a súlycsökkenést
- A Lookahead gyakorlati előnye, hogy képzést nyújt:
- Érzékenyebb a hiperparaméterek megválasztására
- Stabilabb és robusztusabb, csökkentett oszcillációval
- Lépésenként tízszeres lassabb
- Nem kompatibilis Ádámmal vagy SGD-vel
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop