Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Élesség-tudatos minimalizálási kvíz
Checks SAM’s two-pass update, its neighborhood radius, the perturbed-weight gradient and the trade-off between flatness and compute.
kérdés 1 -ból 8
Milyen minimumot próbál találni a SAM?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen minimumot próbál találni a SAM?
- Lapos minimum, ahol a veszteség alacsony marad a súlyok közelében
- A lehető legélesebb minimum
- A minimum a legtöbb paraméterrel
- Bármilyen minimum egy lépésben elérhető
- Hány előre-hátra passz szükséges egy szabványos SAM lépéshez?
- Fél passz
- Nagyjából kettő
- Pontosan egy
- Tíz vagy több
- Mit vezérel az rho sugár hiperparaméter a SAM-ban?
- A tanulási sebesség csökkenési sebessége
- A képzési korszakok száma
- A súlyok körüli környék mérete, amely védett a veszteségcsúcsoktól
- A lemorzsolódás valószínűsége
- Mi az első a SAM két lépése közül minden iterációnál?
- Csökkentse a modellt
- Átlagolja az összes korábbi lépés súlyát
- Állítsa vissza az optimalizáló állapotát
- Tegyen egy rho méretű felfelé lépést a legrosszabb közeli pont felé
- Miért javítja gyakran a SAM a zaj címkézésének robusztusságát?
- Mivel a lapos minimumok kevésbé hajlamosak a sérült címkék memorizálására
- Mert automatikusan törli a zajos címkéket
- Mert nagyobb szókincset használ
- Mert megháromszorozza a tétel méretét
- Ezek közül melyik a SAM számítási költségének csökkentésére tervezett változat?
- ReLU
- ESAM (Efficient SAM)
- BatchNorm
- AdaGrad
- In SAM’s second pass, which gradient is used to update the original model weights?
- The gradient of a random label
- The first pass gradient without evaluating the perturbed point
- The gradient evaluated at the perturbed nearby weights
- A gradient from a different model checkpoint
- If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
- The model parameters are all set to zero
- The loss becomes independent of the weights
- The optimizer takes an infinite step
- There is no weight perturbation, so the neighborhood reduces to the current point