Kvíz spojený s průvodcem · Těžko úroveň
Kvíz minimalizace ostrosti
Kontroluje dvouprůchodovou aktualizaci SAM, její okolí, gradient narušené hmotnosti a kompromis mezi plochostí a výpočtem.
Otázka 1 z 8
Jaké minimum se SAM snaží najít?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké minimum se SAM snaží najít?
- Ploché minimum, kde ztráta zůstává nízká v okolí vah
- Co nejostřejší minimum
- Minimum s nejvíce parametry
- Jakékoli minimum dosažitelné v jednom kroku
- Kolik průchodů vpřed-vzad vyžaduje standardní krok SAM?
- Půl průchodu
- Zhruba dva
- Přesně jeden
- Deset nebo více
- Co řídí hyperparametr poloměru rho v SAM?
- Rychlost poklesu rychlosti učení
- Počet tréninkových epoch
- Velikost okolí závaží, které je chráněno proti špičkám ztráty
- Pravděpodobnost vypadnutí
- Jaký je první ze dvou kroků SAM v každé iteraci?
- Zmenšit model
- Zprůměrujte váhy všech minulých kroků
- Resetujte stav optimalizátoru
- Udělejte výstupový krok o velikosti rho směrem k nejhoršímu možnému blízkému bodu
- Proč SAM často zlepšuje odolnost při označování šumu?
- Protože plochá minima jsou méně náchylná k zapamatování poškozených štítků
- Protože automaticky odstraňuje hlučné štítky
- Protože používá větší slovní zásobu
- Protože ztrojnásobuje velikost šarže
- Která z těchto variant je navržena tak, aby snížila výpočetní náklady SAM?
- ReLU
- ESAM (efektivní SAM)
- BatchNorm
- AdaGrad
- In SAM’s second pass, which gradient is used to update the original model weights?
- The gradient of a random label
- The first pass gradient without evaluating the perturbed point
- The gradient evaluated at the perturbed nearby weights
- A gradient from a different model checkpoint
- If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
- The model parameters are all set to zero
- The loss becomes independent of the weights
- The optimizer takes an infinite step
- There is no weight perturbation, so the neighborhood reduces to the current point