Kvíz spojený s průvodcem · Těžko úroveň

Kvíz minimalizace ostrosti

Kontroluje dvouprůchodovou aktualizaci SAM, její okolí, gradient narušené hmotnosti a kompromis mezi plochostí a výpočtem.

Související vodicí cestyMinimalizace ostrosti
Otázka 1 z 8

Jaké minimum se SAM snaží najít?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké minimum se SAM snaží najít?
    • Ploché minimum, kde ztráta zůstává nízká v okolí vah
    • Co nejostřejší minimum
    • Minimum s nejvíce parametry
    • Jakékoli minimum dosažitelné v jednom kroku
  2. Kolik průchodů vpřed-vzad vyžaduje standardní krok SAM?
    • Půl průchodu
    • Zhruba dva
    • Přesně jeden
    • Deset nebo více
  3. Co řídí hyperparametr poloměru rho v SAM?
    • Rychlost poklesu rychlosti učení
    • Počet tréninkových epoch
    • Velikost okolí závaží, které je chráněno proti špičkám ztráty
    • Pravděpodobnost vypadnutí
  4. Jaký je první ze dvou kroků SAM v každé iteraci?
    • Zmenšit model
    • Zprůměrujte váhy všech minulých kroků
    • Resetujte stav optimalizátoru
    • Udělejte výstupový krok o velikosti rho směrem k nejhoršímu možnému blízkému bodu
  5. Proč SAM často zlepšuje odolnost při označování šumu?
    • Protože plochá minima jsou méně náchylná k zapamatování poškozených štítků
    • Protože automaticky odstraňuje hlučné štítky
    • Protože používá větší slovní zásobu
    • Protože ztrojnásobuje velikost šarže
  6. Která z těchto variant je navržena tak, aby snížila výpočetní náklady SAM?
    • ReLU
    • ESAM (efektivní SAM)
    • BatchNorm
    • AdaGrad
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point