Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Élesség-tudatos minimalizálási kvíz

Checks SAM’s two-pass update, its neighborhood radius, the perturbed-weight gradient and the trade-off between flatness and compute.

Kapcsolódó útmutató utakÉlességtudatos minimalizálás
kérdés 1 -ból 8

Milyen minimumot próbál találni a SAM?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen minimumot próbál találni a SAM?
    • Lapos minimum, ahol a veszteség alacsony marad a súlyok közelében
    • A lehető legélesebb minimum
    • A minimum a legtöbb paraméterrel
    • Bármilyen minimum egy lépésben elérhető
  2. Hány előre-hátra passz szükséges egy szabványos SAM lépéshez?
    • Fél passz
    • Nagyjából kettő
    • Pontosan egy
    • Tíz vagy több
  3. Mit vezérel az rho sugár hiperparaméter a SAM-ban?
    • A tanulási sebesség csökkenési sebessége
    • A képzési korszakok száma
    • A súlyok körüli környék mérete, amely védett a veszteségcsúcsoktól
    • A lemorzsolódás valószínűsége
  4. Mi az első a SAM két lépése közül minden iterációnál?
    • Csökkentse a modellt
    • Átlagolja az összes korábbi lépés súlyát
    • Állítsa vissza az optimalizáló állapotát
    • Tegyen egy rho méretű felfelé lépést a legrosszabb közeli pont felé
  5. Miért javítja gyakran a SAM a zaj címkézésének robusztusságát?
    • Mivel a lapos minimumok kevésbé hajlamosak a sérült címkék memorizálására
    • Mert automatikusan törli a zajos címkéket
    • Mert nagyobb szókincset használ
    • Mert megháromszorozza a tétel méretét
  6. Ezek közül melyik a SAM számítási költségének csökkentésére tervezett változat?
    • ReLU
    • ESAM (Efficient SAM)
    • BatchNorm
    • AdaGrad
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point