Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący minimalizacji uwzględniającej ostrość

Sprawdza aktualizację dwuprzebiegową SAM, promień jego sąsiedztwa, gradient wagi zaburzonej i kompromis między płaskością a obliczeniami.

Powiązane ścieżki prowadząceMinimalizacja uwzględniająca ostrość
Pytanie 1 z 8

Jakie minimum próbuje znaleźć SAM?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jakie minimum próbuje znaleźć SAM?
    • Płaskie minimum, w którym strata pozostaje niska w całym sąsiedztwie wag
    • Najostrzejsze możliwe minimum
    • Minimum z największą liczbą parametrów
    • Dowolne minimum osiągalne w jednym kroku
  2. Ile przejść do przodu i do tyłu wymaga standardowy krok SAM?
    • Pół przepustki
    • Mniej więcej dwa
    • Dokładnie jeden
    • Dziesięć lub więcej
  3. Co kontroluje hiperparametr promienia rho w SAM?
    • Szybkość zaniku szybkości uczenia się
    • Liczba epok szkoleniowych
    • Rozmiar otoczenia wokół ciężarków chroniony przed skokami strat
    • Prawdopodobieństwo rezygnacji
  4. Jaki jest pierwszy z dwóch kroków SAM w każdej iteracji?
    • Zmniejsz model
    • Uśrednij wagi wszystkich poprzednich kroków
    • Zresetuj stan optymalizatora
    • Wykonaj krok wznoszący się o wielkości rho w stronę najgorszego pobliskiego punktu
  5. Dlaczego SAM często poprawia odporność na etykietowanie szumu?
    • Ponieważ płaskie minima są mniej podatne na zapamiętywanie uszkodzonych etykiet
    • Ponieważ automatycznie usuwa hałaśliwe etykiety
    • Ponieważ używa większego słownictwa
    • Ponieważ trzykrotnie zwiększa wielkość partii
  6. Który z nich jest wariantem zaprojektowanym w celu zmniejszenia kosztów obliczeń SAM?
    • ReLU
    • ESAM (Efektywny SAM)
    • Norma wsadowa
    • AdaGrad
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point