Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor scherptebewuste minimalisatie

Controleert de twee-pass-update van SAM, de omgevingsradius, de verstoorde gewichtsgradiënt en de afweging tussen vlakheid en rekenkracht.

Gerelateerde gidspadenScherptebewuste minimalisatie
Vraag 1 van 8

Welk soort minimum probeert SAM te vinden?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk soort minimum probeert SAM te vinden?
    • Een vlak minimum waarbij het verlies laag blijft over een reeks gewichten
    • Het scherpst mogelijke minimum
    • Het minimum met de meeste parameters
    • Elk minimum is in één stap bereikbaar
  2. Hoeveel voorwaartse en achterwaartse passen vereist een standaard SAM-stap?
    • Een halve pas
    • Ongeveer twee
    • Precies één
    • Tien of meer
  3. Wat regelt de straal-hyperparameter rho in SAM?
    • De leersnelheid vervalt
    • Het aantal trainingstijdvakken
    • De grootte van de buurt rond de gewichten die beschermd is tegen verliespieken
    • De uitvalkans
  4. Wat is de eerste van de twee stappen van SAM bij elke iteratie?
    • Verklein het model
    • Gemiddelde van de gewichten van alle voorgaande stappen
    • Reset de optimalisatiestatus
    • Neem een klimstap ter grootte van rho in de richting van het slechtste nabijgelegen punt
  5. Waarom verbetert SAM vaak de robuustheid bij het labelen van ruis?
    • Omdat platte minima minder vatbaar zijn voor het onthouden van beschadigde labels
    • Omdat het luidruchtige labels automatisch verwijdert
    • Omdat het een grotere woordenschat gebruikt
    • Omdat het de batchgrootte verdrievoudigt
  6. Welke van deze is een variant die is ontworpen om de computerkosten van SAM te verlagen?
    • ReLU
    • ESAM (Efficiënte SAM)
    • BatchNorm
    • AdaGrad
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point