Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor scherptebewuste minimalisatie
Controleert de twee-pass-update van SAM, de omgevingsradius, de verstoorde gewichtsgradiënt en de afweging tussen vlakheid en rekenkracht.
Vraag 1 van 8
Welk soort minimum probeert SAM te vinden?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk soort minimum probeert SAM te vinden?
- Een vlak minimum waarbij het verlies laag blijft over een reeks gewichten
- Het scherpst mogelijke minimum
- Het minimum met de meeste parameters
- Elk minimum is in één stap bereikbaar
- Hoeveel voorwaartse en achterwaartse passen vereist een standaard SAM-stap?
- Een halve pas
- Ongeveer twee
- Precies één
- Tien of meer
- Wat regelt de straal-hyperparameter rho in SAM?
- De leersnelheid vervalt
- Het aantal trainingstijdvakken
- De grootte van de buurt rond de gewichten die beschermd is tegen verliespieken
- De uitvalkans
- Wat is de eerste van de twee stappen van SAM bij elke iteratie?
- Verklein het model
- Gemiddelde van de gewichten van alle voorgaande stappen
- Reset de optimalisatiestatus
- Neem een klimstap ter grootte van rho in de richting van het slechtste nabijgelegen punt
- Waarom verbetert SAM vaak de robuustheid bij het labelen van ruis?
- Omdat platte minima minder vatbaar zijn voor het onthouden van beschadigde labels
- Omdat het luidruchtige labels automatisch verwijdert
- Omdat het een grotere woordenschat gebruikt
- Omdat het de batchgrootte verdrievoudigt
- Welke van deze is een variant die is ontworpen om de computerkosten van SAM te verlagen?
- ReLU
- ESAM (Efficiënte SAM)
- BatchNorm
- AdaGrad
- In SAM’s second pass, which gradient is used to update the original model weights?
- The gradient of a random label
- The first pass gradient without evaluating the perturbed point
- The gradient evaluated at the perturbed nearby weights
- A gradient from a different model checkpoint
- If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
- The model parameters are all set to zero
- The loss becomes independent of the weights
- The optimizer takes an infinite step
- There is no weight perturbation, so the neighborhood reduces to the current point