Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor stochastische gewichtsmiddeling
Controleert SWA-gewichtsmiddeling, leersnelheidsgedrag, herkalibratie van batch-normalisatie en hoe een enkel gemiddeld model verschilt van een ensemble.
Vraag 1 van 8
Wat betekent stochastische gewichtsmiddeling eigenlijk gemiddeld?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat betekent stochastische gewichtsmiddeling eigenlijk gemiddeld?
- De gewichten van het model werden laat in de training op meerdere punten bemonsterd
- De voorspellingen van verschillende afzonderlijk getrainde modellen
- De gradiënten berekend voor alle minibatches
- De leersnelheden die tijdens elk tijdperk worden gebruikt
- Waarom verbetert SWA de generalisatie?
- Het onthoudt de trainingsset nauwkeuriger
- Het vindt bredere, vlakkere minima die robuuster zijn op basis van onzichtbare gegevens
- Het vergroot het aantal parameters in het model
- Het elimineert de noodzaak voor een validatieset
- Welke extra stap is er nodig voor netwerken die batchnormalisatie gebruiken?
- Het netwerk opnieuw trainen vanaf nul
- Verdubbeling van de batchgrootte
- Een extra voorwaartse pass om de hardloopstatistieken van BN te herberekenen
- Alle uitvallagen verwijderen
- Welk leersnelheidsgedrag wordt doorgaans gebruikt tijdens de SWA-middelingsfase?
- Een leersnelheid daalde tot precies nul
- Een leersnelheid van één voor stabiliteit
- Er is helemaal geen leerpercentage omdat de training is bevroren
- Een constant of cyclisch, relatief hoog leertempo
- Hoe verhouden de inferentiekosten van SWA zich tot een traditioneel geheel van N-modellen?
- Het kost ongeveer één model, omdat het resultaat één set gewichten is
- Het is N keer duurder
- Het is identiek aan het uitvoeren van N-modellen
- Het kan niet worden gebruikt voor gevolgtrekkingen
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress