Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor stochastische gewichtsmiddeling

Controleert SWA-gewichtsmiddeling, leersnelheidsgedrag, herkalibratie van batch-normalisatie en hoe een enkel gemiddeld model verschilt van een ensemble.

Gerelateerde gidspadenStochastische gewichtsmiddeling
Vraag 1 van 8

Wat betekent stochastische gewichtsmiddeling eigenlijk gemiddeld?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat betekent stochastische gewichtsmiddeling eigenlijk gemiddeld?
    • De gewichten van het model werden laat in de training op meerdere punten bemonsterd
    • De voorspellingen van verschillende afzonderlijk getrainde modellen
    • De gradiënten berekend voor alle minibatches
    • De leersnelheden die tijdens elk tijdperk worden gebruikt
  2. Waarom verbetert SWA de generalisatie?
    • Het onthoudt de trainingsset nauwkeuriger
    • Het vindt bredere, vlakkere minima die robuuster zijn op basis van onzichtbare gegevens
    • Het vergroot het aantal parameters in het model
    • Het elimineert de noodzaak voor een validatieset
  3. Welke extra stap is er nodig voor netwerken die batchnormalisatie gebruiken?
    • Het netwerk opnieuw trainen vanaf nul
    • Verdubbeling van de batchgrootte
    • Een extra voorwaartse pass om de hardloopstatistieken van BN te herberekenen
    • Alle uitvallagen verwijderen
  4. Welk leersnelheidsgedrag wordt doorgaans gebruikt tijdens de SWA-middelingsfase?
    • Een leersnelheid daalde tot precies nul
    • Een leersnelheid van één voor stabiliteit
    • Er is helemaal geen leerpercentage omdat de training is bevroren
    • Een constant of cyclisch, relatief hoog leertempo
  5. Hoe verhouden de inferentiekosten van SWA zich tot een traditioneel geheel van N-modellen?
    • Het kost ongeveer één model, omdat het resultaat één set gewichten is
    • Het is N keer duurder
    • Het is identiek aan het uitvoeren van N-modellen
    • Het kan niet worden gebruikt voor gevolgtrekkingen
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress