Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Sztochasztikus súlyátlagoló kvíz

Checks SWA weight averaging, learning-rate behavior, batch-normalization recalibration and how a single averaged model differs from an ensemble.

Kapcsolódó útmutató utakSztochasztikus súlyátlagolás
kérdés 1 -ból 8

Mit jelent valójában a sztochasztikus súlyátlagolás?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelent valójában a sztochasztikus súlyátlagolás?
    • A modell súlyai több ponton mintát vettek az edzés végén
    • Több külön kiképzett modell előrejelzése
    • A gradiensek az összes mini-kötegre számítva
    • Az egyes korszakokban használt tanulási arányok
  2. Miért javítja az SWA az általánosítást?
    • Pontosabban megjegyzi az edzéskészletet
    • Szélesebb, laposabb minimumokat talál, amelyek robusztusabbak a nem látott adatokon
    • Növeli a paraméterek számát a modellben
    • Kiküszöböli az érvényesítési készlet szükségességét
  3. Milyen extra lépést igényel az SWA a kötegelt normalizálást használó hálózatokhoz?
    • A hálózat újraképzése a semmiből
    • A tétel méretének megduplázása
    • Egy további előrelépés a BN futási statisztikák újraszámítására
    • Az összes kieső réteg eltávolítása
  4. Milyen tanulási arányú viselkedést alkalmaznak jellemzően az SWA-átlagolási fázisban?
    • A tanulási arány pontosan nullára csökkent
    • Egy tanulási arány a stabilitás érdekében
    • Egyáltalán nincs tanulási sebesség, mivel a képzés lefagyott
    • Állandó vagy ciklikus, viszonylag magas tanulási arány
  5. Hogyan viszonyul az SWA következtetési költsége az N modellek hagyományos együtteséhez?
    • Ez nagyjából egyetlen modellbe kerül, mivel az eredmény egy súlykészlet
    • N-szer drágább
    • Ez megegyezik az N modellek futtatásával
    • Nem használható következtetésekre
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress