Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Sztochasztikus súlyátlagoló kvíz
Checks SWA weight averaging, learning-rate behavior, batch-normalization recalibration and how a single averaged model differs from an ensemble.
kérdés 1 -ból 8
Mit jelent valójában a sztochasztikus súlyátlagolás?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelent valójában a sztochasztikus súlyátlagolás?
- A modell súlyai több ponton mintát vettek az edzés végén
- Több külön kiképzett modell előrejelzése
- A gradiensek az összes mini-kötegre számítva
- Az egyes korszakokban használt tanulási arányok
- Miért javítja az SWA az általánosítást?
- Pontosabban megjegyzi az edzéskészletet
- Szélesebb, laposabb minimumokat talál, amelyek robusztusabbak a nem látott adatokon
- Növeli a paraméterek számát a modellben
- Kiküszöböli az érvényesítési készlet szükségességét
- Milyen extra lépést igényel az SWA a kötegelt normalizálást használó hálózatokhoz?
- A hálózat újraképzése a semmiből
- A tétel méretének megduplázása
- Egy további előrelépés a BN futási statisztikák újraszámítására
- Az összes kieső réteg eltávolítása
- Milyen tanulási arányú viselkedést alkalmaznak jellemzően az SWA-átlagolási fázisban?
- A tanulási arány pontosan nullára csökkent
- Egy tanulási arány a stabilitás érdekében
- Egyáltalán nincs tanulási sebesség, mivel a képzés lefagyott
- Állandó vagy ciklikus, viszonylag magas tanulási arány
- Hogyan viszonyul az SWA következtetési költsége az N modellek hagyományos együtteséhez?
- Ez nagyjából egyetlen modellbe kerül, mivel az eredmény egy súlykészlet
- N-szer drágább
- Ez megegyezik az N modellek futtatásával
- Nem használható következtetésekre
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress