Kvíz spojený s průvodcem · Střední úroveň
Stochastický kvíz o průměrování hmotnosti
Kontroluje průměrování hmotnosti SWA, chování rychlosti učení, rekalibraci dávkové normalizace a jak se liší jeden zprůměrovaný model od souboru.
Otázka 1 z 8
Jaký je vlastně průměr Stochastic Weight Averaging?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je vlastně průměr Stochastic Weight Averaging?
- Hmotnosti modelu odebrané v několika bodech pozdě v tréninku
- Předpovědi několika samostatně trénovaných modelů
- Gradienty byly vypočteny pro všechny mini-dávky
- Míry učení používané během každé epochy
- Proč má SWA tendenci zlepšit zobecnění?
- Přesněji si zapamatuje tréninkovou sestavu
- Najde širší, plošší minima, která jsou robustnější na neviditelných datech
- Zvyšuje počet parametrů v modelu
- Eliminuje to potřebu ověřovací sady
- Jaký další krok vyžaduje SWA pro sítě, které používají dávkovou normalizaci?
- Přeškolení sítě od nuly
- Zdvojnásobení velikosti dávky
- Další dopředný průchod pro přepočítání statistik běhu BN
- Odstranění všech vrstev výpadků
- Jaká rychlost učení se obvykle používá během fáze průměrování SWA?
- Rychlost učení klesla přesně na nulu
- Rychlost učení jedna pro stabilitu
- Žádná rychlost učení, protože trénink je zmrazen
- Stálá nebo cyklická, relativně vysoká rychlost učení
- Jak jsou odvozené náklady SWA v porovnání s tradičním souborem N modelů?
- Stojí to zhruba jeden model, protože výsledkem je jedna sada závaží
- Je N krát dražší
- Je shodný s běžícími modely N
- Nelze jej použít k dedukci
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress