Kvíz spojený s průvodcem · Střední úroveň

Stochastický kvíz o průměrování hmotnosti

Kontroluje průměrování hmotnosti SWA, chování rychlosti učení, rekalibraci dávkové normalizace a jak se liší jeden zprůměrovaný model od souboru.

Související vodicí cestyStochastické průměrování hmotnosti
Otázka 1 z 8

Jaký je vlastně průměr Stochastic Weight Averaging?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je vlastně průměr Stochastic Weight Averaging?
    • Hmotnosti modelu odebrané v několika bodech pozdě v tréninku
    • Předpovědi několika samostatně trénovaných modelů
    • Gradienty byly vypočteny pro všechny mini-dávky
    • Míry učení používané během každé epochy
  2. Proč má SWA tendenci zlepšit zobecnění?
    • Přesněji si zapamatuje tréninkovou sestavu
    • Najde širší, plošší minima, která jsou robustnější na neviditelných datech
    • Zvyšuje počet parametrů v modelu
    • Eliminuje to potřebu ověřovací sady
  3. Jaký další krok vyžaduje SWA pro sítě, které používají dávkovou normalizaci?
    • Přeškolení sítě od nuly
    • Zdvojnásobení velikosti dávky
    • Další dopředný průchod pro přepočítání statistik běhu BN
    • Odstranění všech vrstev výpadků
  4. Jaká rychlost učení se obvykle používá během fáze průměrování SWA?
    • Rychlost učení klesla přesně na nulu
    • Rychlost učení jedna pro stabilitu
    • Žádná rychlost učení, protože trénink je zmrazen
    • Stálá nebo cyklická, relativně vysoká rychlost učení
  5. Jak jsou odvozené náklady SWA v porovnání s tradičním souborem N modelů?
    • Stojí to zhruba jeden model, protože výsledkem je jedna sada závaží
    • Je N krát dražší
    • Je shodný s běžícími modely N
    • Nelze jej použít k dedukci
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress