Kvíz spojený s průvodcem · Střední úroveň
Inicializační kvíz hmotnosti
Kontroluje narušení symetrie, škálování vějířů a vějířů, inicializaci Xaviera a He, kompenzaci ReLU a nulové odchylky. v hlubokých modelech.
Otázka 1 z 8
Proč je inicializace všech vah na nulu fatální chybou?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je inicializace všech vah na nulu fatální chybou?
- Všechny neurony dostávají identické gradienty a nikdy se nerozlišují (symetrie není narušena)
- To dělá trénink příliš rychlým
- Způsobuje, že se ztráta stává negativní
- Využívá příliš mnoho paměti
- Inicializace (Kaiming) je speciálně navržena pro jakou aktivační funkci?
- Sigmoid
- ReLU
- Tanh
- Softmax
- Co je hlavním cílem principiálních schémat inicializace hmotnosti?
- Aby byly všechny váhy stejné
- Chcete-li nastavit každou váhu na jednu
- Udržet rozptyl aktivací a gradientů zhruba konstantní napříč vrstvami
- Aby se eliminovala potřeba dat
- Inicializace Xavier (Glorot) je nejvhodnější pro sítě pomocí kterých aktivací?
- ReLU a jeho varianty
- Pouze lineární aktivace
- Žádná aktivace vůbec
- Tanh a sigmoid
- Proč inicializace He používá rozptyl 2 / fan_in spíše než 1 / fan_in?
- Pro kompenzaci ReLU nastaví zhruba polovinu svých vstupů na nulu
- Zvětšit závaží bez důvodu
- Chcete-li snížit počet parametrů
- Aby odpovídala velikosti šarže
- Jak se obvykle inicializují předsudky, když jsou váhy náhodně inicializovány?
- K velmi velkým kladným hodnotám
- Na nulu, protože symetrie je již narušena náhodnými vahami
- Na stejnou hodnotu jako rychlost učení
- Na náhodné hodnoty větší než váhy
- Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
- The number of training epochs and batch size
- The output class count alone
- Fan-in and fan-out
- The activation’s test accuracy
- For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
- 1/64
- 1/16
- 2/64 squared
- 1/32