Kvíz spojený s průvodcem · Střední úroveň

Inicializační kvíz hmotnosti

Kontroluje narušení symetrie, škálování vějířů a vějířů, inicializaci Xaviera a He, kompenzaci ReLU a nulové odchylky. v hlubokých modelech.

Související vodicí cestyInicializace hmotnosti
Otázka 1 z 8

Proč je inicializace všech vah na nulu fatální chybou?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč je inicializace všech vah na nulu fatální chybou?
    • Všechny neurony dostávají identické gradienty a nikdy se nerozlišují (symetrie není narušena)
    • To dělá trénink příliš rychlým
    • Způsobuje, že se ztráta stává negativní
    • Využívá příliš mnoho paměti
  2. Inicializace (Kaiming) je speciálně navržena pro jakou aktivační funkci?
    • Sigmoid
    • ReLU
    • Tanh
    • Softmax
  3. Co je hlavním cílem principiálních schémat inicializace hmotnosti?
    • Aby byly všechny váhy stejné
    • Chcete-li nastavit každou váhu na jednu
    • Udržet rozptyl aktivací a gradientů zhruba konstantní napříč vrstvami
    • Aby se eliminovala potřeba dat
  4. Inicializace Xavier (Glorot) je nejvhodnější pro sítě pomocí kterých aktivací?
    • ReLU a jeho varianty
    • Pouze lineární aktivace
    • Žádná aktivace vůbec
    • Tanh a sigmoid
  5. Proč inicializace He používá rozptyl 2 / fan_in spíše než 1 / fan_in?
    • Pro kompenzaci ReLU nastaví zhruba polovinu svých vstupů na nulu
    • Zvětšit závaží bez důvodu
    • Chcete-li snížit počet parametrů
    • Aby odpovídala velikosti šarže
  6. Jak se obvykle inicializují předsudky, když jsou váhy náhodně inicializovány?
    • K velmi velkým kladným hodnotám
    • Na nulu, protože symetrie je již narušena náhodnými vahami
    • Na stejnou hodnotu jako rychlost učení
    • Na náhodné hodnoty větší než váhy
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32