Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Súlykezdeményezési kvíz
Checks symmetry breaking, fan-in and fan-out scaling, Xavier and He initialization, ReLU compensation and zero biases. in deep models.
kérdés 1 -ból 8
Miért végzetes hiba az összes súly nullára állítása?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért végzetes hiba az összes súly nullára állítása?
- Minden neuron azonos gradienst kap, és soha nem különbözik (a szimmetria nem sérül)
- Túl gyorsítja az edzést
- Ez azt okozza, hogy a veszteség negatívvá válik
- Túl sok memóriát használ
- A He (Kaiming) inicializálást melyik aktiválási funkcióhoz tervezték kifejezetten?
- Szigma alakú
- ReLU
- Tanh
- Softmax
- Mi a fő célja az elvi súlyozási inicializálási sémáknak?
- Hogy minden súly egyenlő legyen
- Minden súlyt egyre kell állítani
- Az aktiválások és a színátmenetek varianciájának nagyjából állandó szinten tartása a rétegek között
- Az adatszükséglet kiküszöbölésére
- A Xavier (Glorot) inicializálás melyik aktiválást használó hálózatokhoz a legalkalmasabb?
- ReLU és változatai
- Csak lineáris aktiválások
- Egyáltalán nincs aktiválás
- Tanh és szigmabél
- Miért használja a He inicializálása 2 / fan_in varianciát 1 / fan_in helyett?
- A ReLU kompenzálására a bemeneteinek nagyjából a felét nullára állítja
- Hogy ok nélkül nagyobb legyen a súly
- A paraméterek számának csökkentése érdekében
- A tétel méretéhez igazodva
- Általában hogyan inicializálódnak a torzítások, amikor a súlyokat véletlenszerűen inicializálják?
- Nagyon nagy pozitív értékekhez
- Nullára, mivel a szimmetriát már megtörik a véletlenszerű súlyok
- A tanulási sebességgel megegyező értékre
- A súlyoknál nagyobb véletlenszerű értékekre
- Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
- The number of training epochs and batch size
- The output class count alone
- Fan-in and fan-out
- The activation’s test accuracy
- For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
- 1/64
- 1/16
- 2/64 squared
- 1/32