Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Súlykezdeményezési kvíz

Checks symmetry breaking, fan-in and fan-out scaling, Xavier and He initialization, ReLU compensation and zero biases. in deep models.

Kapcsolódó útmutató utakSúly inicializálása
kérdés 1 -ból 8

Miért végzetes hiba az összes súly nullára állítása?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért végzetes hiba az összes súly nullára állítása?
    • Minden neuron azonos gradienst kap, és soha nem különbözik (a szimmetria nem sérül)
    • Túl gyorsítja az edzést
    • Ez azt okozza, hogy a veszteség negatívvá válik
    • Túl sok memóriát használ
  2. A He (Kaiming) inicializálást melyik aktiválási funkcióhoz tervezték kifejezetten?
    • Szigma alakú
    • ReLU
    • Tanh
    • Softmax
  3. Mi a fő célja az elvi súlyozási inicializálási sémáknak?
    • Hogy minden súly egyenlő legyen
    • Minden súlyt egyre kell állítani
    • Az aktiválások és a színátmenetek varianciájának nagyjából állandó szinten tartása a rétegek között
    • Az adatszükséglet kiküszöbölésére
  4. A Xavier (Glorot) inicializálás melyik aktiválást használó hálózatokhoz a legalkalmasabb?
    • ReLU és változatai
    • Csak lineáris aktiválások
    • Egyáltalán nincs aktiválás
    • Tanh és szigmabél
  5. Miért használja a He inicializálása 2 / fan_in varianciát 1 / fan_in helyett?
    • A ReLU kompenzálására a bemeneteinek nagyjából a felét nullára állítja
    • Hogy ok nélkül nagyobb legyen a súly
    • A paraméterek számának csökkentése érdekében
    • A tétel méretéhez igazodva
  6. Általában hogyan inicializálódnak a torzítások, amikor a súlyokat véletlenszerűen inicializálják?
    • Nagyon nagy pozitív értékekhez
    • Nullára, mivel a szimmetriát már megtörik a véletlenszerű súlyok
    • A tanulási sebességgel megegyező értékre
    • A súlyoknál nagyobb véletlenszerű értékekre
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32