Kvíz spojený s průvodcem · Střední úroveň

Kvíz mizejících a explodujících přechodů

Kontroluje produkty gradientu s řetězovým pravidlem, saturaci, délku opakující se sekvence, zbytkové cesty a limity heuristiky spektrálního poloměru.

Související vodicí cestyMizející A Explodující Přechody
Otázka 1 z 8

Jaká matematická operace při zpětném šíření je hlavní příčinou mizejících a explodujících gradientů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká matematická operace při zpětném šíření je hlavní příčinou mizejících a explodujících gradientů?
    • Opakované násobení faktorů na vrstvu pomocí pravidla řetězce
    • Přidání přechodů přes jednu vrstvu
    • Vydělení ztráty velikostí dávky
    • Vezmeme druhou odmocninu vah
  2. Proč mohou sigmoidní nebo tanhové jednotky přispívat k mizejícím gradientům, když jsou nasycené?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. Která architektura je NEJVÍCE postižena problémy s gradientem v dlouhých sekvencích?
    • Dvouvrstvý perceptron
    • Jediná lineární regrese
    • Opakující se neuronová síť se rozvinula v mnoha časových krocích
    • Vyhledávací tabulka
  4. Vidět, jak se ztráta tréninku náhle změní v NaN, s největší pravděpodobností naznačuje, jaký problém?
    • Mizející přechody
    • Dokonalá konvergence
    • Příliš malá rychlost učení
    • Explodující přechody
  5. Jak zbytková (přeskočit) spojení pomáhají s mizejícími gradienty?
    • Poskytují gradientu přímou zkratkovou cestu zpět a obcházejí zmenšující se násobení
    • Odstraňují všechny nelinearity
    • Automaticky zvyšují rychlost učení
    • Odstraňují rané vrstvy
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect