Kvíz spojený s průvodcem · Střední úroveň
Kvíz mizejících a explodujících přechodů
Kontroluje produkty gradientu s řetězovým pravidlem, saturaci, délku opakující se sekvence, zbytkové cesty a limity heuristiky spektrálního poloměru.
Otázka 1 z 8
Jaká matematická operace při zpětném šíření je hlavní příčinou mizejících a explodujících gradientů?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká matematická operace při zpětném šíření je hlavní příčinou mizejících a explodujících gradientů?
- Opakované násobení faktorů na vrstvu pomocí pravidla řetězce
- Přidání přechodů přes jednu vrstvu
- Vydělení ztráty velikostí dávky
- Vezmeme druhou odmocninu vah
- Proč mohou sigmoidní nebo tanhové jednotky přispívat k mizejícím gradientům, když jsou nasycené?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- Která architektura je NEJVÍCE postižena problémy s gradientem v dlouhých sekvencích?
- Dvouvrstvý perceptron
- Jediná lineární regrese
- Opakující se neuronová síť se rozvinula v mnoha časových krocích
- Vyhledávací tabulka
- Vidět, jak se ztráta tréninku náhle změní v NaN, s největší pravděpodobností naznačuje, jaký problém?
- Mizející přechody
- Dokonalá konvergence
- Příliš malá rychlost učení
- Explodující přechody
- Jak zbytková (přeskočit) spojení pomáhají s mizejícími gradienty?
- Poskytují gradientu přímou zkratkovou cestu zpět a obcházejí zmenšující se násobení
- Odstraňují všechny nelinearity
- Automaticky zvyšují rychlost učení
- Odstraňují rané vrstvy
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect