Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Eltűnő és robbanó színátmenetek kvíz
Checks chain-rule gradient products, saturation, recurrent sequence length, residual paths and the limits of spectral-radius heuristics.
kérdés 1 -ból 8
Milyen matematikai művelet a visszaszaporodásban a kiváltó oka a gradiensek eltűnésének és felrobbanásának?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen matematikai művelet a visszaszaporodásban a kiváltó oka a gradiensek eltűnésének és felrobbanásának?
- A rétegenkénti tényezők ismételt szorzása a láncszabály segítségével
- Színátmenetek hozzáadása egyetlen réteghez
- A veszteség elosztása a tétel méretével
- A súlyok négyzetgyökének felvétele
- Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- Melyik architektúrát érintik legsúlyosabban a hosszú sorozatok során jelentkező gradiens problémák?
- Kétrétegű perceptron
- Egyetlen lineáris regresszió
- Egy visszatérő neurális hálózat sok időlépésen keresztül bontakozott ki
- Egy keresőtábla
- Ha azt látja, hogy az edzési veszteség hirtelen NaN-be változik, az valószínűleg melyik problémára utal?
- Eltűnő színátmenetek
- Tökéletes konvergencia
- Túl kicsi a tanulási arány
- Robbanó színátmenetek
- Hogyan segítenek a maradék (kihagyó) kapcsolatok az eltűnő gradienseknél?
- A gradiensnek közvetlen parancsikont adnak visszafelé, megkerülve a zsugorodó szorzásokat
- Eltávolítanak minden nemlinearitást
- Automatikusan növelik a tanulási sebességet
- Törli a korai rétegeket
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect