Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Eltűnő és robbanó színátmenetek kvíz

Checks chain-rule gradient products, saturation, recurrent sequence length, residual paths and the limits of spectral-radius heuristics.

Kapcsolódó útmutató utakEltűnő és felrobbanó színátmenetek
kérdés 1 -ból 8

Milyen matematikai művelet a visszaszaporodásban a kiváltó oka a gradiensek eltűnésének és felrobbanásának?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen matematikai művelet a visszaszaporodásban a kiváltó oka a gradiensek eltűnésének és felrobbanásának?
    • A rétegenkénti tényezők ismételt szorzása a láncszabály segítségével
    • Színátmenetek hozzáadása egyetlen réteghez
    • A veszteség elosztása a tétel méretével
    • A súlyok négyzetgyökének felvétele
  2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. Melyik architektúrát érintik legsúlyosabban a hosszú sorozatok során jelentkező gradiens problémák?
    • Kétrétegű perceptron
    • Egyetlen lineáris regresszió
    • Egy visszatérő neurális hálózat sok időlépésen keresztül bontakozott ki
    • Egy keresőtábla
  4. Ha azt látja, hogy az edzési veszteség hirtelen NaN-be változik, az valószínűleg melyik problémára utal?
    • Eltűnő színátmenetek
    • Tökéletes konvergencia
    • Túl kicsi a tanulási arány
    • Robbanó színátmenetek
  5. Hogyan segítenek a maradék (kihagyó) kapcsolatok az eltűnő gradienseknél?
    • A gradiensnek közvetlen parancsikont adnak visszafelé, megkerülve a zsugorodó szorzásokat
    • Eltávolítanak minden nemlinearitást
    • Automatikusan növelik a tanulási sebességet
    • Törli a korai rétegeket
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect