Gids-gekoppelde quiz · Middelmatig Niveau

Verdwijnende en exploderende verlopenquiz

Controleert ketenregelgradiëntproducten, verzadiging, terugkerende sequentielengte, resterende paden en de grenzen van spectrale straalheuristiek.

Vraag 1 van 8

Welke wiskundige operatie bij backpropagation is de hoofdoorzaak van verdwijnende en exploderende gradiënten?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke wiskundige operatie bij backpropagation is de hoofdoorzaak van verdwijnende en exploderende gradiënten?
    • Herhaaldelijk vermenigvuldigen van factoren per laag via de kettingregel
    • Verlopen toevoegen over één enkele laag
    • Het verlies delen door de batchgrootte
    • Het nemen van de vierkantswortel van de gewichten
  2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. Welke architectuur wordt het zwaarst getroffen door gradiëntproblemen over lange reeksen?
    • Een perceptron met twee lagen
    • Een enkele lineaire regressie
    • Een terugkerend neuraal netwerk dat zich over vele tijdstappen ontrolde
    • Een opzoektabel
  4. Welk probleem geeft het waarschijnlijk aan als je ziet dat het trainingsverlies plotseling in NaN verandert?
    • Verdwijnende gradiënten
    • Perfecte convergentie
    • Een te klein leertempo
    • Exploderende gradiënten
  5. Hoe helpen resterende (overslaan) verbindingen bij verdwijnende gradiënten?
    • Ze geven de gradiënt een direct kortere weg naar achteren, waarbij de krimpende vermenigvuldigingen worden omzeild
    • Ze verwijderen alle niet-lineariteiten
    • Ze verhogen automatisch de leersnelheid
    • Ze verwijderen vroege lagen
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect