Gids-gekoppelde quiz · Middelmatig Niveau
Verdwijnende en exploderende verlopenquiz
Controleert ketenregelgradiëntproducten, verzadiging, terugkerende sequentielengte, resterende paden en de grenzen van spectrale straalheuristiek.
Vraag 1 van 8
Welke wiskundige operatie bij backpropagation is de hoofdoorzaak van verdwijnende en exploderende gradiënten?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke wiskundige operatie bij backpropagation is de hoofdoorzaak van verdwijnende en exploderende gradiënten?
- Herhaaldelijk vermenigvuldigen van factoren per laag via de kettingregel
- Verlopen toevoegen over één enkele laag
- Het verlies delen door de batchgrootte
- Het nemen van de vierkantswortel van de gewichten
- Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- Welke architectuur wordt het zwaarst getroffen door gradiëntproblemen over lange reeksen?
- Een perceptron met twee lagen
- Een enkele lineaire regressie
- Een terugkerend neuraal netwerk dat zich over vele tijdstappen ontrolde
- Een opzoektabel
- Welk probleem geeft het waarschijnlijk aan als je ziet dat het trainingsverlies plotseling in NaN verandert?
- Verdwijnende gradiënten
- Perfecte convergentie
- Een te klein leertempo
- Exploderende gradiënten
- Hoe helpen resterende (overslaan) verbindingen bij verdwijnende gradiënten?
- Ze geven de gradiënt een direct kortere weg naar achteren, waarbij de krimpende vermenigvuldigingen worden omzeild
- Ze verwijderen alle niet-lineariteiten
- Ze verhogen automatisch de leersnelheid
- Ze verwijderen vroege lagen
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect