Quiz sur les dégradés qui disparaissent et explosent

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle opération mathématique de rétropropagation est à l’origine de la disparition et de l’explosion des gradients ?
   • Multiplier à plusieurs reprises les facteurs par couche via la règle de la chaîne
   • Ajouter des dégradés sur un seul calque
   • Diviser la perte par la taille du lot
   • Prendre la racine carrée des poids
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. Quelle architecture est la PLUS gravement affectée par les problèmes de gradient sur de longues séquences ?
   • Un perceptron à deux couches
   • Une seule régression linéaire
   • Un réseau neuronal récurrent déployé sur de nombreux pas de temps
   • Une table de recherche
4. Voir la perte d'entraînement se transformer soudainement en NaN indique très probablement quel problème ?
   • Des dégradés qui disparaissent
   • Convergence parfaite
   • Un taux d'apprentissage trop faible
   • Dégradés explosifs
5. Comment les connexions résiduelles (sautées) aident-elles à faire disparaître les dégradés ?
   • Ils donnent au dégradé un raccourci direct vers l'arrière, en contournant les multiplications qui rétrécissent.
   • Ils suppriment toutes les non-linéarités
   • Ils augmentent automatiquement le taux d’apprentissage
   • Ils suppriment les premières couches
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect