Κουίζ εξαφάνισης και έκρηξης διαβαθμίσεων

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια μαθηματική πράξη στην οπίσθια διάδοση είναι η βασική αιτία της εξαφάνισης και της έκρηξης των κλίσεων;
   • Επαναλαμβανόμενος πολλαπλασιασμός των παραγόντων ανά στρώμα μέσω του κανόνα της αλυσίδας
   • Προσθήκη διαβαθμίσεων σε ένα μόνο στρώμα
   • Διαιρώντας την απώλεια με το μέγεθος της παρτίδας
   • Λαμβάνοντας την τετραγωνική ρίζα των βαρών
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. Ποια αρχιτεκτονική επηρεάζεται ΠΕΡΙΣΣΟΤΕΡΑ από προβλήματα κλίσης σε μεγάλες ακολουθίες;
   • Ένα perceptron δύο στρωμάτων
   • Μια ενιαία γραμμική παλινδρόμηση
   • Ένα επαναλαμβανόμενο νευρωνικό δίκτυο ξετυλίχθηκε σε πολλά χρονικά βήματα
   • Πίνακας αναζήτησης
4. Βλέποντας την απώλεια προπόνησης να μετατρέπεται ξαφνικά σε NaN υποδηλώνει πιθανότατα ποιο πρόβλημα;
   • Εξαφανιζόμενες κλίσεις
   • Τέλεια σύγκλιση
   • Πολύ μικρό ποσοστό μάθησης
   • Εκρηκτικές κλίσεις
5. Πώς βοηθούν οι υπολειμματικές (παράλειψη) συνδέσεις με τις κλίσεις που εξαφανίζονται;
   • Δίνουν στη διαβάθμιση μια άμεση διαδρομή συντόμευσης προς τα πίσω, παρακάμπτοντας τους συρρικνούμενους πολλαπλασιασμούς
   • Καταργούν όλες τις μη γραμμικότητες
   • Αυξάνουν αυτόματα τον ρυθμό εκμάθησης
   • Διαγράφουν τα πρώτα επίπεδα
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect