Διαβαθμίσεις που εξαφανίζονται και εκρήγνυνται
Κατά την εκπαίδευση σε βαθιά δίκτυα, τα σήματα σφάλματος συρρικνώνονται προς το μηδέν ή εκτοξεύονται προς το άπειρο καθώς ταξιδεύουν προς τα πίσω μέσα από πολλά επίπεδα.
Επισκόπηση
This makes deep and recurrent models painfully slow or impossible to train without specific fixes.
Βαθιά κατάδυση
Τα νευρωνικά δίκτυα μαθαίνουν μέσω της αντίστροφης διάδοσης, η οποία πολλαπλασιάζει τις κλίσεις επίπεδο προς στρώμα χρησιμοποιώντας τον κανόνα της αλυσίδας. Όταν στοιβάζετε πολλά επίπεδα, αυτοί οι παράγοντες ανά επίπεδο πολλαπλασιάζονται μαζί. Εάν κάθε παράγοντας είναι σταθερά μικρότερος από 1, το προϊόν συρρικνώνεται εκθετικά και τα πρώτα στρώματα μόλις που ενημερώνονται - το πρόβλημα της εξαφάνισης της κλίσης. Εάν κάθε παράγοντας είναι μεγαλύτερος από 1, το προϊόν εκρήγνυται, παράγοντας τεράστιες ασταθείς ενημερώσεις ή τιμές NaN. Οι ενεργοποιήσεις κορεσμού όπως το σιγμοειδές και το tanh, των οποίων τα παράγωγα ανέρχονται στο 0,25 και 1, είναι κλασικοί ένοχοι. Το ζήτημα είναι πιο σοβαρό στα δίκτυα βαθιάς τροφοδοσίας και στα επαναλαμβανόμενα δίκτυα (RNN) που επεξεργάζονται μεγάλες ακολουθίες, όπου η ίδια μήτρα βάρους εφαρμόζεται ξανά σε κάθε βήμα, επιδεινώνοντας το αποτέλεσμα δραματικά.
Τεχνική διορατικότητα
Στην οπίσθια διάδοση η κλίση σε ένα πρώιμο στρώμα είναι προϊόν πολλών όρων Jacobian και βάρους. Χονδρικά, το σήμα κλιμακώνεται όπως ο παράγοντας ανά στρώση που αυξάνεται στο βάθος. Οι τιμές κάτω από 1 μειώνονται προς το μηδέν. τιμές άνω του 1 αυξάνονται χωρίς όριο. Για ένα RNN που ξετυλίγεται σε βήματα T, ο κυρίαρχος όρος συμπεριφέρεται σαν τη μεγαλύτερη ιδιοτιμή του επαναλαμβανόμενου βάρους στην ισχύ T, έτσι ακόμη και μικρές αποκλίσεις από το 1 εξαφανίζονται ή εκρήγνυνται σε μεγάλες ακολουθίες.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Vanishing and Exploding Gradients
Οι βασικοί μετριασμούς - υπολειμματικές (παρακάμψεις) συνδέσεις, κανονικοποίηση, πύλη και προσεκτική αρχικοποίηση - είναι πλέον στάνταρ, επομένως οι διαβαθμίσεις που εξαφανίζονται σπάνια εμποδίζουν την εκπαίδευση των σύγχρονων αρχιτεκτονικών. Οι μετασχηματιστές παρακάμπτουν την επαναλαμβανόμενη σύνθεση εξ ολοκλήρου χρησιμοποιώντας την προσοχή σε μια ακολουθία αντί για επαναλαμβανόμενη επανεφαρμογή ενός πίνακα. Η έρευνα συνεχίζεται σε δίκτυα εκπαίδευσης σε βάθος χιλιάδων επιπέδων, σε σταθερά μοντέλα πολύ μεγάλου πλαισίου και σε θεωρητικά εργαλεία όπως ο πυρήνας νευρικής εφαπτομένης που προβλέπουν τη διάδοση του σήματος πριν από την εκτέλεση ενός βήματος εκπαίδευσης.
Υλοποίηση σε πραγματικό κόσμο
Τα πρώιμα μοντέλα γλώσσας RNN δυσκολεύονταν να συνδέσουν λέξεις σε μεγάλες προτάσεις επειδή οι διαβαθμίσεις εξαφανίστηκαν σε πολλά χρονικά βήματα, παρακινώντας τα LSTM και τα GRU.
Το ResNet επέτρεψε την εκπαίδευση ταξινομητών εικόνων 100+ επιπέδων προσθέτοντας συνδέσεις παράβλεψης που δίνουν στις διαβαθμίσεις μια άμεση, αδιάλυτη διαδρομή προς τα πίσω.
Ένας προγραμματιστής βλέπει ότι η απώλεια προπόνησης γίνεται ξαφνικά NaN - ένα ενδεικτικό σημάδι έκρηξης κλίσεων - και προσθέτει απόκομμα κλίσης για να το σταθεροποιήσει.
Εργαλεία παρακολούθησης σε PyTorch ή TensorFlow γραφικά πρότυπα κλίσης ανά στρώμα, ώστε οι μηχανικοί να μπορούν να εντοπίσουν ένα στρώμα του οποίου οι διαβαθμίσεις έχουν καταρρεύσει σχεδόν στο μηδέν.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vanishing and Exploding Gradients quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Σημείο ελέγχου κλίσης
Συχνές ερωτήσεις
What is Vanishing and Exploding Gradients?
Κατά την εκπαίδευση σε βαθιά δίκτυα, τα σήματα σφάλματος συρρικνώνονται προς το μηδέν ή εκτοξεύονται προς το άπειρο καθώς ταξιδεύουν προς τα πίσω μέσα από πολλά επίπεδα. Αυτό καθιστά τα βαθιά και επαναλαμβανόμενα μοντέλα οδυνηρά αργά ή αδύνατο να εκπαιδεύονται χωρίς συγκεκριμένες διορθώσεις.
Ποια μαθηματική πράξη στην οπίσθια διάδοση είναι η βασική αιτία της εξαφάνισης και της έκρηξης των κλίσεων;
Η οπίσθια διάδοση εφαρμόζει τον κανόνα της αλυσίδας, πολλαπλασιάζοντας πολλούς παράγοντες ανά στρώμα μαζί. προϊόντα με τιμές κάτω από 1 εξαφανίζονται και προϊόντα πάνω από 1 εκρήγνυνται.
Γιατί οι ενεργοποιήσεις σιγμοειδούς και τανχ είναι ιδιαίτερα επιρρεπείς σε εξαφανιζόμενες κλίσεις;
Το παράγωγο Sigmoid κορυφώνεται στο 0,25 και το tanh στο 1. σε κορεσμένες περιοχές και οι δύο πλησιάζουν το μηδέν, επομένως η στοίβαξή τους οδηγεί τις κλίσεις προς το μηδέν.
Ποια αρχιτεκτονική επηρεάζεται ΠΕΡΙΣΣΟΤΕΡΑ από προβλήματα κλίσης σε μεγάλες ακολουθίες;
Ένα RNN εφαρμόζει εκ νέου τον ίδιο επαναλαμβανόμενο πίνακα βάρους σε κάθε χρονικό βήμα, έτσι σε μια μακρά ακολουθία το αποτέλεσμα ενώσεις όπως η ιδιοτιμή αυτού του πίνακα αυξήθηκε στο μήκος της ακολουθίας.
Βλέποντας την απώλεια προπόνησης να μετατρέπεται ξαφνικά σε NaN υποδηλώνει πιθανότατα ποιο πρόβλημα;
Οι εκρηκτικές κλίσεις παράγουν τεράστιες ενημερώσεις που ξεχειλίζουν στο άπειρο ή στο NaN. Οι κλίσεις που εξαφανίζονται προκαλούν αντ' αυτού απώλεια απώλειας.
Πώς βοηθούν οι υπολειμματικές (παράλειψη) συνδέσεις με τις κλίσεις που εξαφανίζονται;
Οι παραλείψεις συνδέσεων προσθέτουν μια διαδρομή ταυτότητας, ώστε οι διαβαθμίσεις να μπορούν να ρέουν προς τα πίσω χωρίς να εξασθενούν επανειλημμένα από ενδιάμεσα επίπεδα.