ΕπόμενοΕπόμενος οδηγός
Σημείο ελέγχου κλίσης
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Διαβαθμίσεις που εξαφανίζονται και εκρήγνυνται
Κατά την εκπαίδευση σε βαθιά δίκτυα, τα σήματα σφάλματος συρρικνώνονται προς το μηδέν ή εκτοξεύονται προς το άπειρο καθώς ταξιδεύουν προς τα πίσω μέσα από πολλά επίπεδα.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
This makes deep and recurrent models painfully slow or impossible to train without specific fixes.
Βαθιά κατάδυση
Τα νευρωνικά δίκτυα μαθαίνουν μέσω της αντίστροφης διάδοσης, η οποία πολλαπλασιάζει τις κλίσεις επίπεδο προς στρώμα χρησιμοποιώντας τον κανόνα της αλυσίδας. Όταν στοιβάζετε πολλά επίπεδα, αυτοί οι παράγοντες ανά επίπεδο πολλαπλασιάζονται μαζί. Εάν κάθε παράγοντας είναι σταθερά μικρότερος από 1, το προϊόν συρρικνώνεται εκθετικά και τα πρώτα στρώματα μόλις που ενημερώνονται - το πρόβλημα της εξαφάνισης της κλίσης. Εάν κάθε παράγοντας είναι μεγαλύτερος από 1, το προϊόν εκρήγνυται, παράγοντας τεράστιες ασταθείς ενημερώσεις ή τιμές NaN. Οι ενεργοποιήσεις κορεσμού όπως το σιγμοειδές και το tanh, των οποίων τα παράγωγα ανέρχονται στο 0,25 και 1, είναι κλασικοί ένοχοι. Το ζήτημα είναι πιο σοβαρό στα δίκτυα βαθιάς τροφοδοσίας και στα επαναλαμβανόμενα δίκτυα (RNN) που επεξεργάζονται μεγάλες ακολουθίες, όπου η ίδια μήτρα βάρους εφαρμόζεται ξανά σε κάθε βήμα, επιδεινώνοντας το αποτέλεσμα δραματικά.
Υλοποίηση σε πραγματικό κόσμο
Τα πρώιμα μοντέλα γλώσσας RNN δυσκολεύονταν να συνδέσουν λέξεις σε μεγάλες προτάσεις επειδή οι διαβαθμίσεις εξαφανίστηκαν σε πολλά χρονικά βήματα, παρακινώντας τα LSTM και τα GRU.
Το ResNet επέτρεψε την εκπαίδευση ταξινομητών εικόνων 100+ επιπέδων προσθέτοντας συνδέσεις παράβλεψης που δίνουν στις διαβαθμίσεις μια άμεση, αδιάλυτη διαδρομή προς τα πίσω.
Ένας προγραμματιστής βλέπει ότι η απώλεια προπόνησης γίνεται ξαφνικά NaN - ένα ενδεικτικό σημάδι έκρηξης κλίσεων - και προσθέτει απόκομμα κλίσης για να το σταθεροποιήσει.
Εργαλεία παρακολούθησης σε PyTorch ή TensorFlow γραφικά πρότυπα κλίσης ανά στρώμα, ώστε οι μηχανικοί να μπορούν να εντοπίσουν ένα στρώμα του οποίου οι διαβαθμίσεις έχουν καταρρεύσει σχεδόν στο μηδέν.
The Future of Vanishing and Exploding Gradients
Οι βασικοί μετριασμούς - υπολειμματικές (παρακάμψεις) συνδέσεις, κανονικοποίηση, πύλη και προσεκτική αρχικοποίηση - είναι πλέον στάνταρ, επομένως οι διαβαθμίσεις που εξαφανίζονται σπάνια εμποδίζουν την εκπαίδευση των σύγχρονων αρχιτεκτονικών. Οι μετασχηματιστές παρακάμπτουν την επαναλαμβανόμενη σύνθεση εξ ολοκλήρου χρησιμοποιώντας την προσοχή σε μια ακολουθία αντί για επαναλαμβανόμενη επανεφαρμογή ενός πίνακα. Η έρευνα συνεχίζεται σε δίκτυα εκπαίδευσης σε βάθος χιλιάδων επιπέδων, σε σταθερά μοντέλα πολύ μεγάλου πλαισίου και σε θεωρητικά εργαλεία όπως ο πυρήνας νευρικής εφαπτομένης που προβλέπουν τη διάδοση του σήματος πριν από την εκτέλεση ενός βήματος εκπαίδευσης.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Vanishing and Exploding Gradients quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Vanishing and Exploding Gradients?
Κατά την εκπαίδευση σε βαθιά δίκτυα, τα σήματα σφάλματος συρρικνώνονται προς το μηδέν ή εκτοξεύονται προς το άπειρο καθώς ταξιδεύουν προς τα πίσω μέσα από πολλά επίπεδα. Αυτό καθιστά τα βαθιά και επαναλαμβανόμενα μοντέλα οδυνηρά αργά ή αδύνατο να εκπαιδεύονται χωρίς συγκεκριμένες διορθώσεις.
Ποια μαθηματική πράξη στην οπίσθια διάδοση είναι η βασική αιτία της εξαφάνισης και της έκρηξης των κλίσεων;
Η οπίσθια διάδοση εφαρμόζει τον κανόνα της αλυσίδας, πολλαπλασιάζοντας πολλούς παράγοντες ανά στρώμα μαζί. προϊόντα με τιμές κάτω από 1 εξαφανίζονται και προϊόντα πάνω από 1 εκρήγνυνται.
Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
Sigmoid and tanh derivatives can be small in saturated regions; repeated multiplication across depth or time can shrink early-layer gradients.
Ποια αρχιτεκτονική επηρεάζεται ΠΕΡΙΣΣΟΤΕΡΑ από προβλήματα κλίσης σε μεγάλες ακολουθίες;
Ένα RNN εφαρμόζει εκ νέου τον ίδιο επαναλαμβανόμενο πίνακα βάρους σε κάθε χρονικό βήμα, έτσι σε μια μακρά ακολουθία το αποτέλεσμα ενώσεις όπως η ιδιοτιμή αυτού του πίνακα αυξήθηκε στο μήκος της ακολουθίας.
Βλέποντας την απώλεια προπόνησης να μετατρέπεται ξαφνικά σε NaN υποδηλώνει πιθανότατα ποιο πρόβλημα;
Οι εκρηκτικές κλίσεις παράγουν τεράστιες ενημερώσεις που ξεχειλίζουν στο άπειρο ή στο NaN. Οι κλίσεις που εξαφανίζονται προκαλούν αντ' αυτού απώλεια απώλειας.
Πώς βοηθούν οι υπολειμματικές (παράλειψη) συνδέσεις με τις κλίσεις που εξαφανίζονται;
Οι παραλείψεις συνδέσεων προσθέτουν μια διαδρομή ταυτότητας, ώστε οι διαβαθμίσεις να μπορούν να ρέουν προς τα πίσω χωρίς να εξασθενούν επανειλημμένα από ενδιάμεσα επίπεδα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα