Εγκατάλειψη και Στοχαστική Τακτοποίηση
Το Dropout είναι ένα τέχνασμα τακτοποίησης που απενεργοποιεί τυχαία ένα κλάσμα νευρώνων κατά τη διάρκεια κάθε βήματος εκπαίδευσης, αναγκάζοντας το δίκτυο να δημιουργήσει περιττές, ισχυρές αναπαραστάσεις.
Επισκόπηση
It became one of the most influential techniques for fighting overfitting in deep learning.
Βαθιά κατάδυση
Εισήχθη από την ομάδα του Hinton γύρω στο 2012, η εγκατάλειψη αντιμετωπίζει μια βασική αδυναμία των μεγάλων δικτύων: οι νευρώνες μπορούν να συν-προσαρμόζονται, μαθαίνοντας να διορθώνουν ο ένας τα λάθη του άλλου με τρόπους που λειτουργούν μόνο στα δεδομένα εκπαίδευσης. Σε κάθε πέρασμα προς τα εμπρός κατά τη διάρκεια της προπόνησης, η εγκατάλειψη θέτει τυχαία την έξοδο κάθε νευρώνα στο μηδέν με κάποια πιθανότητα p (συχνά 0,5 σε πυκνά στρώματα). Επειδή οποιοσδήποτε νευρώνας μπορεί να εξαφανιστεί, το δίκτυο δεν μπορεί να στηριχθεί σε εύθραυστες συνεργασίες και πρέπει να διαδώσει χρήσιμες πληροφορίες σε πολλές μονάδες. Αυτό λειτουργεί σαν να εκπαιδεύετε ένα τεράστιο σύνολο αραιωμένων δικτύων που μοιράζονται βάρη. Κατά τη διάρκεια της δοκιμής η εγκατάλειψη απενεργοποιείται και χρησιμοποιείται το πλήρες δίκτυο, με τις ενεργοποιήσεις να κλιμακώνονται έτσι ώστε η αναμενόμενη έξοδος να ταιριάζει με την προπόνηση. Το αποτέλεσμα είναι συνήθως καλύτερη γενίκευση με κόστος ελαφρώς μεγαλύτερης διάρκειας εκπαίδευσης.
Τεχνική διορατικότητα
Κατά τη διάρκεια της εκπαίδευσης, κάθε μονάδα διατηρείται με πιθανότητα (1 μείον p) μέσω μιας τυχαίας δυαδικής μάσκας, επομένως δειγματοληπτούνται διαφορετικά υποδίκτυα κάθε παρτίδας. Τα σύγχρονα πλαίσια χρησιμοποιούν ανεστραμμένη εγκατάλειψη: οι ενεργοποιήσεις που επιβιώνουν διαιρούνται με (1 μείον p) την ώρα της αμαξοστοιχίας, επομένως δεν απαιτείται κλιμάκωση στο συμπέρασμα. Αυτή η τυχαιότητα εγχέει θόρυβο που αποθαρρύνει τη συν-προσαρμογή και προσεγγίζει τον μέσο όρο σε έναν εκθετικό αριθμό υποδικτύων κοινόχρηστου βάρους, μια φθηνή μορφή συνόλου.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Το μέλλον της εγκατάλειψης και της στοχαστικής τακτοποίησης
Στα δίκτυα συνελικτικής όρασης, η ομαλοποίηση παρτίδας έχει εκτοπίσει σε μεγάλο βαθμό την τυπική εγκατάλειψη, αλλά οι παραλλαγές ευδοκιμούν αλλού: οι μετασχηματιστές εφαρμόζουν την εγκατάλειψη στα επίπεδα προσοχής και τροφοδοσίας και το DropPath (στοχαστικό βάθος) ρίχνει ολόκληρα υπολειπόμενα μπλοκ. Η εγκατάλειψη του Μόντε Κάρλο, η οποία διατηρεί την εγκατάλειψη ενεργή στο συμπέρασμα, χρησιμοποιείται για την εκτίμηση της αβεβαιότητας του μοντέλου. Αναμένετε ότι η στοχαστική τακτοποίηση θα παραμείνει μια ευέλικτη εργαλειοθήκη, προσαρμοσμένη ανά αρχιτεκτονική αντί για μια σταθερή συνταγή.
Υλοποίηση σε πραγματικό κόσμο
Προσθήκη στρώματος Dropout με p περίπου 0,5 ανάμεσα σε πυκνά στρώματα μιας εικόνας ή ενός ταξινομητή κειμένου στο PyTorch ή το Keras
Μοντέλα μετασχηματιστών που εφαρμόζουν την εγκατάλειψη στα βάρη προσοχής και τις ενεργοποιήσεις προώθησης κατά τη διάρκεια της προπόνησης
Εγκατάλειψη στο Μόντε Κάρλο, όπου η εγκατάλειψη παραμένει σε συμπέρασμα για την παραγωγή εκτιμήσεων αβεβαιότητας για ιατρικές ή κρίσιμες για την ασφάλεια προβλέψεις
Στοχαστικό βάθος (DropPath) που παρακάμπτει τυχαία υπολειπόμενα μπλοκ για να ρυθμίσει πολύ βαθιά δίκτυα όπως ResNets και μετασχηματιστές όρασης
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε πού βοηθάει η εγκατάλειψη και η στοχαστική τακτοποίηση και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Στοχαστική κλίση κατάβασης με ορμή
Συχνές ερωτήσεις
What is Dropout and Stochastic Regularization?
Το Dropout είναι ένα τέχνασμα τακτοποίησης που απενεργοποιεί τυχαία ένα κλάσμα νευρώνων κατά τη διάρκεια κάθε βήματος εκπαίδευσης, αναγκάζοντας το δίκτυο να δημιουργήσει περιττές, ισχυρές αναπαραστάσεις. Έγινε μια από τις τεχνικές με τη μεγαλύτερη επιρροή για την καταπολέμηση της υπερβολικής προσαρμογής στη βαθιά μάθηση.
Τι κάνει η εγκατάλειψη κατά τη διάρκεια της προπόνησης;
Η εγκατάλειψη μηδενίζει τυχαία κάθε νευρώνα με πιθανότητα p κατά τη διάρκεια της προπόνησης, επομένως ένα διαφορετικό αραιωμένο υποδίκτυο χρησιμοποιείται σε κάθε βήμα.
Γιατί η εγκατάλειψη βελτιώνει τη γενίκευση;
Με την τυχαία αφαίρεση μονάδων, η εγκατάλειψη εμποδίζει τους νευρώνες να σχηματίσουν εύθραυστες συνεργασίες που λειτουργούν μόνο σε δεδομένα εκπαίδευσης, βελτιώνοντας την ευρωστία.
Τι συμβαίνει με την εγκατάλειψη κατά την ώρα της δοκιμής (συμπεράσματος);
Συμπερασματικά, το πλήρες δίκτυο εκτελείται με την εγκατάλειψη απενεργοποιημένη και οι ενεργοποιήσεις κλιμακώνονται έτσι ώστε οι αναμενόμενες έξοδοι να ταιριάζουν με την κατανομή της εκπαίδευσης.
Τι σημαίνει περίπου ένα ποσοστό εγκατάλειψης p = 0,5 σε ένα επίπεδο κατά τη διάρκεια της προπόνησης;
Με p = 0,5 κάθε νευρώνας έχει 50 τοις εκατό πιθανότητα να μηδενιστεί, έτσι κατά μέσο όρο περίπου οι μισοί πέφτουν ανά πάσα μπροστά.
Τι περιγράφεται συχνά ως προσεγγιστική εγκατάλειψη;
Η δειγματοληψία ενός διαφορετικού υποδικτύου σε κάθε βήμα προσεγγίζει τον μέσο όρο σε έναν εκθετικό αριθμό δικτύων κοινόχρηστου βάρους, μια μορφή φθηνού συνόλου.