ΕπόμενοΕπόμενος οδηγός
Στοχαστική κλίση κατάβασης με ορμή
Βασικές αρχές
ΟΔΗΓΟΣ Βασικών Αρχών
Εγκατάλειψη και Στοχαστική Τακτοποίηση
Το Dropout είναι ένα τέχνασμα τακτοποίησης που απενεργοποιεί τυχαία ένα κλάσμα νευρώνων κατά τη διάρκεια κάθε βήματος εκπαίδευσης, αναγκάζοντας το δίκτυο να δημιουργήσει περιττές, ισχυρές αναπαραστάσεις.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It became one of the most influential techniques for fighting overfitting in deep learning.
Βαθιά κατάδυση
Εισήχθη από την ομάδα του Hinton γύρω στο 2012, η εγκατάλειψη αντιμετωπίζει μια βασική αδυναμία των μεγάλων δικτύων: οι νευρώνες μπορούν να συν-προσαρμόζονται, μαθαίνοντας να διορθώνουν ο ένας τα λάθη του άλλου με τρόπους που λειτουργούν μόνο στα δεδομένα εκπαίδευσης. Σε κάθε πέρασμα προς τα εμπρός κατά τη διάρκεια της προπόνησης, η εγκατάλειψη θέτει τυχαία την έξοδο κάθε νευρώνα στο μηδέν με κάποια πιθανότητα p (συχνά 0,5 σε πυκνά στρώματα). Επειδή οποιοσδήποτε νευρώνας μπορεί να εξαφανιστεί, το δίκτυο δεν μπορεί να στηριχθεί σε εύθραυστες συνεργασίες και πρέπει να διαδώσει χρήσιμες πληροφορίες σε πολλές μονάδες. Αυτό λειτουργεί σαν να εκπαιδεύετε ένα τεράστιο σύνολο αραιωμένων δικτύων που μοιράζονται βάρη. Κατά τη διάρκεια της δοκιμής η εγκατάλειψη απενεργοποιείται και χρησιμοποιείται το πλήρες δίκτυο, με τις ενεργοποιήσεις να κλιμακώνονται έτσι ώστε η αναμενόμενη έξοδος να ταιριάζει με την προπόνηση. Το αποτέλεσμα είναι συνήθως καλύτερη γενίκευση με κόστος ελαφρώς μεγαλύτερης διάρκειας εκπαίδευσης.
Υλοποίηση σε πραγματικό κόσμο
Προσθήκη στρώματος Dropout με p περίπου 0,5 ανάμεσα σε πυκνά στρώματα μιας εικόνας ή ενός ταξινομητή κειμένου στο PyTorch ή το Keras
Μοντέλα μετασχηματιστών που εφαρμόζουν την εγκατάλειψη στα βάρη προσοχής και τις ενεργοποιήσεις προώθησης κατά τη διάρκεια της προπόνησης
Εγκατάλειψη στο Μόντε Κάρλο, όπου η εγκατάλειψη παραμένει σε συμπέρασμα για την παραγωγή εκτιμήσεων αβεβαιότητας για ιατρικές ή κρίσιμες για την ασφάλεια προβλέψεις
Στοχαστικό βάθος (DropPath) που παρακάμπτει τυχαία υπολειπόμενα μπλοκ για να ρυθμίσει πολύ βαθιά δίκτυα όπως ResNets και μετασχηματιστές όρασης
Το μέλλον της εγκατάλειψης και της στοχαστικής τακτοποίησης
Στα δίκτυα συνελικτικής όρασης, η ομαλοποίηση παρτίδας έχει εκτοπίσει σε μεγάλο βαθμό την τυπική εγκατάλειψη, αλλά οι παραλλαγές ευδοκιμούν αλλού: οι μετασχηματιστές εφαρμόζουν την εγκατάλειψη στα επίπεδα προσοχής και τροφοδοσίας και το DropPath (στοχαστικό βάθος) ρίχνει ολόκληρα υπολειπόμενα μπλοκ. Η εγκατάλειψη του Μόντε Κάρλο, η οποία διατηρεί την εγκατάλειψη ενεργή στο συμπέρασμα, χρησιμοποιείται για την εκτίμηση της αβεβαιότητας του μοντέλου. Αναμένετε ότι η στοχαστική τακτοποίηση θα παραμείνει μια ευέλικτη εργαλειοθήκη, προσαρμοσμένη ανά αρχιτεκτονική αντί για μια σταθερή συνταγή.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθάει η εγκατάλειψη και η στοχαστική τακτοποίηση και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Dropout and Stochastic Regularization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Dropout and Stochastic Regularization?
Το Dropout είναι ένα τέχνασμα τακτοποίησης που απενεργοποιεί τυχαία ένα κλάσμα νευρώνων κατά τη διάρκεια κάθε βήματος εκπαίδευσης, αναγκάζοντας το δίκτυο να δημιουργήσει περιττές, ισχυρές αναπαραστάσεις. Έγινε μια από τις τεχνικές με τη μεγαλύτερη επιρροή για την καταπολέμηση της υπερβολικής προσαρμογής στη βαθιά μάθηση.
Τι κάνει η εγκατάλειψη κατά τη διάρκεια της προπόνησης;
Η εγκατάλειψη μηδενίζει τυχαία κάθε νευρώνα με πιθανότητα p κατά τη διάρκεια της προπόνησης, επομένως ένα διαφορετικό αραιωμένο υποδίκτυο χρησιμοποιείται σε κάθε βήμα.
Γιατί η εγκατάλειψη βελτιώνει τη γενίκευση;
Με την τυχαία αφαίρεση μονάδων, η εγκατάλειψη εμποδίζει τους νευρώνες να σχηματίσουν εύθραυστες συνεργασίες που λειτουργούν μόνο σε δεδομένα εκπαίδευσης, βελτιώνοντας την ευρωστία.
Τι συμβαίνει με την εγκατάλειψη κατά την ώρα της δοκιμής (συμπεράσματος);
Συμπερασματικά, το πλήρες δίκτυο εκτελείται με την εγκατάλειψη απενεργοποιημένη και οι ενεργοποιήσεις κλιμακώνονται έτσι ώστε οι αναμενόμενες έξοδοι να ταιριάζουν με την κατανομή της εκπαίδευσης.
Τι σημαίνει περίπου ένα ποσοστό εγκατάλειψης p = 0,5 σε ένα επίπεδο κατά τη διάρκεια της προπόνησης;
Με p = 0,5 κάθε νευρώνας έχει 50 τοις εκατό πιθανότητα να μηδενιστεί, έτσι κατά μέσο όρο περίπου οι μισοί πέφτουν ανά πάσα μπροστά.
Τι περιγράφεται συχνά ως προσεγγιστική εγκατάλειψη;
Η δειγματοληψία ενός διαφορετικού υποδικτύου σε κάθε βήμα προσεγγίζει τον μέσο όρο σε έναν εκθετικό αριθμό δικτύων κοινόχρηστου βάρους, μια μορφή φθηνού συνόλου.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα