ΕπόμενοΕπόμενος οδηγός
Κατάβαση κλίσης
Βασικές αρχές
ΟΔΗΓΟΣ Βασικών Αρχών
Στοχαστική κλίση κατάβασης με ορμή
Το Momentum είναι μια προσαρμογή στην κλίση κατάβασης που συγκεντρώνει έναν τρέχοντα μέσο όρο παλαιότερων κλίσεων, αφήνοντας τη βελτιστοποίηση να κυλά γρηγορότερα μέσα από κοιλάδες και να μειώνει τις ταλαντώσεις.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Είναι ένα από τα πιο ευρέως χρησιμοποιούμενα προπονητικά κόλπα στη βαθιά μάθηση.
Βαθιά κατάδυση
Η απλή στοχαστική διαβάθμιση (SGD) ενημερώνει τις παραμέτρους κάνοντας βήμα προς την κατεύθυνση αντίθετη από την τρέχουσα διαβάθμιση μίνι παρτίδας. Σε τοπία που μοιάζουν με μακριές, στενές χαράδρες, αυτό κάνει ζιγκ-ζαγκ στους απότομους τοίχους ενώ σέρνεται κατά μήκος του απαλού δαπέδου. Η ορμή, που έγινε δημοφιλής από τον Polyak και αργότερα από τον Rumelhart και τους συνεργάτες του, το διορθώνει διατηρώντας ένα διάνυσμα ταχύτητας: κάθε βήμα αναμειγνύει τη νέα κλίση με ένα κλάσμα (ο συντελεστής ορμής, συχνά 0,9) της προηγούμενης ταχύτητας. Οι σταθερές κατευθύνσεις κλίσης ενισχύονται και επιταχύνονται, ενώ τα ταλαντευόμενα στοιχεία ακυρώνονται εν μέρει. Η φυσική αναλογία είναι μια βαριά μπάλα που κυλάει στην κατηφόρα: αναπτύσσει ταχύτητα σε σταθερές κατευθύνσεις και εκτρέπεται λιγότερο από θορυβώδεις προσκρούσεις, δίνοντας ταχύτερη, πιο ομαλή σύγκλιση από το SGD της βανίλιας.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση σε βαθιά συνελικτικά δίκτυα όπως το ResNet, όπου το SGD με ορμή 0,9 είναι μια τυπική συνταγή.
Εξομάλυνση εκτιμήσεων θορυβώδους κλίσης κατά τη χρήση μικρών μίνι παρτίδων.
Διαφυγή από ρηχά τοπικά οροπέδια μεταφέροντας ταχύτητα μέσω επίπεδων περιοχών.
Λειτουργεί ως όρος ορμής σε προσαρμοστικούς βελτιστοποιητές όπως οι παραλλαγές Adam και RMSprop.
Το μέλλον της Στοχαστικής Κλίσης Κάθοδος με Ορμή
Η ορμή παραμένει θεμελιώδης: οι προσαρμοστικοί βελτιστοποιητές όπως ο Adam και οι παραλλαγές του ενσωματώνουν μια εκτίμηση πρώτης στιγμής τύπου ορμής και το SGD με ορμή εξακολουθεί να είναι μια ισχυρή γραμμή βάσης που συχνά γενικεύει καλύτερα από τις προσαρμοστικές μεθόδους σε μεγάλα μοντέλα όρασης. Η έρευνα συνεχίζεται σχετικά με τον προγραμματισμό της ορμής, την αποσυνδεδεμένη μείωση του βάρους και την αλληλεπίδρασή του με την προπόνηση πολύ μεγάλης παρτίδας. Αναμένετε ότι η δυναμική θα παραμείνει βασικό στοιχείο καθώς οι βελτιστοποιητές εξελίσσονται για ολοένα και μεγαλύτερα μοντέλα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθάει η Στοχαστική κλίση με ορμή και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Stochastic Gradient Descent with Momentum quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η Στοχαστική Κλίση Κάθοδος με Ορμή;
Το Momentum είναι μια προσαρμογή στην κλίση κατάβασης που συγκεντρώνει έναν τρέχοντα μέσο όρο παλαιότερων κλίσεων, αφήνοντας τη βελτιστοποίηση να κυλά γρηγορότερα μέσα από κοιλάδες και να μειώνει τις ταλαντώσεις. Είναι ένα από τα πιο ευρέως χρησιμοποιούμενα προπονητικά κόλπα στη βαθιά μάθηση.
Τι συσσωρεύει ο όρος ορμής κατά τη διάρκεια της προπόνησης;
Η ορμή διατηρεί ένα διάνυσμα ταχύτητας που είναι ένας εκθετικά σταθμισμένος κινητός μέσος όρος των πρόσφατων κλίσεων, εξομαλύνοντας την κατεύθυνση ενημέρωσης.
Σε μια μακρόστενη χαράδρα, ποιο πρόβλημα αντιμετωπίζει το απλό SGD που η ορμή βοηθά στη διόρθωση;
Χωρίς ορμή, το SGD ταλαντώνεται στις απότομες κατευθύνσεις μιας χαράδρας. Η ορμή ακυρώνει αυτές τις ταλαντώσεις και επιταχύνεται κατά μήκος του ήπιου πυθμένα της κοιλάδας.
Ποια φυσική αναλογία χρησιμοποιείται συχνότερα για να περιγράψει την ορμή;
Η ορμή παρομοιάζεται με μια βαριά μπάλα που δημιουργεί ταχύτητα σε σταθερές κατευθύνσεις και αντιστέκεται στην εκτροπή από θορυβώδεις προσκρούσεις.
Πόσο περίπου η ορμή ενισχύει το αποτελεσματικό βήμα προς μια σταθερή κατεύθυνση όταν βήτα = 0,9;
Ο συντελεστής ενίσχυσης είναι περίπου 1/(1 - βήτα) και 1/(1 - 0,9) = 10, επομένως οι σταθερές κατευθύνσεις επιταχύνονται περίπου δεκαπλάσιες.
Ποιος σύγχρονος βελτιστοποιητής ενσωματώνει μια εκτίμηση πρώτης στιγμής τύπου ορμής;
Ο Adam συνδυάζει μια εκτίμηση πρώτης στιγμής (μέση) ορμής των κλίσεων με μια εκτίμηση δεύτερης στιγμής (διακύμανση) για προσαρμοστική κλίμακα.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα