ΕπόμενοΕπόμενος οδηγός
ZeRO και Sharded Optimizers
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Adam και Adaptive Optimizers
Ο Adam είναι ο βελτιστοποιητής εργασίας πίσω από τα περισσότερα σύγχρονα νευρωνικά δίκτυα, συντονίζοντας αυτόματα έναν ξεχωριστό ρυθμό εκμάθησης για κάθε παράμετρο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It matters because it makes training deep models faster and far less finicky than plain gradient descent.
Βαθιά κατάδυση
Ο Adam (Adaptive Moment Estimation), που παρουσιάστηκε από τους Kingma και Ba το 2014, συνδυάζει δύο ιδέες. Πρώτον, ορμή: διατηρεί έναν εκθετικά μειωμένο μέσο όρο των προηγούμενων κλίσεων (την πρώτη στιγμή), επομένως οι ενημερώσεις δημιουργούν ταχύτητα σε σταθερές κατευθύνσεις. Δεύτερον, κλιμάκωση ανά παράμετρο: παρακολουθεί έναν μέσο όρο τετραγωνικών διαβαθμίσεων (τη δεύτερη στιγμή) και διαιρεί κάθε βήμα με την τετραγωνική ρίζα αυτής της τιμής, επομένως οι παράμετροι με μεγάλες, θορυβώδεις διαβαθμίσεις κάνουν μικρότερα βήματα και εκείνες που σπάνια ενημερώνονται μεγαλύτερα βήματα. Αυτή η προσαρμοστικότητα σημαίνει ότι μπορείτε συχνά να χρησιμοποιήσετε έναν ρυθμό εκμάθησης σε ένα ολόκληρο δίκτυο. Μια παραλλαγή, η AdamW, αποσυνδέει τη μείωση βάρους από την ενημέρωση κλίσης και έχει γίνει η προεπιλογή για την εκπαίδευση μεγάλων μετασχηματιστών και μοντέλων γλώσσας.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση μοντέλων μεγάλων γλωσσών όπως το GPT και το Llama, που χρησιμοποιούν το AdamW ως τον τυπικό βελτιστοποιητή.
Βελτιστοποιήστε έναν προεκπαιδευμένο ταξινομητή εικόνας (π.χ. ResNet) σε ένα προσαρμοσμένο σύνολο δεδομένων μόνο με έναν προεπιλεγμένο ρυθμό εκμάθησης Adam.
Εκπαίδευση των μοντέλων διάχυσης πίσω από γεννήτριες εικόνας όπως το Stable Diffusion.
Εκτέλεση 8-bit Adam σε βιβλιοθήκες όπως bitsandbyte για να χωρέσει καταστάσεις βελτιστοποίησης σε περιορισμένη μνήμη GPU.
The Future of Adam και Adaptive Optimizers
Οι Adam και AdamW παραμένουν κυρίαρχοι, αλλά η έρευνα ωθεί την αποτελεσματικότητα για μοντέλα τρισεκατομμυρίων παραμέτρων, όπου η αποθήκευση δύο επιπλέον τιμών ανά βάρος είναι δαπανηρή. Οι παραλλαγές του Memory-light όπως το Adafactor, το 8-bit Adam και οι νεότεροι βελτιστοποιητές όπως το Lion (που χρησιμοποιεί μόνο ορμή που βασίζεται σε σημάδια) και η Sophia στοχεύουν να ταιριάζουν με την ποιότητα του Adam με λιγότερη μνήμη ή ταχύτερη σύγκλιση. Αναμένετε προσαρμοστικούς βελτιστοποιητές ρυθμισμένους ειδικά για κατανεμημένη προπόνηση χαμηλής ακρίβειας για να συνεχίσετε να εξελίσσεστε.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Adam and Adaptive Optimizers quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Adam and Adaptive Optimizers?
Ο Adam είναι ο βελτιστοποιητής εργασίας πίσω από τα περισσότερα σύγχρονα νευρωνικά δίκτυα, συντονίζοντας αυτόματα έναν ξεχωριστό ρυθμό εκμάθησης για κάθε παράμετρο. Έχει σημασία γιατί κάνει την εκπαίδευση των μοντέλων σε βάθος πιο γρήγορη και πολύ λιγότερο δύσκολη από την απλή κατάβαση με κλίση.
Ποιες δύο ποσότητες παρακολουθεί ο Adam για κάθε παράμετρο;
Ο Adam διατηρεί έναν εκθετικά φθίνοντα μέσο όρο των κλίσεων (πρώτη στιγμή) και των τετραγωνικών κλίσεων (δεύτερη στιγμή) για κάθε παράμετρο.
Γιατί ο Adam εφαρμόζει διόρθωση μεροληψίας στις εκτιμήσεις του χρόνου;
Τόσο το m όσο και το v αρχικοποιούνται στο μηδέν, επομένως οι πρώιμες εκτιμήσεις είναι χαμηλές. Η διαίρεση με το (1 - beta^t) διορθώνει αυτό.
Ποια είναι η κύρια διαφορά μεταξύ του Adam και του AdamW;
Το AdamW εφαρμόζει την αποσύνθεση βάρους απευθείας στα βάρη αντί να την αναμειγνύει στον όρο προσαρμοστικής κλίσης, που βελτιώνει τη γενίκευση στους μετασχηματιστές.
Τι ρόλο παίζει ο όρος μικρό έψιλον στον κανόνα ενημέρωσης του Αδάμ;
Το Έψιλον (περίπου 1e-8) προστίθεται στον παρονομαστή, έτσι ώστε οι παράμετροι με μέσους όρους τετραγωνικής διαβάθμισης σχεδόν μηδέν να μην προκαλούν έκρηξη.
Γιατί ο Αδάμ περιγράφεται συχνά ως «προσαρμοστικός»;
Διαιρώντας με την τετραγωνική ρίζα του μέσου όρου τετραγωνικής διαβάθμισης κάθε παραμέτρου, ο Adam κλιμακώνει το μέγεθος του βήματος ανά παράμετρο αντί να χρησιμοποιεί μία καθολική τιμή.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα