ΕπόμενοΕπόμενος οδηγός
Empirical Risk Minimization
Βασικές αρχές
Τεχνικός ΟΔΗΓΟΣ
Ελαχιστοποίηση ευκρίνειας
Η ελαχιστοποίηση με επίγνωση ευκρίνειας (SAM) είναι μια μέθοδος βελτιστοποίησης που επιδιώκει όχι μόνο μια χαμηλή απώλεια αλλά μια μικρή απώλεια σε μια ολόκληρη γειτονιά βαρών — ένα κατ 'αποκοπήν ελάχιστο.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Τα πιο επίπεδα ελάχιστα τείνουν να γενικεύονται καλύτερα, επομένως το SAM συχνά βελτιώνει την ακρίβεια και την ευρωστία της δοκιμής χωρίς να αλλάζει την αρχιτεκτονική του μοντέλου.
Βαθιά κατάδυση
Η τυπική προπόνηση ελαχιστοποιεί την απώλεια σε ένα μόνο σημείο του χώρου βάρους, αλλά δύο λύσεις με την ίδια απώλεια προπόνησης μπορεί να συμπεριφέρονται πολύ διαφορετικά: ένα «αιχμηρό» ελάχιστο κάθεται σε μια στενή κοιλάδα όπου μικροσκοπικές διαταραχές βάρους αυξάνουν την απώλεια, ενώ ένα «επίπεδο» ελάχιστο ανέχεται τη διαταραχή και συνήθως γενικεύει καλύτερα σε αόρατα δεδομένα. Το SAM, που εισήχθη από Google ερευνητές το 2020, το κάνει ρητό. Σε κάθε βήμα βρίσκει πρώτα την κοντινή διαταραχή βάρους (εντός μικρής ακτίνας rho) που μεγιστοποιεί την απώλεια - τη χειρότερη περίπτωση - και στη συνέχεια ενημερώνει τα αρχικά βάρη για να μειώσει την απώλεια σε αυτό το διαταραγμένο σημείο. Αυτός ο στόχος min-max ωθεί τη βελτιστοποίηση προς περιοχές που είναι ομοιόμορφα χαμηλές, αποφέροντας αισθητά καλύτερη γενίκευση στην ταξινόμηση εικόνων και όχι μόνο.
Υλοποίηση σε πραγματικό κόσμο
Ενισχύοντας την ακρίβεια Vision Transformer και ResNet στο ImageNet εκπαιδεύοντας με SAM αντί για απλό SGD.
Βελτίωση της ευρωστίας του θορύβου ετικετών, καθώς τα επίπεδα ελάχιστα είναι λιγότερο πιθανό να απομνημονεύουν κατεστραμμένες ετικέτες.
Βελτιώστε τα προεκπαιδευμένα μοντέλα γλώσσας με SAM για καλύτερη γενίκευση σε μικρά σύνολα δεδομένων κατάντη.
Χρήση παραλλαγών ESAM ή LookSAM όταν το διπλασιασμένο υπολογιστικό κόστος του SAM βανίλιας είναι πολύ ακριβό.
The Future of Sharpness-Aware Minimization
Η SAM έχει δημιουργήσει μια οικογένεια επακόλουθων εργασιών με στόχο τη μεγαλύτερη αδυναμία της, τον διπλό υπολογισμό: αποτελεσματικές παραλλαγές όπως το ESAM, το LookSAM και μεθόδους που διαταράσσουν μόνο ένα υποσύνολο βαρών ή εφαρμόζουν το SAM κάθε λίγα βήματα. Το Adaptive SAM (ASAM) επαναπαραμετροποιεί την ακτίνα ώστε να είναι αμετάβλητη ως προς την κλίμακα. Οι ερευνητές συνεχίζουν να συζητούν γιατί ακριβώς βοηθάει η επιπεδότητα και πώς να τη μετρήσουμε, και οι ιδέες με επίγνωση της ευκρίνειας εξαπλώνονται για να τελειοποιήσουν μεγάλα γλωσσικά μοντέλα και να βελτιώσουν την ευρωστία στη μετατόπιση της διανομής.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Sharpness-Aware Minimization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η ελαχιστοποίηση με επίγνωση της ευκρίνειας;
Η ελαχιστοποίηση με επίγνωση ευκρίνειας (SAM) είναι μια μέθοδος βελτιστοποίησης που επιδιώκει όχι μόνο μια χαμηλή απώλεια αλλά μια μικρή απώλεια σε μια ολόκληρη γειτονιά βαρών — ένα κατ 'αποκοπήν ελάχιστο. Τα πιο επίπεδα ελάχιστα τείνουν να γενικεύονται καλύτερα, επομένως το SAM συχνά βελτιώνει την ακρίβεια και την ευρωστία της δοκιμής χωρίς να αλλάζει την αρχιτεκτονική του μοντέλου.
Τι είδους ελάχιστο προσπαθεί να βρει η SAM;
Το SAM στοχεύει επίπεδα ελάχιστα επειδή η απώλεια που παραμένει χαμηλή κάτω από μικρές διαταραχές βάρους τείνει να γενικεύει καλύτερα σε αόρατα δεδομένα.
Πόσες πάσες προς τα εμπρός προς τα πίσω απαιτεί ένα τυπικό βήμα SAM;
Η SAM υπολογίζει μια κλίση για να βρει το κοντινό σημείο στη χειρότερη περίπτωση και μετά μια άλλη κλίση εκεί για ενημέρωση — περίπου διπλάσιο από το συνηθισμένο κόστος.
Τι ελέγχει η υπερπαράμετρος rho ακτίνας στο SAM;
Ο Rho ορίζει πόσο μακριά κινείται το βήμα «ανόδου» για να βρει τον γείτονα στη χειρότερη περίπτωση, προσδιορίζοντας πόσο μεγάλη επιδιώκει μια επίπεδη περιοχή η SAM.
Ποιο είναι το πρώτο από τα δύο βήματα του SAM σε κάθε επανάληψη;
Το SAM διαταράσσει πρώτα τα βάρη εντός της ακτίνας rho προς την κατεύθυνση που μεγιστοποιεί την απώλεια και μετά κατεβαίνει από το αρχικό σημείο χρησιμοποιώντας την κλίση που υπολογίζεται εκεί.
Γιατί το SAM συχνά βελτιώνει την ευρωστία του θορύβου ετικετών;
Η απομνημόνευση θορυβωδών ετικετών απαιτεί συνήθως αιχμηρά, στενά ελάχιστα. ευνοώντας επίπεδες περιοχές, η SAM αντιστέκεται σε αυτήν την υπερβολική προσαρμογή.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα