Εξομάλυνση ετικετών
Η εξομάλυνση ετικετών είναι ένα απλό κόλπο τακτοποίησης που μαλακώνει τους σκληρούς στόχους προπόνησης με ένα καυτό, λέγοντας στο μοντέλο τη σωστή απάντηση είναι πολύ πιθανή αλλά όχι 100 τοις εκατό βέβαιη.
Επισκόπηση
It improves calibration and generalization across image and language models with almost no extra cost.
Βαθιά κατάδυση
Κανονικά ένας ταξινομητής εκπαιδεύεται σε ετικέτες one-hot: η αληθινή τάξη παίρνει στόχο 1.0 και οτιδήποτε άλλο 0.0. Σε συνδυασμό με την cross-entropy και το softmax, αυτό ωθεί το μοντέλο να κάνει το σωστό logit απείρως μεγαλύτερο από τα υπόλοιπα, ενθαρρύνοντας την υπερβολική αυτοπεποίθηση και την υπερβολική προσαρμογή. Η εξομάλυνση ετικετών αντικαθιστά τον στόχο με το (1 - epsilon) για την αληθινή τάξη και το epsilon/(K-1) διασκορπισμένο στις άλλες κατηγορίες Κ, όπου το epsilon είναι μικρό (συνήθως 0,1). Το μοντέλο στοχεύει τώρα σε μια σίγουρη-αλλά όχι απόλυτη διανομή. Εισήχθη στην εργασία Inception-v3 του 2016 και αναλύθηκε αργότερα από την ομάδα του Hinton, βελτίωσε την ακρίβεια ImageNet και είναι στάνταρ στα Transformers, όπου το πρωτότυπο Attention Is All You Need χρησιμοποιούσε χαρτί epsilon 0,1.
Τεχνική διορατικότητα
Με τις σκληρές ετικέτες, η ελαχιστοποίηση της διασταυρούμενης εντροπίας οδηγεί το σωστό logit προς το θετικό άπειρο σε σχέση με άλλες, κάτι που είναι ανέφικτο και ωθεί τα βάρη στα άκρα. Η εξομάλυνση θέτει ένα πεπερασμένο βέλτιστο κενό μεταξύ του σωστού logit και των υπολοίπων, έτσι τα logit παραμένουν περιορισμένα και το μοντέλο σταματά να έχει τη μέγιστη δυνατή αυτοπεποίθηση. Μελέτες δείχνουν ότι αυτό σφίγγει τα συμπλέγματα ίδιας κατηγορίας και παράγει καλύτερα βαθμονομημένες πιθανότητες, η προβλεπόμενη εμπιστοσύνη ταιριάζει με την πραγματική ακρίβεια. Το συμβιβασμό: μπορεί να διαγράψει λεπτομερείς πληροφορίες ομοιότητας μεταξύ των τάξεων, οι οποίες μερικές φορές βλάπτουν την απόσταξη γνώσης όπου αυτές οι μαλακές σχέσεις έχουν σημασία.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
The Future of Label Smoothing
Η εξομάλυνση ετικετών παραμένει μια προεπιλογή στην εκπαίδευση μεγάλης κλίμακας, αλλά η έρευνα κινείται προς την προσαρμοστική και μαθησιακή εξομάλυνση που προσαρμόζει το epsilon ανά παράδειγμα ή τάξη αντί να χρησιμοποιεί μια επίπεδη τιμή. Οι μέθοδοι που εστιάζονται στη βαθμονόμηση, όπως η εστιακή απώλεια και η κλιμάκωση της θερμοκρασίας, συχνά σταθμίζονται ή συνδυάζονται με αυτήν. Καθώς τα μοντέλα μεγαλώνουν και οι αξιόπιστες εκτιμήσεις αβεβαιότητας γίνονται κρίσιμες για την ασφάλεια, αναμένετε ότι η εξομάλυνση θα είναι ένα εργαλείο μεταξύ πολλών για την παραγωγή αξιόπιστων βαθμολογιών εμπιστοσύνης, με ιδιαίτερη προσοχή στη γνωστή σύγκρουσή της με την απόσταξη.
Υλοποίηση σε πραγματικό κόσμο
Ταξινόμηση ImageNet: Το Inception-v3 χρησιμοποίησε εξομάλυνση ετικετών (epsilon 0.1) για να ενισχύσει την ακρίβεια top-1 και να μειώσει την υπερβολική εμπιστοσύνη.
Μηχανική μετάφραση: το αρχικό Transformer εφάρμοσε εξομάλυνση ετικέτας 0,1, ανταλλάσσοντας λίγη αμηχανία για υψηλότερες βαθμολογίες BLEU.
Αναγνώριση ομιλίας: οι εξομαλυνμένοι στόχοι μειώνουν τις παρανοήσεις με υπερβολική αυτοπεποίθηση και βελτιώνουν τη βαθμονόμηση σε θορυβώδη ήχο.
Μοντέλα ιατρικής απεικόνισης: η εξομάλυνση αποδίδει καλύτερα βαθμονομημένες πιθανότητες, σημαντικό όταν μια βαθμολογία εμπιστοσύνης ενημερώνει τις κλινικές αποφάσεις.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε πού βοηθά το Label Smoothing και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
K-Means Clustering
Συχνές ερωτήσεις
What is Label Smoothing?
Η εξομάλυνση ετικετών είναι ένα απλό κόλπο τακτοποίησης που μαλακώνει τους σκληρούς στόχους προπόνησης με ένα καυτό, λέγοντας στο μοντέλο τη σωστή απάντηση είναι πολύ πιθανή αλλά όχι 100 τοις εκατό βέβαιη. Βελτιώνει τη βαθμονόμηση και τη γενίκευση σε μοντέλα εικόνας και γλώσσας χωρίς σχεδόν κανένα επιπλέον κόστος.
Τι αλλάζει η εξομάλυνση ετικετών σχετικά με τους στόχους εκπαίδευσης;
Αντί για έναν σκληρό στόχο 1.0/0.0, η εξομάλυνση ετικετών εκχωρεί (1 - epsilon) στην πραγματική τάξη και διανέμει το epsilon στις υπόλοιπες.
Ποιο πρόβλημα με τις σκληρές ετικέτες one-hot αντιμετωπίζει η εξομάλυνση;
Η ελαχιστοποίηση της διασταυρούμενης εντροπίας σε στόχους one-hot οδηγεί το σωστό logit προς το άπειρο σε σχέση με άλλους, ενθαρρύνοντας την υπερβολική αυτοπεποίθηση και την υπερβολική προσαρμογή.
Ποιες αρχιτεκτονικές ορόσημων βοήθησαν στη διάδοση της εξομάλυνσης ετικετών;
Η εξομάλυνση ετικετών εισήχθη στο χαρτί Inception-v3 του 2016 και υιοθετήθηκε από το Transformer (Attention Is All You Need) με το epsilon 0.1.
Εκτός από την ακρίβεια, ποιο όφελος είναι γνωστό για την εξομάλυνση ετικετών;
Η εξομάλυνση βελτιώνει τη βαθμονόμηση, η προβλεπόμενη εμπιστοσύνη ευθυγραμμίζεται περισσότερο με την πραγματική πιθανότητα να είναι σωστή.
Ποιο είναι ένα τεκμηριωμένο μειονέκτημα της εξομάλυνσης ετικετών;
Με τη σύσφιξη των συστάδων και την ισοπέδωση των μαλακών σχέσεων μεταξύ των τάξεων, η εξομάλυνση μπορεί να αφαιρέσει πληροφορίες στις οποίες βασίζεται η απόσταξη γνώσης.