ΕπόμενοΕπόμενος οδηγός
Επαναδειγματοληψία Bootstrap
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Ανισορροπία τάξης και επαναδειγματοληψία
Ανισορροπία κατηγορίας είναι όταν ένα αποτέλεσμα υπερτερεί κατά πολύ ενός άλλου - όπως 99,9% νόμιμες συναλλαγές έναντι 0,1% απάτης - που ξεγελάει τα μοντέλα ώστε να αγνοήσουν τη σπάνια αλλά σημαντική κατηγορία.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Η επαναδειγματοληψία εξισορροπεί εκ νέου τα δεδομένα εκπαίδευσης, ώστε το μοντέλο να μάθει πραγματικά να εντοπίζει τη μειοψηφία.
Βαθιά κατάδυση
Όταν οι τάξεις είναι λοξές, ένα μοντέλο μπορεί να πετύχει ακρίβεια 99,9%, προβλέποντας πάντα την πλειοψηφία και ποτέ δεν πιάνει ούτε μία απάτη, κάτι που είναι άχρηστο. Η επαναδειγματοληψία διορθώνει την κατανομή της εκπαίδευσης με δύο γενικούς τρόπους. Η υπερδειγματοληψία αντιγράφει ή συνθέτει παραδείγματα μειοψηφίας — το κλασικό SMOTE (Τεχνική Υπερδειγματοληψίας Συνθετικής Μειονότητας) δημιουργεί νέα σημεία παρεμβάλλοντας μεταξύ ενός δείγματος μειοψηφίας και των πλησιέστερων γειτόνων μειοψηφίας του αντί να τα αντιγράφει. Αντίθετα, η υποδειγματοληψία απορρίπτει τα περισσότερα παραδείγματα (τυχαία ή έξυπνα μέσω μεθόδων όπως οι σύνδεσμοι Tomek ή το NearMiss) για να εξομαλύνει τα πράγματα, με κόστος την απόρριψη δεδομένων. Οι εναλλακτικές λύσεις που αποφεύγουν να αγγίζουν τα δεδομένα περιλαμβάνουν τη στάθμιση της τάξης (τιμωρώντας τα μειοψηφικά σφάλματα περισσότερο στη συνάρτηση απώλειας) και την προσαρμογή του ορίου απόφασης μετά την προπόνηση.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση ανιχνευτή απάτης με πιστωτικές κάρτες όπου η γνήσια απάτη είναι πολύ κάτω από το 1% των συναλλαγών, χρησιμοποιώντας το SMOTE για να ενισχύσει τις σπάνιες περιπτώσεις απάτης
Δημιουργία ενός ιατρικού μοντέλου για μια σπάνια ασθένεια που υπάρχει μόνο σε λίγα τοις εκατό των ασθενών, εφαρμόζοντας βάρη τάξης έτσι ώστε οι χαμένες περιπτώσεις να τιμωρούνται σε μεγάλο βαθμό
Ανίχνευση ελαττωματικών αντικειμένων σε μια γραμμή παραγωγής όπου σχεδόν όλα τα προϊόντα περνούν από επιθεώρηση, υποδειγματίζοντας τα «καλά» είδη για να εξισορροπηθεί η εκπαίδευση
Επισήμανση σπάνιων εισβολών στο δίκτυο σε αρχεία καταγραφής ασφάλειας στον κυβερνοχώρο όπου κυριαρχεί η κανονική κυκλοφορία, που αξιολογείται με AUC Precision-Recall αντί για ακρίβεια
Το μέλλον της ανισορροπίας της τάξης και της επαναδειγματοληψίας
Η επαναδειγματοληψία αυτοματοποιείται ολοένα και περισσότερο εντός των αγωγών ML, με βιβλιοθήκες όπως το imbalanced-learn να ενσωματώνονται απευθείας στη διασταυρούμενη επικύρωση. Η έρευνα στρέφεται προς τη μάθηση που είναι ευαίσθητη στο κόστος και τις προσαρμοσμένες λειτουργίες απώλειας - όπως η εστιακή απώλεια, η οποία μειώνει τα παραδείγματα εύκολης πλειοψηφίας - που συχνά ξεπερνούν την ακατέργαστη επαναδειγματοληψία σε δίκτυα βαθιάς εμβέλειας. Για δεδομένα πινάκων και εικόνας, τα μοντέλα παραγωγής που συνθέτουν ρεαλιστικά δείγματα μειοψηφίας αναδεικνύονται ως πιο εξελιγμένος διάδοχος της παρεμβολής τύπου SMOTE.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Class Imbalance and Resampling quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η ανισορροπία κλάσης και η επαναδειγματοληψία;
Η ανισορροπία κατηγορίας είναι όταν ένα αποτέλεσμα υπερτερεί κατά πολύ ενός άλλου - όπως 99,9% νόμιμες συναλλαγές έναντι 0,1% απάτης - κάτι που εξαπατά τα μοντέλα να αγνοήσουν τη σπάνια αλλά σημαντική κατηγορία. Η επαναδειγματοληψία εξισορροπεί εκ νέου τα δεδομένα εκπαίδευσης, ώστε το μοντέλο να μάθει πραγματικά να εντοπίζει τη μειοψηφία.
Γιατί η απλή ακρίβεια είναι μια κακή μέτρηση για ένα εξαιρετικά ανισόρροπο πρόβλημα ταξινόμησης;
Εάν το 99,9% των περιπτώσεων είναι αρνητικές, ένα μοντέλο που προβλέπει πάντα αρνητικό έχει 99,9% ακρίβεια ενώ συγκεντρώνει μηδενικά θετικά, επομένως η ακρίβεια κρύβει την πλήρη αποτυχία στη σπάνια κατηγορία.
Τι κάνει το SMOTE;
Το SMOTE (Τεχνική Υπερδειγματοληψίας Συνθετικής Μειονότητας) δημιουργεί νέα παραδείγματα μειοψηφίας παρεμβάλλοντας μεταξύ ενός σημείου μειοψηφίας και των πλησιέστερων μειοψηφικών γειτόνων του, αντί απλώς να τα αναπαράγει.
Ποια προσέγγιση χειρίζεται την ανισορροπία ΧΩΡΙΣ αλλαγή του αριθμού των παραδειγμάτων εκπαίδευσης;
Η στάθμιση κλάσης αφήνει τα δεδομένα ανέγγιχτα και αντ 'αυτού κάνει τη συνάρτηση απώλειας να τιμωρεί περισσότερο τα σφάλματα στην κατηγορία μειοψηφίας.
Ποιος είναι ο βασικός κίνδυνος εφαρμογής υπερδειγματοληψίας προτού χωρίσετε τα δεδομένα σας σε σετ τρένων και δοκιμών;
Η επαναδειγματοληψία πριν από τη διαίρεση επιτρέπει την εμφάνιση σχεδόν πανομοιότυπων σημείων μειοψηφίας τόσο στα σετ αμαξοστοιχίας όσο και στα δοκιμαστικά, διαρρέοντας πληροφορίες και παράγοντας υπερβολικά αισιόδοξες, μη ρεαλιστικές επιδόσεις.
Ποιο είναι το κύριο μειονέκτημα της τυχαίας υποδειγματοληψίας;
Η υποδειγματοληψία εξισορροπεί τις τάξεις απορρίπτοντας τα παραδείγματα της πλειοψηφίας, τα οποία μπορεί να απορρίψουν ενημερωτικά δεδομένα και να βλάψουν την ικανότητα του μοντέλου να μάθει την πλειοψηφική τάξη.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα