Overfitting και Underfitting
Υπερπροσαρμογή είναι όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης του και αποτυγχάνει σε νέα παραδείγματα. underfitting είναι όταν είναι πολύ απλό να αποτυπώσεις το πραγματικό μοτίβο.
Επισκόπηση
Hitting the sweet spot between them is the central challenge of machine learning.
Βαθιά κατάδυση
Κάθε μοντέλο ταιριάζει σε ένα πεπερασμένο σετ εκπαίδευσης, αλλά ο στόχος είναι να έχει καλή απόδοση σε αόρατα δεδομένα. Ένα μοντέλο υπερπροσαρμογής αντιμετωπίζει τον θόρυβο και τις ιδιορρυθμίες του σετ προπόνησης σαν να ήταν πραγματικό σήμα: μπορεί να σκοράρει 99% στα δεδομένα προπόνησης αλλά να καταρρεύσει στο 70% σε ένα σετ δοκιμών. Ένα μοντέλο υποπροσαρμογής είναι το αντίθετο πρόβλημα, πολύ άκαμπτο για να συλλάβει την υποκείμενη δομή, επομένως δεν τα πάει καλά τόσο σε δεδομένα εκπαίδευσης όσο και σε δεδομένα δοκιμής. Το χάσμα μεταξύ προπόνησης και απόδοσης δοκιμών είναι το ενδεικτικό σημάδι. Η υποπροσαρμογή εμφανίζεται ως υψηλό σφάλμα παντού (υψηλή προκατάληψη). Η υπερπροσαρμογή εμφανίζεται ως χαμηλό σφάλμα προπόνησης αλλά υψηλό σφάλμα δοκιμής (υψηλή διακύμανση). Η ικανότητα είναι να αναγνωρίζεις ποιο πρόβλημα έχεις, επειδή οι επιδιορθώσεις τραβούν αντίθετες κατευθύνσεις.
Τεχνική διορατικότητα
Η υπερπροσαρμογή και η υποπροσαρμογή είναι δύο άκρα του συμβιβασμού μεροληψίας-διακύμανσης. Η μεροληψία είναι σφάλμα από υπεραπλουστευμένες υποθέσεις. Η διακύμανση είναι σφάλμα από την υπερβολική ευαισθησία στο συγκεκριμένο δείγμα εκπαίδευσης. Ένα μικροσκοπικό γραμμικό μοντέλο έχει υψηλή προκατάληψη και χαμηλή διακύμανση (υποπροσαρμογή). ένα τεράστιο απεριόριστο μοντέλο έχει χαμηλή προκατάληψη και υψηλή διακύμανση (υπερβολές). Το συνολικό αναμενόμενο σφάλμα αποσυντίθεται χονδρικά ως μεροληψία-τετράγωνο συν διακύμανση συν μη μειωμένο θόρυβο. Οι ασκούμενοι εντοπίζουν το πρόβλημα συγκρίνοντας την ακρίβεια του σετ προπόνησης με ένα σετ επικύρωσης που κρατήθηκε, παρακολουθώντας πού αποκλίνουν οι δύο καμπύλες.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Το μέλλον της υπερπροσαρμογής και της υποπροσαρμογής
Αυτές οι έννοιες παραμένουν θεμελιώδεις, αλλά πολύ μεγάλα νευρωνικά δίκτυα έχουν περιπλέξει την κλασική εικόνα. Τα σύγχρονα μοντέλα μπορούν να έχουν πολύ περισσότερες παραμέτρους από τα σημεία δεδομένων, αλλά ακόμα γενικεύονται καλά, ένα εκπληκτικό καθεστώς που μερικές φορές ονομάζεται «διπλή κάθοδος», όπου το σφάλμα δοκιμής μειώνεται ξανά μετά την αιχμή της υπερπροσαρμογής. Η έρευνα εστιάζει όλο και περισσότερο στο γιατί γενικεύονται τα υπερπαραμετροποιημένα μοντέλα, στο ρόλο της σιωπηρής τακτοποίησης στους βελτιστοποιητές και στον καλύτερο αυτοματοποιημένο εντοπισμό της μετατόπισης της διανομής. Αναμένετε πλουσιότερα διαγνωστικά που επισημαίνουν την υπερπροσαρμογή στην παραγωγή καθώς τα δεδομένα του πραγματικού κόσμου απομακρύνονται από τα δεδομένα εκπαίδευσης.
Υλοποίηση σε πραγματικό κόσμο
Ένα φίλτρο ανεπιθύμητης αλληλογραφίας που επισημαίνει κάθε μήνυμα ηλεκτρονικού ταχυδρομείου που περιέχει ένα συγκεκριμένο όνομα αποστολέα, επειδή αυτός ο αποστολέας έτυχε να στείλει ανεπιθύμητα μηνύματα σε μεγάλο βαθμό στα δεδομένα εκπαίδευσης, χάνοντας εντελώς νέους αποστολείς (υπερβολική προσαρμογή).
Ένα μοντέλο σε τιμή κατοικίας που χρησιμοποιεί μόνο τετραγωνικά μέτρα και αγνοεί την τοποθεσία, τα υπνοδωμάτια και την κατάσταση, έτσι λείπει πολύ στις ακριβές γειτονιές (υποσυναρμολόγηση).
Ένας ταξινομητής ιατρικών εικόνων που μαθαίνει να ανιχνεύει το υδατογράφημα του σαρωτή ενός νοσοκομείου αντί για την ασθένεια και αποτυγχάνει σε άλλα νοσοκομεία (υπερβολική προσαρμογή σε ένα πλαστό χαρακτηριστικό).
Σχεδίαση απώλειας προπόνησης έναντι απώλειας επικύρωσης κατά τη διάρκεια της προπόνησης και διακοπή όταν η απώλεια επικύρωσης αρχίζει να αυξάνεται ενώ η απώλεια προπόνησης συνεχίζει να μειώνεται (πιάνοντας την υπερβολική προσαρμογή νωρίς).
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε πού βοηθάει το Overfitting και Underfitting και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Ο πίσω πολλαπλασιασμός
Συχνές ερωτήσεις
What is Overfitting and Underfitting?
Υπερπροσαρμογή είναι όταν ένα μοντέλο απομνημονεύει τα δεδομένα εκπαίδευσης του και αποτυγχάνει σε νέα παραδείγματα. underfitting είναι όταν είναι πολύ απλό να αποτυπώσεις το πραγματικό μοτίβο. Το να χτυπήσετε το γλυκό σημείο μεταξύ τους είναι η κεντρική πρόκληση της μηχανικής μάθησης.
Ένα μοντέλο βαθμολογείται με 98% στα δεδομένα προπόνησής του, αλλά μόνο 71% σε ένα σετ δοκιμών που κρατήθηκε. Ποιο είναι το πιο πιθανό πρόβλημα;
Ένα μεγάλο κενό όπου η ακρίβεια της προπόνησης είναι υψηλή αλλά η ακρίβεια της δοκιμής είναι πολύ χαμηλότερη είναι η κλασική υπογραφή της υπερπροσαρμογής: ο θόρυβος του μοντέλου ταιριάζει στα δεδομένα εκπαίδευσης και όχι στο γενικό μοτίβο.
Ποιο σενάριο περιγράφει καλύτερα την υποπροσαρμογή;
Ένα μοντέλο υποπροσαρμογής είναι πολύ απλό για να καταγράψει το υποκείμενο μοτίβο, επομένως έχει κακή απόδοση παντού, συμπεριλαμβανομένων των δεδομένων στα οποία εκπαιδεύτηκε.
Στην αντιστάθμιση μεροληψίας-διακύμανσης, η υψηλή διακύμανση σχετίζεται περισσότερο με ποιο αποτέλεσμα;
Υψηλή διακύμανση σημαίνει ότι το μοντέλο αλλάζει πολύ ανάλογα με τα ακριβή δεδομένα εκπαίδευσης που βλέπει, γεγονός που οδηγεί σε υπερβολική προσαρμογή. Η υψηλή προκατάληψη είναι το αντίθετο, υπεραπλουστευμένο τέλος.
Ένα μοντέλο αθέτησης δανείου χρησιμοποιεί μόνο την ηλικία του αιτούντος και αγνοεί το εισόδημα, το χρέος και το πιστωτικό ιστορικό. Έχει κακή απόδοση τόσο στην εκπαίδευση όσο και στα νέα δεδομένα. Τι πρέπει να κάνετε;
Η κακή απόδοση παντού σηματοδοτεί την κακή προσαρμογή. Η λύση είναι να αυξηθεί η χωρητικότητα του μοντέλου, συχνά προσθέτοντας ενημερωτικά χαρακτηριστικά, ώστε να μπορεί να αντιπροσωπεύει την αληθινή σχέση.
Γιατί είναι απαραίτητο ένα δεσμευμένο σετ επικύρωσης ή δοκιμής για τον εντοπισμό υπερπροσαρμογής;
Η υπερπροσαρμογή είναι αόρατη αν κοιτάξετε μόνο την ακρίβεια της προπόνησης. Η αξιολόγηση σε αόρατα δεδομένα αποκαλύπτει το χάσμα μεταξύ της απομνημόνευσης και της γνήσιας γενίκευσης.