Αυτο-εποπτευόμενη μάθηση
Η αυτοεποπτευόμενη μάθηση εκπαιδεύει μοντέλα σε δεδομένα χωρίς ετικέτα, εφευρίσκοντας μια εργασία της οποίας η απάντηση είναι κρυμμένη μέσα στα ίδια τα δεδομένα.
Επισκόπηση
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Βαθιά κατάδυση
Η χειροκίνητη επισήμανση δεδομένων είναι αργή και ακριβή, ωστόσο ο κόσμος είναι γεμάτος κείμενο, εικόνες, ήχο και βίντεο χωρίς ετικέτα. Η αυτοεποπτευόμενη μάθηση το ξεκλειδώνει δημιουργώντας «εργασίες προσχήματος» όπου τα δεδομένα παρέχουν τη δική τους απάντηση. Το κλασικό παράδειγμα είναι η μοντελοποίηση γλώσσας με μάσκα, που χρησιμοποιείται από τον BERT: κρύψτε μερικές λέξεις σε μια πρόταση και εκπαιδεύστε το μοντέλο να τις προβλέπει από τα συμφραζόμενα. Τα μοντέλα τύπου GPT προβλέπουν την επόμενη λέξη. Στην όραση, οι μέθοδοι αντίθεσης όπως το SimCLR δείχνουν στο μοντέλο δύο επαυξημένες συγκομιδές της ίδιας εικόνας και του διδάσκουν ότι ανήκουν μεταξύ τους ενώ απομακρύνουν διαφορετικές εικόνες. Η επίλυση αυτών των αυτοδημιούργητων γρίφων αναγκάζει το μοντέλο να οικοδομήσει πλούσιες εσωτερικές αναπαραστάσεις νοήματος και δομής. Αυτές οι αναπαραστάσεις στη συνέχεια μεταφέρονται δυναμικά σε πραγματικές εργασίες κατάντη με λίγα ή καθόλου επισημασμένα δεδομένα.
Τεχνική διορατικότητα
Το κόλπο είναι η δημιουργία ενός σήματος εποπτείας δωρεάν. Στη μοντελοποίηση με μάσκα, το κρυφό διακριτικό είναι η ετικέτα, επομένως μια απώλεια μπορεί να υπολογιστεί χωρίς ανθρώπινο σχολιασμό. Στην αντιθετική μάθηση, δύο επαυξήσεις μιας εικόνας σχηματίζουν ένα «θετικό ζεύγος» που θα πρέπει να βρίσκεται κοντά στον χώρο ενσωμάτωσης, ενώ άλλες εικόνες είναι «αρνητικές» που απομακρύνονται. Είτε έτσι είτε αλλιώς, το μοντέλο βελτιστοποιείται σε ετικέτες που προέρχονται αποκλειστικά από τη δομή των δεδομένων, μαθαίνοντας γενικά χαρακτηριστικά που αργότερα χρειάζονται μόνο ελαφριά λεπτομέρεια.
Στρατηγικός αντίκτυπος
Σαφέστερες αποφάσεις
Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
Κόστος και προϋπολογισμός
Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
Ομάδα και ροή εργασίας
Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Το μέλλον της αυτο-εποπτευόμενης μάθησης
Η αυτοεποπτευόμενη μάθηση είναι η κινητήρια δύναμη πίσω από τα σημερινά μοντέλα θεμελίωσης και αυτός ο ρόλος θα αυξηθεί. Η σαφής τάση είναι προς την πολυτροπική προεκπαίδευση, όπου ένα μεμονωμένο μοντέλο μαθαίνει από κοινού από κείμενο, εικόνες, ήχο και βίντεο χρησιμοποιώντας αυτοεποπτευόμενους στόχους. Οι ερευνητές πιέζουν πέρα από τις αντιθετικές μεθόδους προς προσεγγίσεις μάσκας πρόβλεψης σε τεχνικές όρασης και αυτο-απόσταξης που δεν χρειάζονται αρνητικά παραδείγματα. Καθώς τα δεδομένα με ετικέτα υψηλής ποιότητας γίνονται το σημείο συμφόρησης, η εκμάθηση χρήσιμης δομής απευθείας από τεράστιες ροές χωρίς ετικέτα θα παραμείνει η κεντρική στρατηγική για την κλιμάκωση της τεχνητής νοημοσύνης.
Υλοποίηση σε πραγματικό κόσμο
BERT εκμάθηση γλώσσας με την πρόβλεψη καλυμμένων λέξεων και στη συνέχεια βελτιστοποιήθηκε για αναζήτηση, συναίσθημα ή απάντηση ερωτήσεων
Η SimCLR εκπαιδεύει έναν κωδικοποιητή εικόνας σε φωτογραφίες χωρίς ετικέτα, ώστε να μπορεί αργότερα να ταξινομηθεί με πολύ λίγες ετικέτες
Μοντέλα τύπου GPT μαθαίνουν να γράφουν προβλέποντας επανειλημμένα το επόμενο διακριτικό σε τεράστια σώματα κειμένου
Μοντέλα ομιλίας προεκπαιδευμένα σε ακατέργαστο ήχο χωρίς ετικέτα (πρόβλεψη καλυμμένων τμημάτων ήχου) πριν προσαρμοστούν στη μεταγραφή
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Οδικός Χάρτης Εφαρμογής
Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
Τεκμηριώστε πού βοηθά η Αυτο-εποπτευόμενη μάθηση και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Εποπτευόμενη μάθηση
Συχνές ερωτήσεις
What is Self-Supervised Learning?
Η αυτοεποπτευόμενη μάθηση εκπαιδεύει μοντέλα σε δεδομένα χωρίς ετικέτα, εφευρίσκοντας μια εργασία της οποίας η απάντηση είναι κρυμμένη μέσα στα ίδια τα δεδομένα. Έτσι μαθαίνουν τα σύγχρονα μοντέλα θεμελίωσης γλώσσας και οράματος από το ακατέργαστο διαδίκτυο χωρίς στρατιές ανθρώπινων ετικετών.
Τι κάνει τη μάθηση «αυτοεποπτευόμενη»;
Η αυτο-εποπτευόμενη μάθηση επινοεί μια εργασία πρόσχημα όπου η απάντηση κρύβεται στα δεδομένα, επομένως δεν χρειάζεται ανθρώπινη επισήμανση.
Γιατί η αυτοεποπτευόμενη μάθηση είναι τόσο πολύτιμη για τα μοντέλα θεμελίωσης;
Επειδή το σήμα εποπτείας προέρχεται από τα ίδια τα δεδομένα, τα μοντέλα μπορούν να εκπαιδευτούν εκ των προτέρων σε τεράστια σώματα χωρίς ετικέτα από τον Ιστό.
Μετά από αυτοεποπτευόμενη προκατάσταση, τι συμβαίνει συνήθως μετά;
Η προεκπαίδευση δημιουργεί γενικές αναπαραστάσεις που μεταφέρονται καλά, επομένως απαιτείται μόνο ελαφριά λεπτομέρεια στα δεδομένα με ετικέτα για συγκεκριμένες εργασίες.
Πώς διαφέρει η αυτοεποπτευόμενη εργασία ενός μοντέλου τύπου GPT από αυτήν του BERT;
Τα μοντέλα τύπου GPT εκπαιδεύονται να προβλέπουν το επόμενο διακριτικό σε μια σειρά, ενώ το BERT προβλέπει καλυμμένα διακριτικά χρησιμοποιώντας τόσο το αριστερό όσο και το δεξί περιβάλλον.