ΕπόμενοΕπόμενος οδηγός
Online και Hard Negative Mining
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Αρνητική δειγματοληψία και Εκτίμηση αντίθεσης θορύβου
Η αρνητική δειγματοληψία και η εκτίμηση αντίθεσης θορύβου (NCE) είναι κόλπα που επιτρέπουν στα μοντέλα να μαθαίνουν τεράστια λεξιλόγια χωρίς να υπολογίζουν ένα δαπανηρό πλήρες softmax.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Βαθιά κατάδυση
Όταν ένα λεξιλόγιο έχει εκατοντάδες χιλιάδες λέξεις, ένα κανονικό softmax πρέπει να κανονικοποιείται σε κάθε λέξη για κάθε βήμα προπόνησης — πολύ αργό. Η εκτίμηση αντίθεσης θορύβου επαναπλαισιώνει το πρόβλημα ως δυαδική ταξινόμηση: δεδομένου ενός στόχου και μερικών δειγμάτων «θορύβου» που προέρχονται από μια γνωστή κατανομή, μάθετε να διακρίνετε το πραγματικό δείγμα από τον θόρυβο, ο οποίος ανακτά σιωπηρά τις επιθυμητές πιθανότητες χωρίς ρητή κανονικοποίηση. Η αρνητική δειγματοληψία, που διαδόθηκε από το μοντέλο skip-gram του word2vec, είναι μια απλοποιημένη ξαδέρφη: για κάθε αληθινό (λέξη, πλαίσιο) ζεύγος δειγματοληπτεί k αρνητικά και εκπαιδεύει το μοντέλο να αποδίδει υψηλή βαθμολογία στο πραγματικό ζεύγος και χαμηλή βαθμολογία στα πλαστά, χρησιμοποιώντας έναν σιγμοειδές στόχο. Και τα δύο μετατρέπουν ένα ακριβό πρόβλημα πολλαπλών κατηγοριών σε πολλά φθηνά δυαδικά, καθιστώντας πρακτική την εκπαίδευση ενσωμάτωσης μεγάλης κλίμακας. Η επιλογή της κατανομής θορύβου (συχνά unigram αυξημένη στα 3/4) επηρεάζει έντονα την ποιότητα.
Υλοποίηση σε πραγματικό κόσμο
word2vec skip-gram με αρνητική δειγματοληψία εκμάθησης ενσωματώσεων λέξεων από δισεκατομμύρια διακριτικά χωρίς πλήρες softmax.
Μοντέλα γλώσσας που χρησιμοποιούν ιστορικά το NCE για να εκπαιδεύσουν αποτελεσματικά λεξιλόγια εκατοντάδων χιλιάδων λέξεων.
Συστήματα σύστασης και ανάκτησης που δειγματοληπτικά «αρνητικά» στοιχεία με τα οποία ο χρήστης δεν αλληλεπιδρά για την εκπαίδευση μοντέλων ενσωμάτωσης δύο πύργων.
Ενσωματώσεις γραφημάτων και γραφημάτων γνώσης (π.χ. καταστροφή του κεφαλιού ή της ουράς ενός τριπλού) χρησιμοποιώντας αρνητικά δείγματα για την εκμάθηση των σχέσεων οντοτήτων.
The Future of Negative Sampling and Noise Contrastive Estimation
Η βασική ιδέα - η μάθηση αντιπαραβάλλοντας θετικά σε δείγματα αρνητικών - στηρίζει τώρα τη σύγχρονη αυτοεποπτευόμενη και αντιθετική εκμάθηση αναπαράστασης σε όλη την όραση, τη γλώσσα και τις συστάσεις. Η μελλοντική εργασία επικεντρώνεται στην εξόρυξη σκληρών αρνητικών (επιλογή ενημερωτικών αρνητικών αντί για τυχαία), στην αποκατάληψη για ψευδή αρνητικά και στη φθηνή κλιμάκωση των αρνητικών μέσω μεγάλων τραπεζών μνήμης ή δειγματοληψίας κατά παρτίδες. Καθώς τα μοντέλα αναπτύσσονται, οι αποτελεσματικοί στόχοι δειγματοληψίας παραμένουν ουσιαστικοί όπου οι χώροι εξόδου ή τα υποψήφια σύνολα είναι τεράστια, όπως η ανάκτηση και οι συστάσεις μεγάλης κλίμακας.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Negative Sampling and Noise Contrastive Estimation quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Negative Sampling and Noise Contrastive Estimation?
Η αρνητική δειγματοληψία και η εκτίμηση αντίθεσης θορύβου (NCE) είναι κόλπα που επιτρέπουν στα μοντέλα να μαθαίνουν τεράστια λεξιλόγια χωρίς να υπολογίζουν ένα δαπανηρό πλήρες softmax. Αντί να βαθμολογούν κάθε δυνατό αποτέλεσμα, διδάσκουν στο μοντέλο να λέει πραγματικά (θετικά) παραδείγματα από μια χούφτα ψεύτικα (αρνητικά).
Ποιο πρόβλημα λύνουν κυρίως η αρνητική δειγματοληψία και η NCE;
Και οι δύο μέθοδοι αποφεύγουν την κανονικοποίηση σε ένα τεράστιο λεξιλόγιο, επαναπλαισιώνοντας την εκπαίδευση ως φθηνότερη δυαδική διάκριση.
Πώς η Εκτίμηση Αντίθεσης Θορύβου αναπλαισιώνει την εργασία εκμάθησης;
Το NCE εκπαιδεύει το μοντέλο για να διακρίνει πραγματικά δείγματα από δείγματα που προέρχονται από μια γνωστή κατανομή θορύβου.
Ποιο μοντέλο έκανε δημοφιλή την αρνητική δειγματοληψία για εκμάθηση ενσωματώσεων λέξεων;
Η αρνητική δειγματοληψία εισήχθη και διαδόθηκε από την παραλλαγή skip-gram του word2vec.
Πώς διαφέρει η αρνητική δειγματοληψία από την πλήρη NCE;
Η αρνητική δειγματοληψία απλοποιεί το NCE αφαιρώντας την κανονικοποίηση, ανταλλάσσοντας την πιθανολογική ορθότητα για ταχύτητα και καλές ενσωματώσεις.
Γιατί συχνά λαμβάνονται δείγματα αρνητικών από την κατανομή unigram που ανεβαίνουν στην ισχύ 3/4;
Ο εκθέτης 0,75 εξομαλύνει την κατανομή συχνότητας, έτσι ώστε οι συνηθισμένες λέξεις να μην κυριαρχούν και να εξακολουθούν να εμφανίζονται σπάνιες λέξεις.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα