Αρνητική δειγματοληψία και Εκτίμηση αντίθεσης θορύβου
Η αρνητική δειγματοληψία και η εκτίμηση αντίθεσης θορύβου (NCE) είναι κόλπα που επιτρέπουν στα μοντέλα να μαθαίνουν τεράστια λεξιλόγια χωρίς να υπολογίζουν ένα δαπανηρό πλήρες softmax.
Επισκόπηση
Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.
Βαθιά κατάδυση
Όταν ένα λεξιλόγιο έχει εκατοντάδες χιλιάδες λέξεις, ένα κανονικό softmax πρέπει να κανονικοποιείται σε κάθε λέξη για κάθε βήμα προπόνησης — πολύ αργό. Η εκτίμηση αντίθεσης θορύβου επαναπλαισιώνει το πρόβλημα ως δυαδική ταξινόμηση: δεδομένου ενός στόχου και μερικών δειγμάτων «θορύβου» που προέρχονται από μια γνωστή κατανομή, μάθετε να διακρίνετε το πραγματικό δείγμα από τον θόρυβο, ο οποίος ανακτά σιωπηρά τις επιθυμητές πιθανότητες χωρίς ρητή κανονικοποίηση. Η αρνητική δειγματοληψία, που διαδόθηκε από το μοντέλο skip-gram του word2vec, είναι μια απλοποιημένη ξαδέρφη: για κάθε αληθινό (λέξη, πλαίσιο) ζεύγος δειγματοληπτεί k αρνητικά και εκπαιδεύει το μοντέλο να αποδίδει υψηλή βαθμολογία στο πραγματικό ζεύγος και χαμηλή βαθμολογία στα πλαστά, χρησιμοποιώντας έναν σιγμοειδές στόχο. Και τα δύο μετατρέπουν ένα ακριβό πρόβλημα πολλαπλών κατηγοριών σε πολλά φθηνά δυαδικά, καθιστώντας πρακτική την εκπαίδευση ενσωμάτωσης μεγάλης κλίμακας. Η επιλογή της κατανομής θορύβου (συχνά unigram αυξημένη στα 3/4) επηρεάζει έντονα την ποιότητα.
Τεχνική διορατικότητα
Το NCE εκτιμά ένα μοντέλο ταξινομώντας δεδομένα έναντι θορύβου και καθώς ο αριθμός των δειγμάτων θορύβου αυξάνεται, αποδεδειγμένα προσεγγίζει τη μέγιστη πιθανότητα με ένα σωστό κανονικοποιημένο softmax. Η αρνητική δειγματοληψία μειώνει πλήρως τους όρους κανονικοποίησης του NCE, βελτιστοποιώντας το log σ(θετικό σκορ) + Σ log σ(−αρνητικό σκορ). Αυτό το καθιστά ταχύτερο, αλλά όχι πλέον σταθερό εκτιμητή πυκνότητας — είναι ρυθμισμένος για να μαθαίνει καλές ενσωματώσεις αντί για βαθμονομημένες πιθανότητες. Η δειγματοληψία αρνητικών από μια ομαλοποιημένη κατανομή μονόγραμμα (συχνότητα^0,75) εξισορροπεί κοινές και σπάνιες λέξεις.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Negative Sampling and Noise Contrastive Estimation
Η βασική ιδέα - η μάθηση αντιπαραβάλλοντας θετικά σε δείγματα αρνητικών - στηρίζει τώρα τη σύγχρονη αυτοεποπτευόμενη και αντιθετική εκμάθηση αναπαράστασης σε όλη την όραση, τη γλώσσα και τις συστάσεις. Η μελλοντική εργασία επικεντρώνεται στην εξόρυξη σκληρών αρνητικών (επιλογή ενημερωτικών αρνητικών αντί για τυχαία), στην αποκατάληψη για ψευδή αρνητικά και στη φθηνή κλιμάκωση των αρνητικών μέσω μεγάλων τραπεζών μνήμης ή δειγματοληψίας κατά παρτίδες. Καθώς τα μοντέλα αναπτύσσονται, οι αποτελεσματικοί στόχοι δειγματοληψίας παραμένουν ουσιαστικοί όπου οι χώροι εξόδου ή τα υποψήφια σύνολα είναι τεράστια, όπως η ανάκτηση και οι συστάσεις μεγάλης κλίμακας.
Υλοποίηση σε πραγματικό κόσμο
word2vec skip-gram με αρνητική δειγματοληψία εκμάθησης ενσωματώσεων λέξεων από δισεκατομμύρια διακριτικά χωρίς πλήρες softmax.
Μοντέλα γλώσσας που χρησιμοποιούν ιστορικά το NCE για να εκπαιδεύσουν αποτελεσματικά λεξιλόγια εκατοντάδων χιλιάδων λέξεων.
Συστήματα σύστασης και ανάκτησης που δειγματοληπτικά «αρνητικά» στοιχεία με τα οποία ο χρήστης δεν αλληλεπιδρά για την εκπαίδευση μοντέλων ενσωμάτωσης δύο πύργων.
Ενσωματώσεις γραφημάτων και γραφημάτων γνώσης (π.χ. καταστροφή του κεφαλιού ή της ουράς ενός τριπλού) χρησιμοποιώντας αρνητικά δείγματα για την εκμάθηση των σχέσεων οντοτήτων.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Negative Sampling and Noise Contrastive Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Online και Hard Negative Mining
Συχνές ερωτήσεις
What is Negative Sampling and Noise Contrastive Estimation?
Η αρνητική δειγματοληψία και η εκτίμηση αντίθεσης θορύβου (NCE) είναι κόλπα που επιτρέπουν στα μοντέλα να μαθαίνουν τεράστια λεξιλόγια χωρίς να υπολογίζουν ένα δαπανηρό πλήρες softmax. Αντί να βαθμολογούν κάθε δυνατό αποτέλεσμα, διδάσκουν στο μοντέλο να λέει πραγματικά (θετικά) παραδείγματα από μια χούφτα ψεύτικα (αρνητικά).
Ποιο πρόβλημα λύνουν κυρίως η αρνητική δειγματοληψία και η NCE;
Και οι δύο μέθοδοι αποφεύγουν την κανονικοποίηση σε ένα τεράστιο λεξιλόγιο, επαναπλαισιώνοντας την εκπαίδευση ως φθηνότερη δυαδική διάκριση.
Πώς η Εκτίμηση Αντίθεσης Θορύβου αναπλαισιώνει την εργασία εκμάθησης;
Το NCE εκπαιδεύει το μοντέλο για να διακρίνει πραγματικά δείγματα από δείγματα που προέρχονται από μια γνωστή κατανομή θορύβου.
Ποιο μοντέλο έκανε δημοφιλή την αρνητική δειγματοληψία για εκμάθηση ενσωματώσεων λέξεων;
Η αρνητική δειγματοληψία εισήχθη και διαδόθηκε από την παραλλαγή skip-gram του word2vec.
Πώς διαφέρει η αρνητική δειγματοληψία από την πλήρη NCE;
Η αρνητική δειγματοληψία απλοποιεί το NCE αφαιρώντας την κανονικοποίηση, ανταλλάσσοντας την πιθανολογική ορθότητα για ταχύτητα και καλές ενσωματώσεις.
Γιατί συχνά λαμβάνονται δείγματα αρνητικών από την κατανομή unigram που ανεβαίνουν στην ισχύ 3/4;
Ο εκθέτης 0,75 εξομαλύνει την κατανομή συχνότητας, έτσι ώστε οι συνηθισμένες λέξεις να μην κυριαρχούν και να εξακολουθούν να εμφανίζονται σπάνιες λέξεις.