Κουίζ αρνητικής δειγματοληψίας και αντίθεσης θορύβου

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιο πρόβλημα λύνουν κυρίως η αρνητική δειγματοληψία και η NCE;
   • Το υψηλό κόστος υπολογισμού ενός πλήρους softmax σε έναν πολύ μεγάλο χώρο εξόδου
   • Υπερβολική προσαρμογή σε μικρά σύνολα δεδομένων
   • Εξαφανιζόμενες κλίσεις σε επαναλαμβανόμενα δίκτυα
   • Η έλλειψη επισημασμένων δεδομένων για την εποπτευόμενη μάθηση
2. Πώς η Εκτίμηση Αντίθεσης Θορύβου αναπλαισιώνει την εργασία εκμάθησης;
   • Ως παλινδρόμηση σε συνεχείς στόχους
   • Ως δυαδική ταξινόμηση μεταξύ δειγμάτων αληθινών δεδομένων και δειγμάτων θορύβου
   • Ως ομαδοποίηση σημείων χωρίς ετικέτα
   • Ως ενισχυτική μάθηση με ανταμοιβές
3. Ποιο μοντέλο έκανε δημοφιλή την αρνητική δειγματοληψία για εκμάθηση ενσωματώσεων λέξεων;
   • ΜΠΕΡΤ
   • ResNet
   • μοντέλο skip-gram του word2vec
   • GPT-2
4. Πώς διαφέρει η αρνητική δειγματοληψία από την πλήρη NCE;
   • Προσθέτει επιπλέον όρους κανονικοποίησης για ακρίβεια
   • Απαιτεί ολόκληρο το λεξιλόγιο σε κάθε βήμα
   • Χρησιμοποιεί απώλεια παλινδρόμησης αντί για σιγμοειδές
   • Μειώνει τους όρους κανονικοποίησης του NCE, καθιστώντας το ταχύτερο αλλά όχι συνεπή εκτιμητή πυκνότητας
5. Γιατί συχνά λαμβάνονται δείγματα αρνητικών από την κατανομή unigram που ανεβαίνουν στην ισχύ 3/4;
   • Για να εξισορροπηθεί η επιρροή των συχνών και σπάνιων λέξεων αντί να γίνεται δειγματοληψία καθαρά κατά συχνότητα
   • Να αγνοήσει εντελώς τις σπάνιες λέξεις
   • Για να γίνουν όλες οι λέξεις εξίσου πιθανές
   • Για να αφαιρέσετε τις λέξεις στοπ από την προπόνηση
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead