Test de eșantionare negativă și de estimare a contrastului de zgomot

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce problemă rezolvă în primul rând eșantionarea negativă și NCE?
   • Costul ridicat al calculării unui softmax complet pe un spațiu de ieșire foarte mare
   • Supraadaptare pe seturi de date mici
   • Gradienți care dispar în rețelele recurente
   • Lipsa datelor etichetate pentru învățarea supravegheată
2. Cum reîncadează Estimarea contrastantă a zgomotului sarcina de învățare?
   • Ca regresie pe ținte continue
   • Ca clasificare binară între eșantioanele de date adevărate și probele de zgomot
   • Ca grupare de puncte neetichetate
   • Ca învățare prin întărire cu recompense
3. Care model a popularizat eșantionarea negativă pentru învățarea înglobărilor de cuvinte?
   • BERT
   • ResNet
   • modelul skip-gram al word2vec
   • GPT-2
4. Cum diferă eșantionarea negativă de NCE complet?
   • Se adaugă termeni de normalizare suplimentari pentru acuratețe
   • Necesită întregul vocabular la fiecare pas
   • Utilizează o pierdere de regresie în loc de un sigmoid
   • Reduce termenii de normalizare ai NCE, făcându-l mai rapid, dar nu un estimator de densitate consistent
5. De ce sunt adesea eșantionate negativele din distribuția unigramă ridicate la puterea 3/4?
   • Pentru a echilibra influența cuvintelor frecvente și rare, mai degrabă decât eșantionarea pur în funcție de frecvență
   • A ignora în întregime cuvintele rare
   • Pentru a face toate cuvintele la fel de probabil
   • Pentru a elimina cuvintele oprire din antrenament
6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
   • It computes an exact probability for every vocabulary item
   • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
   • It eliminates the need to score the positive pair
   • It sorts all words by frequency on each step
7. In skip-gram negative sampling, what is treated as the positive training pair?
   • Two words sampled independently from the noise distribution
   • A word paired with an empty context
   • A word and a context word observed together in the corpus
   • A validation label paired with a model checkpoint
8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
   • It always sums over the full vocabulary
   • It requires exact maximum-likelihood normalization
   • It never uses negative examples
   • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead