Quiz collegato alla guida · Difficile Livello
Quiz sul campionamento negativo e sulla stima contrastiva del rumore
Controlla il modo in cui NCE e il campionamento negativo utilizzano esempi di rumore, riducono il costo full-softmax e differiscono nei loro obiettivi probabilistici.
Domanda 1 di 8
Quale problema risolvono principalmente il campionamento negativo e l’NCE?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale problema risolvono principalmente il campionamento negativo e l’NCE?
- Il costo elevato per calcolare un softmax completo su uno spazio di output molto ampio
- Overfitting su set di dati di piccole dimensioni
- Gradienti evanescenti in reti ricorrenti
- La mancanza di dati etichettati per l’apprendimento supervisionato
- In che modo la stima contrastiva del rumore riformula il compito di apprendimento?
- Come regressione su obiettivi continui
- Come classificazione binaria tra campioni di dati reali e campioni di rumore
- Come raggruppamento di punti senza etichetta
- Come apprendimento per rinforzo con ricompense
- Quale modello ha reso popolare il campionamento negativo per l’apprendimento degli incorporamenti di parole?
- BERT
- ResNet
- Il modello skip-gram di word2vec
- GPT-2
- In che modo il campionamento negativo differisce dall'NCE completo?
- Aggiunge termini di normalizzazione aggiuntivi per la precisione
- Richiede l'intero vocabolario ad ogni passo
- Utilizza una perdita di regressione invece di un sigma
- Riduce i termini di normalizzazione di NCE, rendendolo uno stimatore di densità più veloce ma non coerente
- Perché i negativi vengono spesso campionati dalla distribuzione degli unigrammi elevati a 3/4?
- Per bilanciare l'influenza delle parole frequenti e rare piuttosto che campionare esclusivamente in base alla frequenza
- Ignorare completamente le parole rare
- Per rendere tutte le parole ugualmente probabili
- Per rimuovere le parole d'arresto dalla formazione
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead