Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor negatieve bemonstering en contrastieve schatting van ruis
Controleert hoe NCE en negatieve steekproeven ruisvoorbeelden gebruiken, de volledige softmax-kosten verlagen en verschillen in hun probabilistische doelen.
Vraag 1 van 8
Welk probleem lossen negatieve bemonstering en NVU in de eerste plaats op?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk probleem lossen negatieve bemonstering en NVU in de eerste plaats op?
- De hoge kosten voor het berekenen van een volledige softmax over een zeer grote uitvoerruimte
- Overfitting op kleine datasets
- Verdwijnende gradiënten in terugkerende netwerken
- Het gebrek aan gelabelde gegevens voor begeleid leren
- Hoe herkadert Noise Contrastive Estimation de leertaak?
- Als regressie op continue doelstellingen
- Als binaire classificatie tussen echte datamonsters en ruismonsters
- Als clustering van ongelabelde punten
- Als versterkend leren met beloningen
- Welk model heeft negatieve steekproeven gepopulariseerd voor het leren van woordinbedding?
- BERT
- ResNet
- het skip-gram-model van word2vec
- GPT-2
- Hoe verschilt negatieve steekproef van volledige NVU?
- Het voegt extra normalisatietermen toe voor nauwkeurigheid
- Het vereist bij elke stap de volledige woordenschat
- Het maakt gebruik van een regressieverlies in plaats van een sigmoïde
- Het verlaagt de normalisatievoorwaarden van de NCE, waardoor het sneller wordt, maar geen consistente dichtheidsschatter
- Waarom worden negatieven vaak bemonsterd uit de unigramverdeling tot de macht 3/4?
- Om de invloed van frequente en zeldzame woorden in evenwicht te brengen in plaats van puur op frequentie te samplen
- Om zeldzame woorden volledig te negeren
- Om alle woorden even waarschijnlijk te maken
- Om stopwoorden uit de training te verwijderen
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead