Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor negatieve bemonstering en contrastieve schatting van ruis

Controleert hoe NCE en negatieve steekproeven ruisvoorbeelden gebruiken, de volledige softmax-kosten verlagen en verschillen in hun probabilistische doelen.

Vraag 1 van 8

Welk probleem lossen negatieve bemonstering en NVU in de eerste plaats op?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk probleem lossen negatieve bemonstering en NVU in de eerste plaats op?
    • De hoge kosten voor het berekenen van een volledige softmax over een zeer grote uitvoerruimte
    • Overfitting op kleine datasets
    • Verdwijnende gradiënten in terugkerende netwerken
    • Het gebrek aan gelabelde gegevens voor begeleid leren
  2. Hoe herkadert Noise Contrastive Estimation de leertaak?
    • Als regressie op continue doelstellingen
    • Als binaire classificatie tussen echte datamonsters en ruismonsters
    • Als clustering van ongelabelde punten
    • Als versterkend leren met beloningen
  3. Welk model heeft negatieve steekproeven gepopulariseerd voor het leren van woordinbedding?
    • BERT
    • ResNet
    • het skip-gram-model van word2vec
    • GPT-2
  4. Hoe verschilt negatieve steekproef van volledige NVU?
    • Het voegt extra normalisatietermen toe voor nauwkeurigheid
    • Het vereist bij elke stap de volledige woordenschat
    • Het maakt gebruik van een regressieverlies in plaats van een sigmoïde
    • Het verlaagt de normalisatievoorwaarden van de NCE, waardoor het sneller wordt, maar geen consistente dichtheidsschatter
  5. Waarom worden negatieven vaak bemonsterd uit de unigramverdeling tot de macht 3/4?
    • Om de invloed van frequente en zeldzame woorden in evenwicht te brengen in plaats van puur op frequentie te samplen
    • Om zeldzame woorden volledig te negeren
    • Om alle woorden even waarschijnlijk te maken
    • Om stopwoorden uit de training te verwijderen
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead