Kvíz spojený s průvodcem · Těžko úroveň

Negativní odběr vzorků a kvíz odhadu kontrastu hluku

Kontroluje, jak NCE a negativní vzorkování používají příklady šumu, snižují náklady na full-softmax a liší se v jejich pravděpodobnostních cílech.

Otázka 1 z 8

Jaký problém primárně řeší negativní vzorkování a NCE?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký problém primárně řeší negativní vzorkování a NCE?
    • Vysoké náklady na výpočet plného softmaxu na velmi velkém výstupním prostoru
    • Přetěžování u malých datových sad
    • Mizející gradienty v rekurentních sítích
    • Nedostatek označených dat pro učení pod dohledem
  2. Jak odhadování kontrastu hluku přeformuluje učební úkol?
    • Jako regrese na kontinuální cíle
    • Jako binární klasifikace mezi skutečnými datovými vzorky a šumovými vzorky
    • Jako shlukování neoznačených bodů
    • Jako posílení učení s odměnami
  3. Který model popularizoval negativní vzorkování pro učení vkládání slov?
    • BERT
    • ResNet
    • skip-gramový model word2vec
    • GPT-2
  4. Jak se liší negativní vzorkování od úplného NCE?
    • Pro přesnost přidává další normalizační termíny
    • Vyžaduje to celou slovní zásobu na každém kroku
    • Místo sigmatu používá regresní ztrátu
    • Vypouští normalizační členy NCE, takže je rychlejší, ale není konzistentní odhad hustoty
  5. Proč jsou negativy často vzorkovány z unigramového rozdělení na 3/4?
    • Vyvážit vliv častých a vzácných slov spíše než vzorkování čistě podle frekvence
    • Úplně ignorovat vzácná slova
    • Aby všechna slova byla stejně pravděpodobná
    • Chcete-li odstranit zastavovací slova z tréninku
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead