Kvíz spojený s průvodcem · Těžko úroveň
Negativní odběr vzorků a kvíz odhadu kontrastu hluku
Kontroluje, jak NCE a negativní vzorkování používají příklady šumu, snižují náklady na full-softmax a liší se v jejich pravděpodobnostních cílech.
Otázka 1 z 8
Jaký problém primárně řeší negativní vzorkování a NCE?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký problém primárně řeší negativní vzorkování a NCE?
- Vysoké náklady na výpočet plného softmaxu na velmi velkém výstupním prostoru
- Přetěžování u malých datových sad
- Mizející gradienty v rekurentních sítích
- Nedostatek označených dat pro učení pod dohledem
- Jak odhadování kontrastu hluku přeformuluje učební úkol?
- Jako regrese na kontinuální cíle
- Jako binární klasifikace mezi skutečnými datovými vzorky a šumovými vzorky
- Jako shlukování neoznačených bodů
- Jako posílení učení s odměnami
- Který model popularizoval negativní vzorkování pro učení vkládání slov?
- BERT
- ResNet
- skip-gramový model word2vec
- GPT-2
- Jak se liší negativní vzorkování od úplného NCE?
- Pro přesnost přidává další normalizační termíny
- Vyžaduje to celou slovní zásobu na každém kroku
- Místo sigmatu používá regresní ztrátu
- Vypouští normalizační členy NCE, takže je rychlejší, ale není konzistentní odhad hustoty
- Proč jsou negativy často vzorkovány z unigramového rozdělení na 3/4?
- Vyvážit vliv častých a vzácných slov spíše než vzorkování čistě podle frekvence
- Úplně ignorovat vzácná slova
- Aby všechna slova byla stejně pravděpodobná
- Chcete-li odstranit zastavovací slova z tréninku
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead