引導式測驗 · 硬 等級
負採樣和噪音對比估計測驗
檢查 NCE 和負採樣如何使用雜訊範例、降低 full-softmax 成本以及它們的機率目標有何不同。
問題 1 的 8
負採樣和NCE主要解決什麼問題?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 負採樣和NCE主要解決什麼問題?
- 在非常大的輸出空間上計算完整的 softmax 的成本很高
- 小數據集上的過度擬合
- 循環網路中的梯度消失
- 缺乏監督學習的標記數據
- 噪音對比估計如何重構學習任務?
- 作為連續目標的迴歸
- 作為真實資料樣本和雜訊樣本之間的二元分類
- 作為未標記點的聚類
- 作為帶有獎勵的強化學習
- 哪一種模型普及了用於學習詞嵌入的負採樣?
- 伯特
- 殘差網絡
- word2vec的skip-gram模型
- GPT-2
- 負採樣與完全 NCE 有何不同?
- 它添加了額外的標準化項目以提高準確性
- 每個步驟都需要完整的詞彙
- 它使用回歸損失而不是 sigmoid
- 它放棄了 NCE 的歸一化項,使其速度更快,但不是一致的密度估計器
- 為什麼負數經常從一元分佈的 3/4 次方中取樣?
- 平衡頻繁詞和罕見詞的影響,而不是純粹按頻率採樣
- 完全忽略生僻詞
- 使所有單字出現的可能性相同
- 從訓練中刪除停用詞
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead