引導式測驗 · 硬 等級

負採樣和噪音對比估計測驗

檢查 NCE 和負採樣如何使用雜訊範例、降低 full-softmax 成本以及它們的機率目標有何不同。

問題 1 的 8

負採樣和NCE主要解決什麼問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 負採樣和NCE主要解決什麼問題?
    • 在非常大的輸出空間上計算完整的 softmax 的成本很高
    • 小數據集上的過度擬合
    • 循環網路中的梯度消失
    • 缺乏監督學習的標記數據
  2. 噪音對比估計如何重構學習任務?
    • 作為連續目標的迴歸
    • 作為真實資料樣本和雜訊樣本之間的二元分類
    • 作為未標記點的聚類
    • 作為帶有獎勵的強化學習
  3. 哪一種模型普及了用於學習詞嵌入的負採樣?
    • 伯特
    • 殘差網絡
    • word2vec的skip-gram模型
    • GPT-2
  4. 負採樣與完全 NCE 有何不同?
    • 它添加了額外的標準化項目以提高準確性
    • 每個步驟都需要完整的詞彙
    • 它使用回歸損失而不是 sigmoid
    • 它放棄了 NCE 的歸一化項,使其速度更快,但不是一致的密度估計器
  5. 為什麼負數經常從一元分佈的 3/4 次方中取樣?
    • 平衡頻繁詞和罕見詞的影響,而不是純粹按頻率採樣
    • 完全忽略生僻詞
    • 使所有單字出現的可能性相同
    • 從訓練中刪除停用詞
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead