引导式测验 · 硬 等级

负采样和噪声对比估计测验

检查 NCE 和负采样如何使用噪声示例、降低 full-softmax 成本以及它们的概率目标有何不同。

相关引导路径负采样与噪声对比估计
问题 1 的 8

负采样和NCE主要解决什么问题？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 负采样和NCE主要解决什么问题？
    • 在非常大的输出空间上计算完整的 softmax 的成本很高
    • 小数据集上的过度拟合
    • 循环网络中的梯度消失
    • 缺乏监督学习的标记数据
  2. 噪声对比估计如何重构学习任务？
    • 作为连续目标的回归
    • 作为真实数据样本和噪声样本之间的二元分类
    • 作为未标记点的聚类
    • 作为带有奖励的强化学习
  3. 哪种模型普及了用于学习词嵌入的负采样？
    • 伯特
    • 残差网络
    • word2vec的skip-gram模型
    • GPT-2
  4. 负采样与完全 NCE 有何不同？
    • 它添加了额外的标准化项以提高准确性
    • 每一步都需要完整的词汇
    • 它使用回归损失而不是 sigmoid
    • 它放弃了 NCE 的归一化项，使其速度更快，但不是一致的密度估计器
  5. 为什么负数经常从一元分布的 3/4 次方中采样？
    • 平衡频繁词和罕见词的影响，而不是纯粹按频率采样
    • 完全忽略生僻词
    • 使所有单词出现的可能性相同
    • 从训练中删除停用词
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead