引导式测验 · 硬 等级

预定采样和曝光偏差测验

检查计划采样如何改变解码器上下文、其黄金代币概率衰减的原因以及采样的梯度权衡。

相关引导路径预定采样和曝光偏差
问题 1 的 8

暴露偏差的出现是因为用教师强制训练的模型仅以以下条件为条件：

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 暴露偏差的出现是因为用教师强制训练的模型仅以以下条件为条件：
    • 真实标记，但在推理时必须使用自己的标记
    • 他们自己预测的代币
    • 随机噪声标记
    • 未来代币
  2. 训练期间计划采样有什么作用？
    • 始终提供真实的代币
    • 在真实令牌和模型自己的预测之间随机选择
    • 定期禁用损失函数
    • 随着时间的推移，学习率加倍
  3. 在计划采样的训练过程中，使用真实标记的概率如何变化？
    • 它保持不变
    • 它从低开始并增加
    • 它从高开始并衰减到零
    • 它随机振荡
  4. 谁引入了计划采样？大概是什么时候引入的？
    • 瓦斯瓦尼等人，2017
    • 辛顿等人，2006
    • 勒昆等人，1998
    • 本吉奥等人，2015
  5. 在训练期间反馈采样令牌的一个公认的技术缺点是：
    • 离散采样步骤是不可微分的，使梯度变得复杂
    • 它使训练完全确定性
    • 它不需要验证数据
    • 它消除了嵌入的需要
  6. 哪种时间表形状通常被认为可以降低教师强制概率？
    • 常数
    • 反 sigmoid 衰减
    • 升压线性增加
    • 随机游走
  7. 在 scheduled sampling 选择模型输出分支的解码步骤中，下一个上下文标记会输入什么？
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning