引导式测验 · 中等 等级

序列模型测验中的教师强制

检查真实前缀如何训练序列解码器、因果掩码如何支持并行训练以及推理为何不同。

相关引导路径序列模型中的教师强制
问题 1 的 8

在教师强制期间，每个解码步骤的输入是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在教师强制期间，每个解码步骤的输入是什么？
    • 之前的真实标记
    • 模型自己之前的预测
    • 随机令牌
    • 最终输出token
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. 由教师强迫引起的训练与测试不匹配被称为：
    • 梯度消失
    • 模式崩溃
    • 曝光偏差
    • 标签泄漏
  4. 在 Transformer 解码器中，什么机制可以让教师强制训练跨位置并行运行？
    • 辍学
    • 批量归一化
    • 集束搜索
    • 因果（前瞻）注意力掩模
  5. 在推理时，为什么不能使用教师强制？
    • 没有真实的未来代币可供喂养
    • 损失函数不可用
    • GPU 太慢
    • 注意蒙版已禁用
  6. 在教师强制训练期间，每一步通常使用哪种损失？
    • 原始 Logits 的均方误差
    • 预测分布和真实的下一个标记之间的交叉熵
    • 嵌入的铰链损失
    • 余弦相似度损失
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t