概述
计划抽样是逐渐缩小这一差距的课程。
深入探讨
经过教师强制训练的模型只会将真实标记视为上下文，但在生成时它们会反馈自己的预测。当早期的错误使模型处于训练期间从未遇到过的状态时，错误就会像滚雪球一样越滚越大，这种失败模式称为“暴露偏差”。 Bengio 及其同事于 2015 年引入的计划采样通过在训练期间的每个解码步骤中掷硬币来解决这个问题：它以一定的概率提供真实的令牌（教师强制），否则它提供模型自己的采样预测。使用真实事实的概率一开始接近 1，并通过计划（线性、指数或反 S 形）进行训练时衰减，因此模型逐渐暴露于自己的输出并学会从错误中恢复。
现实世界的实施
使用计划采样训练图像字幕模型，以便它学会在不完美的预测单词后继续优雅地继续
在神经机器翻译系统中使用反 sigmoid 调度来衰减教师强制概率
将陷入不连贯循环的聊天机器人诊断为纯粹教师强迫的暴露偏差症状
比较经过全面教师强制训练的摘要器与经过预定采样训练的摘要器的 BLEU 分数
预定采样和曝光偏差的未来
对于大型 Transformer 语言模型，暴露偏差的实际影响存在争议，因为巨大的数据和规模会抑制它，而 RLHF 等方法会直接重塑生成行为。尽管如此，计划采样及其后代仍然与较小的模型、结构化生成和具有严格精度需求的任务相关。未来的工作将课程暴露、强化式序列目标和最小风险培训相结合，以使模型的训练方式与实际解码方式保持一致。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是预定采样和曝光偏差？
暴露偏差是指仅在完美前缀上训练的模型在推理时必须以其自身的不完美输出为条件时出现的差距。计划抽样是逐渐缩小这一差距的课程。
训练期间计划采样有什么作用？
计划采样随机混合真实值和模型生成的标记作为解码器输入，由衰减概率控制。
在计划采样的训练过程中，使用真实标记的概率如何变化？
该计划开始时几乎完全由教师强制进行，然后逐渐衰减，因此随着模型的改进，模型会越来越多地暴露于自己的预测中。
谁引入了计划采样？大概是什么时候引入的？
Samy Bengio 及其同事于 2015 年提出了计划采样，用于循环网络的序列预测。
哪种时间表形状通常被认为可以降低教师强制概率？
最初的工作提出了线性、指数和反 sigmoid 衰减方案来降低真实采样概率。
在 scheduled sampling 选择模型输出分支的解码步骤中，下一个上下文标记会输入什么？
Scheduled sampling 有时会使用模型自身采样的预测，而不是金标准的前一个标记。