概述
最初的研究通过额外的训练使模型适应更长的窗口，但没有建立普遍的准确性或消除长序列成本。
深入探讨
RoPE 将位置相关的旋转应用于查询和关键维度对。简单地使用更长的序列可以使模型暴露于训练期间学到的位置和注意力条件之外。基本位置插值将 m 重新调整为 m 除以 s，其中 s 是新上下文长度与原始长度的比率。这会压缩坐标跨度，而不是将未修改的位置延续到更长的范围。该模型仍然看到改变的序列和更密集的位置间距，因此适应和评估很重要。原始论文报告了通过额外微调在实验中成功扩展的情况。均匀压缩同时影响所有频率； YaRN 等方法以不同的方式对待频段，以解决局部细节和范围的权衡问题。
现实世界的实施
在位置重新缩放和适应后，以更长的目标长度评估预训练的 RoPE 模型。
在同一模型中将插值与未修改的位置外推法进行比较。
研究频率感知方法，例如针对统一位置压缩的 YaRN。
跨扩展窗口衡量任务绩效和资源使用情况。
上下文扩展位置插值的未来
情境延伸研究比较了位置方案、培训预算和长情境评估。名义上支持的长度并不能证明整个窗口的检索或推理质量一致。评估预期任务、模型适应、内存和延迟，而不是将重新缩放视为免费的长上下文功能。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是上下文扩展的位置插值？
位置插值会压缩基于 RoPE 的预训练模型在扩展其上下文时使用的位置坐标。最初的研究通过额外的训练使模型适应更长的窗口，但没有建立普遍的准确性或消除长序列成本。
位置插值的核心思想是什么？
PI 将位置索引除以扩展因子，将较长的序列映射回模型已学习的分布范围内。
原始位置插值工作通过位置索引重新缩放扩展了哪种位置方案？
重新缩放的坐标进入 RoPE 的旋转角度计算。
为什么未经修改的位置外推法会在更长的输入上降低 RoPE 模型的性能？
训练外的姿势行为会影响注意力；观察到的效果取决于模型和扩展。
如果将上下文长度从 L 扩展到 L'，基本 PI 将什么重新缩放因子应用于位置 m？
PI 将 m 映射到 m 除以因子 s = L'/L，将较长范围压缩到原始训练区间。
YaRN 的频率感知方法与统一位置插值有何不同？
YaRN 保留高频局部维度，并通过频带之间的过渡对低频维度进行插值。