概述
“迷失在中间”效应是指语言模型倾向于在长输入的开头或结尾时最好地使用信息，而忽略埋藏在中间的事实。这很重要，因为它限制了我们对检索到的文档的长上下文模型的信任程度。
迷失在中间效应是用于大规模阅读、生成、分类和转换文本和语音的语言人工智能堆栈的一部分。
深入探讨
斯坦福大学的刘和同事在 2023 年进行的一项研究中发现，当向模型提供许多文档并要求模型使用包含关键事实的文档来回答时，就会出现这种效应。准确度形成了一条 U 形曲线：当相关段落位于提示的开头或结尾时，准确度最高，而当相关段落位于中间时，准确度明显较低。即使对于标榜具有长上下文能力的模型也是如此。对于检索增强生成来说，这意味着很明显：将数十个段落塞进提示中并不能保证模型均匀地读取它们。位置，而不仅仅是存在，决定了模型是否关注事实。这项工作将长上下文重新定义为有效使用的问题，而不是原始窗口大小的问题。
技术洞察
U 形曲线可能源于注意力和位置编码如何分配焦点。首要性和新近度偏差部分继承自训练数据结构和位置方案，给予早期和晚期标记额外的权重。一些解码器架构还通过层强烈传播早期令牌信息。最终结果是中间位置受到的关注被稀释，因此即使完全存在于上下文中，放置在那里的正确答案也可能被有效地忽略。
掌握迷失在中间的效果
“迷失在中间”效应是指语言模型倾向于在长输入的开头或结尾时最好地使用信息，而忽略埋藏在中间的事实。这很重要，因为它限制了我们对检索到的文档的长上下文模型的信任程度。迷失在中间效应是用于大规模阅读、生成、分类和转换文本和语音的语言人工智能堆栈的一部分。为了建立深入的理解，请将“迷失中间效应”视为一种操作模型，而不是单个功能：定义期望的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，强大的团队使用“迷失中间效应”将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
RAG 系统检索 20 个文档，但错过了答案，因为它落在 20 个文档中的第 10 个段落中。
工程师对搜索结果进行重新排序，将最相关的块放在提示的前面或最后。
长文档摘要者会低估合同中出现的关键细节。
“大海捞针”基准隐藏了不同深度的事实，以绘制模型的位置精度图表。
实施模式
实践中迷失中间效应
RAG 系统检索 20 个文档，但错过了答案，因为它落在 20 个文档中的第 10 个段落中。
RAG 系统检索 20 个文档，但错过了答案，因为它落在 20 个文档中的第 10 个文档中。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中迷失中间效应
工程师对搜索结果进行重新排序，将最相关的块放在提示的前面或最后。
工程师重新排列搜索结果，将最相关的块放在提示中的前面或最后。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会得到更好的结果。
实践中迷失中间效应
长文档摘要者会低估合同中出现的关键细节。
长文档摘要者会低估合同中途出现的关键细节。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会得到更好的结果。
实践中迷失中间效应
“大海捞针”基准隐藏了不同深度的事实，以绘制模型的位置精度图表。
“大海捞针”基准隐藏了不同深度的事实，以绘制模型的位置准确性。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。