引导式测验 · 中等 等级
迷失在中间效应测验
测试位置证据的使用、长上下文限制、受控检索评估、重新排序策略和证据范围。
问题 1 的 8
失落在中间研究报告了什么位置模式？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 失落在中间研究报告了什么位置模式？
- 性能向中心稳步提升
- 职位不影响绩效
- 只能检索第一个令牌
- 当相关信息出现在开头或结尾附近时，性能通常会更好
- 研究的任务设置是什么？
- 从短标题生成图像
- 在长上下文中查找相关信息以进行多文档 QA 和键值检索
- 用一句话对情绪进行分类
- 翻译没有上下文的文档
- 这种效应对大上下文窗口意味着什么？
- 原始窗口容量并不能保证所有包含信息的使用
- 更大的窗口保证更好的推理
- 窗口内的任何东西都具有同等影响力
- 上下文限制可以忽略
- RAG提示包含许多检索到的段落。应评估什么？
- 仅显示总段数
- 提示是否为最大长度
- 模型是否在不同位置使用证据，而不仅仅是证据是否存在
- 最后一段的引用顺序
- 位置控制基准有何帮助？
- 更改每个位置的模型和事实
- 在上下文中移动相同的关键事实并衡量每个位置的绩效
- 仅将答案放在开头
- 测量响应的流畅性而不检查正确性
- 为什么中间的相关事实可能被忽略？
- 分词器删除所有中间段落
- 中间证据总是矛盾的
- 模型的上下文窗口必然被超出
- 它的位置会影响模型是否使用它，即使它被包含在内
- 指南建议采取哪种缓解措施？
- 在其周围添加更多不相关的段落
- 假设所有模型都平等地阅读每一篇文章
- 将重要证据重新排列到更有可能被使用的位置
- 删除源链接
- 从这个效应中不应该得出什么结论？
- 每个长上下文模型在每项任务上都失败相同
- 应该评估这一立场
- 原始代币限制并不能保证平等使用
- 检索顺序可能很重要