长上下文建模测验

当您参加测验时，就会出现答案和解释。

1. 模型的“上下文窗口”指的是什么？
   • 一次可以处理的最大令牌数
   • 聊天界面的屏幕尺寸
   • 一次允许的用户数
   • 模型训练了多长时间
2. 为什么标准的自注意力对于长输入来说会变得昂贵？
   • 它线性增长并且总是便宜
   • 它的计算和内存随着序列长度呈二次方增长
   • 它无法读取多个令牌
   • 它仅适用于图像
3. 什么是“迷失在中间”的问题？
   • 模特们完全忘记了他们的训练
   • 模型只能读取文档的中间部分
   • 模型在长输入的开头和结尾处回忆信息比隐藏在中间的事实更好
   • 模型将中间内容翻译成另一种语言
4. FlashAttention主要改进了什么？
   • 它使模型输出更长的文本
   • 它自动添加更多训练数据
   • 它消除了任何关注的需要
   • 它通过 IO 感知、平铺计算减少内存瓶颈
5. 旋转位置嵌入 (RoPE) 在长上下文模型中发挥什么作用？
   • 它们对标记位置进行编码，并通过插值帮助推广到更长的序列
   • 他们从输入中删除标记
   • 他们在语言之间翻译文本
   • 他们存储模型的权重
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • 仅图像分类
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input