引导式测验 · 中等 等级

长上下文测验的位置插值

检查位置插值如何重新调整 RoPE 位置、为什么外推会破坏注意力稳定性以及其来源评估的内容。

相关引导路径长上下文的位置插值
问题 1 的 8

位置插值背后的核心思想是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 位置插值背后的核心思想是什么？
    • 将新的位置索引压缩到模型已经训练过的范围内
    • 为每个长度从头开始训练一个全新的模型
    • 完全删除位置信息
    • 按重要性对标记进行排序
  2. 为什么对更长头寸的天真推断会失败？
    • 它使用的内存太少
    • 它可以将注意力分数提高到非常大且不稳定的值
    • 它总是返回相同的令牌
    • 它需要不同的标记器
  3. 原始 PI 工作大约需要多少微调才能将 LLaMA 扩展到 32K？
    • 完全没有微调
    • 约100万步
    • 约 1,000 步
    • 完整的预训练运行
  4. 如果将上下文扩展一个因子 s，那么 PI 如何变换位置 m？
    • 它将 m 映射到 m 乘 s
    • 它将 m 映射到 m 平方
    • m 保持不变
    • 它将 m 映射到 m 除以 s
  5. PI 如何影响后来的方法（例如 YaRN）？
    • 它成为频率感知方法改进的基线
    • 它被放弃并且从未被引用
    • 它取代了 Transformer 架构
    • 它仅适用于图像模型
  6. 位置插值主要针对哪种位置编码？
    • 1.1.1 独热编码
    • RoPE（旋转位置嵌入）
    • Word2Vec 向量
    • 词袋计数
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000