引导式测验 · 硬 等级

YaRN 和上下文长度扩展测验

检查 YaRN 如何调整 RoPE 频率、保留局部细节、缩放注意力温度并通过微调扩展上下文。

相关引导路径纱线和上下文长度扩展
问题 1 的 8

YaRN 修改了什么位置编码方法来扩展上下文？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. YaRN 修改了什么位置编码方法来扩展上下文？
    • 旋转位置嵌入 (RoPE)
    • 绝对正弦嵌入
    • 学习位置查找表
    • 仅相对偏差矩阵
  2. 当 RoPE 模型看到的序列比其训练长度长时，会出现什么问题？
    • 分词器崩溃
    • 旋转角度进入看不见的范围并且性能崩溃
    • 模型仅输出零
    • 梯度恰好变为 1
  3. YaRN 如何处理不同的 RoPE 频率维度？
    • 它平等地插值所有维度
    • 它删除了高频维度
    • 它插入低频维度，同时很大程度上保留高频维度
    • 它随机化每个维度
  4. 除了重新调整频率之外，YaRN 还应用了哪些额外调整？
    • 一个新的分词器
    • 层数加倍
    • 删除图层标准化
    • 注意温度（softmax 缩放）调整
  5. 与朴素插值相比，YaRN 的关键实际优势是什么？
    • 它以更少的微调数据和步骤达到长上下文
    • 它根本不需要模型
    • 仅适用于 512 个代币以下
    • 它消除了对 GPU 的需求
  6. 为什么所有 RoPE 频率的简单线性插值都是有害的？
    • 它只影响偏置项
    • 它压缩编码局部细节的高频维度
    • 它使模型更大
    • 它改变词汇量
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context