引导式测验 · 中等 等级

ALiBi 位置偏差测验

检查 ALiBi 如何添加基于距离的注意力偏差并支持更长的推理序列，而无需学习绝对位置表。

相关引导路径不在场证明立场偏差
问题 1 的 8

ALiBi 代表什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. ALiBi 代表什么？
    • 线性偏差的注意力
    • 自适应线性偏差
    • 对齐双向编码
    • 绝对线性索引
  2. ALiBi如何惩罚远程代币？
    • 通过将固定窗口之外的嵌入归零
    • 通过添加与查询和关键位置之间的距离成比例的惩罚
    • 通过学习每个位置的单独嵌入
    • 通过旋转查询和键向量
  3. ALiBi最著名的实际优势是什么？
    • 它消除了对 softmax 的需要
    • 它让注意力在持续的记忆中运行
    • 它可以很好地推断出比训练中看到的序列更长的序列
    • 它消除了对多个注意力头的需要
  4. 注意力头之间的线性偏差有什么不同？
    • 每个头具有完全相同的斜率
    • 坡度是在训练期间学习的
    • 只有第一个头收到偏差
    • 每个头都有自己固定的斜率，形成几何序列
  5. 与传统的位置嵌入相比，ALiBi 增加了多少学习参数？
    • 无 - 偏差斜率是固定的，不是学习的
    • 每个位置一个
    • 每个代币一个
    • 每个注意力头两个
  6. 哪个著名的大型模型使用ALiBi来获取位置信息？
    • GPT-2
    • 绽放
    • 伯特
    • 词向量
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position