引導式測驗 · 中等 等級

ALiBi 位置偏差測驗

檢查 ALiBi 如何添加基於距離的注意力偏差並支持更長的推理序列,而無需學習絕對位置表。

相關引導路徑不在場證明立場偏差
問題 1 的 8

ALiBi 代表什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. ALiBi 代表什麼?
    • 線性偏差的注意力
    • 自適應線性偏差
    • 對齊雙向編碼
    • 絕對線性索引
  2. ALiBi如何懲罰遠程代幣?
    • 透過將固定視窗之外的嵌入歸零
    • 透過添加與查詢和關鍵位置之間的距離成比例的懲罰
    • 透過學習每個位置的單獨嵌入
    • 透過旋轉查詢和鍵向量
  3. ALiBi最著名的實際優勢是什麼?
    • 它消除了對 softmax 的需求
    • 它讓注意力在持續的記憶中運行
    • 它可以很好地推斷出比訓練中看到的序列更長的序列
    • 它消除了對多個注意力頭的需要
  4. 注意力頭之間的線性偏差有什麼不同?
    • 每個頭具有完全相同的斜率
    • 坡度是在訓練期間學習的
    • 只有第一個頭收到偏差
    • 每個頭都有自己固定的斜率,形成幾何序列
  5. 與傳統的位置嵌入相比,ALiBi 增加了多少學習參數?
    • 無 - 偏差斜率是固定的,不是學習的
    • 每個位置一個
    • 每個代幣一個
    • 每個注意力頭兩個
  6. 哪個著名的大型模型使用ALiBi來獲取位置資訊?
    • GPT-2
    • 綻放
    • 伯特
    • 詞向量
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position