引導式測驗 · 中等 等級
ALiBi 位置偏差測驗
檢查 ALiBi 如何添加基於距離的注意力偏差並支持更長的推理序列,而無需學習絕對位置表。
問題 1 的 8
ALiBi 代表什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- ALiBi 代表什麼?
- 線性偏差的注意力
- 自適應線性偏差
- 對齊雙向編碼
- 絕對線性索引
- ALiBi如何懲罰遠程代幣?
- 透過將固定視窗之外的嵌入歸零
- 透過添加與查詢和關鍵位置之間的距離成比例的懲罰
- 透過學習每個位置的單獨嵌入
- 透過旋轉查詢和鍵向量
- ALiBi最著名的實際優勢是什麼?
- 它消除了對 softmax 的需求
- 它讓注意力在持續的記憶中運行
- 它可以很好地推斷出比訓練中看到的序列更長的序列
- 它消除了對多個注意力頭的需要
- 注意力頭之間的線性偏差有什麼不同?
- 每個頭具有完全相同的斜率
- 坡度是在訓練期間學習的
- 只有第一個頭收到偏差
- 每個頭都有自己固定的斜率,形成幾何序列
- 與傳統的位置嵌入相比,ALiBi 增加了多少學習參數?
- 無 - 偏差斜率是固定的,不是學習的
- 每個位置一個
- 每個代幣一個
- 每個注意力頭兩個
- 哪個著名的大型模型使用ALiBi來獲取位置資訊?
- GPT-2
- 綻放
- 伯特
- 詞向量
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position