引導式測驗 · 硬 等級
注意力展示和頭部修剪測驗
測試 rollout 如何將分層注意力與剩餘路徑結合起來,頭部修剪估計什麼,以及這些分數可以解釋什麼,不能解釋什麼。
問題 1 的 8
注意力推廣的目標是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 注意力推廣的目標是什麼?
- 跨層追蹤從輸入標記到輸出的累積資訊流
- 為 Transformer 增加更多層
- 提高學習率
- 將注意力轉化為卷積
- 為什麼單層的注意力圖常常不足以解釋?
- 注意力永遠不會被計算
- 資訊混合在多個圖層和頭部中,因此一張地圖會錯過完整的路徑
- 地圖總是統一的
- 變形金剛只有一個頭
- 注意力推出向每個注意力矩陣添加了什麼以解釋剩餘連接?
- 零偏差
- 隨機噪音項
- 歸一化之前的單位矩陣分量
- 額外的 softmax
- 多頭注意力研究揭示了關於頭冗餘的哪些內容?
- 每個頭都是必不可少的
- 頭部無法移除
- 修剪總是使準確度加倍
- 可以修剪許多頭,而精度損失很小
- 通常如何評估修剪頭部的重要性?
- 透過基於梯度的頭罩損失靈敏度
- 按字母順序排列
- 僅透過計算其參數
- 到一天的時間
- 注意力部署和頭修剪各有什麼不同的功能?
- 它們是相同的技術
- 推出有助於解釋,而修剪則利用冗餘來壓縮模型
- 兩者都只是添加參數
- 既不引起關注
- 在注意力展開(attention-rollout)計算中,為什麼要在層注意力中包含殘差路徑(residual paths)?
- 讓每個頭(head)擁有相同的權重
- 從 Transformer 中移除值向量(value vectors)
- 近似當層轉換組合時可以沿著恆等路徑(identity path)傳遞的資訊
- 防止注意力矩陣被歸一化
- 應該如何解讀注意力展開分數?
- 作為 Token 導致輸出的證明
- 作為每個層所使用的確切值向量
- 作為模型包含多少個頭的度量
- 作為相對 Token 影響力的事後近似值,而非因果解釋