引導式測驗 · 硬 等級

注意力展示和頭部修剪測驗

測試 rollout 如何將分層注意力與剩餘路徑結合起來,頭部修剪估計什麼,以及這些分數可以解釋什麼,不能解釋什麼。

問題 1 的 8

注意力推廣的目標是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 注意力推廣的目標是什麼?
    • 跨層追蹤從輸入標記到輸出的累積資訊流
    • 為 Transformer 增加更多層
    • 提高學習率
    • 將注意力轉化為卷積
  2. 為什麼單層的注意力圖常常不足以解釋?
    • 注意力永遠不會被計算
    • 資訊混合在多個圖層和頭部中,因此一張地圖會錯過完整的路徑
    • 地圖總是統一的
    • 變形金剛只有一個頭
  3. 注意力推出向每個注意力矩陣添加了什麼以解釋剩餘連接?
    • 零偏差
    • 隨機噪音項
    • 歸一化之前的單位矩陣分量
    • 額外的 softmax
  4. 多頭注意力研究揭示了關於頭冗餘的哪些內容?
    • 每個頭都是必不可少的
    • 頭部無法移除
    • 修剪總是使準確度加倍
    • 可以修剪許多頭,而精度損失很小
  5. 通常如何評估修剪頭部的重要性?
    • 透過基於梯度的頭罩損失靈敏度
    • 按字母順序排列
    • 僅透過計算其參數
    • 到一天的時間
  6. 注意力部署和頭修剪各有什麼不同的功能?
    • 它們是相同的技術
    • 推出有助於解釋,而修剪則利用冗餘來壓縮模型
    • 兩者都只是添加參數
    • 既不引起關注
  7. 在注意力展開(attention-rollout)計算中,為什麼要在層注意力中包含殘差路徑(residual paths)?
    • 讓每個頭(head)擁有相同的權重
    • 從 Transformer 中移除值向量(value vectors)
    • 近似當層轉換組合時可以沿著恆等路徑(identity path)傳遞的資訊
    • 防止注意力矩陣被歸一化
  8. 應該如何解讀注意力展開分數?
    • 作為 Token 導致輸出的證明
    • 作為每個層所使用的確切值向量
    • 作為模型包含多少個頭的度量
    • 作為相對 Token 影響力的事後近似值,而非因果解釋