概述
注意力推出是一種追蹤資訊如何流經 Transformer 堆疊注意力層的方法，以解釋哪些輸入標記會影響預測。頭部剪枝去除了貢獻很小的注意力頭，縮小了模型，而不會影響準確性。它們一起幫助我們解釋和壓縮變形金剛。
注意力推出和頭部修剪是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
變形金剛將他們的推理傳播到許多層的許多注意力頭上，因此單層的注意力圖很少能講述整個故事。 Abnar 和 Zuidema 在 2020 年引入了注意力机制，通过逐层乘以注意力矩阵（在考虑剩余连接之后）来解决这个问题，以估算每个输入标记最终对给定输出标记的贡献程度。另外，米歇尔及其同事的研究“十六个头真的比一个好吗？”表明许多头是冗余的：可以在推理时修剪很大一部分，而准确性损失可以忽略不计。頭部修剪按重要性對頭部進行排名，通常使用基於梯度的敏感度分數，然後掩蓋最不有用的頭部。这两种技术是互补的：推出揭示了网络的哪些部分对于解释很重要，而修剪则作用于冗余以使模型更小、更快。
技術洞察
注意力推出将每一层的注意力视为转换矩阵，添加一个恒等组件来对残差跳跃连接进行建模，对行进行归一化，并将这些矩阵跨层相乘以获得累积的令牌到令牌的影响。头部修剪通常通过相对于头部掩模变量的损失的预期梯度来估计每个头部的重要性，然后将低得分的头部归零。兩者都依賴多頭注意力的模組化結構。
掌握注意力展開和頭部修剪
注意力推出是一種追蹤資訊如何流經 Transformer 堆疊注意力層的方法，以解釋哪些輸入標記會影響預測。頭部剪枝去除了貢獻很小的注意力頭，縮小了模型，而不會影響準確性。它們一起幫助我們解釋和壓縮變形金剛。注意力推出和頭部修剪是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。为了建立深入的理解，请将注意力推出和头部修剪视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在實踐中，強大的團隊使用注意力推出和頭部修剪來根據可靠性和成本優化架構、資料和基礎設施選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
透過專注於突出顯示有影響力的標記，可視化 Transformer 分類器依賴句子中的哪些單字
透過修剪冗餘注意力頭來減少延遲，壓縮用於移動部署的 BERT 模型
透過追蹤從預測到敏感輸入標記的注意力流來審核模型的偏差
透過刪除透過敏感度分數識別的低重要性頭部，加速生產翻譯系統中的推理
實施模式
實踐中的注意力推出和頭部修剪
透過專注於突出顯示有影響力的標記，可視化 Transformer 分類器依賴句子中的哪些單字。
透過集中註意力來突出顯示有影響力的標記，可視化 Transformer 分類器依賴句子中的哪些單字。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
實踐中的注意力推出和頭部修剪
透過修剪冗餘注意力頭來減少延遲，壓縮用於移動部署的 BERT 模型。
通过修剪多余的注意力头来减少延迟，压缩用于移动部署的 BERT 模型当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
實踐中的注意力推出和頭部修剪
透過追蹤從預測到敏感輸入標記的注意力流來審核模型的偏差。
通过跟踪从预测到敏感输入标记的注意力流来审核模型是否存在偏差当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
實踐中的注意力推出和頭部修剪
透過刪除透過敏感度分數識別的低重要性頭部，加速生產翻譯系統中的推理。
通过删除通过敏感性评分识别出的低重要性头来加速生产翻译系统中的推理当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。