概述
它們是打開“黑盒子”並了解模型實際代表什麼概念的領先技術之一。
深入探討
在變壓器內部,單一激活向量同時將數千個概念混合在一起,這使得它難以閱讀。稀疏自動編碼器是一個小型的兩層網絡,經過訓練可以透過寬隱藏層重建這些激活,但具有稀疏性懲罰,迫使其眾多神經元中的少數神經元一次被激活。由於這種壓力,每個隱藏單元往往專注於一個概念,例如「提及金門大橋」或「Python 代碼」。 2024 年,Anthropic 將其擴展為 Claude 3 Sonnet,提取了大約 3400 萬個特徵,OpenAI 和 DeepMind 發布了並行的 SAE 工作。然後,研究人員可以向上或向下固定某個功能,以因果性地測試它的作用。
現實世界的實施
Anthropic 的「金門 Claude」演示,其中放大單個 SAE 功能使模型在每次回復中都痴迷地引用這座橋
從 Claude 3 Sonnet 中提取並標記約 3400 萬個特徵,以繪製阿諛奉承、代碼錯誤和不安全行為等概念
尋找可在部署期間監控或引導的安全相關功能,例如欺騙、偏見或危險內容
透過檢查給定提示上啟動的可解釋功能來調試模型對輸入進行錯誤分類的原因
稀疏自動編碼器的可解釋性的未來
預計 SAE 將從研究好奇心轉向實用的審計和安全工具,包括標記功能和檢測欺騙性或不安全電路的儀表板。懸而未決的問題包括「特徵分裂」(一個概念分裂成多個概念)、缺失特徵以及在每一層前沿模型上訓練 SAE 的成本。交叉編碼器、轉碼器和俄羅斯娃娃 SAE 等較新的方向旨在同時捕獲跨層和多個粒度的計算。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是可解釋性稀疏自動編碼器?
稀疏自動編碼器 (SAE) 是一種工具,可將神經網路錯綜複雜的內部活化分解為更大的一組更清晰、人類可解釋的特徵。它們是打開“黑盒子”並了解模型實際代表什麼概念的領先技術之一。
在模型的啟動上訓練稀疏自動編碼器的主要目的是什麼?
SAE 透過寬闊、稀疏的隱藏層重建激活,以便各個單元傾向於對應於單一人類可理解的概念。
SAE 的稀疏性懲罰如何影響隱藏單元激活?
稀疏性鼓勵特徵選擇性活動,但並不保證完美的「一個神經元對應一個概念」表示。
2024 年將 SAE 擴展到 Claude 3 Sonnet 時,Anthropic 大約提取了多少個特徵?
Anthropic 的 2024 年「Scaling Monosemanticity」工作從生產模型中提取了大約 3400 萬個特徵。
「金門Claude」示範展示了什麼?
透過放大金門大橋的特徵,研究人員使模型固定在橋上,顯示特徵是因果槓桿,而不僅僅是標籤。
為什麼 SAE 中的隱藏層通常比它重建的活化層寬得多?
模型將許多概念打包到有限的維度中(疊加);一個過於完整、寬廣的 SAE 為每個概念空間提供了自己的單元。