機械可解釋性
機械可解釋性是將神經網路的內部計算逆向工程為人類可理解的演算法的努力。
概述
Rather than asking 'which input mattered,' it asks 'what is this network actually computing, circuit by circuit?'
深入探討
像 SHAP 這樣的方法解釋輸入和輸出，而機械可解釋性打開了盒子並研究權重和激活本身。研究人員（尤其是 Anthropic、OpenAI 和學術界）將 Transformer 視為要反編譯的程序，識別「電路」：實現特定功能的神經元和注意力頭的子圖。具有里程碑意義的發現包括“歸納頭”，即複製模式以實現上下文學習的注意力頭，以及發現單個神經元通常是“多語義的”，會觸發許多不相關的概念，因為模型包含的特徵多於維度（疊加）。現在使用稀疏自動編碼器將它們分解為更清晰、單語義的“特徵”，例如在金門大橋上啟動的方向。
技術洞察
一個核心障礙是疊加：具有 d 個維度的網路可以透過將它們儲存為幾乎正交的方向來表示遠遠多於 d 個的特徵，因此單一神經元會激發不相關的概念。稀疏自動編碼器透過學習一個過完備的字典來解決這個問題，該字典一次僅使用幾個活動單元來重建激活，從而呈現可解釋的特徵。然後，研究人員透過因果乾預、消融或「修補」活化來驗證電路，以確認某個組件確實執行了假設的計算。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
機械可解釋性的未來
機械可解釋性是人工智慧安全的核心：了解內部結構可以讓我們審核模型是否有欺騙，偵測危險功能，並透過直接編輯特徵來引導行為。近期工作重點是將稀疏自動編碼器擴展到前沿模型、自動化電路發現以及建立可靠的「特徵字典」。我們的理想目標是“神經網路的 MRI”，這是一種在部署之前讀取模型推理的方法，儘管忠實地解釋數十億參數的系統仍然是一個重大的開放挑戰。
現實世界的實施
Anthropic 從 Claude 中提取了數百萬個可解釋的特徵，並表明放大單個「金門大橋」特徵會使模型著迷地提及這座橋，展示了直接的行為轉向。
研究人員在變壓器中發現了複製並延續重複標記模式的“感應頭”，解釋了上下文學習背後的關鍵機制。
啟動補丁用於本地化模型儲存事實的位置（例如，一個國家的首都），揭示負責的特定層和組件。
安全團隊探測內部特徵，以偵測模型是否代表欺騙或不安全指令等概念，從而實現有針對性的監控或介入。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mechanistic Interpretability quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Mechanistic Interpretability?
機械可解釋性是將神經網路的內部計算逆向工程為人類可理解的演算法的努力。它不是問“哪個輸入重要”，而是問“這個網路逐條電路實際計算的是什麼？”
機械可解釋性的中心目標是什麼？
機械可解釋性旨在理解網路內部實現的實際演算法，而不僅僅是輸入輸出關係。
神經網路中的「疊加」指的是什麼？
疊加透過將概念儲存為幾乎正交的重疊方向，使網路能夠編碼比其神經元/維度更多的概念，從而產生多語義神經元。
什麼是「感應頭」？
感應頭偵測目前標記的先前出現並複製其後的內容，這是實現情境學習的關鍵機制。
研究人員如何確認發現的電路確實執行了假設的計算？
啟動補丁或消融等因果方法測試更改組件是否實際上改變了相關行為，從而驗證其作用。
為什麼機械可解釋性被認為對人工智慧安全很重要？
了解內部功能和電路可以對欺騙或危險功能進行審核，並允許有針對性的干預，支援更安全的部署。