羅吉特透鏡與調諧透鏡
Logit 透鏡和調諧透鏡是可解釋性技術，可逐層查看 Transformer 的隱藏狀態，以了解模型在產生最終答案之前「思考」的內容。
概述
They reveal how a prediction gradually forms as information flows up through the network.
深入探討
轉換器逐步建立其答案：每一層都會添加到正在運行的“剩餘流”，該“剩餘流”僅在最後轉換為單字機率。 nostalgebraist 在 2020 年推出的 logit 透鏡透過將模型的最終非嵌入（和層範數）直接應用於中間層來簡化這一過程，因此您可以讀出網路在每個深度的最佳猜測。這通常表示答案在中後期層中具體化。調諧透鏡（Belrose 及其同事，2023）對此進行了改進，透過訓練每層一個小型仿射探針將隱藏狀態轉換為最終基礎，修復原始 Logit 透鏡所遭受的偏差和不準確性，特別是在早期層和不同模型系列中。
技術洞察
兩種方法都利用了殘差流視圖：每一層都將附加更新寫入共享向量，該向量稍後將非嵌入矩陣投影到詞彙邏輯。 Logit 透鏡重複利用了中間狀態的精確去嵌入，無需額外的訓練。相反，經過調整的透鏡會學習每層線性圖（一個學習的「翻譯器」），因此每一層的狀態都會轉換為最終層期望的格式，從而產生更平滑、更忠實和更低困惑度的預測。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
Logit 鏡頭和調諧鏡頭的未來
鏡頭技術正在成為追蹤事實、拒絕或偏見如何在深度上出現的標準，以及用於發現模型何時「知道」答案的早期方法。期望它們與稀疏自動編碼器和因果修補相結合，從描述預測轉向解釋機制。研究還在探索中間讀數是否揭示了模型在其最終輸出中隱藏的潛在知識或欺騙，使鏡頭成為安全審計和預警監控的候選構建塊。
現實世界的實施
使用 Logit 鏡頭觀察事實答案，例如模型中間層中出現的首都城市
應用調諧透鏡來比較不同模型系列如何收斂於跨深度的預測
檢測模型在輸出之前的幾層內部已「決定」答案
診斷有害或有偏見的標記預測首先在殘差流中占主導地位的層
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Logit Lens and Tuned Lens?
Logit 透鏡和調諧透鏡是可解釋性技術，可逐層查看 Transformer 的隱藏狀態，以了解模型在產生最終答案之前「思考」的內容。它們揭示了隨著資訊在網路中流動，預測是如何逐漸形成的。
Logit鏡頭有什麼作用？
Logit 透鏡透過現有的非嵌入來投影中間殘差流狀態，以查看模型在每個深度的預測標記。
與原始 Logit 鏡頭相比，調諧鏡頭增加了哪些關鍵改進？
調諧透鏡學習每層線性轉換器，糾正偏差並提供比原始 Logit 透鏡更忠實、更低困惑度的讀數。
變壓器中的什麼結構使這些鏡頭成為可能？
每層都會將附加更新寫入共享殘差流，因此早期預測該流近似於中間預測。
誰推出了最初的 Logit 鏡頭，大概是什麼時候推出的？
logit 透鏡是由 nostalgebraist 在 2020 年分析 GPT-2 中間預測的部落格文章中引入的。
Logit鏡頭常常在哪裡顯示出最終答案「結晶」？
讀數通常會顯示隨著計算的累積，正確的標記在中後期層中獲得的機率。