引導式測驗 · 中等 等級
線性探測和凍結特徵評估測驗
檢查線性探頭測量的內容、如何比較冷凍層以及為什麼探頭精度本身無法建立因果使用或穩健性。
問題 1 的 8
在標準線性探針中,哪些參數在訓練期間會更新?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在標準線性探針中,哪些參數在訓練期間會更新?
- 只有上面新加入的線性分類器
- 整個主幹加上線性層
- 只有主幹,分類器保持固定
- 嵌入層和最終的注意力塊
- 高線性探測準確率最直接顯示了什麼?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- 與完全微調相比,線性探測的吸引力主要在於:
- 每項任務都更準確
- 保證更好地推廣分佈
- 計算和內存更便宜,並且可以更清晰地讀取特徵質量
- 使用預訓練模型的唯一方法
- 探測變壓器時常見的經驗發現是:
- 最後一層始終提供最佳的探針精度
- 探測僅適用於卷積網絡
- 層選擇永遠不會影響探測結果
- 中間層的傳輸性能通常優於最後一層
- 除了基準測試之外,線性探針也越來越多地用於解釋:
- 檢測諸如真實性之類的概念是否被編碼在隱藏狀態中
- 壓縮模型以進行移動部署
- 在預訓練期間更換優化器
- 自動產生新的訓練數據
- 解釋高探針準確度時的一個關鍵方法風險是:
- 骨幹偷偷堅持訓練
- 該探測器可能利用的是虛假相關性,而不是真正的概念
- 線性探頭不能過擬合
- 不能使用交叉熵損失
- 若要用線性探測比較兩個骨幹層,哪些部分應該保持一致?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- 為什麼在探測評估中可能會使用特徵正規化與學習率搜尋?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison