引導式測驗 · 硬 等級
用於可解釋性測驗的稀疏自動編碼器
檢查稀疏自動編碼器重建和稀疏性、激活特徵、寬度擴展、特徵分割和因果轉向實驗。
問題 1 的 8
在模型的啟動上訓練稀疏自動編碼器的主要目的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在模型的啟動上訓練稀疏自動編碼器的主要目的是什麼?
- 將纏結的活化分解為可解釋的、大部分隔離的特徵
- 壓縮模型,使其運行得更快
- 在語言之間翻譯文本
- 提高模型在基準測試中的準確性
- SAE 的稀疏性懲罰如何影響隱藏單元激活?
- It guarantees each unit represents exactly one concept
- It encourages only a small subset of the wider hidden layer to activate for an input
- It makes every hidden unit activate equally
- It removes the reconstruction objective
- 2024 年將 SAE 擴展到 Claude 3 Sonnet 時,Anthropic 大約提取了多少個特徵?
- 約500
- 約2,000
- 約3400萬
- 約1000億
- 「金門Claude」示範展示了什麼?
- SAE 只能在影像上進行訓練
- 該模型無法再生成文本
- 此功能對輸出沒有影響
- 將單一特徵限制在高因果關係上可以引導模型的行為
- 為什麼 SAE 中的隱藏層通常比它重建的活化層寬得多?
- 因為概念疊加的維度比它們真正需要的要少,所以更多的單元有助於理清它們
- 為了讓訓練更便宜
- 因為較寬的層數總是較準確
- 減少參數數量
- 目前稀疏自動編碼器的已知限制是什麼?
- 它們無法透過梯度下降進行訓練
- 特徵分裂,一個概念分裂成許多單獨的特徵
- 它們僅適用於卷積網絡
- 它們消除了任何人工標記的需要
- Which two objectives are commonly combined when training a sparse autoencoder?
- A policy gradient and value loss
- A next-token loss and a contrastive loss
- Reconstruction error and a penalty on hidden activations
- A calibration error and classification accuracy
- What does a TopK sparse autoencoder do to encourage sparsity?
- Keeps the K largest input pixels and discards the decoder
- Sets all encoder weights to zero
- Trains K different tokenizers
- Keeps only the K largest hidden activations for an input