引導式測驗 · 硬 等級

用於可解釋性測驗的稀疏自動編碼器

檢查稀疏自動編碼器重建和稀疏性、激活特徵、寬度擴展、特徵分割和因果轉向實驗。

問題 1 的 8

在模型的啟動上訓練稀疏自動編碼器的主要目的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在模型的啟動上訓練稀疏自動編碼器的主要目的是什麼?
    • 將纏結的活化分解為可解釋的、大部分隔離的特徵
    • 壓縮模型,使其運行得更快
    • 在語言之間翻譯文本
    • 提高模型在基準測試中的準確性
  2. SAE 的稀疏性懲罰如何影響隱藏單元激活?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. 2024 年將 SAE 擴展到 Claude 3 Sonnet 時,Anthropic 大約提取了多少個特徵?
    • 約500
    • 約2,000
    • 約3400萬
    • 約1000億
  4. 「金門Claude」示範展示了什麼?
    • SAE 只能在影像上進行訓練
    • 該模型無法再生成文本
    • 此功能對輸出沒有影響
    • 將單一特徵限制在高因果關係上可以引導模型的行為
  5. 為什麼 SAE 中的隱藏層通常比它重建的活化層寬得多?
    • 因為概念疊加的維度比它們真正需要的要少,所以更多的單元有助於理清它們
    • 為了讓訓練更便宜
    • 因為較寬的層數總是較準確
    • 減少參數數量
  6. 目前稀疏自動編碼器的已知限制是什麼?
    • 它們無法透過梯度下降進行訓練
    • 特徵分裂,一個概念分裂成許多單獨的特徵
    • 它們僅適用於卷積網絡
    • 它們消除了任何人工標記的需要
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input