引导式测验 · 硬 等级

用于可解释性测验的稀疏自动编码器

检查稀疏自动编码器重建和稀疏性、激活特征、宽度扩展、特征分割和因果转向实验。

相关引导路径稀疏自动编码器的可解释性
问题 1 的 8

在模型的激活上训练稀疏自动编码器的主要目的是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在模型的激活上训练稀疏自动编码器的主要目的是什么？
    • 将缠结的激活分解为可解释的、大部分隔离的特征
    • 压缩模型，使其运行得更快
    • 在语言之间翻译文本
    • 提高模型在基准测试中的准确性
  2. SAE 的稀疏性惩罚如何影响隐藏单元激活？
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. 2024 年将 SAE 扩展到 Claude 3 Sonnet 时，Anthropic 大约提取了多少个特征？
    • 约500
    • 约2,000
    • 约3400万
    • 约1000亿
  4. “金门Claude”演示展示了什么？
    • SAE 只能在图像上进行训练
    • 该模型无法再生成文本
    • 该功能对输出没有影响
    • 将单个特征限制在高因果关系上可以引导模型的行为
  5. 为什么 SAE 中的隐藏层通常比它重建的激活层宽得多？
    • 因为概念叠加的维度比它们真正需要的要少，所以更多的单元有助于理清它们
    • 为了让培训更便宜
    • 因为更宽的层数总是更准确
    • 减少参数数量
  6. 当前稀疏自动编码器的已知限制是什么？
    • 它们无法通过梯度下降进行训练
    • 特征分裂，一个概念分裂成许多单独的特征
    • 它们仅适用于卷积网络
    • 它们消除了任何人工标记的需要
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input