引导式测验 · 中等 等级

线性探测和冻结特征评估测验

检查线性探头测量的内容、如何比较冷冻层以及为什么探头精度本身无法建立因果使用或稳健性。

相关引导路径线性探测和冻结特征评估
问题 1 的 8

在标准线性探针中，哪些参数在训练期间会更新？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在标准线性探针中，哪些参数在训练期间会更新？
    • 只有上面新添加的线性分类器
    • 整个主干加上线性层
    • 只有主干，分类器保持固定
    • 嵌入层和最终的注意力块
  2. 高线性探测准确率最直接地表明了什么？
    • The backbone causally uses the feature for every prediction
    • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
    • The representation is robust to every distribution shift
    • The probe has identified a human-interpretable mechanism
  3. 与完全微调相比，线性探测的吸引力主要在于：
    • 每项任务都更加准确
    • 保证更好地推广分布
    • 计算和内存更便宜，并且可以更清晰地读取特征质量
    • 使用预训练模型的唯一方法
  4. 探测变压器时的一个常见经验发现是：
    • 最后一层始终提供最佳的探针精度
    • 探测仅适用于卷积网络
    • 层选择永远不会影响探测结果
    • 中间层的传输性能通常优于最后一层
  5. 除了基准测试之外，线性探针越来越多地用于解释：
    • 检测诸如真实性之类的概念是否被编码在隐藏状态中
    • 压缩模型以进行移动部署
    • 在预训练期间更换优化器
    • 自动生成新的训练数据
  6. 解释高探针准确度时的一个关键方法风险是：
    • 骨干偷偷坚持训练
    • 该探测器可能利用的是虚假相关性，而不是真正的概念
    • 线性探头不能过拟合
    • 不能使用交叉熵损失
  7. 要使用线性探测比较两个骨干层，什么应该保持一致？
    • The feature vectors from each layer
    • The layer being evaluated
    • The task labels, data split and probe-training protocol
    • The activation values themselves
  8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
    • To update the frozen backbone
    • To add hidden nonlinear layers to the probe
    • To guarantee the concept is causally used
    • To reduce optimization and scale effects that could distort the representation comparison