引导式测验 · 硬 等级
激活指导和表示工程测验
检查如何估计激活引导向量，如何在推理和缩放中应用，以及依赖于提示的泛化的风险。
问题 1 的 8
激活转向在模型运行的哪个点进行干预？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 激活转向在模型运行的哪个点进行干预？
- 在推理时，通过修改隐藏激活
- 仅在预训练期间
- 数据收集期间
- 仅在打印输出文本后
- 通常如何计算转向矢量？
- 通过随机初始化矩阵
- 作为对比正面和负面提示的激活之间的平均差异
- 通过从模型中删除图层
- 通过计算提示中的标记
- 哪个假设是激活转向起作用的基础？
- 模型将数据存储为纯文本的想法
- 相信所有神经元都是相同的
- 线性表示假设，许多特征大致是线性方向
- 模型不能代表概念的主张
- 转向矢量控制的比例系数是多少？
- 模型的词汇量大小
- 模型中的层数
- 训练学习率
- 将行为推向所选方向的强度有多大
- 过于激进地操纵模型的已知风险是什么？
- 输出一致性和能力可能会降低
- 模型自动训练
- 文件大小不受控制地增长
- 它永久重写权重
- 哪种技术通常与转向结合使用来寻找可解释的特征来进行夹紧？
- JPEG 压缩
- 将激活分解为特征的稀疏自动编码器
- 域名注册
- 磁盘碎片整理
- 激活转向与微调模型权重有何不同？
- 它在新标记的数据集上重新训练模型
- 它更改了分词器的词汇表
- 它在推理期间向隐藏激活添加向量，而不更新基础权重
- 它用分类器替换了注意力层
- 转向向量仅对用于计算它的提示有效，而对其他主题无效。这说明了哪种局限性？
- 向量必须是优化器状态
- 转向始终需要微调
- 残差流中不包含任何特征
- 从一组提示中发现的方向可能无法推广到其他上下文