引导式测验 · 硬 等级
清晰度感知最小化测验
检查 SAM 的两遍更新、其邻域半径、扰动权重梯度以及平坦度和计算之间的权衡。
问题 1 的 8
SAM 试图找到什么样的最小值？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- SAM 试图找到什么样的最小值？
- 一个平坦的最小值，其中权重邻域内的损失保持较低水平
- 尽可能锐利的最小值
- 参数最多的最小值
- 一步可达到的任何最小值
- 标准 SAM 步骤需要多少次前后传球？
- 半关
- 大约两个
- 正好一个
- 十个或更多
- SAM 中半径超参数 rho 控制什么？
- 学习率衰减速度
- 训练纪元数
- 防止损失峰值的权重周围邻域的大小
- 辍学概率
- SAM 每次迭代的两个步骤中的第一个步骤是什么？
- 缩小模型
- 平均过去所有步骤的权重
- 重置优化器状态
- 向最坏情况附近点采取 rho 大小的上升步长
- 为什么 SAM 通常可以提高对标签噪声的鲁棒性？
- 因为平坦的最小值不太容易记住损坏的标签
- 因为它会自动删除嘈杂的标签
- 因为它使用的词汇量更大
- 因为它使批量大小增加了三倍
- 其中哪一个是旨在降低 SAM 计算成本的变体？
- ReLU
- ESAM（高效 SAM）
- 批归一化
- 阿达格勒
- 在 SAM 的第二遍中，使用哪个梯度来更新原始模型权重？
- 随机标签的梯度
- 不评估扰动点的第一遍梯度
- 在扰动的附近权重处评估的梯度
- 来自不同模型检查点的梯度
- 如果 SAM 的邻域半径 rho 设置为零，它的扰动步长会发生什么？
- 模型参数全部设置为零
- 损失与权重无关
- 优化器采取无限步
- 没有权重扰动，因此邻域减小到当前点