引导式测验 · 中等 等级
渐变裁剪测验
检查差分私人训练中的范数和值裁剪、方向保留、爆炸梯度控制和每个示例裁剪。
问题 1 的 8
在限制更新的同时，按范数裁剪梯度裁剪主要保留什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 在限制更新的同时，按范数裁剪梯度裁剪主要保留什么？
- 整体梯度更新的方向
- 每个梯度的确切大小
- 模型参数个数
- 学习率表
- 在阈值 c 的按范数剪辑中，当梯度范数 g_norm 超过 c 时会发生什么？
- 梯度设置为零
- 每个梯度乘以 c / g_norm
- 训练停止
- 学习率翻倍
- 梯度裁剪是专门为了解决哪个问题而设计的？
- 梯度消失
- 数据加载缓慢
- 梯度爆炸
- 与验证集过度拟合
- 按值剪辑与按规范剪辑有何不同？
- 它始终保留更新方向
- 它只适用于卷积层
- 它完全消除了渐变
- 它将每个梯度分量独立地钳位到一个范围内，这可以改变方向
- 一个小批量（minibatch）产生了异常大的全局梯度范数。在优化器更新之前，clip-by-norm（按范数裁剪）会做什么？
- 当范数超过配置的阈值时，将完整的梯度向量按比例缩小至该阈值
- 更改模型的标签
- 独立丢弃每个梯度分量
- 提高学习率，直到损失恢复
- 在差分隐私训练（DP-SGD）中，每个示例的梯度裁剪发挥什么作用？
- 它对数据进行加密
- 它限制了每个示例的影响，因此校准噪声可以保证隐私
- 它增加了批量大小
- 它消除了对损失函数的需要
- 全局梯度范数是裁剪阈值 c 的两倍。梯度缩放的倍数是多少？
- 两个
- 四分之一
- 二分之一（c 除以 2c）
- 保持不变
- 为什么 DP-SGD 在添加校准噪声之前要裁剪每个样本的梯度？
- 使所有样本具有相同的标签
- 消除对隐私预算的需求
- 增加稀有类别梯度的范数
- 限制单个样本对发布的更新的影响