引导式测验 · 中等 等级
梯度消失和爆炸测验
检查链式法则梯度积、饱和度、循环序列长度、剩余路径和谱半径启发法的限制。
问题 1 的 8
反向传播中的什么数学运算是梯度消失和爆炸的根本原因？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 反向传播中的什么数学运算是梯度消失和爆炸的根本原因？
- 通过链式法则重复乘以每层因子
- 在单层上添加渐变
- 将损失除以批量大小
- 取权重的平方根
- 为什么 sigmoid 或 tanh 单位在饱和时会导致梯度消失？
- 它们的导数总是大于一
- 它们的导数在饱和区域变小，因此重复的链式法则乘积会缩小
- 他们从反向传播中删除了链式法则
- 他们迫使每个重量为零
- 哪种架构受长序列梯度问题的影响最严重？
- 两层感知器
- 单一线性回归
- 循环神经网络在多个时间步上展开
- 一个查找表
- 看到训练损失突然变成 NaN 最有可能表明哪个问题？
- 梯度消失
- 完美融合
- 学习率太小
- 梯度爆炸
- 残余（跳过）连接如何帮助解决梯度消失问题？
- 他们为梯度提供了一条直接向后的捷径，绕过了缩小乘法
- 他们消除了所有非线性
- 他们自动提高学习率
- 他们删除早期图层
- 在对重复多个步骤的循环线性变换进行简化分析时，什么矩阵量是增长与衰减的粗略信号？
- 相对于批量大小的矩阵迹
- 相对于 1 的光谱半径
- 单独隐藏单元的数量
- 与学习率相关的决定因素
- 在许多层中的每一层，反向传播的梯度乘以低于一的因子。您应该期待什么趋势？
- 它必须恰好变成一个
- 无论因素如何，它都会呈指数增长
- 信号会随着深度呈指数级收缩
- 一步后它停止依赖于较早的层
- 为什么循环网络在长序列上特别容易受到攻击？
- 网络没有隐藏状态
- 输出层仅使用一次
- 序列的处理无需链式法则
- 循环变换在时间步长内重复应用，复合其梯度效应