引导式测验 · 硬 等级
批量归一化测验
检查批量统计数据、仿射尺度和平移、运行平均值、小批量不稳定性以及 BatchNorm 与 LayerNorm 的不同之处。
问题 1 的 8
批量归一化归一化什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 批量归一化归一化什么？
- 跨当前小批量中的示例的层的输入
- 网络的最终输出标签
- 随着时间的推移学习率表
- 训练数据集的大小
- 为什么批量归一化包括可学习参数 gamma 和 beta？
- 增加数据集的大小
- 让网络扩展并移动标准化值，保留代表性能力
- 在训练过程中随机丢弃神经元
- 计算损失函数
- 批量标准化的常见实际好处是什么？
- 它消除了对任何训练数据的需要
- 它保证模型不会过拟合
- 它允许更高的学习率和更快、更稳定的收敛
- 它消除了对激活函数的需要
- 在推理时（预测新数据），批量标准化使用什么统计数据？
- 仅当前单个输入的均值和方差
- 每次随机生成统计数据
- 预先计算的测试集的统计数据
- 训练期间累积的均值和方差的运行平均值
- 为什么批量归一化对于非常小的批量大小表现不佳？
- 批量统计数据变得嘈杂且对真实分布的估计变得不可靠
- 小批量使模型太大而无法容纳在内存中
- 它禁用激活功能
- 小批量强制使用L1正则化
- 哪种归一化技术最常用于变压器架构中，作为批量归一化的替代方案？
- 辍学归一化
- 层归一化
- L2 损失归一化
- 渐变裁剪
- 为什么 BatchNorm 在推理过程中使用滑动平均值（running averages），而不是当前测试批次的统计数据？
- 为了在测试数据上重新训练模型
- 为了使所有激活值正好为零
- 为了使预测结果不依赖于同一批次中出现的其他样本
- 为了消除学习到的 gamma 和 beta 参数
- 根据指南，BatchNorm 通常放置在层块的什么位置？
- 仅在最终预测之后
- 在加载输入数据之前
- 在优化器更新内部
- 在线性变换与其激活函数之间