引导式测验 · 中等 等级
层标准化测验
检查 LayerNorm 统计数据和仿射参数、其批量大小行为、epsilon、RMSNorm 和预范数放置。在深层网络中。
问题 1 的 8
层归一化通过什么计算其均值和方差？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 层归一化通过什么计算其均值和方差？
- 跨越单个示例的特征
- 在小批量中的所有示例中
- 跨越网络中的所有权重
- 跨越多个训练时期
- 为什么在 Transformer 中层归一化优于批量归一化？
- 它需要非常大的批量大小
- 它与批量大小无关并处理可变长度序列
- 它消除了对任何可学习参数的需要
- 仅在推理期间有效
- 可学习参数 gamma 和 beta 让 LayerNorm 做什么？
- 选择学习率
- 设置层数
- 重新缩放并移动归一化输出，以便网络可以恢复有用的表示
- 消除对激活函数的需要
- RMSNorm 与标准 LayerNorm 有何不同？
- 相反，它在批次中标准化
- 它不使用参数，也没有除法
- 它仅适用于图像
- 它跳过均值减法，仅除以均方根
- 层归一化主要帮助解决深度网络中的什么问题？
- 激活漂移到非常不同的规模，这会破坏训练的稳定性
- 磁盘空间不足
- 选择正确的数据集
- 加密模型权重
- 为什么“预规范”放置经常用于非常深的变压器？
- 它使模型更小
- 在每个子层之前进行归一化使深度堆栈的训练更容易、更稳定
- 它消除了注意力机制
- 它自动将学习率加倍
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling