引导式测验 · 中等 等级

权重初始化测验

检查对称性破坏、扇入和扇出缩放、Xavier 和 He 初始化、ReLU 补偿和零偏差。在深度模型中。

相关引导路径权重初始化
问题 1 的 8

为什么将所有权重初始化为零是一个致命错误？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 为什么将所有权重初始化为零是一个致命错误？
    • 所有神经元都接收相同的梯度并且从不分化（对称性没有被破坏）
    • 它使训练太快
    • 导致损失变为负值
    • 它使用了太多内存
  2. 他（Kaiming）的初始化是专门为哪个激活函数设计的？
    • 乙状结肠
    • ReLU
    • 谭
    • 软最大
  3. 有原则的权重初始化方案的主要目标是什么？
    • 使所有权重相等
    • 将每个权重设置为 1
    • 保持各层激活和梯度的方差大致恒定
    • 消除对数据的需求
  4. Xavier (Glorot) 初始化最适合使用哪些激活的网络？
    • ReLU 及其变体
    • 仅线性激活
    • 根本没有激活
    • tanh 和 sigmoid
  5. 为什么 He 初始化使用方差 2 / fan_in 而不是 1 / fan_in？
    • 为了补偿 ReLU，将其输入的大约一半设置为零
    • 无缘无故地增大权重
    • 减少参数数量
    • 为了匹配批量大小
  6. 当权重随机初始化时，偏差通常如何初始化？
    • 非常大的正值
    • 为零，因为对称性已被随机权重破坏
    • 与学习率相同的值
    • 大于权重的随机值
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32