引导式测验 · 硬 等级

RMSNorm 和预层标准化测验

检查 RMSNorm 统计数据、Pre-LN 布局、剩余路径和查询键规范化，而不会混淆这些独立的设计选择。

相关引导路径Rmsnorm 和预层归一化
问题 1 的 8

与标准 LayerNorm 相比，RMSNorm 省略了什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 与标准 LayerNorm 相比，RMSNorm 省略了什么？
    • 平均减法（重新居中）
    • 学习到的尺度参数
    • 剩余连接
    • Softmax 运算
  2. RMSNorm 将每个激活向量除以什么数量？
    • 其方差
    • 其均方根
    • 其最大绝对值
    • 它的L1范数
  3. Pre-LN 在深度 Transformer 初始化时支持什么梯度行为？
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. 在 Pre-LN 块中，归一化层故意保持不变的路径是什么？
    • 前馈权重
    • 令牌嵌入
    • 输出softmax
    • 剩余（身份）连接
  5. 哪些现代开放权重模型系列默认使用 RMSNorm？
    • LLaMA、米斯特拉尔和奎文
    • AlexNet 和 VGG
    • ResNet 和 Inception
    • BERT-base 和原始 Transformer
  6. 什么是 RMSNorm 的最新应用“QK-norm”？
    • 标准化最终输出 logits
    • 将 RMSNorm 应用于注意力查询和键以控制 logit 增长
    • 量化键值缓存
    • 一种完全跳过标准化的方法
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block