引导式测验 · 硬 等级

SwiGLU 和门控激活测验

测试门控投影、SiLU 门、参数成本权衡以及当 SwiGLU 替换标准 MLP 时隐藏宽度发生变化的原因。

相关引导路径Swiglu 和门控激活
问题 1 的 8

什么核心操作定义了门控线性单元？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 什么核心操作定义了门控线性单元？
    • 将一个投影与激活的第二个投影按元素相乘
    • 将两个线性投影相加
    • 连接注意力头
    • 将激活除以其范数
  2. SwiGLU 的门分支使用哪个激活函数？
    • ReLU
    • 嗖嗖 (SiLU)
    • 谭
    • 软最大
  3. SwiGLU 前馈模块使用多少个权重矩阵？
    • 一
    • 两个
    • 三
    • 四
  4. 为什么 SwiGLU 层中的隐藏维度通常缩放至约三分之二？
    • 提高数值精度
    • 使模型更深
    • 消除标准化的需要
    • 尽管有额外的矩阵，但仍保持总参数和 FLOP 与标准 MLP 相当
  5. 与 ReLU 相比，Swish 的一个独特属性是：
    • 平滑且非单调，允许小的负值
    • 严格增加且上限为 1
    • 与 sigmoid 函数相同
    • 仅针对正输入定义
  6. 谁在 2020 年推广了 SwiGLU 作为变压器前馈层？
    • 杰弗里·辛顿
    • 诺姆·沙泽尔
    • 严乐存
    • 安德烈·卡帕蒂
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs