引導式測驗 · 硬 等級

SwiGLU 和門控啟動測驗

測試門控投影、SiLU 閘、參數成本權衡以及當 SwiGLU 取代標準 MLP 時隱藏寬度發生變化的原因。

相關引導路徑Swiglu 和門控激活
問題 1 的 8

什麼核心操作定義了門控線性單元?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼核心操作定義了門控線性單元?
    • 將一個投影與激活的第二個投影按元素相乘
    • 將兩個線性投影相加
    • 連結注意力頭
    • 將啟動除以其範數
  2. SwiGLU 的閘門分支使用哪個激活函數?
    • ReLU
    • 咻咻 (SiLU)
    • 譚
    • 软最大
  3. SwiGLU 前饋模組使用多少個權重矩陣?
    • 一
    • 兩個
    • 三
    • 四
  4. 為什麼 SwiGLU 層中的隱藏維度通常會縮放至約三分之二?
    • 提高數值精度
    • 使模型更深
    • 消除標準化的需要
    • 儘管有額外的矩陣,但仍保持總參數和 FLOP 與標準 MLP 相當
  5. 與 ReLU 相比,Swish 的一個獨特屬性是:
    • 平滑且非單調,允許小的負值
    • 嚴格增加且上限為 1
    • 與 sigmoid 函數相同
    • 僅針對正輸入定義
  6. 誰在 2020 年推廣了 SwiGLU 作為變壓器前饋層?
    • 傑弗裡·辛頓
    • 諾姆·沙澤爾
    • 嚴樂存
    • 安德烈·卡帕蒂
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs