引導式測驗 · 硬 等級
SwiGLU 和門控啟動測驗
測試門控投影、SiLU 閘、參數成本權衡以及當 SwiGLU 取代標準 MLP 時隱藏寬度發生變化的原因。
問題 1 的 8
什麼核心操作定義了門控線性單元?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 什麼核心操作定義了門控線性單元?
- 將一個投影與激活的第二個投影按元素相乘
- 將兩個線性投影相加
- 連結注意力頭
- 將啟動除以其範數
- SwiGLU 的閘門分支使用哪個激活函數?
- ReLU
- 咻咻 (SiLU)
- 譚
- 软最大
- SwiGLU 前饋模組使用多少個權重矩陣?
- 一
- 兩個
- 三
- 四
- 為什麼 SwiGLU 層中的隱藏維度通常會縮放至約三分之二?
- 提高數值精度
- 使模型更深
- 消除標準化的需要
- 儘管有額外的矩陣,但仍保持總參數和 FLOP 與標準 MLP 相當
- 與 ReLU 相比,Swish 的一個獨特屬性是:
- 平滑且非單調,允許小的負值
- 嚴格增加且上限為 1
- 與 sigmoid 函數相同
- 僅針對正輸入定義
- 誰在 2020 年推廣了 SwiGLU 作為變壓器前饋層?
- 傑弗裡·辛頓
- 諾姆·沙澤爾
- 嚴樂存
- 安德烈·卡帕蒂
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs