引導式測驗 · 硬 等級
混合專家測驗
練習稀疏 MoE 路由、專家負載平衡和記憶體權衡,包括每個令牌的活動工作和總儲存參數之間的差異。
問題 1 的 8
在專家混合層中,什麼決定哪些專家處理給定的代幣?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在專家混合層中,什麼決定哪些專家處理給定的代幣?
- 一個對專家進行評分的小型學習路由器(門控網路)
- 訓練前設定固定的查找表
- 使用者的提示長度
- 每一步隨機抽取
- 為什麼 MoE 模型的總參數比密集模型多得多,而每個代幣的成本卻沒有相應增加?
- 它將參數壓縮為單一共享權重
- 它完全跳過注意力層
- 每個代幣僅啟動少數專家(top-k)
- 它運行每個專家但對結果進行平均
- MoE 訓練期間負載平衡(輔助)損失解決什麼問題?
- 令牌對於上下文視窗來說太長
- 路由器過度使用了一些專家,而讓其他專家挨餓
- 梯度在註意力集中消失
- 與驗證集過度擬合
- Mixtral 8x7B 每個代幣都會啟動 8 個專家中的 2 個。這對於它的計算量和大小意味著什麼?
- 每個代幣都使用全部 8 位專家的計算
- 它的總參數比 7B 密集模型少
- 它根本無法在 GPU 上運行
- 每個代幣的活躍計算量遠小於其參數總數所顯示的值
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0.5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters