引導式測驗 · 硬 等級

混合專家測驗

練習稀疏 MoE 路由、專家負載平衡和記憶體權衡,包括每個令牌的活動工作和總儲存參數之間的差異。

相關引導路徑專家薈萃
問題 1 的 8

在專家混合層中,什麼決定哪些專家處理給定的代幣?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在專家混合層中,什麼決定哪些專家處理給定的代幣?
    • 一個對專家進行評分的小型學習路由器(門控網路)
    • 訓練前設定固定的查找表
    • 使用者的提示長度
    • 每一步隨機抽取
  2. 為什麼 MoE 模型的總參數比密集模型多得多,而每個代幣的成本卻沒有相應增加?
    • 它將參數壓縮為單一共享權重
    • 它完全跳過注意力層
    • 每個代幣僅啟動少數專家(top-k)
    • 它運行每個專家但對結果進行平均
  3. MoE 訓練期間負載平衡(輔助)損失解決什麼問題?
    • 令牌對於上下文視窗來說太長
    • 路由器過度使用了一些專家,而讓其他專家挨餓
    • 梯度在註意力集中消失
    • 與驗證集過度擬合
  4. Mixtral 8x7B 每個代幣都會啟動 8 個專家中的 2 個。這對於它的計算量和大小意味著什麼?
    • 每個代幣都使用全部 8 位專家的計算
    • 它的總參數比 7B 密集模型少
    • 它根本無法在 GPU 上運行
    • 每個代幣的活躍計算量遠小於其參數總數所顯示的值
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0.5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters