引導式測驗 · 中等 等級

深度混合測驗

測試 MoD 的學習令牌路由器、固定 top-k 容量、跳過令牌的剩餘路徑、靜態形狀和因果路由保護措施。

相關引導路徑深度混合
問題 1 的 8

不同代幣的深度混合有何不同?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 不同代幣的深度混合有何不同?
    • 每個令牌接收多少計算量(哪些層)
    • 使用的詞彙
    • 訓練資料集
    • 輸出語言
  2. MoD 如何保持其計算預算可預測?
    • 透過隨機刪除一半的模型權重
    • 透過在每個區塊處理固定的前 k 部分代幣
    • 透過對每個句子使用不同的模型
    • 透過完全禁用注意力
  3. 路由器在給定區塊中未選擇的代幣會怎樣?
    • 它們從序列中刪除
    • 它們被發送到一個單獨的模型
    • 他們透過剩餘連接跳過該塊,不變地通過
    • 它們被轉換為圖像
  4. 哪個實驗室發表了深度混合技術?
    • 2019 年OpenAI
    • 2015 年Meta
    • 2012 年Microsoft
    • Google DeepMind 2024 年
  5. 將 MoD 與 Mixture-of Experts 結合會產生什麼結果?
    • MoDE,兼顧深度與專家選擇
    • 沒有參數的模型
    • 純卷積網絡
    • 僅標記器系統
  6. 為什麼在 MoD 中固定的 top-k 優先於每個令牌閾值?
    • 它使模型輸出隨機文本
    • 它使張量形狀保持靜態,這在硬體上非常高效
    • 它消除了培訓的需要
    • 它增加了詞彙量
  7. 混合深度(Mixture-of-Depths)區塊中的學習型路由器有什麼作用?
    • 為每個提示詞選擇新的模型系列
    • 預測下一個訓練批次的標籤
    • 對 Token 進行評分,以便區塊能選擇哪些 Token 接收完整的注意力與 MLP 計算
    • 在推論時變更詞彙表大小
  8. 為什麼 MoD 中的因果生成會使用輔助預測器進行路由?
    • 讓模型在生成之前先讀取整個答案
    • 移除固定的 top-k 計算預算
    • 將序列轉換為圖片
    • 在不查看未來 Token 的情況下做出路由決策