引導式測驗 · 中等 等級
深度混合測驗
測試 MoD 的學習令牌路由器、固定 top-k 容量、跳過令牌的剩餘路徑、靜態形狀和因果路由保護措施。
問題 1 的 8
不同代幣的深度混合有何不同?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 不同代幣的深度混合有何不同?
- 每個令牌接收多少計算量(哪些層)
- 使用的詞彙
- 訓練資料集
- 輸出語言
- MoD 如何保持其計算預算可預測?
- 透過隨機刪除一半的模型權重
- 透過在每個區塊處理固定的前 k 部分代幣
- 透過對每個句子使用不同的模型
- 透過完全禁用注意力
- 路由器在給定區塊中未選擇的代幣會怎樣?
- 它們從序列中刪除
- 它們被發送到一個單獨的模型
- 他們透過剩餘連接跳過該塊,不變地通過
- 它們被轉換為圖像
- 哪個實驗室發表了深度混合技術?
- 2019 年OpenAI
- 2015 年Meta
- 2012 年Microsoft
- Google DeepMind 2024 年
- 將 MoD 與 Mixture-of Experts 結合會產生什麼結果?
- MoDE,兼顧深度與專家選擇
- 沒有參數的模型
- 純卷積網絡
- 僅標記器系統
- 為什麼在 MoD 中固定的 top-k 優先於每個令牌閾值?
- 它使模型輸出隨機文本
- 它使張量形狀保持靜態,這在硬體上非常高效
- 它消除了培訓的需要
- 它增加了詞彙量
- 混合深度(Mixture-of-Depths)區塊中的學習型路由器有什麼作用?
- 為每個提示詞選擇新的模型系列
- 預測下一個訓練批次的標籤
- 對 Token 進行評分,以便區塊能選擇哪些 Token 接收完整的注意力與 MLP 計算
- 在推論時變更詞彙表大小
- 為什麼 MoD 中的因果生成會使用輔助預測器進行路由?
- 讓模型在生成之前先讀取整個答案
- 移除固定的 top-k 計算預算
- 將序列轉換為圖片
- 在不查看未來 Token 的情況下做出路由決策