引導式測驗 · 中等 等級

Jamba 混合變壓器-Mamba 模型問答

查看原始 Jamba 混合層、專家混合路由、循環狀態、注意力緩存增長和特定於工作負載的長上下文評估。

問題 1 的 8

Jamba 交錯哪兩種核心層型?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Jamba 交錯哪兩種核心層型?
    • 卷積層與池化層
    • RNN 和 CNN 層
    • Transformer 注意力與 Mamba 狀態空間圖層
    • 擴散層和注意力層
  2. Jamba 使用什麼附加技術來增加容量,同時保持較低的活動參數?
    • 混合式專家 (MoE)
    • 知識蒸餾
    • 量化感知訓練
    • 從人類回饋中強化學習
  3. Mamba 層的循環表示與注意力層的 KV 快取有何不同?
    • 它從記憶體中刪除每個模型參數
    • 它跳過第一個標記之外的所有標記
    • 它儲存每個早期注意力矩陣的獨立完整副本
    • 它維護固定大小的循環狀態,而不是保留一組不斷增長的過去的鍵和值
  4. 第一個 Jamba 模型支援什麼上下文視窗?
    • 4K代幣
    • 256K 代幣
    • 32K 代幣
    • 800 萬個代幣
  5. 在 Jamba 式混合中保留注意力組件和狀態空間層的原因是什麼?
    • 結合不同的存取和代表機制,同時評估其品質效率權衡
    • 保證每項任務中每個令牌的完美檢索
    • 使所有註意力計算獨立於序列長度
    • 消除任何模型評估的需要
  6. 應如何評估 Jamba 報告的長上下文記憶體優勢以進行部署?
    • 假設每個 256K 請求適合任何單一 GPU
    • 僅計算循環狀態,而忽略權重和注意力緩存
    • 測量實際模型、精度、批次大小、上下文和硬體配置
    • 將每個混合模型視為具有零序列狀態成本
  7. 原始 Jamba 使用許多 Mamba 層是否會使整個模型的序列記憶體隨著輸入長度的增長而保持不變?
    • 是的;每個混合注意力快取都有固定的單令牌大小
    • 不;其保留的注意力層仍然儲存著不斷增長的 KV 緩存
    • 是的;一旦序列變長,模型權重就會消失
    • 僅標記器的檔案大小發生變化
  8. 為什麼 Jamba 中的總 MoE 參數和每個代幣的活動參數數量不同?
    • 每個儲存的專家在不活動時都必須刪除
    • 無論路由如何,令牌都必須運行所有專家
    • 模型支援的上下文直接設定其詞彙量大小
    • 路由只能為每個令牌啟動儲存的專家子集