引導式測驗 · 硬 等級

曼巴和選擇性狀態空間測驗

查看 Mamba 的輸入相關 SSM 參數、固定大小狀態、線性時間序列處理和硬體感知平行掃描。

問題 1 的 8

與標準 Transformer 相比,Mamba 的主要運算優勢是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 與標準 Transformer 相比,Mamba 的主要運算優勢是什麼?
    • 它隨序列長度線性縮放,而不是二次縮放
    • 它不需要訓練數據
    • 它僅適用於圖像
    • 它消除了對任何隱藏狀態的需要
  2. 《曼巴》中的「選擇性」一詞指的是什麼?
    • 它選擇在哪個 GPU 上運行
    • 它的SSM參數取決於輸入令牌,因此它可以選擇記住或忘記什麼
    • 它只選擇名詞和動詞
    • 它選擇一個隨機的標記子集來忽略
  3. 狀態空間模型如何表示序列的歷史?
    • 透過明確儲存每個先前的令牌
    • 透過在所有對上繪製注意力圖
    • 透過將歷史壓縮為固定大小的隱藏狀態逐步更新
    • 它不保留任何歷史記錄
  4. 為什麼 Mamba 不能使用早期 SSM 所使用的快速卷積捷徑?
    • 因為卷積在 GPU 上是非法的
    • 因為它沒有參數
    • 因為它以隨機順序處理令牌
    • 因為使參數依賴輸入會破壞時不變性卷積所需的
  5. 儘管失去了卷積捷徑,Mamba 使用什麼技術來保持速度?
    • 保存在快速 GPU 記憶體中的硬體感知平行掃描
    • 完全在CPU上運行
    • 緩存所有令牌對
    • 跳過大部分序列
  6. 誰介紹了曼巴?大概是什麼時候?
    • 2018 年OpenAI
    • Albert Gu 和 Tri Dao 於 2023 年底
    • 2015 年Google
    • 沒有人,這是假設的
  7. 哪個 Mamba 狀態空間參數會被設為目前輸入的函式?
    • 只有固定的轉移矩陣 A
    • 輸出詞彙表與分詞器
    • B、C 與步長 delta
    • 注意力的 query 與 key heads
  8. 變數 B、C 與 delta 參數讓 Mamba 能做什麼?
    • 為每個 token 建立不斷增長的鍵值快取
    • 只將每個 token 路由至專家網路
    • 以完整的全配對注意力取代狀態更新
    • 根據輸入決定讓多少資訊進入狀態以及保留多少資訊