引導式測驗 · 硬 等級
曼巴和選擇性狀態空間測驗
查看 Mamba 的輸入相關 SSM 參數、固定大小狀態、線性時間序列處理和硬體感知平行掃描。
問題 1 的 8
與標準 Transformer 相比,Mamba 的主要運算優勢是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 與標準 Transformer 相比,Mamba 的主要運算優勢是什麼?
- 它隨序列長度線性縮放,而不是二次縮放
- 它不需要訓練數據
- 它僅適用於圖像
- 它消除了對任何隱藏狀態的需要
- 《曼巴》中的「選擇性」一詞指的是什麼?
- 它選擇在哪個 GPU 上運行
- 它的SSM參數取決於輸入令牌,因此它可以選擇記住或忘記什麼
- 它只選擇名詞和動詞
- 它選擇一個隨機的標記子集來忽略
- 狀態空間模型如何表示序列的歷史?
- 透過明確儲存每個先前的令牌
- 透過在所有對上繪製注意力圖
- 透過將歷史壓縮為固定大小的隱藏狀態逐步更新
- 它不保留任何歷史記錄
- 為什麼 Mamba 不能使用早期 SSM 所使用的快速卷積捷徑?
- 因為卷積在 GPU 上是非法的
- 因為它沒有參數
- 因為它以隨機順序處理令牌
- 因為使參數依賴輸入會破壞時不變性卷積所需的
- 儘管失去了卷積捷徑,Mamba 使用什麼技術來保持速度?
- 保存在快速 GPU 記憶體中的硬體感知平行掃描
- 完全在CPU上運行
- 緩存所有令牌對
- 跳過大部分序列
- 誰介紹了曼巴?大概是什麼時候?
- 2018 年OpenAI
- Albert Gu 和 Tri Dao 於 2023 年底
- 2015 年Google
- 沒有人,這是假設的
- 哪個 Mamba 狀態空間參數會被設為目前輸入的函式?
- 只有固定的轉移矩陣 A
- 輸出詞彙表與分詞器
- B、C 與步長 delta
- 注意力的 query 與 key heads
- 變數 B、C 與 delta 參數讓 Mamba 能做什麼?
- 為每個 token 建立不斷增長的鍵值快取
- 只將每個 token 路由至專家網路
- 以完整的全配對注意力取代狀態更新
- 根據輸入決定讓多少資訊進入狀態以及保留多少資訊