狀態空間模型和 Mamba
狀態空間模型（SSM）是透過壓縮隱藏狀態傳遞訊息的序列模型，隨序列長度線性縮放，而不是像注意力那樣二次縮放。
概述
Mamba is the 2023 architecture that made SSMs competitive with Transformers by letting that state-update process depend on the input, unlocking efficient handling of very long sequences.
深入探討
狀態空間模型逐步處理序列，維護一個隱藏狀態，該狀態總結了迄今為止所看到的所有內容。在每個位置，它透過學習矩陣（通常標記為 A、B、C）控制的線性遞歸更新狀態並發出輸出。像 S4 這樣的結構化 SSM 的突破表明，這種遞歸可以作為長卷積展開，並在平行硬體上進行有效訓練。 Mamba 的關鍵創新在於選擇性：它使 B、C 和步長參數成為當前輸入的函數，因此模型可以動態決定每個標記要記住什麼和忽略什麼。這種輸入依賴性犧牲了簡單的捲積，但透過硬體感知的平行掃描來恢復，從而提供線性時間訓練和恆定記憶體、快速推理。
技術洞察
定義的張力是並行性與選擇性。經典的 SSM 使用固定的、與輸入無關的矩陣，這使得遞歸可以作為一個大卷積來計算——極其並行，但無法選擇性地過濾內容。 Mamba 的選擇性參數打破了這種卷積技巧，因此作者構建了一個自定義並行掃描內核，將狀態保留在快速 GPU SRAM 中，並避免在慢速內存中實現它，從而在獲得內容感知推理的同時保持速度。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
狀態空間模型與 Mamba 的未來
Mamba 及其後繼者（Mamba-2、混合 Jamba 模型）正在進軍序列極長的領域：基因組學、高解析度音訊和百萬個令牌的環境，其中註意力的二次成本令人望而卻步。主導趨勢是混合架構，將幾個注意力層與許多 Mamba 層交織在一起，捕捉注意力的精確回憶，同時保持大多數運算的線性。預計 SSM 將成為長上下文工具包中的標準元件，而不是大規模的 Transformer 替代方案。
現實世界的實施
在基因組學中對數十萬個鹼基對長的 DNA 序列進行建模，其中 Transformer 注意力在計算上是不可行的。
以高取樣率處理語音和音樂任務的原始音訊波形，無需下取樣。
為 Jamba 等混合大型語言模型提供支持，該模型混合了 Mamba 和注意力層，以實現高效的長上下文理解。
在邊緣設備上進行流式推理，其中每個步驟的恆定記憶體和快速令牌生成比峰值精度更重要。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄狀態空間模型和 Mamba 在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the State Space Models and Mamba quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is State Space Models and Mamba?
狀態空間模型（SSM）是透過壓縮隱藏狀態傳遞訊息的序列模型，隨序列長度線性縮放，而不是像注意力那樣二次縮放。 Mamba 是 2023 年的架構，透過讓狀態更新流程依賴輸入，從而實現對超長序列的高效處理，從而使 SSM 與 Transformer 競爭。
与标准自注意力相比，状态空间模型如何随序列长度缩放？
SSM 以線性遞歸方式處理序列，並線性縮放長度，而自註意力則將每個標記與其他標記進行比較，並以二次方縮放。
Mamba 为 S4 等之前的结构化 SSM 添加的核心创新是什么？
Mamba 引入了选择性 SSM，其 B、C 和步长参数是输入的函数，让模型选择每个标记要记住的内容。
为什么 Mamba 需要自定义硬件感知并行扫描？
依赖于输入的（选择性）参数意味着递归不再是单个固定卷积，因此并行扫描内核可以恢复训练速度。
什麼架構趨勢將 Mamba 與 Transformers 結合起來用於長上下文模型？
像 Jamba 這樣的混合體將一些注意力層（為了精確召回）與許多線性時間 Mamba 層混合在一起，平衡了準確性和效率。