Mamba と選択的状態空間
Mamba は、線形時間でテキストを処理する状態空間モデル (SSM) に基づいて構築されたシーケンス モデルであり、Transformer の二次アテンションに代わる高速な代替手段を提供します。
概要
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
ディープダイブ
2023 年後半に Albert Gu 氏と Tri Dao 氏によって導入された Mamba は、構造化された状態空間モデルに基づいて構築されています。古典的な SSM は、シーケンスの履歴全体を固定サイズの非表示状態に圧縮し、洗練されたリカレント ネットワークのように段階的に更新します。画期的な点は選択性です。Mamba は SSM のパラメーター (どのくらい保持するか、どのくらい入れるか) を現在のトークンに依存させるため、モデルは関連する単語に焦点を当て、フィラーを無視できます。これにより、1 つの固定サイズの状態がコンテンツ対応メモリのように機能します。すべてのトークンを他のすべてのトークンと比較することを回避するため、Mamba はシーケンスの長さに応じて線形にスケールし、ゲノム、オーディオ、または本ほどの長さのテキストなどの非常に長い入力でも高速に動作します。
技術的な洞察
状態空間モデルは、行列 A、B、C およびステップ サイズ デルタによって定義される連続線形システムを通じて、入力シーケンスを出力にマッピングします。以前の SSM はこれらを固定しており、高速な畳み込みビューを可能にしていました。 Mamba は、入力の B、C、およびデルタ関数を作成します。これにより、畳み込みのショートカットが中断されます。そのため、代わりに、高速 GPU SRAM に保持されるハードウェア対応の並列スキャンを使用して、入力依存のメモリを獲得しながら速度を回復します。
戦略的影響
速度とスケール
言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
アクセスと到達範囲
言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
より明確な判決
自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
Mamba の未来と選択的状態空間
Mamba とその後継の Mamba-2 は、少数のアテンション レイヤーと多数の SSM レイヤーをインターリーブし、両方の長所を取り込むハイブリッド アーキテクチャを推進しています。長いコンテキストのアシスタント、メモリが制限されているオンデバイス モデル、および DNA やオーディオなどの非テキスト ドメインでの SSM が期待されます。研究では、正確なリコールが必要なタスクにおいて純粋な SSM が Transformer に匹敵するかどうか、また最大のモデル サイズに対応できるかどうかが調査されています。
現実世界の実装
100 万トークンの Transformer は高価すぎる、非常に長い DNA 配列のモデリング
書籍全体を切り詰めることなく要約する、長い文脈の言語アシスタントを強化する
生の波形を効率的に処理するリアルタイムオーディオ生成と音声モデリング
オンデバイスまたはエッジの展開では、小規模な固定サイズの反復状態によりメモリが節約され、アテンション キャッシュが増大します。
リスクとガードレール
幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
実装ロードマップ
展開する前に、出力形式、トーン、品質基準を定義します。
正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
一か八かの成果物については人間によるレビュー チェックポイントを維持します。
失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mamba and Selective State Spaces quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
状態空間モデルと Mamba
よくある質問
What is Mamba and Selective State Spaces?
Mamba は、線形時間でテキストを処理する状態空間モデル (SSM) に基づいて構築されたシーケンス モデルであり、Transformer の二次アテンションに代わる高速な代替手段を提供します。その重要なトリックは、モデルが入力自体に基づいて何を覚え、何を忘れるかを選択的に決定することです。
標準の Transformer と比較した Mamba の主な計算上の利点は何ですか?
Mamba は全ペアのトークン比較を回避するため、そのコストは、attention のように二次関数的に増加するのではなく、シーケンスの長さに応じて直線的に増加します。
Mamba で「選択的」という言葉は何を指しますか?
選択性とは、B、C、デルタなどのパラメータが現在の入力の関数となり、内容を認識したメモリを提供することを意味します。
状態空間モデルはシーケンスの履歴をどのように表現するのでしょうか?
SSM は、RNN と同様に、過去を固定サイズの状態に折りたたむ再帰型モデルです。
以前の SSM が使用していた高速畳み込みショートカットを Mamba が使用できないのはなぜですか?
畳み込みビューには、固定 (時間不変) パラメーターが必要です。入力依存パラメータはそれを壊すので、Mamba は代わりに並列スキャンを使用します。
畳み込みのショートカットを失ったにもかかわらず、Mamba は高速を維持するためにどのようなテクニックを使用していますか?
Mamba は、スループットを回復するために高速 SRAM に中間状態を保持するハードウェア対応の選択スキャンを使用します。