Mamba と選択的状態空間に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 標準の Transformer と比較した Mamba の主な計算上の利点は何ですか?
   • 二次関数ではなく、シーケンスの長さに応じて線形にスケールします。
   • トレーニングデータは必要ありません
   • 画像に対してのみ機能します
   • 隠れた状態の必要性がなくなります
2. Mamba で「選択的」という言葉は何を指しますか?
   • どの GPU で実行するかを選択します
   • SSM パラメータは入力トークンに依存するため、何を覚えておくか忘れるかを選択できます
   • 名詞と動詞のみを選択します
   • 無視するトークンのサブセットをランダムに選択します
3. 状態空間モデルはシーケンスの履歴をどのように表現するのでしょうか?
   • 以前のすべてのトークンを明示的に保存することによって
   • すべてのペアにわたってアテンション マップを描くことによって
   • 履歴を固定サイズの非表示状態に圧縮することで段階的に更新されます
   • 履歴も残りません
4. 以前の SSM が使用していた高速畳み込みショートカットを Mamba が使用できないのはなぜですか?
   • 畳み込みはGPUでは違法であるため
   • パラメータがないので
   • トークンをランダムな順序で処理するため
   • パラメーターを入力依存のブレークにすると、時間不変の畳み込みが必要になるためです。
5. 畳み込みのショートカットを失ったにもかかわらず、Mamba は高速を維持するためにどのようなテクニックを使用していますか?
   • 高速 GPU メモリに保持されるハードウェア対応の並列スキャン
   • 完全に CPU 上で実行される
   • すべてのトークンペアをキャッシュする
   • シーケンスの大部分をスキップする
6. Mamba を導入したのは誰で、おおよそいつですか?
   • OpenAI (2018 年)
   • アルバート・グーとトリダオ、2023年後半
   • Google (2015 年)
   • 誰も、それは仮説です
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input