ガイド連動クイズ · ハード レベル

状態空間モデルと Mamba クイズ

状態空間シーケンスの複雑さ、Mamba の選択性、ハードウェア認識スキャン、反復推論状態、およびハイブリッド モデルをテストします。

関連するガイドパス状態空間モデルと Mamba
質問 1 の 8

標準的な自己注意と比較して、状態空間モデルはシーケンスの長さに応じてどのようにスケールされるのでしょうか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 標準的な自己注意と比較して、状態空間モデルはシーケンスの長さに応じてどのようにスケールされるのでしょうか?
    • 線形、対注意の二次スケーリング
    • 二次的、対注意の線形スケーリング
    • どちらも同じようにスケールします
    • 両方とも指数関数的に
  2. Mamba が S4 などの以前の構造化 SSM に追加した中心的な革新は何ですか?
    • 内部でのソフトマックス アテンションの使用
    • 状態更新パラメータを入力 (選択性) に依存させる
    • 非表示状態を完全に削除する
    • 2次時間演算への切り替え
  3. なぜ Mamba はハードウェア対応のカスタム並列スキャンを必要としたのでしょうか?
    • GPU は行列乗算を実行できないため、
    • レイヤーの数を減らすには
    • パラメータを入力依存にすることは単純な畳み込みトリックを壊すためです
    • 学習したパラメータを使用しないため
  4. 推論中に、Mamba のような SSM の主な効率上の利点は、以下を使用することです。
    • KV キャッシュのように、シーケンス全体の長さとともに増加するメモリ
    • まったく記憶がない
    • 同じサイズの Transformer よりも多くのメモリを搭載
    • 生成されたトークンごとにほぼ一定のメモリ
  5. 古典的な構造化 SSM (選択性以前) では、次のように書き換えることができるため、再帰を効率的に計算できます。
    • 長い畳み込み
    • ソフトマックス動作
    • デシジョンツリー
    • ランダムフォレスト
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • ザ・パイル
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation