ガイド連動クイズ · ハード レベル

多頭潜在的注意力クイズ

MLA の共有潜在キャッシュ、低ランク再構築、射影吸収、位置エンコーディング パス、および推論メモリの節約を探索します。

関連するガイドパスマルチヘッドの潜在的な注意力
質問 1 の 8

マルチヘッド潜在的注意が軽減するように設計されている主な問題は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. マルチヘッド潜在的注意が軽減するように設計されている主な問題は何ですか?
    • 推論中のキー/値キャッシュのメモリ コスト
    • トレーニングデータの不足
    • モデルパラメータの数
    • トークナイザーの語彙サイズ
  2. MLA はどのようにして KV キャッシュを縮小しますか?
    • 古いトークンをキャッシュから削除します
    • ヘッドごとの完全なキーと値の代わりに、小さな低ランクの潜在ベクトルを保存します。
    • すべてに 1 ビットの重みを使用します
    • 一部のトークンに対する注意を完全に無視します
  3. マルチヘッド潜在注意力を最初に導入したモデルはどれですか?
    • GPT-2
    • バート
    • ディープシーク V2
    • ラマ1
  4. MLA では、回転位置の埋め込みに別の「分離された」パスが必要なのはなぜですか?
    • 立場は注目とは無関係だから
    • RoPE では語彙が 2 倍になるため
    • オプティマイザを高速化するため
    • 回転はキーの残りの部分のように吸収された上方投影に折り畳むことができないため、
  5. DeepSeek-V2 は、標準的なマルチヘッド アテンションと比較して、MLA からどの程度の KV キャッシュ メモリ削減を報告しましたか?
    • 90%以上
    • 約5%
    • ちょうど 50%
    • 速度は低下せず、速度のみが向上します
  6. MLA のより小さいトークンごとのキャッシュから直接得られる実際的な利点は何ですか?
    • GPUが不要になる
    • 同じハードウェア上でのより大きな推論バッチ サイズとより長いコンテキスト
    • すべての言語への自動翻訳
    • ソフトマックス演算の削除
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections