ガイド連動クイズ · 中 レベル

KV キャッシュ クイズ

自己回帰デコード中の KV キャッシュの再利用、メモリ負荷、マルチリクエストの共有、ページ割り当てのトレードオフを確認します。

関連するガイドパスKv キャッシュ
質問 1 の 8

KV キャッシュには何が保存されますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. KV キャッシュには何が保存されますか?
    • 以前のトークンに対して計算されたキーと値のベクトル
    • モデルの全重み行列
    • ユーザーのチャット履歴をプレーンテキストで保存する
    • 最終的な出力確率
  2. KV キャッシュは主にどのような問題を解決しますか?
    • 生成されたテキストの文法を改善します
    • すべてのステップで以前のすべてのトークンのキーと値を再計算する必要がなくなります。
    • モデルの語彙が増えます
    • 会話を暗号化します
  3. KV キャッシュの主な欠点は何ですか?
    • 生成が遅くなります
    • 出力品質が低下します
    • メモリ使用量はコンテキストの長さに応じて直線的に増加します
    • CPUでのみ動作します
  4. アテンション ヘッド間でキーと値を共有することで KV キャッシュ サイズを削減する手法はどれですか?
    • ドロップアウト
    • ビームサーチ
    • トークン化
    • グループ化されたクエリまたは複数のクエリのアテンション
  5. KV キャッシュに関連したトランスフォーマー推論の 2 つのフェーズは何ですか?
    • 事前入力 (プロンプトの処理) とデコード (一度に 1 つのトークンを生成)
    • トレーニングとテスト
    • エンコードして圧縮する
    • アップロードとダウンロード
  6. vLLM の PagedAttendance は KV キャッシュに対して何をしますか?
    • 各トークンの後にキャッシュを削除します
    • メモリの断片化を軽減するために、不連続なブロックにキャッシュを割り当てます。
    • キャッシュをテキストに変換します
    • モデルのパラメータ数を 2 倍にします
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use