KV キャッシュ最適化クイズ

クイズに答えると、答えと解説が表示されます。

1. KV キャッシュには何が保存されますか?またその理由は何ですか?
   • 以前に計算されたアテンション キーと値は、ステップごとに再計算されません。
   • 再トレーニング用のモデルのトレーニング データ
   • 認証用のユーザーパスワード
   • 最終的なテキスト出力のみ
2. KV キャッシュがメモリの問題になるのはなぜですか?
   • GPU を永久に破壊します
   • シーケンスの長さ、バッチ サイズ、レイヤーとともに増加し、モデルの重みを超えることもあります
   • 10単語未満のテキストでのみ機能します
   • オペレーティングシステムを複製します
3. PagedAttendant はどのようなオペレーティング システムの概念を借用していますか?
   • ディスクデフラグユーティリティ
   • ウイルス対策スキャン
   • 固定サイズのブロックを使用した仮想メモリのページング
   • 画面解像度のスケーリング
4. グループ化クエリとマルチクエリ アテンションはどのようにして KV キャッシュ サイズを削減しますか?
   • アテンションメカニズムを削除することで
   • キャッシュを画像として保存することで
   • 少ないデータでトレーニングすることで
   • 多くのクエリ ヘッドが共有するキー/値ヘッドを少なくすることで、
5. KV キャッシュでのプレフィックス共有の利点の 1 つは何ですか?
   • 同じ開始プロンプトを持つリクエストは、同じキャッシュされたブロックを再利用できます。
   • モデルを暗号化します
   • すべてのリクエストが均等に遅くなります
   • 注意を払う必要がなくなる
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • 4分の1の大きさになります
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible