PagedAttendance と vLLM のクイズ

クイズに答えると、答えと解説が表示されます。

1. テキスト生成中に「KV キャッシュ」には何が保存されますか?
   • モデルのトレーニング データ
   • ユーザーのログイン認証情報
   • 過去のトークンのキーと値のベクトル。新しいトークンがそれらに対応できるようにする
   • モデルの重みの圧縮コピー
2. PagedAttendance にインスピレーションを与えたオペレーティング システムのコンセプトは何ですか?
   • ディスクのデフラグツール
   • 仮想メモリのページング
   • ファイル圧縮
   • CPU分岐予測
3. 従来の KV キャッシュ割り当てに関するどのような問題が PagedAttend によって解決されますか?
   • インターネット接続が遅い
   • トレーニングデータの不足
   • パスワードのセキュリティが弱い
   • リクエストごとに大きな連続ブロックを予約することによるメモリの無駄
4. PagedAttendance はどのようにして複数の出力で共通のプロンプトのメモリを共有できるのでしょうか?
   • 異なるシーケンスがコピーオンライト経由で同じ物理ページをポイントする
   • 最初の使用後にプロンプトを削除します
   • プロンプトをディスクに保存します
   • 出力ごとにモデルを再トレーニングします
5. vLLM と PagedAttendant は最初にどこで開発されましたか?
   • 1990 年代の学術研究室
   • カリフォルニア大学バークレー校 (2023 年発行)
   • ハードウェア ベンダーのマーケティング チーム
   • 匿名のオンライン フォーラム
6. LLM を提供する人にとって、vLLM の主な実際的な利点は何ですか?
   • ベンチマークでのモデルの精度が向上
   • 自動データラベル付け
   • 無料のGPUハードウェア
   • GPU あたりのスループットの向上と同時リクエストの増加
7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
   • The sequence’s block table mapping logical blocks to physical blocks
   • The model’s class-label list
   • The learning-rate scheduler
   • A requirement that every block follow block 2 contiguously
8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
   • Paging guarantees every allocated byte contains a token
   • The entire model must be copied for each unused slot
   • Unused slots can remain in that final block despite reduced allocation fragmentation
   • The block table cannot represent a partial sequence