引導式測驗 · 硬 等級

PagedAttention 和 vLLM 測驗

測試 PagedAttention KV 區塊、邏輯到實體映射和共享,包括快取記憶體節省和總模型儲存之間的區別。

相關引導路徑Pagedattention 和 Vllm
問題 1 的 8

文字產生期間「KV 快取」儲存什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 文字產生期間「KV 快取」儲存什麼?
    • 模型的訓練數據
    • 使用者的登入憑證
    • 過去令牌的鍵和值向量,以便新令牌可以處理它們
    • 模型權重的壓縮副本
  2. 什麼樣的作業系統概念激發了 PagedAttention 的靈感?
    • 磁碟碎片整理工具
    • 虛擬記憶體分頁
    • 檔案壓縮
    • CPU分支預測
  3. PagedAttention解決了傳統KV快取分配的什麼問題?
    • 網路連線速度慢
    • 缺乏訓練數據
    • 密碼安全性弱
    • 為每個請求保留大的連續塊而浪費內存
  4. PagedAttention 如何讓多個輸出共享公共提示的記憶體?
    • 不同的序列透過寫入時複製指向相同的物理頁
    • 第一次使用後刪除提示
    • 它將提示儲存在磁碟上
    • 它為每個輸出重新訓練模型
  5. vLLM 和 PagedAttention 最初是在哪裡開發的?
    • 20 世紀 90 年代的學術實驗室
    • 加州大學柏克萊分校(2023 年出版)
    • 硬體供應商的行銷團隊
    • 匿名線上論壇
  6. 對於就職於法學碩士的人來說,vLLM 的主要實際好處是什麼?
    • 基準測試中模型精度較高
    • 自動資料標記
    • 免費 GPU 硬體
    • 每個 GPU 具有更高的吞吐量和更多並發請求
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence