引導式測驗 · 硬 等級
PagedAttention 和 vLLM 測驗
測試 PagedAttention KV 區塊、邏輯到實體映射和共享,包括快取記憶體節省和總模型儲存之間的區別。
問題 1 的 8
文字產生期間「KV 快取」儲存什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 文字產生期間「KV 快取」儲存什麼?
- 模型的訓練數據
- 使用者的登入憑證
- 過去令牌的鍵和值向量,以便新令牌可以處理它們
- 模型權重的壓縮副本
- 什麼樣的作業系統概念激發了 PagedAttention 的靈感?
- 磁碟碎片整理工具
- 虛擬記憶體分頁
- 檔案壓縮
- CPU分支預測
- PagedAttention解決了傳統KV快取分配的什麼問題?
- 網路連線速度慢
- 缺乏訓練數據
- 密碼安全性弱
- 為每個請求保留大的連續塊而浪費內存
- PagedAttention 如何讓多個輸出共享公共提示的記憶體?
- 不同的序列透過寫入時複製指向相同的物理頁
- 第一次使用後刪除提示
- 它將提示儲存在磁碟上
- 它為每個輸出重新訓練模型
- vLLM 和 PagedAttention 最初是在哪裡開發的?
- 20 世紀 90 年代的學術實驗室
- 加州大學柏克萊分校(2023 年出版)
- 硬體供應商的行銷團隊
- 匿名線上論壇
- 對於就職於法學碩士的人來說,vLLM 的主要實際好處是什麼?
- 基準測試中模型精度較高
- 自動資料標記
- 免費 GPU 硬體
- 每個 GPU 具有更高的吞吐量和更多並發請求
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence