引導式測驗 · 硬 等級
估計 LLM 測驗所需的 GPU 內存
根據權重、訓練狀態、激活和 KV 緩存估計 LLM 內存,並確定上下文、批次和精度如何改變預算。
問題 1 的 8
哪個公式能給出儲存權重記憶的一階估計?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 哪個公式能給出儲存權重記憶的一階估計?
- 僅層數乘以上下文長度
- 未考慮數值精度的參數數量
- 參數數量乘以每個參數的位元組數
- 僅批次大小乘以輸出詞彙量
- 為什麼完整微調通常比推論需要更多記憶體?
- 訓練時避免載入模型權重
- 它儲存梯度、最佳化器狀態和訓練激活值
- 反向計算從不需要前向激活值
- 訓練期間不存在梯度和最佳化器狀態
- 在標準 KV 快取估計中,係數 2 代表什麼?
- 即使使用其他精度,每個快取值仍假設為 2 個位元組
- 分別快取前向和反向的模型副本
- KV 頭數加倍以包含查詢頭
- 分別儲存鍵(Key)和值(Value)張量
- 哪些變數會增加標準 KV 快取的大小?
- 批次大小、快取 token 數、KV 頭數、頭維度以及每個值的位元組數
- 僅模型配置中的層數
- 模型參數數量和訓練樣本數
- 僅上下文長度;活躍批次大小無法影響快取記憶體
- 分組查詢注意力(Grouped-Query Attention)如何影響 KV 快取記憶體?
- 定義上,它使用的 KV 頭數多於查詢頭數
- 它要求所有快取值都使用 float32
- 它可以使用的鍵值頭數少於查詢頭數
- 它從自回歸推論中移除了 KV 快取
- 為什麼記憶體應該在最大上下文和並發性下進行測試?
- 一旦權重載入,快取即固定,與活動 Token 無關
- 快取和執行階段狀態會隨著活動 Token 和序列而增加
- 並發性會改變輸出品質,但不會改變記憶體
- 權重檔案會針對每個同步請求進行重寫
- 關於優化器記憶體估算的敘述,哪一個是正確的?
- 所有優化器對每個參數使用的狀態大小都相同
- FP16 權重要求每個優化器張量都必須使用 FP16
- 訓練記憶體僅等於權重大小加上輸入 Token
- 每個參數的位元組數取決於優化器和精確度的選擇
- 基於公式的 GPU 記憶體估算後應該進行什麼步驟?
- 使用實際模型、執行階段和工作負載來測量峰值記憶體
- 假設所有標示的裝置記憶體皆可用於權重
- 忽略分配器和暫存工作區緩衝區
- 僅測試沒有並發請求的空提示詞