引導式測驗 · 硬 等級
分類預填和解碼服務測驗
檢查預填充和解碼瓶頸、KV 快取傳輸、相位幹擾、資源調整和分解服務系統。
問題 1 的 8
將預填和解碼分離到不同 GPU 池的核心硬體原因是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 將預填和解碼分離到不同 GPU 池的核心硬體原因是什麼?
- 預填充受計算限制,而解碼受記憶體頻寬限制
- 他們使用不同的程式語言
- 解碼比預填充需要更多電力
- Prefill 根本無法在 GPU 上執行
- 哪些資料結構必須從預填工作器傳送到解碼工作器?
- 模型權重
- KV(鍵值)緩存
- 分詞器詞彙
- 優化器狀態
- 在共享 GPU 設定中,分解具體可以減少哪些問題?
- GPU驅動程式崩潰
- 網路上的網路丟包
- 隊頭阻塞,長預填充會阻礙其他人的解碼
- 模型幻覺
- 為什麼預填充可以積極地進行批次處理,但解碼可以從不同的調整中受益?
- 解碼從不使用 GPU
- 預填充每天僅運行一次
- 預填充期間無法進行批次處理
- 並行讀取預填充令牌,最大限度地提高每次傳遞的計算利用率
- 通常使用哪些互連在分解池之間移動 KV 快取?
- NVLink 或 InfiniBand
- 撥接數據機
- USB 2.0 電纜
- 藍牙
- 哪些命名系統與分類預填/解碼服務有關?
- TCP、UDP 和 HTTP
- DistServe、Splitwise 和 Mooncake
- Word、Excel 和 PowerPoint
- JPEG、PNG 和 GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck