引導式測驗 · 硬 等級

分類預填和解碼服務測驗

檢查預填充和解碼瓶頸、KV 快取傳輸、相位幹擾、資源調整和分解服務系統。

相關引導路徑分類預填和解碼服務
問題 1 的 8

將預填和解碼分離到不同 GPU 池的核心硬體原因是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 將預填和解碼分離到不同 GPU 池的核心硬體原因是什麼?
    • 預填充受計算限制,而解碼受記憶體頻寬限制
    • 他們使用不同的程式語言
    • 解碼比預填充需要更多電力
    • Prefill 根本無法在 GPU 上執行
  2. 哪些資料結構必須從預填工作器傳送到解碼工作器?
    • 模型權重
    • KV(鍵值)緩存
    • 分詞器詞彙
    • 優化器狀態
  3. 在共享 GPU 設定中,分解具體可以減少哪些問題?
    • GPU驅動程式崩潰
    • 網路上的網路丟包
    • 隊頭阻塞,長預填充會阻礙其他人的解碼
    • 模型幻覺
  4. 為什麼預填充可以積極地進行批次處理,但解碼可以從不同的調整中受益?
    • 解碼從不使用 GPU
    • 預填充每天僅運行一次
    • 預填充期間無法進行批次處理
    • 並行讀取預填充令牌,最大限度地提高每次傳遞的計算利用率
  5. 通常使用哪些互連在分解池之間移動 KV 快取?
    • NVLink 或 InfiniBand
    • 撥接數據機
    • USB 2.0 電纜
    • 藍牙
  6. 哪些命名系統與分類預填/解碼服務有關?
    • TCP、UDP 和 HTTP
    • DistServe、Splitwise 和 Mooncake
    • Word、Excel 和 PowerPoint
    • JPEG、PNG 和 GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck