概述
CPU、GPU 和專用加速器在運算、記憶體、連接和軟體支援方面具有不同的優勢。峰值算術規範本身並不能預測應用程式效能。
重點摘要
- 將硬體與工作負載相符。
- 評估記憶體和軟體支援。
- 比較測量的應用程式效能,而不是單獨比較峰值規格。
深入探討
從工作量開始。訓練、簡短的互動式推理、大批量推理和設備上處理可能會對不同的資源造成壓力。矩陣運算可能很重要,但移動權重和中間資料也可能佔據所需的時間或能量。檢查記憶體容量和頻寬以及計算。此模型必須適合工作緩衝區、快取狀態和並發請求。多設備執行會增加通訊成本和軟體複雜性,因此聚合記憶體不會自動等同於一個簡單的池。數字格式影響速度和表示。較低的精度可以減少儲存空間並能夠在相容的硬體上實現更快的操作,但模型和任務需要評估精度變化。硬體支援、核心和執行框架決定了是否實際使用所宣傳的功能。將使用可重現工作負載的系統與規定的批次大小、輸入長度、精確度和軟體版本進行比較。測量每個有用任務的延遲、吞吐量、功率和成本。供應商演示可以為調查提供信息,但購買或部署決策需要針對預期應用的證據。
04工作範例
估計重量存儲的下限
建立一個模型,其中包含 10 億個參數,每個參數以 16 位元儲存。
光是權重就佔了大約 20 億字節,即十進制單位為 2 GB。這不包括啟動、快取、運行時緩衝區和框架開銷。
使用估計值作為起點,然後測量預期服務配置的實際記憶體。
它顯示了什麼
該算術給出了重量存儲估計,而不是完整的硬體要求或性能聲明。
現實世界的實施
在服務實際並發請求的同時測量峰值記憶體。
比較具有相同工作負載設定的候選硬體上的相同模型和精確度。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- NVIDIA性能優化和硬體利用率
不斷探索
常見問題
每秒更多的 AI 操作是否能保證更快的反應?
不會。記憶體、支援的數位格式、軟體、批次以及請求路徑的其餘部分可能會限制實際回應時間。