概述
技術包括批次、快取、較低精度、模型選擇和高效執行。從測量的瓶頸中選擇它們,而不是假設每個最佳化都有助於每個工作負載。
重點摘要
- 对实际工作负载进行基准测试。
- 数值更改后重新测试质量。
- 优化整个请求的主导阶段。
深入探討
根據實際輸入測量端對端延遲、吞吐量、記憶體和任務品質。包括冷启动、并发、长请求和取消。使用一個簡短的預熱輸入的基準可能不代表面向使用者的服務。批次可以透過一起處理請求來提高硬體使用率,但等待形成批次可能會增加單一延遲。只有當快取鍵捕獲相關模型、輸入、權限和版本時,快取才有助於重複工作。不正確的快取可能會傳回過時的或未經授權的結果。較低的精度或量化可以減少記憶體和計算量,但品質影響取決於模型、硬體、方法和任務。使用相同的評估範例(包括罕見和數字敏感的情況)與原始配置進行比較。优化完整的请求路径。檢索、標記化、網路傳輸和輸出處理可能主導模型執行時間。一次更改一個有意義的因素並記錄改進和任何回歸。目標是更好地完成任務,而不是更令人滿意的孤立吞吐量數字。
04工作範例
计算局部优化的极限
在建置的請求中,模型執行需要 400 毫秒,所有其他工作需要 600 毫秒。
模型速度提高一倍,總時間從 1,000 毫秒減少到 800 毫秒:端對端減少 20%。
在假設另一個模型最佳化是最高價值的變化之前,先測量其他階段。
它顯示了什麼
本發明的時序範例說明了為什麼組件加速與系統加速不同。
現實世界的實施
在調整服務設定之前分別檢索和產生設定檔。
根據與原始模型相同的保留任務集評估量化輸出。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- NVIDIATensorRT效能優化
- NVIDIA準確性考慮因素
不斷探索
常見問題
批量越大,互動助手的速度就越快嗎?
不會。它可以提高吞吐量,同時增加排隊時間。衡量延迟和工作负载的权衡。