引導式測驗 · 硬 等級
AI 推理優化測驗
測試測量優先調整、工作負載真實性、批次權衡、快取範圍、精確度影響和已完成任務品質。
問題 1 的 8
為什麼在優化模型之前要衡量端到端效能?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼在優化模型之前要衡量端到端效能?
- Every workload is model-compute bound
- Optimization always improves task quality
- A short warm benchmark represents production use
- The bottleneck may be retrieval, tokenization, transfer, or output handling rather than inference
- What can batching improve, and what can it worsen?
- Throughput may improve while individual latency rises as requests wait for a batch
- Both always improve together
- Memory always decreases
- Task accuracy is guaranteed to increase
- 什麼時候重複使用快取模型回應才是安全的?
- 只要請求文字看起來相似
- 當金鑰考量了相關輸入、模型版本、權限與上下文時
- 當快取是以私密方式儲存時
- 只有在答案很短的時候
- 降低數值精度後,應該檢查什麼?
- 僅檢查推論是否變快
- 僅檢查模型檔案大小
- 與原始設定相同的具代表性評估集上的任務品質
- GPU 是否支援該格式
- 某個基準測試使用了一個經過預熱的短請求。為什麼它可能會誤導人?
- 它包含太多使用者案例
- 預熱請求永遠無法測量
- 依定義它評估了錯誤的模型權重
- 它忽略了冷啟動、並行處理、長請求與取消行為
- 首個token時間(time to first token)與總完成時間相比,衡量的是什麼?
- 初始串流延遲與完成回應的時間之比較
- 完全相同指標的兩種不同名稱
- 模型準確度與校準之比較
- 佇列深度與快取命中率之比較
- 為什麼一次只調整一個有意義的因素?
- 它保證不會出現效能倒退
- 它有助於將改進與效能倒退歸因於所做的變更
- 它消除了對基準線的需求
- 它能自動讓不同的工作負載具可比性
- 本指南中的優化目標是什麼?
- 最高的隔離吞吐量數值
- 單次測試中的最低延遲
- 在要求的品質與資源限制內,達成更好的完成任務
- 不論品質如何,最少的模型參數