引導式測驗 · 硬 等級

AI 推理優化測驗

測試測量優先調整、工作負載真實性、批次權衡、快取範圍、精確度影響和已完成任務品質。

相關引導路徑AI推理優化
問題 1 的 8

為什麼在優化模型之前要衡量端到端效能?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼在優化模型之前要衡量端到端效能?
    • Every workload is model-compute bound
    • Optimization always improves task quality
    • A short warm benchmark represents production use
    • The bottleneck may be retrieval, tokenization, transfer, or output handling rather than inference
  2. What can batching improve, and what can it worsen?
    • Throughput may improve while individual latency rises as requests wait for a batch
    • Both always improve together
    • Memory always decreases
    • Task accuracy is guaranteed to increase
  3. 什麼時候重複使用快取模型回應才是安全的?
    • 只要請求文字看起來相似
    • 當金鑰考量了相關輸入、模型版本、權限與上下文時
    • 當快取是以私密方式儲存時
    • 只有在答案很短的時候
  4. 降低數值精度後,應該檢查什麼?
    • 僅檢查推論是否變快
    • 僅檢查模型檔案大小
    • 與原始設定相同的具代表性評估集上的任務品質
    • GPU 是否支援該格式
  5. 某個基準測試使用了一個經過預熱的短請求。為什麼它可能會誤導人?
    • 它包含太多使用者案例
    • 預熱請求永遠無法測量
    • 依定義它評估了錯誤的模型權重
    • 它忽略了冷啟動、並行處理、長請求與取消行為
  6. 首個token時間(time to first token)與總完成時間相比,衡量的是什麼?
    • 初始串流延遲與完成回應的時間之比較
    • 完全相同指標的兩種不同名稱
    • 模型準確度與校準之比較
    • 佇列深度與快取命中率之比較
  7. 為什麼一次只調整一個有意義的因素?
    • 它保證不會出現效能倒退
    • 它有助於將改進與效能倒退歸因於所做的變更
    • 它消除了對基準線的需求
    • 它能自動讓不同的工作負載具可比性
  8. 本指南中的優化目標是什麼?
    • 最高的隔離吞吐量數值
    • 單次測試中的最低延遲
    • 在要求的品質與資源限制內,達成更好的完成任務
    • 不論品質如何,最少的模型參數