引導式測驗 · 簡單 等級
人工智慧推理測驗
查看推理與訓練、令牌產生、延遲、端到端時序、吞吐量權衡、服務記憶體和安全評估。
問題 1 的 8
訓練與推論有什麼區別?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 訓練與推論有什麼區別?
- 訓練會調整學習到的參數;推論則使用訓練好的模型來處理輸入
- 這是同一個參數更新步驟的兩個不同名稱
- 訓練僅格式化輸出;推論則為訓練資料加上標籤
- 推論總是在回應前重新訓練模型
- 當文字服務逐個權杖(token)產生回應時,實際上發生了什麼事?
- 整個回應在請求到達之前就已經寫好了
- 模型使用目前的上下文重複執行以產生更多權杖
- 模型的權重不一定會在每個權杖之後更新
- 介面背後一定有人正在手動輸入每一個權杖
- 在推論服務中,延遲(latency}量測的是什麼?
- 一段時間內完成了多少請求
- 模型包含多少參數
- 接收到回應需要花費多長時間
- 訓練標籤的準確度有多高
- 在本指南建構的連續請求中,驗證需要 20 ms、檢索 180 ms、生成 900 ms、格式化 30 ms。總計是多少?
- 1,030 ms
- 1,100 ms
- 930 ms
- 1,130 ms
- 為什麼批次處理(batching}可以提高產出量,但卻會增加單一請求的等待時間?
- 服務會將請求一起處理,因此個別請求可能需要等待整個批次完成
- 批次處理會移除所有模型運算
- 每個請求在進入批次之前都已完成
- 產出量和延遲總是朝著相同的方向變動
- 除了模型權重之外,服務記憶體預算還應該包含什麼?
- 僅模型檔案所使用的磁碟空間
- 工作緩衝區、同時發出的請求以及快取表示
- 僅回傳給使用者的文字
- 訓練標籤但沒有執行階段狀態
- 當模型無法回答或超出限制時,推論部署應提供什麼?
- 無限期等待更多 Token
- 無聲失敗且沒有任何使用者提示
- 逾時並提供可用的備援回應
- 為了避免錯誤而編造答案
- 在更改精度、批次處理或預處理後,團隊應如何判斷優化效果?
- 僅比較單一短提示詞的速度
- 假設位元數越少,品質一定能維持
- 重複使用相同的測試集來進行每一次調整選擇
- 在版本化的評估集上重新測試輸出,並確認所需的品質保持不變