引導式測驗 · 簡單 等級

人工智慧推理測驗

查看推理與訓練、令牌產生、延遲、端到端時序、吞吐量權衡、服務記憶體和安全評估。

相關引導路徑人工智慧推理
問題 1 的 8

訓練與推論有什麼區別?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 訓練與推論有什麼區別?
    • 訓練會調整學習到的參數;推論則使用訓練好的模型來處理輸入
    • 這是同一個參數更新步驟的兩個不同名稱
    • 訓練僅格式化輸出;推論則為訓練資料加上標籤
    • 推論總是在回應前重新訓練模型
  2. 當文字服務逐個權杖(token)產生回應時,實際上發生了什麼事?
    • 整個回應在請求到達之前就已經寫好了
    • 模型使用目前的上下文重複執行以產生更多權杖
    • 模型的權重不一定會在每個權杖之後更新
    • 介面背後一定有人正在手動輸入每一個權杖
  3. 在推論服務中,延遲(latency}量測的是什麼?
    • 一段時間內完成了多少請求
    • 模型包含多少參數
    • 接收到回應需要花費多長時間
    • 訓練標籤的準確度有多高
  4. 在本指南建構的連續請求中,驗證需要 20 ms、檢索 180 ms、生成 900 ms、格式化 30 ms。總計是多少?
    • 1,030 ms
    • 1,100 ms
    • 930 ms
    • 1,130 ms
  5. 為什麼批次處理(batching}可以提高產出量,但卻會增加單一請求的等待時間?
    • 服務會將請求一起處理,因此個別請求可能需要等待整個批次完成
    • 批次處理會移除所有模型運算
    • 每個請求在進入批次之前都已完成
    • 產出量和延遲總是朝著相同的方向變動
  6. 除了模型權重之外,服務記憶體預算還應該包含什麼?
    • 僅模型檔案所使用的磁碟空間
    • 工作緩衝區、同時發出的請求以及快取表示
    • 僅回傳給使用者的文字
    • 訓練標籤但沒有執行階段狀態
  7. 當模型無法回答或超出限制時,推論部署應提供什麼?
    • 無限期等待更多 Token
    • 無聲失敗且沒有任何使用者提示
    • 逾時並提供可用的備援回應
    • 為了避免錯誤而編造答案
  8. 在更改精度、批次處理或預處理後,團隊應如何判斷優化效果?
    • 僅比較單一短提示詞的速度
    • 假設位元數越少,品質一定能維持
    • 重複使用相同的測試集來進行每一次調整選擇
    • 在版本化的評估集上重新測試輸出,並確認所需的品質保持不變