引導式測驗 · 中等 等級
Triton 推理伺服器測驗
了解 Triton 如何服務模型、批次請求、安排並發工作以及公開操作訊號以調整生產推理系統。
問題 1 的 8
是什麼讓 Triton 推理伺服器「與框架無關」?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 是什麼讓 Triton 推理伺服器「與框架無關」?
- 單一實例可以同時為來自 PyTorch、TensorFlow、ONNX、TensorRT 和自訂後端的模型提供服務
- 它僅運行 TensorRT 引擎
- 它將每個模型轉換為 Java
- 它要求所有模型在一個框架中重新訓練
- 動態批次如何提高效能?
- 透過在每個請求到達時立即處理它,一次處理一個請求
- 透過將同時到達的請求分組為 GPU 的單一批次
- 透過刪除到達速度太慢的請求
- 將推理轉移到 CPU
- Triton 動態批次處理可能會帶來什麼權衡?
- 無論流量如何,每個請求的延遲都會降低
- 它透過更改權重來提高模型準確性
- 相容的無狀態請求可能會提高吞吐量,而佇列中的請求則會在配置的延遲時間內等待
- 它僅在推論於 CPU 上執行時有效
- Triton「模型整合」(或業務邏輯腳本)可以讓您做什麼?
- 一起訓練多個模型
- 加密模型文件
- 降低模型的準確性
- 將預處理、推理和後處理連結到一個伺服器端管道中
- Triton 並發模型執行允許什麼?
- 多個模型或實例可以在同一系統上並行執行,具體取決於可用資源
- 在伺服器重新啟動之前,只能執行一個模型
- 模型在每個請求期間更改其權重
- 請求繞過排程器並共用另一個模型輸出
- Triton 通常公開哪些協定供客戶端發送推理請求?
- 僅FTP
- HTTP/REST 和 gRPC
- 僅電子郵件
- 僅藍牙
- Triton 指南指出它公開了什麼監控介面?
- 內建的 SQL 報告儀表板
- 僅限瀏覽器的互動式筆記本
- Prometheus 指標
- 強制性的雲端計費 API
- 服務團隊在調整動態批次處理時應該測量什麼?
- 僅測量可能的最大批次大小
- 僅測量平均模型參數數量
- 僅測量空閒伺服器上的啟動時間
- 在代表性請求流量下的吞吐量和延遲