Triton 推論サーバーのクイズ

クイズに答えると、答えと解説が表示されます。

1. Triton Inference Server が「フレームワークに依存しない」のはなぜですか?
   • 単一のインスタンスで、PyTorch、TensorFlow、ONNX、TensorRT、およびカスタム バックエンドのモデルを一度に提供できます。
   • TensorRT エンジンのみを実行します
   • すべてのモデルを Java に変換します
   • すべてのモデルを 1 つのフレームワークで再トレーニングする必要があります
2. 動的バッチ処理によりパフォーマンスはどのように向上しますか?
   • すべてのリクエストを到着した瞬間に一度に 1 つずつ処理することにより、
   • 近くに到着するリクエストを GPU の単一のバッチにグループ化することによって
   • 到着が遅すぎるリクエストを削除することで
   • 推論を CPU に移すことで
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. Triton の「モデル アンサンブル」 (またはビジネス ロジック スクリプト) では何ができるのでしょうか?
   • 複数のモデルを一緒にトレーニングする
   • モデルファイルを暗号化する
   • モデルの精度を下げる
   • 前処理、推論、後処理を 1 つのサーバー側パイプラインに連鎖させる
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Triton は、クライアントが推論リクエストを送信するために一般にどのプロトコルを公開しますか?
   • FTPのみ
   • HTTP/REST と gRPC
   • メールのみ
   • Bluetoothのみ
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic