ガイド連動クイズ · 中 レベル

TensorRT と推論エンジンに関するクイズ

TensorRT エンジンの最適化、精度の選択、形状プロファイルを適用します。これには、デプロイメントの互換性と精度に実際の検証が必要な理由も含まれます。

関連するガイドパスTensorrt と推論エンジン
質問 1 の 8

What is the goal of building an inference engine with TensorRT?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. レイヤーフュージョンはどのように推論を高速化しますか?
    • 複数の操作を 1 つの GPU カーネルに統合してメモリ トラフィックを削減する
    • 不要なレイヤーを削除することで、
    • 各レイヤーを個別の GPU で実行することにより、
    • CPU 上で実行するようにモデルを変換することによって
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. コンパイルされた TensorRT エンジンが一般的に 1 つの GPU アーキテクチャに固有なのはなぜですか?
    • そのGPUのシリアル番号に暗号化されているため
    • NVIDIA はデバイスごとにライセンスを付与しているため、
    • トレーニングデータをエンジン内に保存するため
    • カーネル自動チューニングは、その GPU の正確なコアとメモリ レイアウトに合わせて最速のカーネルをベイクするためです。
  5. TensorRT-LLM のどの機能が、大規模な言語モデルを効率的に提供するのに特に役立ちますか?
    • 実行中の (継続的な) バッチ処理とページ化された KV キャッシュ
    • 自動画像拡張
    • 組み込みのウェブホスティング
    • オーディオノイズキャンセリング
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number