Quiz lié à un guide · Moyen Niveau

Quiz TensorRT et les moteurs d'inférence

Appliquez l'optimisation du moteur TensorRT, les choix de précision et les profils de forme, y compris pourquoi la compatibilité et la précision du déploiement nécessitent une validation réelle.

Chemins de guidage associésTensorrt et moteurs d'inférence
Question 1 de 8

What is the goal of building an inference engine with TensorRT?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. Comment la fusion de couches accélère-t-elle l’inférence ?
    • En fusionnant plusieurs opérations dans un seul noyau GPU pour réduire le trafic mémoire
    • En supprimant les calques inutiles
    • En exécutant chaque couche sur un GPU distinct
    • En convertissant le modèle pour qu'il s'exécute sur le CPU
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. Pourquoi un moteur TensorRT compilé est-il généralement spécifique à une architecture GPU ?
    • Parce qu'il est crypté avec le numéro de série de ce GPU
    • Parce que NVIDIA l'octroie une licence par appareil
    • Parce qu'il stocke les données d'entraînement à l'intérieur du moteur
    • Parce que le réglage automatique du noyau intègre les noyaux les plus rapides pour la configuration exacte du cœur et de la mémoire de ce GPU.
  5. Quelle fonctionnalité de TensorRT-LLM permet spécifiquement de servir efficacement de grands modèles de langage ?
    • Traitement par lots en cours (continu) et cache KV paginé
    • Augmentation automatique de l'image
    • Hébergement Web intégré
    • Suppression du bruit audio
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number