Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre TensorRT y motores de inferencia

Aplique la optimización del motor TensorRT, las opciones de precisión y los perfiles de forma, incluido el motivo por el cual la compatibilidad y precisión de la implementación requieren una validación real.

Rutas de guía relacionadasTensorrt y motores de inferencia
Pregunta 1 de 8

What is the goal of building an inference engine with TensorRT?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. ¿Cómo acelera la fusión de capas la inferencia?
    • Fusionando múltiples operaciones en un kernel de GPU para reducir el tráfico de memoria
    • Eliminando capas que no son necesarias
    • Ejecutando cada capa en una GPU separada
    • Convirtiendo el modelo para que se ejecute en la CPU
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. ¿Por qué un motor TensorRT compilado generalmente es específico de una arquitectura de GPU?
    • Porque está cifrado con el número de serie de esa GPU.
    • Porque NVIDIA lo licencia por dispositivo
    • Porque almacena los datos de entrenamiento dentro del motor.
    • Porque el ajuste automático del kernel integra los kernels más rápidos para el diseño exacto del núcleo y la memoria de esa GPU.
  5. ¿Qué característica de TensorRT-LLM ayuda específicamente a servir modelos de lenguaje grandes de manera eficiente?
    • Caché KV paginado y procesamiento por lotes en vuelo (continuo)
    • Aumento automático de imágenes
    • Alojamiento web incorporado
    • Cancelación de ruido de audio
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number