Quiz collegato alla guida · Medio Livello

Quiz su TensorRT e motori di inferenza

Applica l'ottimizzazione del motore TensorRT, le scelte di precisione e i profili di forma, incluso il motivo per cui la compatibilità e l'accuratezza della distribuzione richiedono una convalida effettiva.

Percorsi guida correlatiTensorter e motori di inferenza
Domanda 1 di 8

What is the goal of building an inference engine with TensorRT?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. In che modo la fusione dei livelli accelera l'inferenza?
    • Unendo più operazioni in un unico kernel GPU per ridurre il traffico di memoria
    • Eliminando i livelli che non sono necessari
    • Eseguendo ciascun livello su una GPU separata
    • Convertendo il modello per l'esecuzione sulla CPU
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. Perché un motore TensorRT compilato è generalmente specifico per un'architettura GPU?
    • Perché è crittografato con il numero di serie di quella GPU
    • Perché NVIDIA lo concede in licenza per dispositivo
    • Perché memorizza i dati di allenamento all'interno del motore
    • Perché l'ottimizzazione automatica del kernel inserisce i kernel più veloci per l'esatto core e layout di memoria di quella GPU
  5. Quale funzionalità di TensorRT-LLM aiuta specificamente a servire in modo efficiente modelli linguistici di grandi dimensioni?
    • Batch in volo (continuo) e cache KV paginata
    • Aumento automatico dell'immagine
    • Hosting web integrato
    • Cancellazione del rumore audio
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number