Quiz collegato alla guida · Medio Livello
Quiz su TensorRT e motori di inferenza
Applica l'ottimizzazione del motore TensorRT, le scelte di precisione e i profili di forma, incluso il motivo per cui la compatibilità e l'accuratezza della distribuzione richiedono una convalida effettiva.
Domanda 1 di 8
What is the goal of building an inference engine with TensorRT?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- What is the goal of building an inference engine with TensorRT?
- Guarantee the fastest possible execution on every system
- Optimize execution of a supported trained model for the configured target
- Choose training labels without a dataset
- Replace every GPU with a CPU
- In che modo la fusione dei livelli accelera l'inferenza?
- Unendo più operazioni in un unico kernel GPU per ridurre il traffico di memoria
- Eliminando i livelli che non sono necessari
- Eseguendo ciascun livello su una GPU separata
- Convertendo il modello per l'esecuzione sulla CPU
- In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
- To guarantee no accuracy change under all future inputs
- To retrain the model from zero automatically
- To select quantization scales suited to the observed numerical ranges
- To remove every compatibility requirement
- Perché un motore TensorRT compilato è generalmente specifico per un'architettura GPU?
- Perché è crittografato con il numero di serie di quella GPU
- Perché NVIDIA lo concede in licenza per dispositivo
- Perché memorizza i dati di allenamento all'interno del motore
- Perché l'ottimizzazione automatica del kernel inserisce i kernel più veloci per l'esatto core e layout di memoria di quella GPU
- Quale funzionalità di TensorRT-LLM aiuta specificamente a servire in modo efficiente modelli linguistici di grandi dimensioni?
- Batch in volo (continuo) e cache KV paginata
- Aumento automatico dell'immagine
- Hosting web integrato
- Cancellazione del rumore audio
- Why evaluate task accuracy after choosing lower-precision TensorRT execution?
- Lower precision always preserves every output bit
- Only the model filename affects predictions
- Reduced numerical precision can change model outputs or quality
- Accuracy evaluation is needed only during tokenization
- A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
- Whether the engine can accept every shape without a profile
- Only whether the model name is short
- Whether training can restart from a screenshot
- Whether the profile supports that requested shape
- A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
- That any serialized engine runs unchanged everywhere
- That the selected compatibility settings support the new environment
- That the engine contains all its original training data
- That every GPU shares one serial number