Kvíz spojený s průvodcem · Střední úroveň
Kvíz TensorRT a Inference Engines
Použijte optimalizaci motoru TensorRT, volby přesnosti a profily tvarů, včetně toho, proč kompatibilita a přesnost nasazení vyžadují skutečné ověření.
Otázka 1 z 8
What is the goal of building an inference engine with TensorRT?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- What is the goal of building an inference engine with TensorRT?
- Guarantee the fastest possible execution on every system
- Optimize execution of a supported trained model for the configured target
- Choose training labels without a dataset
- Replace every GPU with a CPU
- Jak fúze vrstev urychluje inferenci?
- Sloučením více operací do jednoho jádra GPU pro snížení zatížení paměti
- Odstraněním vrstev, které nejsou potřeba
- Spuštěním každé vrstvy na samostatném GPU
- Převedením modelu tak, aby běžel na CPU
- In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
- To guarantee no accuracy change under all future inputs
- To retrain the model from zero automatically
- To select quantization scales suited to the observed numerical ranges
- To remove every compatibility requirement
- Proč je zkompilovaný engine TensorRT obecně specifický pro jednu architekturu GPU?
- Protože je zašifrován na sériové číslo GPU
- Protože NVIDIA to licencuje na zařízení
- Protože ukládá tréninková data uvnitř motoru
- Protože automatické ladění jádra peče v nejrychlejších jádrech pro přesné rozložení jádra a paměti GPU
- Která funkce TensorRT-LLM konkrétně pomáhá efektivně obsluhovat velké jazykové modely?
- In-flight (nepřetržité) dávkování a stránkovaná KV-cache
- Automatické zvětšení obrazu
- Vestavěný webhosting
- Potlačení šumu zvuku
- Why evaluate task accuracy after choosing lower-precision TensorRT execution?
- Lower precision always preserves every output bit
- Only the model filename affects predictions
- Reduced numerical precision can change model outputs or quality
- Accuracy evaluation is needed only during tokenization
- A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
- Whether the engine can accept every shape without a profile
- Only whether the model name is short
- Whether training can restart from a screenshot
- Whether the profile supports that requested shape
- A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
- That any serialized engine runs unchanged everywhere
- That the selected compatibility settings support the new environment
- That the engine contains all its original training data
- That every GPU shares one serial number