Kvíz spojený s průvodcem · Střední úroveň

Kvíz TensorRT a Inference Engines

Použijte optimalizaci motoru TensorRT, volby přesnosti a profily tvarů, včetně toho, proč kompatibilita a přesnost nasazení vyžadují skutečné ověření.

Související vodicí cestyTensorrt a Inferenční motory
Otázka 1 z 8

What is the goal of building an inference engine with TensorRT?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. Jak fúze vrstev urychluje inferenci?
    • Sloučením více operací do jednoho jádra GPU pro snížení zatížení paměti
    • Odstraněním vrstev, které nejsou potřeba
    • Spuštěním každé vrstvy na samostatném GPU
    • Převedením modelu tak, aby běžel na CPU
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. Proč je zkompilovaný engine TensorRT obecně specifický pro jednu architekturu GPU?
    • Protože je zašifrován na sériové číslo GPU
    • Protože NVIDIA to licencuje na zařízení
    • Protože ukládá tréninková data uvnitř motoru
    • Protože automatické ladění jádra peče v nejrychlejších jádrech pro přesné rozložení jádra a paměti GPU
  5. Která funkce TensorRT-LLM konkrétně pomáhá efektivně obsluhovat velké jazykové modely?
    • In-flight (nepřetržité) dávkování a stránkovaná KV-cache
    • Automatické zvětšení obrazu
    • Vestavěný webhosting
    • Potlačení šumu zvuku
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number