Quiz dotyczący TensorRT i silników wnioskowania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. What is the goal of building an inference engine with TensorRT?
   • Guarantee the fastest possible execution on every system
   • Optimize execution of a supported trained model for the configured target
   • Choose training labels without a dataset
   • Replace every GPU with a CPU
2. W jaki sposób fuzja warstw przyspiesza wnioskowanie?
   • Łącząc wiele operacji w jednym jądrze GPU, aby zmniejszyć obciążenie pamięci
   • Usuwając niepotrzebne warstwy
   • Uruchamiając każdą warstwę na oddzielnym GPU
   • Konwertując model tak, aby działał na procesorze
3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
   • To guarantee no accuracy change under all future inputs
   • To retrain the model from zero automatically
   • To select quantization scales suited to the observed numerical ranges
   • To remove every compatibility requirement
4. Dlaczego skompilowany silnik TensorRT jest ogólnie specyficzny dla jednej architektury GPU?
   • Ponieważ jest zaszyfrowany zgodnie z numerem seryjnym tego procesora graficznego
   • Ponieważ NVIDIA licencjonuje je na każde urządzenie
   • Ponieważ przechowuje dane szkoleniowe wewnątrz silnika
   • Ponieważ automatyczne dostrajanie jądra włącza najszybsze jądra dla dokładnego układu rdzenia i pamięci tego procesora graficznego
5. Która funkcja TensorRT-LLM szczególnie pomaga wydajnie obsługiwać duże modele językowe?
   • Grupowanie w locie (ciągłe) i stronicowana pamięć podręczna KV
   • Automatyczne powiększanie obrazu
   • Wbudowany hosting
   • Redukcja szumów dźwięku
6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
   • Lower precision always preserves every output bit
   • Only the model filename affects predictions
   • Reduced numerical precision can change model outputs or quality
   • Accuracy evaluation is needed only during tokenization
7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
   • Whether the engine can accept every shape without a profile
   • Only whether the model name is short
   • Whether training can restart from a screenshot
   • Whether the profile supports that requested shape
8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
   • That any serialized engine runs unchanged everywhere
   • That the selected compatibility settings support the new environment
   • That the engine contains all its original training data
   • That every GPU shares one serial number