แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบ TensorRT และเครื่องมือการอนุมาน

ใช้การเพิ่มประสิทธิภาพกลไก TensorRT ตัวเลือกความแม่นยำ และโปรไฟล์รูปร่าง รวมถึงสาเหตุที่ความเข้ากันได้และความแม่นยำในการปรับใช้จำเป็นต้องมีการตรวจสอบจริง

เส้นทางแนะนำที่เกี่ยวข้องTensorrt และเอ็นจิ้นการอนุมาน
คำถาม 1 ของ 8

What is the goal of building an inference engine with TensorRT?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. What is the goal of building an inference engine with TensorRT?
    • Guarantee the fastest possible execution on every system
    • Optimize execution of a supported trained model for the configured target
    • Choose training labels without a dataset
    • Replace every GPU with a CPU
  2. เลเยอร์ฟิวชั่นเร่งการอนุมานได้อย่างไร
    • โดยการรวมการดำเนินการหลายอย่างไว้ในเคอร์เนล GPU เดียวเพื่อลดการรับส่งข้อมูลหน่วยความจำ
    • โดยการลบเลเยอร์ที่ไม่จำเป็นออก
    • โดยรันแต่ละเลเยอร์บน GPU แยกกัน
    • โดยการแปลงโมเดลให้รันบนซีพียู
  3. In a representative-data INT8 calibration workflow, why examine the model’s value distributions?
    • To guarantee no accuracy change under all future inputs
    • To retrain the model from zero automatically
    • To select quantization scales suited to the observed numerical ranges
    • To remove every compatibility requirement
  4. เหตุใดเอ็นจิ้น TensorRT ที่คอมไพล์โดยทั่วไปจึงเฉพาะกับสถาปัตยกรรม GPU เดียว
    • เนื่องจากมันถูกเข้ารหัสไปยังหมายเลขซีเรียลของ GPU นั้น
    • เนื่องจาก NVIDIA อนุญาตให้ใช้สิทธิต่ออุปกรณ์
    • เพราะมันเก็บข้อมูลการฝึกไว้ภายในเครื่องยนต์
    • เนื่องจากการปรับแต่งเคอร์เนลอัตโนมัติจะอบในเคอร์เนลที่เร็วที่สุดสำหรับคอร์และเลย์เอาต์หน่วยความจำที่แน่นอนของ GPU นั้น
  5. ฟีเจอร์ใดของ TensorRT-LLM ที่ช่วยให้บริการโมเดลภาษาขนาดใหญ่ได้อย่างมีประสิทธิภาพโดยเฉพาะ
    • การแบตช์ในเที่ยวบิน (ต่อเนื่อง) และเพจ KV-cache
    • การเพิ่มภาพอัตโนมัติ
    • เว็บโฮสติ้งในตัว
    • การตัดเสียงรบกวน
  6. Why evaluate task accuracy after choosing lower-precision TensorRT execution?
    • Lower precision always preserves every output bit
    • Only the model filename affects predictions
    • Reduced numerical precision can change model outputs or quality
    • Accuracy evaluation is needed only during tokenization
  7. A TensorRT dynamic-shape engine receives input outside its configured profile range. What should deployment validation check?
    • Whether the engine can accept every shape without a profile
    • Only whether the model name is short
    • Whether training can restart from a screenshot
    • Whether the profile supports that requested shape
  8. A TensorRT engine is moved to a different runtime and GPU configuration. What must the team establish?
    • That any serialized engine runs unchanged everywhere
    • That the selected compatibility settings support the new environment
    • That the engine contains all its original training data
    • That every GPU shares one serial number