Kuiz Pelayan Inferens Triton

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah yang menjadikan Pelayan Inferens Triton 'rangka kerja-agnostik'?
   • Satu contoh boleh menyampaikan model daripada PyTorch, TensorFlow, ONNX, TensorRT dan hujung belakang tersuai sekaligus
   • Ia hanya menjalankan enjin TensorRT
   • Ia menukar setiap model ke dalam Java
   • Ia memerlukan semua model untuk dilatih semula dalam satu rangka kerja
2. Bagaimanakah batching dinamik meningkatkan prestasi?
   • Dengan memproses setiap permintaan sebaik sahaja permintaan itu sampai, satu demi satu
   • Dengan mengumpulkan permintaan yang tiba bersama-sama ke dalam satu kelompok untuk GPU
   • Dengan memadamkan permintaan yang tiba terlalu lambat
   • Dengan memindahkan inferens ke CPU
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. Apakah yang boleh dilakukan oleh 'ensembel model' Triton (atau skrip logik perniagaan)?
   • Latih beberapa model bersama-sama
   • Sulitkan fail model
   • Kurangkan ketepatan model
   • Prapemprosesan rantaian, inferens dan pasca pemprosesan ke dalam satu saluran paip sebelah pelayan
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Protokol manakah yang biasanya didedahkan oleh Triton untuk pelanggan menghantar permintaan inferens?
   • Hanya FTP
   • HTTP/REST dan gRPC
   • Hanya e-mel
   • Hanya Bluetooth
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic