Kuis Server Inferensi Triton

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang membuat Triton Inference Server 'kerangka-agnostik'?
   • Satu instance dapat melayani model dari PyTorch, TensorFlow, ONNX, TensorRT, dan backend kustom sekaligus
   • Ini hanya menjalankan mesin TensorRT
   • Itu mengubah setiap model menjadi Java
   • Hal ini mengharuskan semua model dilatih ulang dalam satu kerangka kerja
2. Bagaimana pengelompokan dinamis meningkatkan kinerja?
   • Dengan memproses setiap permintaan saat permintaan itu tiba, satu per satu
   • Dengan mengelompokkan permintaan yang datang berdekatan ke dalam satu batch untuk GPU
   • Dengan menghapus permintaan yang datang terlalu lambat
   • Dengan memindahkan inferensi ke CPU
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. Apa yang dapat Anda lakukan dengan 'model ansambel' (atau skrip logika bisnis) Triton?
   • Latih beberapa model bersama-sama
   • Enkripsi file model
   • Kurangi akurasi model
   • Merangkai prapemrosesan, inferensi, dan pascapemrosesan ke dalam satu saluran sisi server
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Protokol manakah yang biasanya diekspos Triton kepada klien untuk mengirim permintaan inferensi?
   • Hanya FTP
   • HTTP/REST dan gRPC
   • Hanya email
   • Hanya Bluetooth
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic