Quiz sur le serveur d'inférence Triton

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu'est-ce qui rend Triton Inference Server « indépendant du framework » ?
   • Une seule instance peut servir simultanément des modèles de PyTorch, TensorFlow, ONNX, TensorRT et des backends personnalisés.
   • Il n'exécute que les moteurs TensorRT
   • Il convertit chaque modèle en Java
   • Cela nécessite que tous les modèles soient recyclés dans un seul cadre
2. Comment le traitement par lots dynamique améliore-t-il les performances ?
   • En traitant chaque demande dès son arrivée, une à la fois
   • En regroupant les requêtes qui arrivent à proximité en un seul lot pour le GPU
   • En supprimant les demandes qui arrivent trop lentement
   • En déplaçant l'inférence vers le CPU
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. Que vous permet de faire un « ensemble de modèles » Triton (ou un script de logique métier) ?
   • Entraîner plusieurs modèles ensemble
   • Chiffrer les fichiers de modèle
   • Réduire la précision du modèle
   • Chaînez le prétraitement, l'inférence et le post-traitement dans un seul pipeline côté serveur
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Quels protocoles Triton expose-t-il couramment pour que les clients envoient des requêtes d'inférence ?
   • FTP uniquement
   • HTTP/REST et gRPC
   • Uniquement par e-mail
   • Uniquement Bluetooth
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic