Gids-gekoppelde quiz · Middelmatig Niveau
Triton Inference Server-quiz
Bekijk hoe Triton modellen serveert, verzoeken batcht, gelijktijdig werk plant, en operationele signalen exposeert voor het afstemmen van een productie-inferentiesysteem.
Vraag 1 van 8
Wat maakt Triton Inference Server 'framework-agnostisch'?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat maakt Triton Inference Server 'framework-agnostisch'?
- Eén exemplaar kan modellen van PyTorch, TensorFlow, ONNX, TensorRT en aangepaste backends tegelijk bedienen
- Het draait alleen op TensorRT-motoren
- Het converteert elk model naar Java
- Het vereist dat alle modellen in één raamwerk worden omgeschoold
- Hoe verbetert dynamische batching de prestaties?
- Door elk verzoek één voor één te verwerken zodra het binnenkomt
- Door verzoeken die dicht bij elkaar binnenkomen te groeperen in één batch voor de GPU
- Door verzoeken te verwijderen die te langzaam binnenkomen
- Door de gevolgtrekking naar de CPU te verplaatsen
- What trade-off can Triton dynamic batching introduce?
- Every request becomes lower latency regardless of traffic
- It raises model accuracy by changing the weights
- Compatible stateless requests may gain throughput while queued requests wait within a configured delay
- It only works when inference runs on a CPU
- Wat kun je doen met een Triton-'modelensemble' (of bedrijfslogica-scripting)?
- Train meerdere modellen samen
- Versleutel de modelbestanden
- Verminder de nauwkeurigheid van het model
- Combineer voorverwerking, gevolgtrekking en naverwerking in één pijplijn aan de serverzijde
- What does Triton concurrent model execution permit?
- Multiple models or instances to execute in parallel on the same system, subject to available resources
- Only one model may run until the server restarts
- A model to change its weights during each request
- Requests to bypass the scheduler and share another model output
- Welke protocollen stelt Triton gewoonlijk beschikbaar voor clients om gevolgtrekkingsverzoeken te verzenden?
- Alleen FTP
- HTTP/REST en gRPC
- Alleen e-mail
- Alleen Bluetooth
- Which monitoring interface does the Triton guide say it exposes?
- A built-in SQL reporting dashboard
- A browser-only interactive notebook
- Prometheus metrics
- A mandatory cloud billing API
- What should a serving team measure when tuning dynamic batching?
- Only the largest possible batch size
- Only average model parameter count
- Only startup time on an idle server
- Throughput and latency under representative request traffic