Gids-gekoppelde quiz · Middelmatig Niveau

Triton Inference Server-quiz

Bekijk hoe Triton modellen serveert, verzoeken batcht, gelijktijdig werk plant, en operationele signalen exposeert voor het afstemmen van een productie-inferentiesysteem.

Gerelateerde gidspadenTriton-inferentieserver
Vraag 1 van 8

Wat maakt Triton Inference Server 'framework-agnostisch'?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat maakt Triton Inference Server 'framework-agnostisch'?
    • Eén exemplaar kan modellen van PyTorch, TensorFlow, ONNX, TensorRT en aangepaste backends tegelijk bedienen
    • Het draait alleen op TensorRT-motoren
    • Het converteert elk model naar Java
    • Het vereist dat alle modellen in één raamwerk worden omgeschoold
  2. Hoe verbetert dynamische batching de prestaties?
    • Door elk verzoek één voor één te verwerken zodra het binnenkomt
    • Door verzoeken die dicht bij elkaar binnenkomen te groeperen in één batch voor de GPU
    • Door verzoeken te verwijderen die te langzaam binnenkomen
    • Door de gevolgtrekking naar de CPU te verplaatsen
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Wat kun je doen met een Triton-'modelensemble' (of bedrijfslogica-scripting)?
    • Train meerdere modellen samen
    • Versleutel de modelbestanden
    • Verminder de nauwkeurigheid van het model
    • Combineer voorverwerking, gevolgtrekking en naverwerking in één pijplijn aan de serverzijde
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Welke protocollen stelt Triton gewoonlijk beschikbaar voor clients om gevolgtrekkingsverzoeken te verzenden?
    • Alleen FTP
    • HTTP/REST en gRPC
    • Alleen e-mail
    • Alleen Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic