Kvíz spojený s průvodcem · Střední úroveň

Kvíz Triton Inference Server

Prohlédněte si, jak Triton obsluhuje modely, dávkuje požadavky, plánuje souběžnou práci a odhaluje provozní signály pro ladění produkčního inferenčního systému.

Související vodicí cestyTriton Inference Server
Otázka 1 z 8

Co dělá Triton Inference Server 'framework-agnostik'?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co dělá Triton Inference Server 'framework-agnostik'?
    • Jedna instance může obsluhovat modely z PyTorch, TensorFlow, ONNX, TensorRT a vlastních backendů najednou
    • Pohání pouze motory TensorRT
    • Převádí každý model do Javy
    • Vyžaduje, aby byly všechny modely přeškoleny v jednom rámci
  2. Jak dynamické dávkování zlepšuje výkon?
    • Zpracováním každého požadavku v okamžiku, kdy dorazí, jeden po druhém
    • Seskupením požadavků, které přicházejí těsně vedle sebe, do jedné dávky pro GPU
    • Smazáním požadavků, které přicházejí příliš pomalu
    • Přesunutím inference na CPU
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Co vám Tritonův „modelový soubor“ (nebo obchodní logický scénář) umožňuje?
    • Trénujte spolu několik modelů
    • Zašifrujte soubory modelu
    • Snižte přesnost modelu
    • Zřetězení předzpracování, odvození a následného zpracování do jednoho kanálu na straně serveru
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Které protokoly Triton běžně poskytuje klientům k odesílání požadavků na odvození?
    • Pouze FTP
    • HTTP/REST a gRPC
    • Pouze email
    • Pouze Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic