Kvíz spojený s průvodcem · Střední úroveň
Kvíz Triton Inference Server
Prohlédněte si, jak Triton obsluhuje modely, dávkuje požadavky, plánuje souběžnou práci a odhaluje provozní signály pro ladění produkčního inferenčního systému.
Otázka 1 z 8
Co dělá Triton Inference Server 'framework-agnostik'?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co dělá Triton Inference Server 'framework-agnostik'?
- Jedna instance může obsluhovat modely z PyTorch, TensorFlow, ONNX, TensorRT a vlastních backendů najednou
- Pohání pouze motory TensorRT
- Převádí každý model do Javy
- Vyžaduje, aby byly všechny modely přeškoleny v jednom rámci
- Jak dynamické dávkování zlepšuje výkon?
- Zpracováním každého požadavku v okamžiku, kdy dorazí, jeden po druhém
- Seskupením požadavků, které přicházejí těsně vedle sebe, do jedné dávky pro GPU
- Smazáním požadavků, které přicházejí příliš pomalu
- Přesunutím inference na CPU
- What trade-off can Triton dynamic batching introduce?
- Every request becomes lower latency regardless of traffic
- It raises model accuracy by changing the weights
- Compatible stateless requests may gain throughput while queued requests wait within a configured delay
- It only works when inference runs on a CPU
- Co vám Tritonův „modelový soubor“ (nebo obchodní logický scénář) umožňuje?
- Trénujte spolu několik modelů
- Zašifrujte soubory modelu
- Snižte přesnost modelu
- Zřetězení předzpracování, odvození a následného zpracování do jednoho kanálu na straně serveru
- What does Triton concurrent model execution permit?
- Multiple models or instances to execute in parallel on the same system, subject to available resources
- Only one model may run until the server restarts
- A model to change its weights during each request
- Requests to bypass the scheduler and share another model output
- Které protokoly Triton běžně poskytuje klientům k odesílání požadavků na odvození?
- Pouze FTP
- HTTP/REST a gRPC
- Pouze email
- Pouze Bluetooth
- Which monitoring interface does the Triton guide say it exposes?
- A built-in SQL reporting dashboard
- A browser-only interactive notebook
- Prometheus metrics
- A mandatory cloud billing API
- What should a serving team measure when tuning dynamic batching?
- Only the largest possible batch size
- Only average model parameter count
- Only startup time on an idle server
- Throughput and latency under representative request traffic