Тест по серверу вывода Triton

Ответы и пояснения появляются по мере прохождения теста.

1. Что делает сервер вывода Triton «независимым от платформы»?
   • Один экземпляр может одновременно обслуживать модели из PyTorch, TensorFlow, ONNX, TensorRT и пользовательских бэкэндов.
   • Он запускает только движки TensorRT.
   • Он конвертирует каждую модель в Java.
   • Требуется переобучение всех моделей в одной структуре.
2. Как динамическая пакетная обработка повышает производительность?
   • Обрабатывая каждый запрос в момент его поступления, по одному
   • Группируя запросы, поступающие близко друг к другу, в один пакет для графического процессора.
   • Путем удаления запросов, которые поступают слишком медленно
   • Путем перемещения вывода в ЦП
3. What trade-off can Triton dynamic batching introduce?
   • Every request becomes lower latency regardless of traffic
   • It raises model accuracy by changing the weights
   • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
   • It only works when inference runs on a CPU
4. Что позволяет вам сделать «ансамбль моделей» Triton (или сценарии бизнес-логики)?
   • Обучайте несколько моделей вместе
   • Зашифруйте файлы модели
   • Уменьшить точность модели
   • Объедините предварительную обработку, вывод и постобработку в один серверный конвейер.
5. What does Triton concurrent model execution permit?
   • Multiple models or instances to execute in parallel on the same system, subject to available resources
   • Only one model may run until the server restarts
   • A model to change its weights during each request
   • Requests to bypass the scheduler and share another model output
6. Какие протоколы Triton обычно предоставляет клиентам для отправки запросов на вывод?
   • Только FTP
   • HTTP/REST и gRPC
   • Только электронная почта
   • Только Bluetooth
7. Which monitoring interface does the Triton guide say it exposes?
   • A built-in SQL reporting dashboard
   • A browser-only interactive notebook
   • Prometheus metrics
   • A mandatory cloud billing API
8. What should a serving team measure when tuning dynamic batching?
   • Only the largest possible batch size
   • Only average model parameter count
   • Only startup time on an idle server
   • Throughput and latency under representative request traffic