Вікторина, пов’язана з посібником · Середній Рівень

Вікторина Triton Inference Server

Перегляньте, як Triton обслуговує моделі, пакетні запити, планує одночасну роботу та надає робочі сигнали для налаштування системи висновків про виробництво.

Пов'язані напрямні шляхиСервер висновків Triton
Питання 1 з 8

Що робить Triton Inference Server «фреймворк-агностиком»?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що робить Triton Inference Server «фреймворк-агностиком»?
    • Один екземпляр може одночасно обслуговувати моделі з PyTorch, TensorFlow, ONNX, TensorRT і користувальницькі серверні модулі
    • Він працює лише з механізмами TensorRT
    • Він перетворює кожну модель на Java
    • Це вимагає, щоб усі моделі були перенапрацьовані в одній структурі
  2. Як динамічне пакетування покращує продуктивність?
    • Обробляючи кожен запит, щойно він надходить, по одному
    • Групуючи запити, які надходять близько один до одного, в один пакет для GPU
    • Видаляючи запити, які надходять надто повільно
    • Перемістивши висновок до ЦП
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Що дозволяє вам робити "модельний ансамбль" Triton (або сценарії бізнес-логіки)?
    • Тренуйте разом кілька моделей
    • Зашифруйте файли моделі
    • Знизити точність моделі
    • Поєднайте попередню обробку, висновок і постобробку в один конвеєр на стороні сервера
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Які протоколи Triton зазвичай надає клієнтам для надсилання запитів на висновок?
    • Тільки FTP
    • HTTP/REST і gRPC
    • Тільки електронна пошта
    • Тільки Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic