Тест, свързан с ръководство · Среден Ниво

Triton Inference Server Тест

Прегледайте как Triton обслужва модели, заявки за партиди, планира едновременна работа и излага оперативни сигнали за настройка на система за изводи за производство.

Свързани ръководни пътекиTriton Inference Server
Въпрос 1 на 8

Какво прави Triton Inference Server „независим от рамка“?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво прави Triton Inference Server „независим от рамка“?
    • Един екземпляр може да обслужва модели от PyTorch, TensorFlow, ONNX, TensorRT и потребителски бекенд наведнъж
    • Той работи само с двигатели TensorRT
    • Той преобразува всеки модел в Java
    • Изисква всички модели да бъдат преквалифицирани в една рамка
  2. Как динамичното групиране подобрява производителността?
    • Чрез обработка на всяка заявка в момента, в който пристигне, една по една
    • Чрез групиране на заявки, които пристигат близо една до друга, в една партида за GPU
    • Чрез изтриване на заявки, които пристигат твърде бавно
    • Чрез преместване на извод към процесора
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Какво ви позволява да правите „моделен ансамбъл“ на Triton (или скриптове с бизнес логика)?
    • Тренирайте няколко модела заедно
    • Шифроване на файловете на модела
    • Намалете точността на модела
    • Верижна предварителна обработка, извод и последваща обработка в един конвейер от страна на сървъра
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Кои протоколи обикновено излага Triton на клиентите, за да изпращат заявки за извод?
    • Само FTP
    • HTTP/REST и gRPC
    • Само имейл
    • Само Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic