Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący serwera wnioskowania Triton

Przejrzyj, w jaki sposób Triton obsługuje modele, grupuje żądania, planuje współbieżną pracę i udostępnia sygnały operacyjne w celu dostrojenia produkcyjnego systemu wnioskowania.

Powiązane ścieżki prowadząceSerwer wnioskowania Triton
Pytanie 1 z 8

Co sprawia, że ​​serwer wnioskowania Triton jest „niezależny od platformy”?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co sprawia, że ​​serwer wnioskowania Triton jest „niezależny od platformy”?
    • Pojedyncza instancja może jednocześnie obsługiwać modele z PyTorch, TensorFlow, ONNX, TensorRT i niestandardowych backendów
    • Obsługuje tylko silniki TensorRT
    • Konwertuje każdy model na Javę
    • Wymaga to przeszkolenia wszystkich modeli w jednym frameworku
  2. W jaki sposób dynamiczne przetwarzanie wsadowe poprawia wydajność?
    • Przetwarzając każde żądanie natychmiast po jego otrzymaniu, pojedynczo
    • Grupując żądania, które docierają blisko siebie, w jedną partię dla procesora graficznego
    • Usuwając żądania, które docierają zbyt wolno
    • Przenosząc wnioskowanie do procesora
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Na co pozwala „zespół modelowy” Tritona (lub skrypty logiki biznesowej)?
    • Trenuj razem kilka modeli
    • Zaszyfruj pliki modelu
    • Zmniejsz dokładność modelu
    • Połącz przetwarzanie wstępne, wnioskowanie i przetwarzanie końcowe w jeden potok po stronie serwera
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Które protokoły Triton często udostępnia klientom w celu wysyłania żądań wnioskowania?
    • Tylko FTP
    • HTTP/REST i gRPC
    • Tylko e-mail
    • Tylko Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic