Quiz collegato alla guida · Medio Livello

Quiz sul server di inferenza Triton

Esamina il modo in cui Triton serve modelli, raggruppa richieste, pianifica il lavoro simultaneo ed espone segnali operativi per ottimizzare un sistema di inferenza di produzione.

Percorsi guida correlatiServer di inferenza Triton
Domanda 1 di 8

Cosa rende Triton Inference Server "indipendente dal framework"?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa rende Triton Inference Server "indipendente dal framework"?
    • Una singola istanza può servire contemporaneamente modelli da PyTorch, TensorFlow, ONNX, TensorRT e backend personalizzati
    • Funziona solo con motori TensorRT
    • Converte ogni modello in Java
    • Richiede che tutti i modelli vengano riqualificati in un unico framework
  2. In che modo il batch dinamico migliora le prestazioni?
    • Elaborando ogni richiesta nell'istante in cui arriva, una alla volta
    • Raggruppando le richieste che arrivano vicine in un unico batch per la GPU
    • Eliminando le richieste che arrivano troppo lentamente
    • Spostando l'inferenza alla CPU
  3. Quale compromesso può introdurre il batching dinamico di Triton?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Cosa ti consente di fare un "insieme di modelli" Triton (o scripting di logica aziendale)?
    • Addestra diversi modelli insieme
    • Crittografare i file del modello
    • Ridurre la precisione del modello
    • Concatena preelaborazione, inferenza e postelaborazione in un'unica pipeline lato server
  5. Cosa permette l'esecuzione concorrente dei modelli di Triton?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Quali protocolli Triton espone comunemente ai client per inviare richieste di inferenza?
    • Solo FTP
    • HTTP/REST e gRPC
    • Solo e-mail
    • Solo Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic