Cuestionario vinculado a una guía · Medio Nivel

Prueba del servidor de inferencia Triton

Revise cómo Triton atiende modelos, procesa solicitudes por lotes, programa trabajos simultáneos y expone señales operativas para ajustar un sistema de inferencia de producción.

Rutas de guía relacionadasServidor de inferencia Triton
Pregunta 1 de 8

¿Qué hace que Triton Inference Server sea 'independiente del marco'?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué hace que Triton Inference Server sea 'independiente del marco'?
    • Una sola instancia puede servir modelos de PyTorch, TensorFlow, ONNX, TensorRT y backends personalizados a la vez.
    • Solo ejecuta motores TensorRT
    • Convierte cada modelo a Java.
    • Requiere que todos los modelos se vuelvan a entrenar en un marco
  2. ¿Cómo mejora el rendimiento el procesamiento por lotes dinámico?
    • Procesando cada solicitud en el instante en que llega, una a la vez.
    • Agrupando las solicitudes que llegan juntas en un solo lote para la GPU
    • Eliminando solicitudes que llegan demasiado lentamente
    • Moviendo la inferencia a la CPU
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. ¿Qué le permite hacer un 'conjunto modelo' (o scripting de lógica empresarial) de Triton?
    • Entrena varios modelos juntos
    • Cifrar los archivos del modelo.
    • Reducir la precisión del modelo.
    • Encadene el preprocesamiento, la inferencia y el posprocesamiento en una canalización del lado del servidor
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. ¿Qué protocolos expone Triton comúnmente para que los clientes envíen solicitudes de inferencia?
    • Sólo FTP
    • HTTP/REST y gRPC
    • Solo correo electrónico
    • Sólo Bluetooth
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic