引导式测验 · 中等 等级

Triton 推理服务器测验

了解 Triton 如何服务模型、批处理请求、安排并发工作以及公开操作信号以调整生产推理系统。

相关引导路径Triton 推理服务器
问题 1 的 8

是什么让 Triton 推理服务器“与框架无关”？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 是什么让 Triton 推理服务器“与框架无关”？
    • 单个实例可以同时为来自 PyTorch、TensorFlow、ONNX、TensorRT 和自定义后端的模型提供服务
    • 它仅运行 TensorRT 引擎
    • 它将每个模型转换为 Java
    • 它要求所有模型在一个框架中重新训练
  2. 动态批处理如何提高性能？
    • 通过在每个请求到达时立即处理它，一次处理一个请求
    • 通过将同时到达的请求分组为 GPU 的单个批次
    • 通过删除到达速度太慢的请求
    • 将推理转移到 CPU
  3. What trade-off can Triton dynamic batching introduce?
    • Every request becomes lower latency regardless of traffic
    • It raises model accuracy by changing the weights
    • Compatible stateless requests may gain throughput while queued requests wait within a configured delay
    • It only works when inference runs on a CPU
  4. Triton“模型集成”（或业务逻辑脚本）可以让您做什么？
    • 一起训练多个模型
    • 加密模型文件
    • 降低模型的准确性
    • 将预处理、推理和后处理链接到一个服务器端管道中
  5. What does Triton concurrent model execution permit?
    • Multiple models or instances to execute in parallel on the same system, subject to available resources
    • Only one model may run until the server restarts
    • A model to change its weights during each request
    • Requests to bypass the scheduler and share another model output
  6. Triton 通常公开哪些协议供客户端发送推理请求？
    • 仅FTP
    • HTTP/REST 和 gRPC
    • 仅电子邮件
    • 仅蓝牙
  7. Which monitoring interface does the Triton guide say it exposes?
    • A built-in SQL reporting dashboard
    • A browser-only interactive notebook
    • Prometheus metrics
    • A mandatory cloud billing API
  8. What should a serving team measure when tuning dynamic batching?
    • Only the largest possible batch size
    • Only average model parameter count
    • Only startup time on an idle server
    • Throughput and latency under representative request traffic