Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra ghép kênh mô hình và phân phối đa mô hình

Cân bằng việc sử dụng mô hình được chia sẻ với định tuyến, tải theo yêu cầu, bộ nhớ đệm, trục xuất, giới hạn bộ nhớ GPU và cách ly đối tượng thuê.

Đường dẫn hướng dẫn liên quanPhục vụ và ghép kênh đa mô hình
Câu hỏi 1 của 8

Ghép kênh mô hình thường cho phép một nhân viên phục vụ chung làm gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Ghép kênh mô hình thường cho phép một nhân viên phục vụ chung làm gì?
    • Keep every tenant model permanently loaded before any request
    • Choose a model only after ignoring the request identity
    • Load or select a requested model or adapter when needed
    • Train all tenant models as part of each inference request
  2. Tại sao bộ đệm mô hình dùng chung có thể tăng độ trễ cho một mô hình ít được sử dụng?
    • The cache changes the model output labels
    • An evicted model may need to be loaded again on its next request
    • Eviction guarantees a faster reload from device memory
    • An evicted model remains resident but is marked inactive
  3. API nên làm gì với mã nhận dạng mô hình do khách hàng cung cấp?
    • Treat the identifier as a filesystem path supplied by the client
    • Use the identifier to bypass authorization checks
    • Assume any artifact named by a client is compatible
    • Resolve the identifier through a validated registry or allowlist
  4. Which resource can limit how many models stay resident on one GPU?
    • GPU memory capacity limits resident weights and runtime state
    • The number of names in the API schema sets device memory
    • The training-set label format determines residency
    • More model identifiers always mean more available GPU memory
  5. Tại sao chính sách trục xuất đơn giản ít được sử dụng gần đây nhất lại có thể hoạt động kém?
    • It always retains the largest model regardless of request history
    • It selects entries using GPU memory as their cache key
    • It ignores model size and the cost or likelihood of reloading
    • It prevents cold starts whenever a model is evicted
  6. Những số liệu nào giúp chẩn đoán hành vi ghép kênh mô hình?
    • Only the number of model names configured
    • Cache hits, evictions, load duration, and cold-start rate
    • Only training loss for each model
    • Only the API route count
  7. What should be considered when comparing shared multiplexing with dedicated replicas?
    • Compare only model-file counts across architectures
    • Compare only inference framework names
    • Compare only training accuracy
    • Compare demand patterns, resource use, latency, and isolation needs
  8. Why account for in-flight requests before unloading a model?
    • Active requests may still depend on the model weights or runtime state
    • Removing a model entry automatically redirects active work
    • Unloading updates every client schema before a response
    • In-flight requests no longer use the model once eviction starts