Kvíz spojený s průvodcem · Těžko úroveň

Multi-Model Servírování a Model Multiplexing Kvíz

Vyvažte využití sdíleného modelu se směrováním, načítáním na vyžádání, ukládáním do mezipaměti, vyklizením, limity paměti GPU a izolací tenantů.

Související vodicí cestyObsluha více modelů a multiplexování
Otázka 1 z 8

Co multiplexování modelů běžně umožňuje sdílenému workeru obsluhy dělat?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co multiplexování modelů běžně umožňuje sdílenému workeru obsluhy dělat?
    • Keep every tenant model permanently loaded before any request
    • Choose a model only after ignoring the request identity
    • Load or select a requested model or adapter when needed
    • Train all tenant models as part of each inference request
  2. Proč může sdílená mezipaměť modelů zvýšit latenci u zřídka používaného modelu?
    • The cache changes the model output labels
    • An evicted model may need to be loaded again on its next request
    • Eviction guarantees a faster reload from device memory
    • An evicted model remains resident but is marked inactive
  3. Co by mělo API dělat s identifikátorem modelu poskytnutým klientem?
    • Treat the identifier as a filesystem path supplied by the client
    • Use the identifier to bypass authorization checks
    • Assume any artifact named by a client is compatible
    • Resolve the identifier through a validated registry or allowlist
  4. Which resource can limit how many models stay resident on one GPU?
    • GPU memory capacity limits resident weights and runtime state
    • The number of names in the API schema sets device memory
    • The training-set label format determines residency
    • More model identifiers always mean more available GPU memory
  5. Proč může jednoduchá politika odstraňování nejméně nedávno použitých (LRU) fungovat špatně?
    • It always retains the largest model regardless of request history
    • It selects entries using GPU memory as their cache key
    • It ignores model size and the cost or likelihood of reloading
    • It prevents cold starts whenever a model is evicted
  6. Které metriky pomáhají diagnostikovat chování multiplexování modelů?
    • Only the number of model names configured
    • Cache hits, evictions, load duration, and cold-start rate
    • Only training loss for each model
    • Only the API route count
  7. What should be considered when comparing shared multiplexing with dedicated replicas?
    • Compare only model-file counts across architectures
    • Compare only inference framework names
    • Compare only training accuracy
    • Compare demand patterns, resource use, latency, and isolation needs
  8. Why account for in-flight requests before unloading a model?
    • Active requests may still depend on the model weights or runtime state
    • Removing a model entry automatically redirects active work
    • Unloading updates every client schema before a response
    • In-flight requests no longer use the model once eviction starts