Kvíz spojený s průvodcem · Těžko úroveň
Multi-Model Servírování a Model Multiplexing Kvíz
Vyvažte využití sdíleného modelu se směrováním, načítáním na vyžádání, ukládáním do mezipaměti, vyklizením, limity paměti GPU a izolací tenantů.
Otázka 1 z 8
Co multiplexování modelů běžně umožňuje sdílenému workeru obsluhy dělat?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co multiplexování modelů běžně umožňuje sdílenému workeru obsluhy dělat?
- Keep every tenant model permanently loaded before any request
- Choose a model only after ignoring the request identity
- Load or select a requested model or adapter when needed
- Train all tenant models as part of each inference request
- Proč může sdílená mezipaměť modelů zvýšit latenci u zřídka používaného modelu?
- The cache changes the model output labels
- An evicted model may need to be loaded again on its next request
- Eviction guarantees a faster reload from device memory
- An evicted model remains resident but is marked inactive
- Co by mělo API dělat s identifikátorem modelu poskytnutým klientem?
- Treat the identifier as a filesystem path supplied by the client
- Use the identifier to bypass authorization checks
- Assume any artifact named by a client is compatible
- Resolve the identifier through a validated registry or allowlist
- Which resource can limit how many models stay resident on one GPU?
- GPU memory capacity limits resident weights and runtime state
- The number of names in the API schema sets device memory
- The training-set label format determines residency
- More model identifiers always mean more available GPU memory
- Proč může jednoduchá politika odstraňování nejméně nedávno použitých (LRU) fungovat špatně?
- It always retains the largest model regardless of request history
- It selects entries using GPU memory as their cache key
- It ignores model size and the cost or likelihood of reloading
- It prevents cold starts whenever a model is evicted
- Které metriky pomáhají diagnostikovat chování multiplexování modelů?
- Only the number of model names configured
- Cache hits, evictions, load duration, and cold-start rate
- Only training loss for each model
- Only the API route count
- What should be considered when comparing shared multiplexing with dedicated replicas?
- Compare only model-file counts across architectures
- Compare only inference framework names
- Compare only training accuracy
- Compare demand patterns, resource use, latency, and isolation needs
- Why account for in-flight requests before unloading a model?
- Active requests may still depend on the model weights or runtime state
- Removing a model entry automatically redirects active work
- Unloading updates every client schema before a response
- In-flight requests no longer use the model once eviction starts