Útmutatóhoz kapcsolódó kvíz · Közepes Szint
LLM következtetési útválasztás és terheléselosztás kvíz
Checks replica and model routing, cache affinity, live telemetry, variable token cost and latency-aware goodput for LLM inference.
kérdés 1 -ból 8
Miért gyakran rossz terheléselosztási stratégia az LLM-következtetéshez a sima round-robin?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért gyakran rossz terheléselosztási stratégia az LLM-következtetéshez a sima round-robin?
- A kérések költsége rendkívül eltérő, és a replikák ragadós KV-gyorsítótárakat tartalmaznak
- A legtöbb országban illegális
- A körbejátszás csak adatbázisoknál működik
- Működéséhez GPU szükséges
- Mit próbál elérni az „előtag-gyorsítótár affinitás” útválasztás?
- Minden kérés elküldése egy véletlenszerű GPU-nak
- Kérelem irányítása a replikához, amely már gyorsítótárazta a prompt előtagját
- A prompt titkosítása küldés előtt
- A modell súlyainak tömörítése
- Mi történik általában egy egyszerű lekérdezéssel a nehézségalapú modell-útválasztásnál?
- El van utasítva
- Az elérhető legnagyobb modellre kerül elküldésre
- Kicsi, olcsóbb modellre küldik
- 24 órán keresztül sorban áll
- Melyik élő jel a leghasznosabb egy LLM-tudatos terheléselosztó számára?
- A szerver gazdagépnevének hossza
- A rack színe
- Csak a felhasználó időzónája
- Az egyes replikák sormélysége és KV-gyorsítótárának foglaltsága
- Mit biztosít egy olyan eszköz, mint a LiteLLM több szolgáltatós beállításban?
- Egyetlen proxy, amely kiegyensúlyozza és átveszi a sok modellszolgáltatót
- Új transzformátor architektúra
- GPU hűtőrendszer
- A tokenizátor cseréje
- Miért lehet egy hosszú kimeneti kérés több mint sok rövid kiegyenlítési kérelem?
- A hosszú kimenetek nem igényelnek erőforrásokat
- Minden kimeneti jogkivonat egy teljes továbbításba kerül, így a teljes tokenterhelés többet jelent, mint a kérések száma
- A rövid kérések mindig lassabbak
- A router egyáltalán nem látja a kimeneti hosszt
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- A modellparaméterek teljes száma
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing