Kvíz spojený s průvodcem · Střední úroveň
LLM Inference Routing a Load Balancing Quiz
Kontroluje směrování replik a modelů, afinitu mezipaměti, živou telemetrii, variabilní náklady na token a goodput s ohledem na latenci pro odvození LLM.
Otázka 1 z 8
Proč je obyčejné kolo-robin často špatnou strategií vyvažování zátěže pro vyvozování LLM?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je obyčejné kolo-robin často špatnou strategií vyvažování zátěže pro vyvozování LLM?
- Požadavky se velmi liší v ceně a repliky obsahují lepivé KV mezipaměti
- Ve většině zemí je to nezákonné
- Round-robin funguje pouze pro databáze
- Ke spuštění vyžaduje GPU
- Čeho se snaží dosáhnout směrování 'prefix-cache affinity'?
- Odeslání každého požadavku na náhodný GPU
- Směrování požadavku na repliku, která již uložila svou předponu výzvy do mezipaměti
- Šifrování výzvy před odesláním
- Stlačování závaží modelu
- Co se obvykle stane se snadným dotazem v modelovém směrování založeném na obtížnosti?
- Odmítá se
- Odesílá se na největší dostupný model
- Odesílá se na malý, levnější model
- Je ve frontě 24 hodin
- Který živý signál je nejužitečnější pro LLM-aware load balancer?
- Délka názvu hostitele serveru
- Barva stojanu
- Pouze časové pásmo uživatele
- Hloubka fronty a obsazenost KV-cache každé repliky
- Co poskytuje nástroj jako LiteLLM v nastavení pro více poskytovatelů?
- Jediný proxy, který vyrovnává a přebírá selhání u mnoha poskytovatelů modelů
- Nová architektura transformátoru
- Systém chlazení GPU
- Náhrada za tokenizer
- Proč může jeden dlouhý výstupní požadavek převážit mnoho krátkých pro vyvážení?
- Dlouhé výstupy nevyužívají žádné zdroje
- Každý výstupní token stojí úplný dopředný průchod, takže celkové zatížení tokenu je důležitější než počet požadavků
- Krátké požadavky jsou vždy pomalejší
- Router vůbec nevidí délku výstupu
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- Celkový počet parametrů modelu
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing