Kvíz spojený s průvodcem · Střední úroveň

LLM Inference Routing a Load Balancing Quiz

Kontroluje směrování replik a modelů, afinitu mezipaměti, živou telemetrii, variabilní náklady na token a goodput s ohledem na latenci pro odvození LLM.

Otázka 1 z 8

Proč je obyčejné kolo-robin často špatnou strategií vyvažování zátěže pro vyvozování LLM?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč je obyčejné kolo-robin často špatnou strategií vyvažování zátěže pro vyvozování LLM?
    • Požadavky se velmi liší v ceně a repliky obsahují lepivé KV mezipaměti
    • Ve většině zemí je to nezákonné
    • Round-robin funguje pouze pro databáze
    • Ke spuštění vyžaduje GPU
  2. Čeho se snaží dosáhnout směrování 'prefix-cache affinity'?
    • Odeslání každého požadavku na náhodný GPU
    • Směrování požadavku na repliku, která již uložila svou předponu výzvy do mezipaměti
    • Šifrování výzvy před odesláním
    • Stlačování závaží modelu
  3. Co se obvykle stane se snadným dotazem v modelovém směrování založeném na obtížnosti?
    • Odmítá se
    • Odesílá se na největší dostupný model
    • Odesílá se na malý, levnější model
    • Je ve frontě 24 hodin
  4. Který živý signál je nejužitečnější pro LLM-aware load balancer?
    • Délka názvu hostitele serveru
    • Barva stojanu
    • Pouze časové pásmo uživatele
    • Hloubka fronty a obsazenost KV-cache každé repliky
  5. Co poskytuje nástroj jako LiteLLM v nastavení pro více poskytovatelů?
    • Jediný proxy, který vyrovnává a přebírá selhání u mnoha poskytovatelů modelů
    • Nová architektura transformátoru
    • Systém chlazení GPU
    • Náhrada za tokenizer
  6. Proč může jeden dlouhý výstupní požadavek převážit mnoho krátkých pro vyvážení?
    • Dlouhé výstupy nevyužívají žádné zdroje
    • Každý výstupní token stojí úplný dopředný průchod, takže celkové zatížení tokenu je důležitější než počet požadavků
    • Krátké požadavky jsou vždy pomalejší
    • Router vůbec nevidí délku výstupu
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Celkový počet parametrů modelu
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing