Útmutatóhoz kapcsolódó kvíz · Közepes Szint

LLM következtetési útválasztás és terheléselosztás kvíz

Checks replica and model routing, cache affinity, live telemetry, variable token cost and latency-aware goodput for LLM inference.

kérdés 1 -ból 8

Miért gyakran rossz terheléselosztási stratégia az LLM-következtetéshez a sima round-robin?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért gyakran rossz terheléselosztási stratégia az LLM-következtetéshez a sima round-robin?
    • A kérések költsége rendkívül eltérő, és a replikák ragadós KV-gyorsítótárakat tartalmaznak
    • A legtöbb országban illegális
    • A körbejátszás csak adatbázisoknál működik
    • Működéséhez GPU szükséges
  2. Mit próbál elérni az „előtag-gyorsítótár affinitás” útválasztás?
    • Minden kérés elküldése egy véletlenszerű GPU-nak
    • Kérelem irányítása a replikához, amely már gyorsítótárazta a prompt előtagját
    • A prompt titkosítása küldés előtt
    • A modell súlyainak tömörítése
  3. Mi történik általában egy egyszerű lekérdezéssel a nehézségalapú modell-útválasztásnál?
    • El van utasítva
    • Az elérhető legnagyobb modellre kerül elküldésre
    • Kicsi, olcsóbb modellre küldik
    • 24 órán keresztül sorban áll
  4. Melyik élő jel a leghasznosabb egy LLM-tudatos terheléselosztó számára?
    • A szerver gazdagépnevének hossza
    • A rack színe
    • Csak a felhasználó időzónája
    • Az egyes replikák sormélysége és KV-gyorsítótárának foglaltsága
  5. Mit biztosít egy olyan eszköz, mint a LiteLLM több szolgáltatós beállításban?
    • Egyetlen proxy, amely kiegyensúlyozza és átveszi a sok modellszolgáltatót
    • Új transzformátor architektúra
    • GPU hűtőrendszer
    • A tokenizátor cseréje
  6. Miért lehet egy hosszú kimeneti kérés több mint sok rövid kiegyenlítési kérelem?
    • A hosszú kimenetek nem igényelnek erőforrásokat
    • Minden kimeneti jogkivonat egy teljes továbbításba kerül, így a teljes tokenterhelés többet jelent, mint a kérések száma
    • A rövid kérések mindig lassabbak
    • A router egyáltalán nem látja a kimeneti hosszt
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • A modellparaméterek teljes száma
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing