Test legat de ghid · Mediu Nivel

Chestionar privind rutarea inferenței și echilibrarea încărcăturii LLM

Verifică rutarea replica și modelul, afinitatea cache-ului, telemetria în timp real, costul variabil al jetonului și valoarea latenței pentru inferența LLM.

Căi de ghidare aferenteRutarea prin inferență LLM și echilibrarea sarcinii
Întrebare 1 de 8

De ce simplul round-robin este adesea o strategie slabă de echilibrare a sarcinii pentru inferența LLM?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. De ce simplul round-robin este adesea o strategie slabă de echilibrare a sarcinii pentru inferența LLM?
    • Solicitările variază enorm în ceea ce privește costul, iar replicile dețin cache-uri KV lipicioase
    • Este ilegal în majoritatea țărilor
    • Round-robin funcționează numai pentru baze de date
    • Este nevoie de un GPU pentru a rula
  2. Ce încearcă să realizeze rutarea „prefix-cache afinity”?
    • Trimiterea fiecărei solicitări către un GPU aleatoriu
    • Dirijarea unei cereri către replica care a stocat deja prefixul prompt în cache
    • Criptarea solicitării înainte de trimitere
    • Comprimarea greutăților modelului
  3. În rutarea modelului bazată pe dificultate, ce se întâmplă de obicei cu o interogare ușoară?
    • Este respins
    • Este trimis la cel mai mare model disponibil
    • Este trimis la un model mic, mai ieftin
    • Este la coadă timp de 24 de ore
  4. Care semnal live este cel mai util pentru un echilibrator de încărcare LLM-aware?
    • Lungimea numelui de gazdă al serverului
    • Culoarea raftului
    • Numai fusul orar al utilizatorului
    • Adâncimea cozii și ocuparea cache-ului KV pentru fiecare replică
  5. Ce oferă un instrument precum LiteLLM într-o configurație cu mai mulți furnizori?
    • Un singur proxy care echilibrează și renunță la mai mulți furnizori de modele
    • O nouă arhitectură a transformatorului
    • Un sistem de răcire GPU
    • Un înlocuitor pentru tokenizer
  6. De ce poate o cerere de ieșire lungă să depășească multe cereri scurte pentru echilibrare?
    • Ieșirile lungi nu folosesc resurse
    • Fiecare jeton de ieșire costă o trecere completă înainte, astfel încât încărcarea totală a jetonului contează mai mult decât numărul de cereri
    • Solicitările scurte sunt întotdeauna mai lente
    • Routerul nu poate vedea deloc lungimea de ieșire
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Numărul total de parametri ai modelului
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing