Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Folyamatos kötegelési kvíz

Apply iteration-level LLM batching, capacity limits, and prefill tradeoffs, including why admitting requests continuously does not guarantee zero waiting.

Kapcsolódó útmutató utakFolyamatos adagolás
kérdés 1 -ból 8

Mi a statikus (rögzített) kötegelés fő gyengesége az LLM-kiszolgáláshoz?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a statikus (rögzített) kötegelés fő gyengesége az LLM-kiszolgáláshoz?
    • Csak CPU-kon futhat
    • Ehhez először minden adatot fel kell címkézni
    • A rövid kérések hamarabb befejeződnek, de a réseik tétlenek, miközben a köteg a leghosszabbra vár
    • Ez kevésbé pontosítja a modellt
  2. Milyen részletességgel ad hozzá és távolítja el a kéréseket a folyamatos kötegelés?
    • Naponta egyszer
    • Dekódolási lépésenként (egyszerre egy token)
    • Csak teljes kérésre
    • Edzési korszakonként
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Melyik technika párosul természetesen a folyamatos kötegeléssel, hogy olcsó legyen a szekvenciák beillesztése/eltávolítása?
    • A PagedAttention blokk alapú KV gyorsítótár
    • FP32 dupla pontosság
    • Lemezcsere
    • Kézi adatcímkézés
  5. Melyik kutatási cikknek tulajdonítják általában az iterációs szintű (folyamatos) kötegelés népszerűsítését?
    • Az eredeti Transformer papír
    • Az Orca újság
    • Egy 1980-as évekbeli adatbázis-papír
    • Az ImageNet papír
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers