Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Folyamatos kötegelési kvíz
Apply iteration-level LLM batching, capacity limits, and prefill tradeoffs, including why admitting requests continuously does not guarantee zero waiting.
kérdés 1 -ból 8
Mi a statikus (rögzített) kötegelés fő gyengesége az LLM-kiszolgáláshoz?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a statikus (rögzített) kötegelés fő gyengesége az LLM-kiszolgáláshoz?
- Csak CPU-kon futhat
- Ehhez először minden adatot fel kell címkézni
- A rövid kérések hamarabb befejeződnek, de a réseik tétlenek, miközben a köteg a leghosszabbra vár
- Ez kevésbé pontosítja a modellt
- Milyen részletességgel ad hozzá és távolítja el a kéréseket a folyamatos kötegelés?
- Naponta egyszer
- Dekódolási lépésenként (egyszerre egy token)
- Csak teljes kérésre
- Edzési korszakonként
- A continuous-batching request finishes and frees capacity. What can the scheduler do next?
- Restart every remaining request from its first token
- Guarantee every queued request runs immediately
- Discard the finished answer without returning it
- Admit eligible queued work if its resource budgets allow
- Melyik technika párosul természetesen a folyamatos kötegeléssel, hogy olcsó legyen a szekvenciák beillesztése/eltávolítása?
- A PagedAttention blokk alapú KV gyorsítótár
- FP32 dupla pontosság
- Lemezcsere
- Kézi adatcímkézés
- Melyik kutatási cikknek tulajdonítják általában az iterációs szintű (folyamatos) kötegelés népszerűsítését?
- Az eredeti Transformer papír
- Az Orca újság
- Egy 1980-as évekbeli adatbázis-papír
- Az ImageNet papír
- What utilization problem can continuous batching reduce compared with a fixed request batch?
- Every model accuracy error
- The need to store any KV cache
- All queueing at any traffic rate
- Waiting for the longest request before admitting new eligible work
- A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
- No; admission can wait until suitable capacity is available
- Yes; the name guarantees unlimited request admission
- Yes; the server removes all active outputs automatically
- Only if the request has no punctuation
- A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
- Measure only the weight-file name
- Assume more admitted prompts always improve every latency
- Measure time between decode tokens alongside throughput
- Count only the number of model layers