Kvíz spojený s průvodcem · Těžko úroveň
Průběžný dávkový kvíz
Aplikujte dávkování LLM na úrovni iterací, limity kapacity a kompromisy předvyplnění, včetně toho, proč nepřetržité přijímání požadavků nezaručuje nulové čekání.
Otázka 1 z 8
Jaká je hlavní slabina statického (pevného) dávkování pro poskytování LLM?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní slabina statického (pevného) dávkování pro poskytování LLM?
- Může běžet pouze na CPU
- Vyžaduje nejprve označení všech dat
- Krátké požadavky skončí dříve, ale jejich sloty jsou nečinné, zatímco dávka čeká na nejdelší
- Díky tomu je model méně přesný
- S jakou granularitou průběžné dávkování přidává a odstraňuje požadavky?
- Jednou denně
- Na krok dekódování (po jednom tokenu)
- Pouze na celou žádost
- Za tréninkovou epochu
- A continuous-batching request finishes and frees capacity. What can the scheduler do next?
- Restart every remaining request from its first token
- Guarantee every queued request runs immediately
- Discard the finished answer without returning it
- Admit eligible queued work if its resource budgets allow
- Která technika se přirozeně spojuje s kontinuálním dávkováním, aby bylo vkládání/odebírání sekvencí levné?
- Mezipaměť KV založená na blocích PagedAttention
- FP32 s dvojitou přesností
- Výměna disku
- Manuální označování dat
- Jaké výzkumné práci se běžně připisuje popularizace (nepřetržitého) dávkování na úrovni iterací?
- Originální papír Transformer
- Orca papír
- Databázový papír z 80. let
- Papír ImageNet
- What utilization problem can continuous batching reduce compared with a fixed request batch?
- Every model accuracy error
- The need to store any KV cache
- All queueing at any traffic rate
- Waiting for the longest request before admitting new eligible work
- A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
- No; admission can wait until suitable capacity is available
- Yes; the name guarantees unlimited request admission
- Yes; the server removes all active outputs automatically
- Only if the request has no punctuation
- A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
- Measure only the weight-file name
- Assume more admitted prompts always improve every latency
- Measure time between decode tokens alongside throughput
- Count only the number of model layers