Kvíz spojený s průvodcem · Těžko úroveň

Průběžný dávkový kvíz

Aplikujte dávkování LLM na úrovni iterací, limity kapacity a kompromisy předvyplnění, včetně toho, proč nepřetržité přijímání požadavků nezaručuje nulové čekání.

Související vodicí cestyPrůběžné dávkování
Otázka 1 z 8

Jaká je hlavní slabina statického (pevného) dávkování pro poskytování LLM?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní slabina statického (pevného) dávkování pro poskytování LLM?
    • Může běžet pouze na CPU
    • Vyžaduje nejprve označení všech dat
    • Krátké požadavky skončí dříve, ale jejich sloty jsou nečinné, zatímco dávka čeká na nejdelší
    • Díky tomu je model méně přesný
  2. S jakou granularitou průběžné dávkování přidává a odstraňuje požadavky?
    • Jednou denně
    • Na krok dekódování (po jednom tokenu)
    • Pouze na celou žádost
    • Za tréninkovou epochu
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Která technika se přirozeně spojuje s kontinuálním dávkováním, aby bylo vkládání/odebírání sekvencí levné?
    • Mezipaměť KV založená na blocích PagedAttention
    • FP32 s dvojitou přesností
    • Výměna disku
    • Manuální označování dat
  5. Jaké výzkumné práci se běžně připisuje popularizace (nepřetržitého) dávkování na úrovni iterací?
    • Originální papír Transformer
    • Orca papír
    • Databázový papír z 80. let
    • Papír ImageNet
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers