Gids-gekoppelde quiz · Moeilijk Niveau
Continue batchquiz
Pas LLM-batchverwerking op iteratieniveau, capaciteitslimieten en afwegingen voor vooraf invullen toe, inclusief waarom het continu toelaten van verzoeken geen garantie is dat er geen wachttijden zijn.
Vraag 1 van 8
Wat is de belangrijkste zwakte van statische (vaste) batchverwerking voor LLM-service?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de belangrijkste zwakte van statische (vaste) batchverwerking voor LLM-service?
- Het kan alleen op CPU's draaien
- Hiervoor moeten eerst alle gegevens worden gelabeld
- Korte verzoeken eindigen eerder, maar hun slots zijn inactief terwijl de batch op de langste wacht
- Het maakt het model minder nauwkeurig
- Met welke granulariteit worden door continue batching verzoeken toegevoegd en verwijderd?
- Eén keer per dag
- Per decoderingsstap (één token tegelijk)
- Alleen op volledige aanvraag
- Per trainingstijdperk
- A continuous-batching request finishes and frees capacity. What can the scheduler do next?
- Restart every remaining request from its first token
- Guarantee every queued request runs immediately
- Discard the finished answer without returning it
- Admit eligible queued work if its resource budgets allow
- Welke techniek past op natuurlijke wijze bij continu batchen om het invoegen/verwijderen van sequenties goedkoop te maken?
- De op blokken gebaseerde KV-cache van PagedAttention
- FP32 dubbele precisie
- Schijf wisselen
- Handmatige gegevenslabeling
- Welk onderzoeksartikel wordt gewoonlijk gecrediteerd voor het populariseren van (continue) batching op iteratieniveau?
- Het originele Transformer-papier
- Het Orka-papier
- Een databasepapier uit de jaren 80
- Het ImageNet-papier
- What utilization problem can continuous batching reduce compared with a fixed request batch?
- Every model accuracy error
- The need to store any KV cache
- All queueing at any traffic rate
- Waiting for the longest request before admitting new eligible work
- A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
- No; admission can wait until suitable capacity is available
- Yes; the name guarantees unlimited request admission
- Yes; the server removes all active outputs automatically
- Only if the request has no punctuation
- A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
- Measure only the weight-file name
- Assume more admitted prompts always improve every latency
- Measure time between decode tokens alongside throughput
- Count only the number of model layers