Quiz collegato alla guida · Difficile Livello
Quiz sul dosaggio continuo
Applica batch LLM a livello di iterazione, limiti di capacità e compromessi di precompilazione, incluso il motivo per cui l'ammissione continua delle richieste non garantisce zero attese.
Domanda 1 di 8
Qual è il principale punto debole del batching statico (fisso) per il servizio LLM?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il principale punto debole del batching statico (fisso) per il servizio LLM?
- Può essere eseguito solo su CPU
- Richiede prima l'etichettatura di tutti i dati
- Le richieste brevi terminano presto ma i loro slot sono inattivi mentre il batch attende quella più lunga
- Rende il modello meno accurato
- Con quale granularità il batch continuo aggiunge e rimuove le richieste?
- Una volta al giorno
- Per fase di decodifica (un token alla volta)
- Solo per richiesta completa
- Per epoca di allenamento
- A continuous-batching request finishes and frees capacity. What can the scheduler do next?
- Restart every remaining request from its first token
- Guarantee every queued request runs immediately
- Discard the finished answer without returning it
- Admit eligible queued work if its resource budgets allow
- Quale tecnica si abbina naturalmente al batch continuo per rendere economiche le sequenze di inserimento/rimozione?
- Cache KV basata su blocchi di PagedAttention
- FP32 doppia precisione
- Scambio di dischi
- Etichettatura manuale dei dati
- A quale documento di ricerca viene comunemente attribuito il merito di aver reso popolare il batching a livello di iterazione (continuo)?
- La carta originale del Transformer
- La carta dell'Orca
- Un documento di database degli anni '80
- Il documento ImageNet
- What utilization problem can continuous batching reduce compared with a fixed request batch?
- Every model accuracy error
- The need to store any KV cache
- All queueing at any traffic rate
- Waiting for the longest request before admitting new eligible work
- A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
- No; admission can wait until suitable capacity is available
- Yes; the name guarantees unlimited request admission
- Yes; the server removes all active outputs automatically
- Only if the request has no punctuation
- A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
- Measure only the weight-file name
- Assume more admitted prompts always improve every latency
- Measure time between decode tokens alongside throughput
- Count only the number of model layers