Quiz collegato alla guida · Difficile Livello

Quiz sul dosaggio continuo

Applica batch LLM a livello di iterazione, limiti di capacità e compromessi di precompilazione, incluso il motivo per cui l'ammissione continua delle richieste non garantisce zero attese.

Percorsi guida correlatiDosaggio continuo
Domanda 1 di 8

Qual è il principale punto debole del batching statico (fisso) per il servizio LLM?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il principale punto debole del batching statico (fisso) per il servizio LLM?
    • Può essere eseguito solo su CPU
    • Richiede prima l'etichettatura di tutti i dati
    • Le richieste brevi terminano presto ma i loro slot sono inattivi mentre il batch attende quella più lunga
    • Rende il modello meno accurato
  2. Con quale granularità il batch continuo aggiunge e rimuove le richieste?
    • Una volta al giorno
    • Per fase di decodifica (un token alla volta)
    • Solo per richiesta completa
    • Per epoca di allenamento
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Quale tecnica si abbina naturalmente al batch continuo per rendere economiche le sequenze di inserimento/rimozione?
    • Cache KV basata su blocchi di PagedAttention
    • FP32 doppia precisione
    • Scambio di dischi
    • Etichettatura manuale dei dati
  5. A quale documento di ricerca viene comunemente attribuito il merito di aver reso popolare il batching a livello di iterazione (continuo)?
    • La carta originale del Transformer
    • La carta dell'Orca
    • Un documento di database degli anni '80
    • Il documento ImageNet
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers