Prueba de procesamiento por lotes continuo

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la principal debilidad del procesamiento por lotes estático (fijo) para la prestación de LLM?
   • Sólo puede ejecutarse en CPU
   • Requiere etiquetar todos los datos primero.
   • Las solicitudes cortas finalizan antes, pero sus espacios están inactivos mientras el lote espera la más larga.
   • Hace que el modelo sea menos preciso.
2. ¿Con qué granularidad el procesamiento por lotes continuo agrega y elimina solicitudes?
   • Una vez por dia
   • Por paso de decodificación (un token a la vez)
   • Solo por solicitud completa
   • Por época de entrenamiento
3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
   • Restart every remaining request from its first token
   • Guarantee every queued request runs immediately
   • Discard the finished answer without returning it
   • Admit eligible queued work if its resource budgets allow
4. ¿Qué técnica se combina naturalmente con el procesamiento por lotes continuo para abaratar la inserción/eliminación de secuencias?
   • Caché KV basado en bloques de PagedAttention
   • FP32 doble precisión
   • intercambio de disco
   • Etiquetado de datos manual
5. ¿A qué trabajo de investigación se le atribuye comúnmente la popularización del procesamiento por lotes a nivel de iteración (continuo)?
   • El papel original de Transformer.
   • El papel de la Orca
   • Un artículo de base de datos de los años 80
   • El artículo de ImageNet
6. What utilization problem can continuous batching reduce compared with a fixed request batch?
   • Every model accuracy error
   • The need to store any KV cache
   • All queueing at any traffic rate
   • Waiting for the longest request before admitting new eligible work
7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
   • No; admission can wait until suitable capacity is available
   • Yes; the name guarantees unlimited request admission
   • Yes; the server removes all active outputs automatically
   • Only if the request has no punctuation
8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
   • Measure only the weight-file name
   • Assume more admitted prompts always improve every latency
   • Measure time between decode tokens alongside throughput
   • Count only the number of model layers