PagedAttention y prueba vLLM

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué almacena la 'caché KV' durante la generación de texto?
   • Los datos de entrenamiento del modelo.
   • Las credenciales de inicio de sesión del usuario.
   • Los vectores clave y de valor de los tokens anteriores para que los nuevos tokens puedan atenderlos.
   • Una copia comprimida de los pesos del modelo.
2. ¿Qué concepto de sistema operativo inspiró PagedAttention?
   • Herramientas de desfragmentación de disco
   • Paginación de memoria virtual
   • Compresión de archivos
   • Predicción de rama de CPU
3. ¿Qué problema con la asignación de caché KV tradicional resuelve PagedAttention?
   • Conexiones lentas a Internet
   • Falta de datos de entrenamiento.
   • Seguridad de contraseña débil
   • Desperdicio de memoria al reservar grandes bloques contiguos para cada solicitud
4. ¿Cómo permite PagedAttention que varias salidas compartan memoria para un mensaje común?
   • Diferentes secuencias apuntan a las mismas páginas físicas mediante copia en escritura
   • Elimina el mensaje después del primer uso.
   • Almacena el mensaje en el disco.
   • Vuelve a entrenar el modelo para cada salida.
5. ¿Dónde se desarrollaron originalmente vLLM y PagedAttention?
   • Un laboratorio académico de los años 90
   • UC Berkeley (publicado en 2023)
   • El equipo de marketing de un proveedor de hardware.
   • Un foro anónimo en línea
6. ¿Cuál es el principal beneficio práctico de vLLM para alguien que realiza un LLM?
   • Mayor precisión del modelo en los puntos de referencia
   • Etiquetado automático de datos
   • Hardware de GPU gratuito
   • Mayor rendimiento y más solicitudes simultáneas por GPU
7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
   • The sequence’s block table mapping logical blocks to physical blocks
   • The model’s class-label list
   • The learning-rate scheduler
   • A requirement that every block follow block 2 contiguously
8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
   • Paging guarantees every allocated byte contains a token
   • The entire model must be copied for each unused slot
   • Unused slots can remain in that final block despite reduced allocation fragmentation
   • The block table cannot represent a partial sequence