Prueba de caché KV

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué almacena la caché KV?
   • Los vectores clave y de valor calculados para tokens anteriores.
   • Las matrices de peso completo del modelo.
   • El historial de chat del usuario como texto sin formato
   • Las probabilidades de producción final
2. ¿Qué problema resuelve principalmente el caché KV?
   • Mejora la gramática del texto generado.
   • Evita volver a calcular claves y valores para todos los tokens anteriores en cada paso.
   • Aumenta el vocabulario del modelo.
   • Cifra la conversación
3. ¿Cuál es la principal desventaja del caché KV?
   • Hace que la generación sea más lenta.
   • Reduce la calidad de salida.
   • Su uso de memoria crece linealmente con la longitud del contexto.
   • Solo funciona en CPU
4. ¿Qué técnica reduce el tamaño de la caché KV al compartir claves y valores entre los cabezales de atención?
   • Abandono
   • búsqueda de haz
   • Tokenización
   • Atención de consultas agrupadas o multiconsultas
5. ¿Cuáles son las dos fases de la inferencia del transformador en relación con la caché de KV?
   • Precompletar (procesar el mensaje) y decodificar (generar un token a la vez)
   • Entrenamiento y pruebas
   • Codificar y comprimir
   • Subir y descargar
6. ¿Qué hace PagedAttention de vLLM para el caché KV?
   • Elimina el caché después de cada token.
   • Asigna el caché en bloques no contiguos para reducir la fragmentación de la memoria.
   • Convierte el caché en texto.
   • Duplica el recuento de parámetros del modelo.
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use