Prueba de optimización de caché de KV

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué almacena la caché KV y por qué?
   • Claves y valores de atención calculados previamente para que no se vuelvan a calcular en cada paso
   • Los datos de entrenamiento del modelo para el reentrenamiento.
   • Contraseñas de usuario para autenticación
   • Sólo la salida del texto final.
2. ¿Por qué la caché KV puede convertirse en un problema de memoria?
   • Daña la GPU permanentemente
   • Crece con la longitud de la secuencia, el tamaño del lote y las capas, superando a veces los pesos del modelo.
   • Sólo funciona en textos de menos de 10 palabras.
   • Duplica el sistema operativo.
3. ¿Qué concepto de sistema operativo toma prestado PagedAttention?
   • Utilidades de desfragmentación de disco
   • Escaneo antivirus
   • Paginación de memoria virtual con bloques de tamaño fijo
   • Escalado de resolución de pantalla
4. ¿Cómo reducen las consultas agrupadas y la atención de consultas múltiples el tamaño de la caché KV?
   • Eliminando el mecanismo de atención.
   • Almacenando el caché como imágenes
   • Entrenando con menos datos
   • Al permitir que muchos cabezales de consulta compartan menos cabezales de clave/valor
5. ¿Cuál es un beneficio de compartir prefijos en la caché KV?
   • Las solicitudes con el mismo mensaje inicial pueden reutilizar los mismos bloques almacenados en caché
   • Cifra el modelo.
   • Ralentiza todas las solicitudes por igual
   • Elimina la necesidad de atención.
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible