GUÍA Técnica
Optimización de caché KV
La caché KV almacena las claves y los valores que un transformador ya ha calculado, por lo que no rehace el trabajo para cada token nuevo, pero puede aumentar a gigabytes.
En esta pagina2 minutos de lectura
Descripción general
KV cache optimization shrinks and manages that memory so models serve longer contexts to more users at once.
Buceo profundo
En un transformador, cada nuevo token atiende a todos los tokens anteriores mediante claves de atención (K) y valores (V). Recalcular K y V para toda la secuencia en cada paso sería cuadrático y un desperdicio, por lo que los modelos los almacenan en caché: el caché KV. La desventaja es el tamaño. La caché crece linealmente con la longitud de la secuencia, el tamaño del lote, las capas y los encabezados, por lo que una solicitud de contexto largo puede consumir más memoria de GPU que la que pesa el modelo. La optimización aborda esto desde varios ángulos: la memoria paginada (PagedAttention de vLLM) almacena el caché en bloques no contiguos para eliminar la fragmentación y permitir el uso compartido; la cuantificación almacena K y V en 8 o 4 bits; y cambios arquitectónicos como Atención de consultas agrupadas (GQA) y Atención de consultas múltiples (MQA) permiten que muchos cabezales de consulta compartan menos cabezales de clave/valor, lo que reduce drásticamente el tamaño de la caché en el origen.
Impacto Estratégico
Costo y presupuesto
Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
Decisiones más claras
La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
control de calidad
Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
El futuro de la optimización de la caché KV
A medida que las ventanas de contexto se extienden a cientos de miles o millones de tokens, la caché KV se convierte en el costo dominante del servicio. Espere una compresión y desalojo de caché agresivos (eliminando tokens de baja atención), el uso compartido de prefijos de solicitudes cruzadas de forma predeterminada, la descarga de caché en frío a la CPU o NVMe y arquitecturas como MLA y GQA que se convertirán en estándar. La gestión de la caché se parecerá cada vez más a una jerarquía de memoria completa con niveles y captación previa inteligente.
Implementación en el mundo real
PagedAttention de vLLM brinda servicio a muchas sesiones de chat simultáneas al empaquetar bloques KV sin fragmentación de memoria
Atención de consultas agrupadas en modelos Llama que reducen el tamaño de la caché KV para que quepan contextos más largos en la memoria de la GPU
Cuantificar la caché KV a 8 bits (KV8) para reducir aproximadamente a la mitad la memoria caché durante el resumen de documentos largos
Almacenamiento en caché de prefijo que reutiliza los bloques KV de un sistema compartido en miles de solicitudes API
Riesgos y barandillas
La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
Los costos de infraestructura y mantenimiento a menudo se subestiman.
Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Hoja de ruta de implementación
Defina objetivos de latencia, calidad y costos antes de la implementación.
Comparación en condiciones realistas de carga y datos.
Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KV Cache Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
What is KV Cache Optimization?
La caché KV almacena las claves y los valores que un transformador ya ha calculado, por lo que no rehace el trabajo para cada token nuevo, pero puede aumentar a gigabytes. La optimización de la caché KV reduce y administra esa memoria para que los modelos sirvan contextos más largos a más usuarios a la vez.
¿Qué almacena la caché KV y por qué?
El almacenamiento en caché de claves y valores de tokens anteriores evita rehacer el cálculo de atención en cada token nuevo, lo que ahorra tiempo.
¿Por qué la caché KV puede convertirse en un problema de memoria?
El tamaño de la caché aumenta con la longitud del contexto y la simultaneidad, por lo que las solicitudes largas pueden utilizar enormes cantidades de memoria de GPU.
¿Qué concepto de sistema operativo toma prestado PagedAttention?
PagedAttention almacena el caché en bloques no contiguos de tamaño fijo asignados a través de una tabla, al igual que la paginación del sistema operativo.
¿Cómo reducen las consultas agrupadas y la atención de consultas múltiples el tamaño de la caché KV?
Compartir cabezas de clave/valor entre múltiples cabezas de consulta significa muchos menos vectores K y V para almacenar.
¿Cuál es un beneficio de compartir prefijos en la caché KV?
Un mensaje de sistema compartido produce entradas KV idénticas, por lo que múltiples solicitudes pueden apuntar a los mismos bloques en lugar de duplicarlos.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.