Generación aumentada de caché (CAG)

La generación aumentada de caché, o CAG, reemplaza el paso de recuperación con la precarga. En lugar de buscar una base de conocimientos para cada pregunta, el sistema alimenta toda la base de conocimientos al modelo una vez, guarda el caché de valor clave (KV) resultante y reutiliza ese caché para cada consulta posterior. El enfoque se describió en un artículo de diciembre de 2024 titulado Don't Do RAG: When Cache-Augmented Generation es todo lo que necesita para tareas de conocimiento. La caché KV es el conjunto de claves y valores de atención intermedia que un transformador calcula para cada token que ha leído. Normalmente se construye durante una única solicitud y se descarta. En CAG, los documentos se procesan con anticipación, se almacena en caché y cada pregunta se agrega después del prefijo almacenado en caché. El modelo solo calcula los nuevos tokens de preguntas antes de generarlos, por lo que las respuestas comienzan más rápido que si los documentos se volvieran a leer cada vez. Después de responder, los tokens agregados se truncan para que la caché vuelva a su estado de solo documentos para la siguiente consulta. Los beneficios son la ausencia de errores de recuperación, ya que todos los documentos están siempre presentes, no es necesario mantener un índice incrustado o una base de datos vectorial y una menor latencia por consulta que el contexto largo e ingenuo. Los límites se siguen directamente: todo el corpus debe caber en la ventana de contexto del modelo, el modelo aún debe razonar bien sobre esa cantidad de texto, y cualquier cambio en los documentos significa reconstruir el caché. Por lo tanto, CAG se adapta a bases de conocimiento pequeñas y estables, como un manual de producto, un conjunto de políticas, un programa de estudios o un texto regulatorio fijo. No es una buena opción para colecciones grandes, que cambian rápidamente o que están filtradas por permisos. Un error común es pensar que CAG entrena el modelo. Nada está afinado; los pesos no cambian. El almacenamiento en caché de avisos comerciales de proveedores de API es un pariente alojado de la misma idea.