Génération augmentée par cache (CAG)

La génération augmentée du cache, ou CAG, remplace l'étape de récupération par le préchargement. Au lieu de rechercher une base de connaissances pour chaque question, le système alimente le modèle une seule fois dans l'intégralité de la base de connaissances, enregistre le cache clé-valeur (KV) résultant et réutilise ce cache pour chaque requête ultérieure. L'approche a été décrite dans un article de décembre 2024 intitulé Don't Do RAG : When Cache-Augmented Generation is All You Need for Knowledge Tasks. Le cache KV est l'ensemble des clés d'attention intermédiaires et des valeurs qu'un transformateur calcule pour chaque jeton qu'il a lu. Normalement, il est construit au cours d’une seule requête et supprimé. Dans CAG, les documents sont traités à l'avance, le cache est stocké et chaque question est ajoutée après le préfixe mis en cache. Le modèle calcule uniquement les nouveaux jetons de question avant de les générer, de sorte que les réponses démarrent plus rapidement que si les documents étaient relus à chaque fois. Après avoir répondu, les jetons ajoutés sont tronqués afin que le cache revienne à son état de documents uniquement pour la requête suivante. Les avantages sont l'absence d'erreurs de récupération, puisque chaque document est toujours présent, l'absence d'index d'intégration ou de base de données vectorielles à maintenir et une latence par requête inférieure à celle d'un contexte long naïf. Les limites suivent directement : l'ensemble du corpus doit tenir dans la fenêtre contextuelle du modèle, le modèle doit encore raisonner sur autant de texte, et toute modification des documents nécessite de reconstruire le cache. CAG s'adapte donc à des bases de connaissances petites et stables telles qu'un manuel de produit, un ensemble de politiques, un programme ou un texte réglementaire fixe. Il ne convient pas aux collections volumineuses, à évolution rapide ou filtrées par autorisation. Une idée fausse courante est que CAG entraîne le modèle. Rien n'est réglé avec précision ; les poids sont inchangés. La mise en cache des invites commerciales des fournisseurs d’API est un parent hébergé de la même idée.