Il prossimoProssima guida
Generazione di Markup Schema AI
Tecnico
GUIDA TECNICA
La generazione aumentata da cache (CAG) precarica un'intera base di conoscenze fissa nella cache chiave-valore (KV) di un modello linguistico una sola volta e riutilizza tale cache per ogni domanda, anziché recuperare i documenti per ciascuna query come fa il RAG.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante per corpus piccoli e stabili perché elimina gli errori di recupero e la manutenzione degli indici, rispondendo più velocemente rispetto a rileggere i documenti ogni volta.
Cache-augmented generation, or CAG, replaces the retrieval step with preloading. Instead of searching a knowledge base for each question, the system feeds the entire knowledge base to the model once, saves the resulting key-value (KV) cache, and reuses that cache for every subsequent query. The approach was described in a December 2024 paper titled Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks. The KV cache is the set of intermediate attention keys and values a transformer computes for every token it has read. Normally it is built during a single request and discarded. In CAG, the documents are processed ahead of time, the cache is stored, and each question is appended after the cached prefix. The model only computes the new question tokens before generating, so answers start faster than if the documents were re-read each time. After answering, the appended tokens are truncated so the cache returns to its documents-only state for the next query. The benefits are no retrieval errors, since every document is always present, no embedding index or vector database to maintain, and lower per-query latency than naive long context. The limits follow directly: the whole corpus must fit in the model's context window, the model must still reason well over that much text, and any change to the documents means rebuilding the cache. CAG therefore fits small, stable knowledge bases such as a product manual, a policy set, a syllabus or a fixed regulatory text. It is a poor fit for large, fast-changing or permission-filtered collections. A common misconception is that CAG trains the model. Nothing is fine-tuned; the weights are unchanged. Commercial prompt caching from API providers is a hosted relative of the same idea.
Un'azienda con un manuale dei dipendenti di 60 pagine lo precarica nella cache KV di un modello open-weight, in modo che ogni domanda HR riceva risposta con l'intero manuale presente e senza alcun database vettoriale da mantenere.
Un fornitore di software memorizza nella cache il manuale del proprio prodotto per un assistente di supporto e ricostruisce la cache solo quando viene rilasciata una nuova versione del manuale.
Un docente precarica il programma di un corso e le note delle lezioni in modo che un assistente allo studio possa rispondere rapidamente alle domande degli studenti per tutto il semestre.
Un team di conformità utilizza la memorizzazione nella cache dei prompt di un'API ospitata per mantenere un testo normativo fisso come prefisso memorizzato nella cache, pagando tariffe ridotte per letture ripetute su molte domande.
Il raggio d'azione pratico del CAG cresce man mano che le finestre di contesto si allungano e la compressione della cache KV migliora, ma rimane limitato dalla memoria e dalla capacità dei modelli di ragionare su input molto lunghi. I design ibridi sono un passo successivo naturale: memorizzare nella cache un nucleo stabile di documenti frequentemente necessari e recuperare la coda lunga su richiesta. La ricerca sulla compressione della cache, lo scaricamento delle cache su storage più economici e la scelta dei token da conservare potrebbero rendere praticabili corpus precaricati più grandi. Per ora il test ragionevole è empirico: confronta CAG, RAG e il contesto lungo semplice sulle tue domande, sui tuoi costi e sulla frequenza di aggiornamento.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La generazione aumentata da cache (CAG) precarica un'intera base di conoscenze fissa nella cache chiave-valore (KV) di un modello linguistico una sola volta e riutilizza tale cache per ogni domanda, anziché recuperare i documenti per ciascuna query come fa il RAG. È importante per corpus piccoli e stabili perché elimina gli errori di recupero e la manutenzione degli indici, rispondendo più velocemente rispetto a rileggere i documenti ogni volta.
Il CAG calcola in anticipo la cache KV per il corpus e la riutilizza per ogni query.
Le chiavi e i valori dai layer di attenzione vengono memorizzati nella cache in modo che i token precedenti non debbano essere ricalcolati.
La rimozione dei token aggiunti ripristina la cache al suo stato precaricato pulito per la domanda successiva.
Poiché ogni documento è precaricato, il corpus è limitato dalla finestra di contesto e dalla memoria disponibile.
Il calcolo dei documenti è già stato effettuato e memorizzato, quindi viene elaborata solo la domanda per ciascuna query.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Generazione di Markup Schema AI
Tecnico