GUIDA TECNICA

Generazione Aumentata da Cache (CAG)

La generazione aumentata da cache (CAG) precarica un'intera base di conoscenze fissa nella cache chiave-valore (KV) di un modello linguistico una sola volta e riutilizza tale cache per ogni domanda, anziché recuperare i documenti per ciascuna query come fa il RAG.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina3 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della Generazione Aumentata da Cache (CAG)
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante per corpus piccoli e stabili perché elimina gli errori di recupero e la manutenzione degli indici, rispondendo più velocemente rispetto a rileggere i documenti ogni volta.

Immersione profonda

Cache-augmented generation, or CAG, replaces the retrieval step with preloading. Instead of searching a knowledge base for each question, the system feeds the entire knowledge base to the model once, saves the resulting key-value (KV) cache, and reuses that cache for every subsequent query. The approach was described in a December 2024 paper titled Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks. The KV cache is the set of intermediate attention keys and values a transformer computes for every token it has read. Normally it is built during a single request and discarded. In CAG, the documents are processed ahead of time, the cache is stored, and each question is appended after the cached prefix. The model only computes the new question tokens before generating, so answers start faster than if the documents were re-read each time. After answering, the appended tokens are truncated so the cache returns to its documents-only state for the next query. The benefits are no retrieval errors, since every document is always present, no embedding index or vector database to maintain, and lower per-query latency than naive long context. The limits follow directly: the whole corpus must fit in the model's context window, the model must still reason well over that much text, and any change to the documents means rebuilding the cache. CAG therefore fits small, stable knowledge bases such as a product manual, a policy set, a syllabus or a fixed regulatory text. It is a poor fit for large, fast-changing or permission-filtered collections. A common misconception is that CAG trains the model. Nothing is fine-tuned; the weights are unchanged. Commercial prompt caching from API providers is a hosted relative of the same idea.

Implementazione nel mondo reale

Un'azienda con un manuale dei dipendenti di 60 pagine lo precarica nella cache KV di un modello open-weight, in modo che ogni domanda HR riceva risposta con l'intero manuale presente e senza alcun database vettoriale da mantenere.

Un fornitore di software memorizza nella cache il manuale del proprio prodotto per un assistente di supporto e ricostruisce la cache solo quando viene rilasciata una nuova versione del manuale.

Un docente precarica il programma di un corso e le note delle lezioni in modo che un assistente allo studio possa rispondere rapidamente alle domande degli studenti per tutto il semestre.

Un team di conformità utilizza la memorizzazione nella cache dei prompt di un'API ospitata per mantenere un testo normativo fisso come prefisso memorizzato nella cache, pagando tariffe ridotte per letture ripetute su molte domande.

Il futuro della Generazione Aumentata da Cache (CAG)

Il raggio d'azione pratico del CAG cresce man mano che le finestre di contesto si allungano e la compressione della cache KV migliora, ma rimane limitato dalla memoria e dalla capacità dei modelli di ragionare su input molto lunghi. I design ibridi sono un passo successivo naturale: memorizzare nella cache un nucleo stabile di documenti frequentemente necessari e recuperare la coda lunga su richiesta. La ricerca sulla compressione della cache, lo scaricamento delle cache su storage più economici e la scelta dei token da conservare potrebbero rendere praticabili corpus precaricati più grandi. Per ora il test ragionevole è empirico: confronta CAG, RAG e il contesto lungo semplice sulle tue domande, sui tuoi costi e sulla frequenza di aggiornamento.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Fai il quiz sulla Generazione Aumentata da Cache (CAG)

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Che cos'è la Generazione Aumentata da Cache (CAG)?

La generazione aumentata da cache (CAG) precarica un'intera base di conoscenze fissa nella cache chiave-valore (KV) di un modello linguistico una sola volta e riutilizza tale cache per ogni domanda, anziché recuperare i documenti per ciascuna query come fa il RAG. È importante per corpus piccoli e stabili perché elimina gli errori di recupero e la manutenzione degli indici, rispondendo più velocemente rispetto a rileggere i documenti ogni volta.

Cosa usa il CAG al posto del recupero per singola query?

Il CAG calcola in anticipo la cache KV per il corpus e la riutilizza per ogni query.

Cos'è la cache KV in un transformer?

Le chiavi e i valori dai layer di attenzione vengono memorizzati nella cache in modo che i token precedenti non debbano essere ricalcolati.

Perché un sistema CAG tronca la cache dopo ogni risposta?

La rimozione dei token aggiunti ripristina la cache al suo stato precaricato pulito per la domanda successiva.

Qual è la principale limitazione del CAG?

Poiché ogni documento è precaricato, il corpus è limitato dalla finestra di contesto e dalla memoria disponibile.

Perché il CAG risponde più velocemente rispetto a incollare i documenti in ogni richiesta?

Il calcolo dei documenti è già stato effettuato e memorizzato, quindi viene elaborata solo la domanda per ciascuna query.