Technische GIDS

Cache-augmented generatie (CAG)

Cache-augmented generation (CAG) laadt een volledige, vaste kennisbank één keer vooraf in de sleutelwaarde-cache (KV) van een taalmodel en gebruikt die cache voor elke vraag opnieuw, in plaats van documenten per zoekopdracht op te halen, zoals RAG doet.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van Cache-Augmented Generation (CAG)
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is van belang voor kleine, stabiele corpora omdat het ophaalfouten en indexonderhoud elimineert en tegelijkertijd sneller antwoordt dan wanneer de documenten telkens opnieuw worden gelezen.

Diepe duik

Cache-augmented generatie, of CAG, vervangt de ophaalstap door vooraf laden. In plaats van voor elke vraag in een kennisbank te zoeken, voert het systeem de gehele kennisbank één keer in het model in, slaat de resulterende sleutelwaarde-cache (KV) op en gebruikt die cache opnieuw voor elke volgende zoekopdracht. De aanpak werd beschreven in een paper uit december 2024 met de titel Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks. De KV-cache is de set tussenliggende attentiesleutels en waarden die een transformator berekent voor elk token dat hij heeft gelezen. Normaal gesproken wordt het tijdens een enkel verzoek gebouwd en weggegooid. In CAG worden de documenten van tevoren verwerkt, wordt de cache opgeslagen en wordt elke vraag toegevoegd na het in de cache opgeslagen voorvoegsel. Het model berekent alleen de nieuwe vraagfiches voordat deze wordt gegenereerd, zodat de antwoorden sneller starten dan wanneer de documenten elke keer opnieuw zouden worden gelezen. Na het beantwoorden worden de toegevoegde tokens afgekapt, zodat de cache terugkeert naar de status 'Alleen documenten' voor de volgende query. De voordelen zijn geen ophaalfouten, omdat elk document altijd aanwezig is, geen insluitende index of vectordatabase die moet worden onderhouden, en een lagere latentie per query dan bij een naïeve lange context. De beperkingen volgen hier direct uit: het hele corpus moet in het contextvenster van het model passen, het model moet nog steeds ruim over zoveel tekst kunnen redeneren, en elke wijziging aan de documenten betekent dat de cache opnieuw moet worden opgebouwd. CAG past daarom in kleine, stabiele kennisbanken zoals een producthandleiding, een beleidsset, een syllabus of een vaste regelgevingstekst. Het is niet geschikt voor grote, snel veranderende of op toestemming gefilterde collecties. Een veel voorkomende misvatting is dat CAG het model traint. Niets is verfijnd; de gewichten zijn ongewijzigd. Commerciële promptcaching van API-providers is een gehost familielid van hetzelfde idee.

Implementatie in de echte wereld

Een bedrijf met een werknemershandboek van 60 pagina's laadt dit vooraf in de KV-cache van een open-weight-model, zodat elke HR-vraag wordt beantwoord met het volledige handboek aanwezig en er geen vectordatabase hoeft te worden onderhouden.

Een softwareleverancier slaat zijn producthandleiding op in de cache voor een ondersteuningsassistent en bouwt de cache pas opnieuw op als er een nieuwe handleidingversie wordt uitgebracht.

Een instructeur laadt vooraf een cursussyllabus en collegeaantekeningen in, zodat een studieassistent gedurende een semester snel vragen van studenten kan beantwoorden.

Een complianceteam gebruikt de promptcaching van een gehoste API om een ​​vaste regelgevingstekst als voorvoegsel in de cache te behouden, en betaalt lagere tarieven voor het herhaaldelijk lezen van veel vragen.

De toekomst van Cache-Augmented Generation (CAG)

Het praktische bereik van CAG groeit naarmate contextvensters langer worden en KV-cachecompressie verbetert, maar het blijft beperkt door geheugen en door hoe goed modellen redeneren over zeer lange invoer. Hybride ontwerpen zijn een natuurlijke volgende stap: een stabiele kern van vaak benodigde documenten opslaan en de lange staart op verzoek ophalen. Onderzoek naar cachecompressie, het overbrengen van caches naar goedkopere opslag en het kiezen van welke tokens je wilt behouden, kan grotere, vooraf geladen corpora werkbaar maken. Voorlopig is de verstandige test empirisch: vergelijk CAG, RAG en gewone lange context op uw eigen vragen, kosten en updatefrequentie.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Cache-Augmented Generation (CAG) quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is Cache-Augmented Generation (CAG)?

Cache-augmented generation (CAG) laadt een volledige, vaste kennisbank één keer vooraf in de sleutelwaarde-cache (KV) van een taalmodel en gebruikt die cache voor elke vraag opnieuw, in plaats van documenten per zoekopdracht op te halen, zoals RAG doet. Het is van belang voor kleine, stabiele corpora omdat het ophaalfouten en indexonderhoud elimineert en tegelijkertijd sneller antwoordt dan wanneer de documenten telkens opnieuw worden gelezen.

Wat gebruikt CAG in plaats van ophalen per query?

CAG berekent vooraf de KV-cache voor het corpus en gebruikt deze voor elke zoekopdracht opnieuw.

Wat is de KV-cache in een transformator?

Sleutels en waarden uit aandachtslagen worden in de cache opgeslagen, zodat eerdere tokens niet opnieuw hoeven te worden berekend.

Waarom kapt een CAG-systeem de cache af na elk antwoord?

Als u toegevoegde tokens verwijdert, wordt de cache opnieuw ingesteld naar de schone, vooraf geladen status voor de volgende vraag.

Wat is de belangrijkste beperking van CAG?

Omdat elk document vooraf is geladen, wordt het corpus afgedekt door het contextvenster en het beschikbare geheugen.

Waarom antwoordt CAG sneller dan de documenten in elk verzoek te plakken?

De berekening van de documenten is al uitgevoerd en opgeslagen, dus per zoekopdracht wordt alleen de vraag verwerkt.