VolgendeVolgende gids
Generatie van AI-schemamarkeringen
Technisch
Technische GIDS
Cache-augmented generation (CAG) laadt een volledige, vaste kennisbank één keer vooraf in de sleutelwaarde-cache (KV) van een taalmodel en gebruikt die cache voor elke vraag opnieuw, in plaats van documenten per zoekopdracht op te halen, zoals RAG doet.
Luister naar deze gidsAI-verteld · ~3 min
Het is van belang voor kleine, stabiele corpora omdat het ophaalfouten en indexonderhoud elimineert en tegelijkertijd sneller antwoordt dan wanneer de documenten telkens opnieuw worden gelezen.
Cache-augmented generatie, of CAG, vervangt de ophaalstap door vooraf laden. In plaats van voor elke vraag in een kennisbank te zoeken, voert het systeem de gehele kennisbank één keer in het model in, slaat de resulterende sleutelwaarde-cache (KV) op en gebruikt die cache opnieuw voor elke volgende zoekopdracht. De aanpak werd beschreven in een paper uit december 2024 met de titel Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks. De KV-cache is de set tussenliggende attentiesleutels en waarden die een transformator berekent voor elk token dat hij heeft gelezen. Normaal gesproken wordt het tijdens een enkel verzoek gebouwd en weggegooid. In CAG worden de documenten van tevoren verwerkt, wordt de cache opgeslagen en wordt elke vraag toegevoegd na het in de cache opgeslagen voorvoegsel. Het model berekent alleen de nieuwe vraagfiches voordat deze wordt gegenereerd, zodat de antwoorden sneller starten dan wanneer de documenten elke keer opnieuw zouden worden gelezen. Na het beantwoorden worden de toegevoegde tokens afgekapt, zodat de cache terugkeert naar de status 'Alleen documenten' voor de volgende query. De voordelen zijn geen ophaalfouten, omdat elk document altijd aanwezig is, geen insluitende index of vectordatabase die moet worden onderhouden, en een lagere latentie per query dan bij een naïeve lange context. De beperkingen volgen hier direct uit: het hele corpus moet in het contextvenster van het model passen, het model moet nog steeds ruim over zoveel tekst kunnen redeneren, en elke wijziging aan de documenten betekent dat de cache opnieuw moet worden opgebouwd. CAG past daarom in kleine, stabiele kennisbanken zoals een producthandleiding, een beleidsset, een syllabus of een vaste regelgevingstekst. Het is niet geschikt voor grote, snel veranderende of op toestemming gefilterde collecties. Een veel voorkomende misvatting is dat CAG het model traint. Niets is verfijnd; de gewichten zijn ongewijzigd. Commerciële promptcaching van API-providers is een gehost familielid van hetzelfde idee.
Een bedrijf met een werknemershandboek van 60 pagina's laadt dit vooraf in de KV-cache van een open-weight-model, zodat elke HR-vraag wordt beantwoord met het volledige handboek aanwezig en er geen vectordatabase hoeft te worden onderhouden.
Een softwareleverancier slaat zijn producthandleiding op in de cache voor een ondersteuningsassistent en bouwt de cache pas opnieuw op als er een nieuwe handleidingversie wordt uitgebracht.
Een instructeur laadt vooraf een cursussyllabus en collegeaantekeningen in, zodat een studieassistent gedurende een semester snel vragen van studenten kan beantwoorden.
Een complianceteam gebruikt de promptcaching van een gehoste API om een vaste regelgevingstekst als voorvoegsel in de cache te behouden, en betaalt lagere tarieven voor het herhaaldelijk lezen van veel vragen.
Het praktische bereik van CAG groeit naarmate contextvensters langer worden en KV-cachecompressie verbetert, maar het blijft beperkt door geheugen en door hoe goed modellen redeneren over zeer lange invoer. Hybride ontwerpen zijn een natuurlijke volgende stap: een stabiele kern van vaak benodigde documenten opslaan en de lange staart op verzoek ophalen. Onderzoek naar cachecompressie, het overbrengen van caches naar goedkopere opslag en het kiezen van welke tokens je wilt behouden, kan grotere, vooraf geladen corpora werkbaar maken. Voorlopig is de verstandige test empirisch: vergelijk CAG, RAG en gewone lange context op uw eigen vragen, kosten en updatefrequentie.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Cache-augmented generation (CAG) laadt een volledige, vaste kennisbank één keer vooraf in de sleutelwaarde-cache (KV) van een taalmodel en gebruikt die cache voor elke vraag opnieuw, in plaats van documenten per zoekopdracht op te halen, zoals RAG doet. Het is van belang voor kleine, stabiele corpora omdat het ophaalfouten en indexonderhoud elimineert en tegelijkertijd sneller antwoordt dan wanneer de documenten telkens opnieuw worden gelezen.
CAG berekent vooraf de KV-cache voor het corpus en gebruikt deze voor elke zoekopdracht opnieuw.
Sleutels en waarden uit aandachtslagen worden in de cache opgeslagen, zodat eerdere tokens niet opnieuw hoeven te worden berekend.
Als u toegevoegde tokens verwijdert, wordt de cache opnieuw ingesteld naar de schone, vooraf geladen status voor de volgende vraag.
Omdat elk document vooraf is geladen, wordt het corpus afgedekt door het contextvenster en het beschikbare geheugen.
De berekening van de documenten is al uitgevoerd en opgeslagen, dus per zoekopdracht wordt alleen de vraag verwerkt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Generatie van AI-schemamarkeringen
Technisch