DalšíDalší průvodce
Generování značek schématu AI
Technický
Technický PRŮVODCE
Generování rozšířené o mezipaměť (CAG) předem načte celou pevnou znalostní bázi do mezipaměti klíč-hodnota (KV) jazykového modelu jednou a znovu tuto mezipaměť použije pro každou otázku, místo aby načítal dokumenty na dotaz, jak to dělá RAG.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité pro malé, stabilní korpusy, protože odstraňuje chyby při vyhledávání a údržbu indexu, přičemž odpovídá rychleji než pokaždé znovu číst dokumenty.
Generování rozšířené o mezipaměť neboli CAG nahrazuje krok načítání předběžným načítáním. Namísto prohledávání znalostní báze pro každou otázku systém dodává celou znalostní bázi do modelu jednou, uloží výslednou mezipaměť klíč-hodnota (KV) a znovu ji použije pro každý následující dotaz. Tento přístup byl popsán v dokumentu z prosince 2024 s názvem Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks. Mezipaměť KV je sada klíčů a hodnot střední pozornosti, které transformátor vypočítává pro každý token, který přečetl. Normálně je sestaven během jednoho požadavku a zahozen. V CAG jsou dokumenty zpracovány s předstihem, je uložena mezipaměť a každá otázka je připojena za předponu uloženou v mezipaměti. Model počítá pouze nové tokeny otázek před generováním, takže odpovědi začínají rychleji, než kdyby byly dokumenty pokaždé znovu načítány. Po zodpovězení jsou připojené tokeny zkráceny, takže se mezipaměť vrátí do stavu pouze pro dokumenty pro další dotaz. Výhodou jsou žádné chyby při vyhledávání, protože každý dokument je vždy přítomen, není třeba udržovat žádný index vkládání nebo vektorovou databázi a nižší latence na dotaz než naivní dlouhý kontext. Limity z toho plynou přímo: celý korpus se musí vejít do kontextového okna modelu, model musí stále dobře uvažovat nad takovým množstvím textu a jakákoli změna dokumentů znamená přebudování cache. CAG se proto hodí do malých, stabilních znalostních bází, jako je produktová příručka, sada zásad, osnovy nebo pevný regulační text. Špatně se hodí pro velké, rychle se měnící sbírky nebo sbírky filtrované oprávněními. Obvyklá mylná představa je, že CAG trénuje model. Nic není doladěno; váhy jsou beze změny. Komerční rychlé ukládání do mezipaměti od poskytovatelů API je hostovaným příbuzným stejného nápadu.
Společnost s 60stránkovou příručkou pro zaměstnance ji předem nahraje do KV mezipaměti modelu s otevřenou váhou, takže každá otázka v oblasti lidských zdrojů je zodpovězena s úplnou příručkou a bez nutnosti udržovat vektorovou databázi.
Dodavatel softwaru ukládá svou příručku k produktu do mezipaměti pro asistenta podpory a znovu sestavuje mezipaměť pouze při vydání nové verze příručky.
Vyučující předem nahraje sylabus kurzu a poznámky k přednášce, takže studijní referentka může během semestru rychle odpovídat na otázky studentů.
Tým pro dodržování předpisů používá rychlé ukládání do mezipaměti hostovaného rozhraní API, aby zachoval pevný regulační text jako předponu uloženou v mezipaměti, přičemž platí snížené sazby za opakované čtení mnoha otázek.
Praktický rozsah CAG roste s tím, jak se prodlužují kontextová okna a zlepšuje se komprese mezipaměti KV, ale zůstává omezena pamětí a tím, jak dobře modely uvažují s velmi dlouhými vstupy. Hybridní návrhy jsou přirozeným dalším krokem: uložte do mezipaměti stabilní jádro často potřebných dokumentů a na vyžádání načtěte long tail. Výzkum komprese mezipaměti, přesouvání mezipaměti do levnějšího úložiště a výběr tokenů, které si ponechat, mohou zajistit funkčnost větších předinstalovaných korpusů. Prozatím je rozumný test empirický: porovnejte CAG, RAG a prostý dlouhý kontext na svých vlastních otázkách, nákladech a frekvenci aktualizací.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Generování rozšířené o mezipaměť (CAG) předem načte celou pevnou znalostní bázi do mezipaměti klíč-hodnota (KV) jazykového modelu jednou a znovu tuto mezipaměť použije pro každou otázku, místo aby načítal dokumenty na dotaz, jak to dělá RAG. Je to důležité pro malé, stabilní korpusy, protože odstraňuje chyby při vyhledávání a údržbu indexu, přičemž odpovídá rychleji než pokaždé znovu číst dokumenty.
CAG vypočítá KV cache pro korpus s předstihem a znovu ji použije pro každý dotaz.
Klíče a hodnoty z vrstev pozornosti se ukládají do mezipaměti, takže dřívější tokeny není nutné přepočítávat.
Odstraněním připojených tokenů se mezipaměť resetuje do čistého stavu předem načteného pro další otázku.
Protože je každý dokument předem načten, je korpus omezen kontextovým oknem a dostupnou pamětí.
Výpočet dokumentů je již proveden a uložen, takže na dotaz je zpracována pouze otázka.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Generování značek schématu AI
Technický