LegközelebbKövetkező útmutató
AI séma jelölés generálása
Műszaki
Műszaki ÚTMUTATÓ
A gyorsítótárral bővített generálás (CAG) egy teljes, rögzített tudásbázist előre betölt egy nyelvi modell kulcsérték-gyorsítótárába, és minden kérdésnél újra felhasználja a gyorsítótárat, ahelyett, hogy lekérdezésenként kérné le a dokumentumokat, ahogy azt a RAG teszi.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A kisméretű, stabil korpuszok esetében fontos, mert eltávolítja a visszakeresési hibákat és az indexkarbantartást, miközben gyorsabban válaszol, mint a dokumentumok minden alkalommal történő újraolvasása.
A gyorsítótárral bővített generálás vagy CAG a visszakeresési lépést előbetöltéssel helyettesíti. Ahelyett, hogy minden kérdéshez egy tudásbázisban keresne, a rendszer egyszer betáplálja a teljes tudásbázist a modellbe, elmenti az eredményül kapott kulcsérték (KV) gyorsítótárat, és ezt a gyorsítótárat minden következő lekérdezéshez újra felhasználja. A megközelítést egy 2024. decemberi, Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks című cikkben ismertették. A KV gyorsítótár a közbenső figyelemkulcsok és értékek halmaza, amelyeket a transzformátor minden beolvasott tokenhez kiszámít. Általában egyetlen kérés során épül fel, és eldobják. A CAG-ban a dokumentumokat idő előtt feldolgozzák, a gyorsítótárat tárolják, és minden kérdést a gyorsítótárazott előtag után fűznek hozzá. A modell csak az új kérdés tokeneket számítja ki a generálás előtt, így a válaszok gyorsabban indulnak el, mintha a dokumentumokat minden alkalommal újraolvasnák. A válasz után a hozzáfűzött tokenek csonkolódnak, így a gyorsítótár a következő lekérdezéshez visszatér a csak dokumentumokat tartalmazó állapotba. Az előnyök a visszakeresési hibák hiánya, mivel minden dokumentum mindig jelen van, nincs karbantartandó beágyazott index vagy vektoradatbázis, és alacsonyabb a lekérdezésenkénti késleltetés, mint a naiv hosszú kontextus. A korlátok közvetlenül következnek: a teljes korpusznak el kell férnie a modell kontextusablakban, a modellnek még jócskán túl kell érnie ennyi szöveget, és a dokumentumok bármilyen változtatása a gyorsítótár újraépítését jelenti. A CAG ezért olyan kicsi, stabil tudásbázisokhoz illeszkedik, mint például a termékkézikönyv, a szabályzatkészlet, a tananyag vagy egy rögzített szabályozási szöveg. Rosszul illik nagy, gyorsan változó vagy engedélyszűrt gyűjteményekhez. Általános tévhit, hogy a CAG képezi a modellt. Semmi nincs finomhangolva; a súlyok változatlanok. Az API-szolgáltatók kereskedelmi gyorsítótárazása ugyanennek az ötletnek a hosztolt rokona.
Egy 60 oldalas alkalmazotti kézikönyvvel rendelkező cég előre betölti azt egy nyitott súlyú modell KV-gyorsítótárába, így minden HR-kérdésre a teljes kézikönyv jelen van, és nincs karbantartható vektoros adatbázis.
A szoftvergyártó gyorsítótárazza a termék kézikönyvét egy támogatási asszisztens számára, és csak akkor építi újra a gyorsítótárat, ha új kézi verziót bocsátanak ki.
Az oktató előre betölti a tananyagot és az előadás jegyzeteit, így a tanulmányi asszisztens gyorsan válaszolhat a hallgatói kérdésekre a szemeszter során.
A megfelelőségi csapat a hosztolt API gyorsítótárazását használja, hogy egy rögzített szabályozási szöveget gyorsítótárban tárolt előtagként tartson meg, és csökkentett díjat fizet a sok kérdés ismételt beolvasásáért.
A CAG gyakorlati hatótávolsága a kontextusablakok meghosszabbodásával és a KV gyorsítótár-tömörítés javulásával nő, de a memória és az, hogy a modellek milyen jól érvelnek a nagyon hosszú bemeneteken, korlátozzák. A hibrid kialakítás természetes következő lépés: gyorsítótárazza a gyakran szükséges dokumentumok stabil magját, és igény szerint visszakeresheti a hosszú farkat. A gyorsítótár-tömörítéssel, a gyorsítótárak olcsóbb tárhelyre való kitöltésével és a megtartandó tokenek kiválasztásával kapcsolatos kutatások a nagyobb előre betöltött korpuszokat is működőképessé tehetik. Egyelőre az értelmes teszt empirikus: hasonlítsa össze a CAG-t, a RAG-ot és a sima hosszú kontextust saját kérdései, költségei és frissítési gyakorisága alapján.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A gyorsítótárral bővített generálás (CAG) egy teljes, rögzített tudásbázist előre betölt egy nyelvi modell kulcsérték-gyorsítótárába, és minden kérdésnél újra felhasználja a gyorsítótárat, ahelyett, hogy lekérdezésenként kérné le a dokumentumokat, ahogy azt a RAG teszi. A kisméretű, stabil korpuszok esetében fontos, mert eltávolítja a visszakeresési hibákat és az indexkarbantartást, miközben gyorsabban válaszol, mint a dokumentumok minden alkalommal történő újraolvasása.
A CAG előre kiszámítja a korpusz KV gyorsítótárát, és minden lekérdezéshez újra felhasználja.
A figyelemrétegekből származó kulcsok és értékek gyorsítótárban vannak, így a korábbi tokeneket nem kell újraszámítani.
A hozzáfűzött tokenek eltávolítása visszaállítja a gyorsítótárat a tiszta előre betöltött állapotba a következő kérdéshez.
Mivel minden dokumentum előre van töltve, a korpuszt a környezeti ablak és a rendelkezésre álló memória korlátozza.
A dokumentumok számítása már megtörtént és tárolva van, így lekérdezésenként csak a kérdés kerül feldolgozásra.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI séma jelölés generálása
Műszaki