Műszaki ÚTMUTATÓ

Gyorsítótárral bővített generálás (CAG)

A gyorsítótárral bővített generálás (CAG) egy teljes, rögzített tudásbázist előre betölt egy nyelvi modell kulcsérték-gyorsítótárába, és minden kérdésnél újra felhasználja a gyorsítótárat, ahelyett, hogy lekérdezésenként kérné le a dokumentumokat, ahogy azt a RAG teszi.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A gyorsítótár-bővített generáció (CAG) jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A kisméretű, stabil korpuszok esetében fontos, mert eltávolítja a visszakeresési hibákat és az indexkarbantartást, miközben gyorsabban válaszol, mint a dokumentumok minden alkalommal történő újraolvasása.

Mély merülés

A gyorsítótárral bővített generálás vagy CAG a visszakeresési lépést előbetöltéssel helyettesíti. Ahelyett, hogy minden kérdéshez egy tudásbázisban keresne, a rendszer egyszer betáplálja a teljes tudásbázist a modellbe, elmenti az eredményül kapott kulcsérték (KV) gyorsítótárat, és ezt a gyorsítótárat minden következő lekérdezéshez újra felhasználja. A megközelítést egy 2024. decemberi, Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks című cikkben ismertették. A KV gyorsítótár a közbenső figyelemkulcsok és értékek halmaza, amelyeket a transzformátor minden beolvasott tokenhez kiszámít. Általában egyetlen kérés során épül fel, és eldobják. A CAG-ban a dokumentumokat idő előtt feldolgozzák, a gyorsítótárat tárolják, és minden kérdést a gyorsítótárazott előtag után fűznek hozzá. A modell csak az új kérdés tokeneket számítja ki a generálás előtt, így a válaszok gyorsabban indulnak el, mintha a dokumentumokat minden alkalommal újraolvasnák. A válasz után a hozzáfűzött tokenek csonkolódnak, így a gyorsítótár a következő lekérdezéshez visszatér a csak dokumentumokat tartalmazó állapotba. Az előnyök a visszakeresési hibák hiánya, mivel minden dokumentum mindig jelen van, nincs karbantartandó beágyazott index vagy vektoradatbázis, és alacsonyabb a lekérdezésenkénti késleltetés, mint a naiv hosszú kontextus. A korlátok közvetlenül következnek: a teljes korpusznak el kell férnie a modell kontextusablakban, a modellnek még jócskán túl kell érnie ennyi szöveget, és a dokumentumok bármilyen változtatása a gyorsítótár újraépítését jelenti. A CAG ezért olyan kicsi, stabil tudásbázisokhoz illeszkedik, mint például a termékkézikönyv, a szabályzatkészlet, a tananyag vagy egy rögzített szabályozási szöveg. Rosszul illik nagy, gyorsan változó vagy engedélyszűrt gyűjteményekhez. Általános tévhit, hogy a CAG képezi a modellt. Semmi nincs finomhangolva; a súlyok változatlanok. Az API-szolgáltatók kereskedelmi gyorsítótárazása ugyanennek az ötletnek a hosztolt rokona.

Valós megvalósítás

Egy 60 oldalas alkalmazotti kézikönyvvel rendelkező cég előre betölti azt egy nyitott súlyú modell KV-gyorsítótárába, így minden HR-kérdésre a teljes kézikönyv jelen van, és nincs karbantartható vektoros adatbázis.

A szoftvergyártó gyorsítótárazza a termék kézikönyvét egy támogatási asszisztens számára, és csak akkor építi újra a gyorsítótárat, ha új kézi verziót bocsátanak ki.

Az oktató előre betölti a tananyagot és az előadás jegyzeteit, így a tanulmányi asszisztens gyorsan válaszolhat a hallgatói kérdésekre a szemeszter során.

A megfelelőségi csapat a hosztolt API gyorsítótárazását használja, hogy egy rögzített szabályozási szöveget gyorsítótárban tárolt előtagként tartson meg, és csökkentett díjat fizet a sok kérdés ismételt beolvasásáért.

A gyorsítótár-bővített generáció (CAG) jövője

A CAG gyakorlati hatótávolsága a kontextusablakok meghosszabbodásával és a KV gyorsítótár-tömörítés javulásával nő, de a memória és az, hogy a modellek milyen jól érvelnek a nagyon hosszú bemeneteken, korlátozzák. A hibrid kialakítás természetes következő lépés: gyorsítótárazza a gyakran szükséges dokumentumok stabil magját, és igény szerint visszakeresheti a hosszú farkat. A gyorsítótár-tömörítéssel, a gyorsítótárak olcsóbb tárhelyre való kitöltésével és a megtartandó tokenek kiválasztásával kapcsolatos kutatások a nagyobb előre betöltött korpuszokat is működőképessé tehetik. Egyelőre az értelmes teszt empirikus: hasonlítsa össze a CAG-t, a RAG-ot és a sima hosszú kontextust saját kérdései, költségei és frissítési gyakorisága alapján.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Vedd a Cache-Augmented Generation (CAG) kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a gyorsítótár-bővített generálás (CAG)?

A gyorsítótárral bővített generálás (CAG) egy teljes, rögzített tudásbázist előre betölt egy nyelvi modell kulcsérték-gyorsítótárába, és minden kérdésnél újra felhasználja a gyorsítótárat, ahelyett, hogy lekérdezésenként kérné le a dokumentumokat, ahogy azt a RAG teszi. A kisméretű, stabil korpuszok esetében fontos, mert eltávolítja a visszakeresési hibákat és az indexkarbantartást, miközben gyorsabban válaszol, mint a dokumentumok minden alkalommal történő újraolvasása.

Mit használ a CAG a lekérdezésenkénti lekérdezés helyett?

A CAG előre kiszámítja a korpusz KV gyorsítótárát, és minden lekérdezéshez újra felhasználja.

Mi a KV gyorsítótár egy transzformátorban?

A figyelemrétegekből származó kulcsok és értékek gyorsítótárban vannak, így a korábbi tokeneket nem kell újraszámítani.

Miért csonkolja le a CAG-rendszer a gyorsítótárat minden válasz után?

A hozzáfűzött tokenek eltávolítása visszaállítja a gyorsítótárat a tiszta előre betöltött állapotba a következő kérdéshez.

Mi a CAG fő korlátja?

Mivel minden dokumentum előre van töltve, a korpuszt a környezeti ablak és a rendelkezésre álló memória korlátozza.

Miért válaszol gyorsabban a CAG, mint minden kérésbe beilleszteni a dokumentumokat?

A dokumentumok számítása már megtörtént és tárolva van, így lekérdezésenként csak a kérdés kerül feldolgozásra.