LegközelebbKövetkező útmutató
Szülődokumentum és kis-nagy visszakeresés
Műszaki
Műszaki ÚTMUTATÓ
A kontextuális visszakeresés egy RAG-technika, amely minden egyes részhez egy rövid, dokumentum-tudatos magyarázatot fűz, mielőtt beágyazná és indexelné a kulcsszókereséshez, így a darabnak önmagában is van értelme.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Ez azért fontos, mert a darabok gyakran elveszítik a legfontosabb információkat a dokumentumukból való leválasztáskor, például, hogy melyik cégre, termékre vagy időszakra vonatkoznak, és ez a veszteség azt eredményezi, hogy a retriever kihagyja a megfelelő részt.
A szabványos RAG a dokumentumokat darabokra bontja, mindegyiket beágyazza, és lekéri a kérdéshez leginkább hasonló részeket. A probléma az, hogy a felosztás leválasztja a kontextust. A "a vállalat bevétele 3%-kal nőtt" feliratú rész nem árulja el, hogy melyik cég vagy melyik időszak, így sem a szemantikai keresés, sem a kulcsszavas keresés nem tudja megbízhatóan párosítani az őket megnevező kérdéssel. A Anthropic 2024 szeptemberében írta le a kontextuális visszakeresést. Minden egyes darabhoz egy nyelvi modell kapja meg a teljes dokumentumot és a darabot, és felkéri, hogy írjon egy rövid kontextust (általában körülbelül 50–100 token), amely a darabot a dokumentumon belül helyezi el. Ez a kontextus hozzá van fűzve a darabhoz. A kombinált szöveget ezután két indexben használják fel: egy beágyazási indexben (kontextuális beágyazások) és egy BM25 kulcsszóindexben (kontextuális BM25). A lekérdezés időpontjában a rendszer mindkét eredményét kombinálja, és opcionálisan egy újrarangadó újrarendezi a legjobb jelölteket. A Anthropic több adatkészletre kiterjedő kísérleteiben a kontextuális beágyazások és a kontextuális BM25 körülbelül 49 százalékkal csökkentették a legjobb 20 visszakeresési sikertelenségi arányt a szabványos beágyazásokhoz képest, az átsorolás hozzáadásával pedig körülbelül 67 százalékra csökkent a csökkenés. A saját adataira vonatkozó eredmények eltérhetnek, ezért érdemes mérni. A költség az indexelés időpontjában értendő: darabonként egy modellhívás, mindegyik tartalmazza a teljes dokumentumot. Az azonnali gyorsítótárazás ezt sokkal olcsóbbá teszi, mert a dokumentum egyszer gyorsítótárazásra kerül, és minden részében újra felhasználható. Kerülendő tévhitek: a hozzáadott kontextus a visszakeresésre szolgál, és választhat, hogy megjelenítse-e a generátornak. Nem helyettesíti a jó darabolást, és a modell kontextusablakába illeszkedő kis tudásbázisok esetében minden közvetlen elküldése egyszerűbb lehet, mint bármely lekérési folyamat.
Egy negyedéves jelentésből csak annyi olvasható, hogy "A bevétel 3%-kal nőtt az előző negyedévhez képest"; A kontextuális lekérdezés azt feltételezi, hogy egy adott vállalat második negyedéves bejelentéséből származik, így az adott céget és negyedévet megnevező keresés megtalálja azt.
Egy alkalmazotti kézikönyvben a „90 nap után érvényes” szövegrész előtagot kap, amely elmagyarázza, hogy a távmunkára való jogosultságról szóló részből származik.
A szoftverdokumentációs asszisztens hozzáadja a kontextust, megjegyezve, hogy egy konfigurációs csonk egy API 3-as verziójához tartozik, csökkentve ezzel a 2-es verzió hasonló szövegeivel való összetéveszthetőséget.
A támogatási tudásbázis előtagja a hibaelhárítási részeknek az általuk lefedett termékmodellnek, így az egyik modellre vonatkozó kérdések nem kérnek le egy másik modellhez tartozó lépéseket.
A kontextus szerinti lekérdezés azt a szélesebb tendenciát tükrözi, hogy több számítást kell fordítani az indexelési időre a lekérdezési idő megbízhatóbbá tétele érdekében. Ahogy a modellhívások olcsóbbá válnak, és a gyorsítótárazás szabványossá válik, a kontextus hozzáadása a darabokhoz valószínűleg alapértelmezett lépés lesz sok RAG-folyamatban. A hosszabb kontextusablakok csökkentik a visszakeresés szükségességét a kis gyűjteményekben, de nem a nagy gyűjteményekben, ezért az ilyen technikáknak relevánsnak kell maradniuk a nagy tudásbázisok számára. További kombinációkra számíthat a metaadat-szűréssel, a tudásgrafikonokkal és a késői interakciós visszakereséssel, és a csapatok a divat helyett a mért visszahívás alapján választanak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kontextuális visszakeresés egy RAG-technika, amely minden egyes részhez egy rövid, dokumentum-tudatos magyarázatot fűz, mielőtt beágyazná és indexelné a kulcsszókereséshez, így a darabnak önmagában is van értelme. Ez azért fontos, mert a darabok gyakran elveszítik a legfontosabb információkat a dokumentumukból való leválasztáskor, például, hogy melyik cégre, termékre vagy időszakra vonatkoznak, és ez a veszteség azt eredményezi, hogy a retriever kihagyja a megfelelő részt.
A felosztás eltávolítja a környező kontextust, így előfordulhat, hogy egy elszigetelt darab nem említi az entitást vagy időszakot, amelyre a kérdés felteszik.
A modell megkapja a teljes dokumentumot és a darabot, és egy rövid kontextust ad vissza, amely a darabot a dokumentumon belül helyezi el.
A módszer kontextuális beágyazásokat és kontextuális BM25-öt használ, majd ezek eredményeit egyesíti.
A Anthropic körülbelül 49 százalékos csökkenésről számolt be, ami az átsorolással körülbelül 67 százalékra emelkedett. Az egyéb adatokra vonatkozó eredmények eltérőek lehetnek.
Minden egyes darab hívása tartalmazza a teljes dokumentumot; A megosztott előtag gyorsítótárazása elkerüli a teljes ár ismételt fizetését.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Szülődokumentum és kis-nagy visszakeresés
Műszaki