Műszaki ÚTMUTATÓ

Kontextuális visszakeresés

A kontextuális visszakeresés egy RAG-technika, amely minden egyes részhez egy rövid, dokumentum-tudatos magyarázatot fűz, mielőtt beágyazná és indexelné a kulcsszókereséshez, így a darabnak önmagában is van értelme.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A kontextuális visszakeresés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez azért fontos, mert a darabok gyakran elveszítik a legfontosabb információkat a dokumentumukból való leválasztáskor, például, hogy melyik cégre, termékre vagy időszakra vonatkoznak, és ez a veszteség azt eredményezi, hogy a retriever kihagyja a megfelelő részt.

Mély merülés

A szabványos RAG a dokumentumokat darabokra bontja, mindegyiket beágyazza, és lekéri a kérdéshez leginkább hasonló részeket. A probléma az, hogy a felosztás leválasztja a kontextust. A "a vállalat bevétele 3%-kal nőtt" feliratú rész nem árulja el, hogy melyik cég vagy melyik időszak, így sem a szemantikai keresés, sem a kulcsszavas keresés nem tudja megbízhatóan párosítani az őket megnevező kérdéssel. A Anthropic 2024 szeptemberében írta le a kontextuális visszakeresést. Minden egyes darabhoz egy nyelvi modell kapja meg a teljes dokumentumot és a darabot, és felkéri, hogy írjon egy rövid kontextust (általában körülbelül 50–100 token), amely a darabot a dokumentumon belül helyezi el. Ez a kontextus hozzá van fűzve a darabhoz. A kombinált szöveget ezután két indexben használják fel: egy beágyazási indexben (kontextuális beágyazások) és egy BM25 kulcsszóindexben (kontextuális BM25). A lekérdezés időpontjában a rendszer mindkét eredményét kombinálja, és opcionálisan egy újrarangadó újrarendezi a legjobb jelölteket. A Anthropic több adatkészletre kiterjedő kísérleteiben a kontextuális beágyazások és a kontextuális BM25 körülbelül 49 százalékkal csökkentették a legjobb 20 visszakeresési sikertelenségi arányt a szabványos beágyazásokhoz képest, az átsorolás hozzáadásával pedig körülbelül 67 százalékra csökkent a csökkenés. A saját adataira vonatkozó eredmények eltérhetnek, ezért érdemes mérni. A költség az indexelés időpontjában értendő: darabonként egy modellhívás, mindegyik tartalmazza a teljes dokumentumot. Az azonnali gyorsítótárazás ezt sokkal olcsóbbá teszi, mert a dokumentum egyszer gyorsítótárazásra kerül, és minden részében újra felhasználható. Kerülendő tévhitek: a hozzáadott kontextus a visszakeresésre szolgál, és választhat, hogy megjelenítse-e a generátornak. Nem helyettesíti a jó darabolást, és a modell kontextusablakába illeszkedő kis tudásbázisok esetében minden közvetlen elküldése egyszerűbb lehet, mint bármely lekérési folyamat.

Valós megvalósítás

Egy negyedéves jelentésből csak annyi olvasható, hogy "A bevétel 3%-kal nőtt az előző negyedévhez képest"; A kontextuális lekérdezés azt feltételezi, hogy egy adott vállalat második negyedéves bejelentéséből származik, így az adott céget és negyedévet megnevező keresés megtalálja azt.

Egy alkalmazotti kézikönyvben a „90 nap után érvényes” szövegrész előtagot kap, amely elmagyarázza, hogy a távmunkára való jogosultságról szóló részből származik.

A szoftverdokumentációs asszisztens hozzáadja a kontextust, megjegyezve, hogy egy konfigurációs csonk egy API 3-as verziójához tartozik, csökkentve ezzel a 2-es verzió hasonló szövegeivel való összetéveszthetőséget.

A támogatási tudásbázis előtagja a hibaelhárítási részeknek az általuk lefedett termékmodellnek, így az egyik modellre vonatkozó kérdések nem kérnek le egy másik modellhez tartozó lépéseket.

A kontextuális visszakeresés jövője

A kontextus szerinti lekérdezés azt a szélesebb tendenciát tükrözi, hogy több számítást kell fordítani az indexelési időre a lekérdezési idő megbízhatóbbá tétele érdekében. Ahogy a modellhívások olcsóbbá válnak, és a gyorsítótárazás szabványossá válik, a kontextus hozzáadása a darabokhoz valószínűleg alapértelmezett lépés lesz sok RAG-folyamatban. A hosszabb kontextusablakok csökkentik a visszakeresés szükségességét a kis gyűjteményekben, de nem a nagy gyűjteményekben, ezért az ilyen technikáknak relevánsnak kell maradniuk a nagy tudásbázisok számára. További kombinációkra számíthat a metaadat-szűréssel, a tudásgrafikonokkal és a késői interakciós visszakereséssel, és a csapatok a divat helyett a mért visszahívás alapján választanak.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Contextual Retrieval quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a kontextuális visszakeresés?

A kontextuális visszakeresés egy RAG-technika, amely minden egyes részhez egy rövid, dokumentum-tudatos magyarázatot fűz, mielőtt beágyazná és indexelné a kulcsszókereséshez, így a darabnak önmagában is van értelme. Ez azért fontos, mert a darabok gyakran elveszítik a legfontosabb információkat a dokumentumukból való leválasztáskor, például, hogy melyik cégre, termékre vagy időszakra vonatkoznak, és ez a veszteség azt eredményezi, hogy a retriever kihagyja a megfelelő részt.

Milyen problémát old meg a kontextuális visszakeresés?

A felosztás eltávolítja a környező kontextust, így előfordulhat, hogy egy elszigetelt darab nem említi az entitást vagy időszakot, amelyre a kérdés felteszik.

Hogyan jön létre az egyes darabok kontextusa?

A modell megkapja a teljes dokumentumot és a darabot, és egy rövid kontextust ad vissza, amely a darabot a dokumentumon belül helyezi el.

Melyik két index kapja meg a kontextualizált darabszöveget a Anthropic megközelítésében?

A módszer kontextuális beágyazásokat és kontextuális BM25-öt használ, majd ezek eredményeit egyesíti.

A Anthropic által közölt kísérletek szerint nagyjából mennyivel csökkentették a kontextuális beágyazások és a kontextuális BM25 a legjobb 20 visszakeresési hibákat?

A Anthropic körülbelül 49 százalékos csökkenésről számolt be, ami az átsorolással körülbelül 67 százalékra emelkedett. Az egyéb adatokra vonatkozó eredmények eltérőek lehetnek.

Miért teszi olcsóbbá az azonnali gyorsítótárazás a kontextus szerinti visszakeresést?

Minden egyes darab hívása tartalmazza a teljes dokumentumot; A megosztott előtag gyorsítótárazása elkerüli a teljes ár ismételt fizetését.