DalšíDalší průvodce
Nadřazený dokument a vyhledávání od malých po velké
Technický
Technický PRŮVODCE
Kontextové vyhledávání je technika RAG, která ke každému bloku před vložením a indexováním pro vyhledávání klíčových slov přidává krátké vysvětlení s ohledem na dokument, takže blok má smysl, i když ho čte samostatně.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože kusy často ztrácejí klíčové informace, když jsou rozděleny z jejich dokumentu, jako je společnost, produkt nebo časové období, na které se vztahují, a tato ztráta způsobí, že retrívr vynechá správnou pasáž.
Standardní RAG rozdělí dokumenty na bloky, vloží každý blok a načte bloky, které se nejvíce podobají otázce. Problém je v tom, že rozdělování kontextů proužků. Část, která říká „tržby společnosti vzrostly o 3 %“, neříká, která společnost nebo které období, takže ani sémantické vyhledávání, ani vyhledávání klíčových slov jej nemůže spolehlivě přiřadit k otázce, která je pojmenovává. Anthropic popsal kontextové načítání v září 2024. Pro každý blok je uveden jazykový model pro celý dokument a blok a požádán o zapsání stručného kontextu (obvykle kolem 50 až 100 tokenů), který tento blok v dokumentu umístí. Tento kontext je připojen k bloku. Kombinovaný text je pak použit ve dvou indexech: index pro vkládání (kontextová vkládání) a index klíčových slov BM25 (kontextový BM25). V době dotazu se výsledky z obou zkombinují a volitelně změní pořadí nejlepších kandidátů. V experimentech hlášených Anthropic napříč několika datovými sadami kontextové vkládání plus kontextové BM25 snížilo míru selhání vyhledávání 20 o přibližně 49 procent ve srovnání se standardním vkládáním a přidání změny pořadí přineslo snížení na přibližně 67 procent. Výsledky na vašich vlastních datech se mohou lišit, takže se vyplatí měřit. Náklady jsou v době indexování: jedno volání modelu na blok, každé včetně celého dokumentu. Díky rychlému ukládání do mezipaměti je to mnohem levnější, protože dokument je uložen do mezipaměti jednou a znovu použit ve všech jeho částech. Mylné představy, kterým je třeba se vyhnout: přidaný kontext se používá k načítání a můžete si vybrat, zda jej chcete zobrazit generátoru. Nenahrazuje dobré rozdělování a pro malé znalostní báze, které se vejdou do kontextového okna modelu, může být přímé odesílání všeho jednodušší než jakýkoli kanál vyhledávání.
Část čtvrtletní zprávy zní pouze „Příjmy vzrostly o 3 % oproti předchozímu čtvrtletí“; kontextové vyhledávání předchází tomu, že pochází z podání konkrétní společnosti za 2. čtvrtletí, takže vyhledávání pojmenování této společnosti a čtvrtletí ji najde.
V příručce pro zaměstnance má kus s nápisem „Toto platí po 90 dnech“ předponu vysvětlující, že pochází z části o způsobilosti k práci na dálku.
Asistent softwarové dokumentace přidává kontext a poznamenává, že část konfigurace patří do verze 3 rozhraní API, což snižuje záměnu s podobným textem z verze 2.
Znalostní báze podpory předznamenává části řešení problémů s modelem produktu, který pokrývají, takže dotazy týkající se jednoho modelu přestávají načítat kroky pro jiný.
Kontextové načítání odráží širší trend utrácet více výpočtů v době indexování, aby byla doba dotazování spolehlivější. Vzhledem k tomu, že volání modelů zlevňují a ukládání do mezipaměti se stává standardem, přidávání kontextu k blokům se pravděpodobně stane výchozím krokem v mnoha kanálech RAG. Delší kontextová okna snižují potřebu načítání v malých kolekcích, ale ne ve velkých, takže techniky jako tato by měly zůstat relevantní pro velké znalostní báze. Očekávejte více kombinací s filtrováním metadat, znalostními grafy a vyhledáváním pozdních interakcí, přičemž týmy se rozhodují spíše na základě naměřené paměti než podle módy.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kontextové vyhledávání je technika RAG, která ke každému bloku před vložením a indexováním pro vyhledávání klíčových slov přidává krátké vysvětlení s ohledem na dokument, takže blok má smysl, i když ho čte samostatně. Je to důležité, protože kusy často ztrácejí klíčové informace, když jsou rozděleny z jejich dokumentu, jako je společnost, produkt nebo časové období, na které se vztahují, a tato ztráta způsobí, že retrívr vynechá správnou pasáž.
Rozdělením se odstraní okolní kontext, takže izolovaný kus nemusí zmiňovat entitu nebo období, na které se dotaz ptá.
Model dostane celý dokument a část a vrátí krátký kontext, který umístí část do dokumentu.
Metoda využívá kontextové vkládání a kontextové BM25, poté kombinuje jejich výsledky.
Anthropic oznámilo snížení o 49 procent, které se změnou pořadí vzrostlo na přibližně 67 procent. Výsledky na jiných datech se mohou lišit.
Volání každého bloku zahrnuje celý dokument; ukládání této sdílené předpony do mezipaměti zabraňuje opakovanému placení plné ceny.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Nadřazený dokument a vyhledávání od malých po velké
Technický