Technický PRŮVODCE

Kontextové vyhledávání

Kontextové vyhledávání je technika RAG, která ke každému bloku před vložením a indexováním pro vyhledávání klíčových slov přidává krátké vysvětlení s ohledem na dokument, takže blok má smysl, i když ho čte samostatně.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost kontextového vyhledávání
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Je to důležité, protože kusy často ztrácejí klíčové informace, když jsou rozděleny z jejich dokumentu, jako je společnost, produkt nebo časové období, na které se vztahují, a tato ztráta způsobí, že retrívr vynechá správnou pasáž.

Hluboký ponor

Standardní RAG rozdělí dokumenty na bloky, vloží každý blok a načte bloky, které se nejvíce podobají otázce. Problém je v tom, že rozdělování kontextů proužků. Část, která říká „tržby společnosti vzrostly o 3 %“, neříká, která společnost nebo které období, takže ani sémantické vyhledávání, ani vyhledávání klíčových slov jej nemůže spolehlivě přiřadit k otázce, která je pojmenovává. Anthropic popsal kontextové načítání v září 2024. Pro každý blok je uveden jazykový model pro celý dokument a blok a požádán o zapsání stručného kontextu (obvykle kolem 50 až 100 tokenů), který tento blok v dokumentu umístí. Tento kontext je připojen k bloku. Kombinovaný text je pak použit ve dvou indexech: index pro vkládání (kontextová vkládání) a index klíčových slov BM25 (kontextový BM25). V době dotazu se výsledky z obou zkombinují a volitelně změní pořadí nejlepších kandidátů. V experimentech hlášených Anthropic napříč několika datovými sadami kontextové vkládání plus kontextové BM25 snížilo míru selhání vyhledávání 20 o přibližně 49 procent ve srovnání se standardním vkládáním a přidání změny pořadí přineslo snížení na přibližně 67 procent. Výsledky na vašich vlastních datech se mohou lišit, takže se vyplatí měřit. Náklady jsou v době indexování: jedno volání modelu na blok, každé včetně celého dokumentu. Díky rychlému ukládání do mezipaměti je to mnohem levnější, protože dokument je uložen do mezipaměti jednou a znovu použit ve všech jeho částech. Mylné představy, kterým je třeba se vyhnout: přidaný kontext se používá k načítání a můžete si vybrat, zda jej chcete zobrazit generátoru. Nenahrazuje dobré rozdělování a pro malé znalostní báze, které se vejdou do kontextového okna modelu, může být přímé odesílání všeho jednodušší než jakýkoli kanál vyhledávání.

Real-World Implementace

Část čtvrtletní zprávy zní pouze „Příjmy vzrostly o 3 % oproti předchozímu čtvrtletí“; kontextové vyhledávání předchází tomu, že pochází z podání konkrétní společnosti za 2. čtvrtletí, takže vyhledávání pojmenování této společnosti a čtvrtletí ji najde.

V příručce pro zaměstnance má kus s nápisem „Toto platí po 90 dnech“ předponu vysvětlující, že pochází z části o způsobilosti k práci na dálku.

Asistent softwarové dokumentace přidává kontext a poznamenává, že část konfigurace patří do verze 3 rozhraní API, což snižuje záměnu s podobným textem z verze 2.

Znalostní báze podpory předznamenává části řešení problémů s modelem produktu, který pokrývají, takže dotazy týkající se jednoho modelu přestávají načítat kroky pro jiný.

Budoucnost kontextového vyhledávání

Kontextové načítání odráží širší trend utrácet více výpočtů v době indexování, aby byla doba dotazování spolehlivější. Vzhledem k tomu, že volání modelů zlevňují a ukládání do mezipaměti se stává standardem, přidávání kontextu k blokům se pravděpodobně stane výchozím krokem v mnoha kanálech RAG. Delší kontextová okna snižují potřebu načítání v malých kolekcích, ale ne ve velkých, takže techniky jako tato by měly zůstat relevantní pro velké znalostní báze. Očekávejte více kombinací s filtrováním metadat, znalostními grafy a vyhledáváním pozdních interakcí, přičemž týmy se rozhodují spíše na základě naměřené paměti než podle módy.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Zkuste kvíz Contextual Retrieval

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je kontextové vyhledávání?

Kontextové vyhledávání je technika RAG, která ke každému bloku před vložením a indexováním pro vyhledávání klíčových slov přidává krátké vysvětlení s ohledem na dokument, takže blok má smysl, i když ho čte samostatně. Je to důležité, protože kusy často ztrácejí klíčové informace, když jsou rozděleny z jejich dokumentu, jako je společnost, produkt nebo časové období, na které se vztahují, a tato ztráta způsobí, že retrívr vynechá správnou pasáž.

Jaký problém řeší kontextové vyhledávání?

Rozdělením se odstraní okolní kontext, takže izolovaný kus nemusí zmiňovat entitu nebo období, na které se dotaz ptá.

Jak se generuje kontext pro každý blok?

Model dostane celý dokument a část a vrátí krátký kontext, který umístí část do dokumentu.

Které dva indexy obdrží kontextový text bloku v přístupu Anthropic?

Metoda využívá kontextové vkládání a kontextové BM25, poté kombinuje jejich výsledky.

Podle experimentů hlášených Anthropic, jak zhruba snížilo kontextové vkládání plus kontextové BM25 selhání vyhledávání v top 20?

Anthropic oznámilo snížení o 49 procent, které se změnou pořadí vzrostlo na přibližně 67 procent. Výsledky na jiných datech se mohou lišit.

Proč rychlé ukládání do mezipaměti zlevňuje kontextové načítání?

Volání každého bloku zahrnuje celý dokument; ukládání této sdílené předpony do mezipaměti zabraňuje opakovanému placení plné ceny.