DalšíDalší průvodce
Retrieval Metrics: Recall@K, MRR and nDCG
Technický
Technický PRŮVODCE
Vyhledávání nadřazených dokumentů, nazývané také vyhledávání od malých po velké, prohledává malé, přesné části textu, ale jazykovému modelu předává větší část nebo dokument, ze kterého každý kus pochází.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože to odstraňuje obvyklý kompromis při rozdělování: malé části přesně odpovídají dotazům a větší rodič dává modelu dostatek kontextu, aby odpovídal správně.
Dělení s pevnou velikostí si vynucuje kompromis. Malé kousky, řekněme několik vět, vytvářejí ostré vložení: vektor představuje jeden nápad, takže dotaz na tento nápad se mu přesně shoduje. Ale blok o dvou větách zřídka obsahuje dostatek kontextu, aby model dobře odpověděl; může vynechat definici o tři odstavce dříve nebo výjimku v následující větě. Velké kusy obsahují tento kontext, ale jejich vložení rozmazává několik myšlenek dohromady, takže vyhledávání je méně přesné a relevantní pasáž může být překonána kouskem, který je pouze k tématu. Vyhledávání od malého k velkému rozděluje dvě práce. Systém indexuje malé podřízené části pro vyhledávání a každý potomek uchovává ukazatel na většího rodiče: oddíl, stránku nebo celý dokument. V době dotazu najde nejlepší děti, poté vyhledá a vrátí jejich rodiče. Pokud několik dětí sdílí jednoho rodiče, rodič je odeslán jednou, čímž se odstraní i duplikáty. ParentDocumentRetriever společnosti LangChain to implementuje pomocí vektorového úložiště pro děti a samostatného úložiště dokumentů pro rodiče. LlamaIndex nabízí související vzory: vyhledávání v okně věty, které vrací shodu věty plus pevný počet sousedních vět, a vyhledávání s automatickým slučováním, které nahradí mnoho načtených listových bloků jejich sdíleným nadřazeným uzlem, když se jich dostatečný počet shoduje. Tento přístup má tendenci porazit rozdělování pevné velikosti na strukturované dokumenty, jako jsou manuály, smlouvy, zásady a učebnice, kde význam závisí na okolní sekci. Méně pomáhá, když jsou dokumenty již krátké nebo když jsou rodiče tak velcí, že několik z nich přeteče kontextové okno nebo zahrabe odpověď do irelevantního textu. Obvyklá mylná představa je, že se jedná pouze o použití větších kusů. Není tomu tak: vyhledávací jednotka a generovací jednotka mají záměrně různé velikosti, takže zachováte přesnou shodu, aniž byste vyhladověli model z kontextu.
Interní bot nápovědy IT indexuje každý krok odstraňování problémů jako samostatný podřízený blok, ale když se krok shoduje, vrátí celý postup, takže model neříká uživatelům, aby provedli krok 4 bez kroků 1 až 3.
Právní výzkumný nástroj odpovídá jedné klauzuli o výpovědních lhůtách a poté předá modelu úplnou část smlouvy, včetně definic a výjimek, které mění význam klauzule.
Asistent univerzitního kurzu prohledává části vět na úrovni vět z poznámek z přednášek a vrací okolní stránku, takže odpovědi na vzorec zahrnují také podmínky, za kterých platí.
Asistent pojistných událostí načte několik malých shod z jednoho dokumentu pojistky, seskupí je podle nadřazeného prvku a odešle tuto část pojistky jednou místo pěti překrývajících se fragmentů.
Small-to-big se stává spíše výchozím nastavením než trikem a hlavní rámce již nabízejí hierarchické nebo okénkové načítání jako možnosti konfigurace. Větší kontextová okna snižují trest za odesílání větších rodičů, což zlevňuje přijetí vzoru. Zůstávají otevřené otázky ohledně automatického výběru nadřazených hranic, například pomocí analýzy rozvržení dokumentu nebo naučené segmentace namísto spoléhání se na nadpisy. Stále více se kombinuje s rerankery a přístupy s kontextovým vkládáním, které se snaží dát malým kouskům povědomí o svém okolí v době indexování. Spolehlivým způsobem výběru podřízených a nadřazených velikostí zůstává testování na vašich vlastních dokumentech, nikoli na obecných srovnávacích testech.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Vyhledávání nadřazených dokumentů, nazývané také vyhledávání od malých po velké, prohledává malé, přesné části textu, ale jazykovému modelu předává větší část nebo dokument, ze kterého každý kus pochází. Je to důležité, protože to odstraňuje obvyklý kompromis při rozdělování: malé části přesně odpovídají dotazům a větší rodič dává modelu dostatek kontextu, aby odpovídal správně.
Malé kousky poskytují cílené vložení, ale příliš málo kontextu; velké kusy poskytují kontext, ale rozmazané vložení. Small-to-velký hledá malé a vrací velké, aby získal obojí.
Děti jsou indexovány pro přesnou shodu; rodiče jsou vzhlédnuti pouze po zápasech dítěte.
Seskupení podle rodiče znamená, že sekce je zahrnuta jednou, což ukládá tokeny a odstraňuje duplicitní fragmenty.
Děti jsou zakomponovány do vektorového úložiště pro vyhledávání, zatímco plní rodiče sedí v úložišti dokumentů a jsou vyzvednuti podle ID.
Vyhledání okna vět se shoduje na úrovni věty a poté se rozšíří na okno okolních vět, aby poskytl kontext.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Retrieval Metrics: Recall@K, MRR and nDCG
Technický