Technický PRŮVODCE

Nadřazený dokument a vyhledávání od malých po velké

Vyhledávání nadřazených dokumentů, nazývané také vyhledávání od malých po velké, prohledává malé, přesné části textu, ale jazykovému modelu předává větší část nebo dokument, ze kterého každý kus pochází.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost nadřazeného dokumentu a vyhledávání od malých po velké
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Je to důležité, protože to odstraňuje obvyklý kompromis při rozdělování: malé části přesně odpovídají dotazům a větší rodič dává modelu dostatek kontextu, aby odpovídal správně.

Hluboký ponor

Dělení s pevnou velikostí si vynucuje kompromis. Malé kousky, řekněme několik vět, vytvářejí ostré vložení: vektor představuje jeden nápad, takže dotaz na tento nápad se mu přesně shoduje. Ale blok o dvou větách zřídka obsahuje dostatek kontextu, aby model dobře odpověděl; může vynechat definici o tři odstavce dříve nebo výjimku v následující větě. Velké kusy obsahují tento kontext, ale jejich vložení rozmazává několik myšlenek dohromady, takže vyhledávání je méně přesné a relevantní pasáž může být překonána kouskem, který je pouze k tématu. Vyhledávání od malého k velkému rozděluje dvě práce. Systém indexuje malé podřízené části pro vyhledávání a každý potomek uchovává ukazatel na většího rodiče: oddíl, stránku nebo celý dokument. V době dotazu najde nejlepší děti, poté vyhledá a vrátí jejich rodiče. Pokud několik dětí sdílí jednoho rodiče, rodič je odeslán jednou, čímž se odstraní i duplikáty. ParentDocumentRetriever společnosti LangChain to implementuje pomocí vektorového úložiště pro děti a samostatného úložiště dokumentů pro rodiče. LlamaIndex nabízí související vzory: vyhledávání v okně věty, které vrací shodu věty plus pevný počet sousedních vět, a vyhledávání s automatickým slučováním, které nahradí mnoho načtených listových bloků jejich sdíleným nadřazeným uzlem, když se jich dostatečný počet shoduje. Tento přístup má tendenci porazit rozdělování pevné velikosti na strukturované dokumenty, jako jsou manuály, smlouvy, zásady a učebnice, kde význam závisí na okolní sekci. Méně pomáhá, když jsou dokumenty již krátké nebo když jsou rodiče tak velcí, že několik z nich přeteče kontextové okno nebo zahrabe odpověď do irelevantního textu. Obvyklá mylná představa je, že se jedná pouze o použití větších kusů. Není tomu tak: vyhledávací jednotka a generovací jednotka mají záměrně různé velikosti, takže zachováte přesnou shodu, aniž byste vyhladověli model z kontextu.

Real-World Implementace

Interní bot nápovědy IT indexuje každý krok odstraňování problémů jako samostatný podřízený blok, ale když se krok shoduje, vrátí celý postup, takže model neříká uživatelům, aby provedli krok 4 bez kroků 1 až 3.

Právní výzkumný nástroj odpovídá jedné klauzuli o výpovědních lhůtách a poté předá modelu úplnou část smlouvy, včetně definic a výjimek, které mění význam klauzule.

Asistent univerzitního kurzu prohledává části vět na úrovni vět z poznámek z přednášek a vrací okolní stránku, takže odpovědi na vzorec zahrnují také podmínky, za kterých platí.

Asistent pojistných událostí načte několik malých shod z jednoho dokumentu pojistky, seskupí je podle nadřazeného prvku a odešle tuto část pojistky jednou místo pěti překrývajících se fragmentů.

Budoucnost nadřazeného dokumentu a vyhledávání od malých po velké

Small-to-big se stává spíše výchozím nastavením než trikem a hlavní rámce již nabízejí hierarchické nebo okénkové načítání jako možnosti konfigurace. Větší kontextová okna snižují trest za odesílání větších rodičů, což zlevňuje přijetí vzoru. Zůstávají otevřené otázky ohledně automatického výběru nadřazených hranic, například pomocí analýzy rozvržení dokumentu nebo naučené segmentace namísto spoléhání se na nadpisy. Stále více se kombinuje s rerankery a přístupy s kontextovým vkládáním, které se snaží dát malým kouskům povědomí o svém okolí v době indexování. Spolehlivým způsobem výběru podřízených a nadřazených velikostí zůstává testování na vašich vlastních dokumentech, nikoli na obecných srovnávacích testech.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Parent Document and Small-to-Big Retrieval quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je nadřazený dokument a vyhledávání od malých po velké?

Vyhledávání nadřazených dokumentů, nazývané také vyhledávání od malých po velké, prohledává malé, přesné části textu, ale jazykovému modelu předává větší část nebo dokument, ze kterého každý kus pochází. Je to důležité, protože to odstraňuje obvyklý kompromis při rozdělování: malé části přesně odpovídají dotazům a větší rodič dává modelu dostatek kontextu, aby odpovídal správně.

Jaký základní kompromis řeší vyhledávání malých a velkých?

Malé kousky poskytují cílené vložení, ale příliš málo kontextu; velké kusy poskytují kontext, ale rozmazané vložení. Small-to-velký hledá malé a vrací velké, aby získal obojí.

Co je v malém až velkém systému vloženo a prohledáváno v době dotazu?

Děti jsou indexovány pro přesnou shodu; rodiče jsou vzhlédnuti pouze po zápasech dítěte.

Pokud všechny tři načtené podřízené části patří do stejné nadřazené sekce, co by měl systém dělat?

Seskupení podle rodiče znamená, že sekce je zahrnuta jednou, což ukládá tokeny a odstraňuje duplicitní fragmenty.

Jak ParentDocumentRetriever LangChain ukládá dvě úrovně textu?

Děti jsou zakomponovány do vektorového úložiště pro vyhledávání, zatímco plní rodiče sedí v úložišti dokumentů a jsou vyzvednuti podle ID.

Co vrací vyhledávání v okně vět?

Vyhledání okna vět se shoduje na úrovni věty a poté se rozšíří na okno okolních vět, aby poskytl kontext.