NastępnyNastępny poradnik
Retrieval Metrics: Recall@K, MRR and nDCG
Techniczne
PRZEWODNIK techniczny
Pobieranie dokumentu nadrzędnego, zwane także pobieraniem od małego do dużego, przeszukuje małe, precyzyjne fragmenty tekstu, ale przekazuje modelowi językowemu większy fragment lub dokument, z którego pochodzi dany fragment.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Ma to znaczenie, ponieważ usuwa zwykłą kompromis przy dzieleniu na fragmenty: małe fragmenty dokładnie dopasowują zapytania, a większy dokument nadrzędny daje modelowi wystarczający kontekst, aby odpowiedzieć poprawnie.
Fixed-size chunking forces a trade-off. Small chunks, say a few sentences, produce sharp embeddings: the vector represents one idea, so a query about that idea matches it closely. But a two-sentence chunk rarely contains enough context for the model to answer well; it may omit the definition three paragraphs earlier or the exception in the next sentence. Large chunks carry that context, but their embeddings blur several ideas together, so retrieval gets less precise and the relevant passage can be outscored by a chunk that is merely on-topic. Small-to-big retrieval splits the two jobs. The system indexes small child chunks for search, and each child keeps a pointer to a larger parent: a section, a page, or the whole document. At query time it finds the best children, then looks up and returns their parents. If several children share one parent, the parent is sent once, which also removes duplicates. LangChain's ParentDocumentRetriever implements this with a vector store for children and a separate document store for parents. LlamaIndex offers related patterns: sentence-window retrieval, which returns a matched sentence plus a fixed number of neighboring sentences, and auto-merging retrieval, which replaces many retrieved leaf chunks with their shared parent node when enough of them match. The approach tends to beat fixed-size chunking on structured documents such as manuals, contracts, policies and textbooks, where meaning depends on the surrounding section. It helps less when documents are already short, or when parents are so large that a few of them overflow the context window or bury the answer in irrelevant text. A common misconception is that this is just using bigger chunks. It is not: the retrieval unit and the generation unit are deliberately different sizes, so you keep precise matching without starving the model of context.
Wewnętrzny bot pomocy IT indeksuje każdy krok rozwiązywania problemów jako osobny fragment potomny, ale gdy krok się zgadza, zwraca cały procedurę, więc model nie nakazuje użytkownikom wykonywać kroku 4 bez kroków 1‑3.
Narzędzie do badań prawnych dopasowuje pojedynczą klauzulę dotyczącą okresów wypowiedzenia, a następnie przekazuje modelowi pełny fragment umowy, włączając definicje i wyjątki, które zmieniają znaczenie klauzuli.
Asystent kursu uniwersyteckiego przeszukuje fragmenty na poziomie zdania z notatek wykładowych i zwraca otaczającą stronę, więc odpowiedzi dotyczące formuły zawierają również warunki, w których się stosuje.
Asystent roszczeń ubezpieczeniowych pobiera kilka małych dopasowań z jednego dokumentu polisy, grupuje je według dokumentu nadrzędnego i wysyła tę sekcję polisy raz zamiast pięciu nakładających się fragmentów.
Pobieranie od małego do dużego staje się domyślnym rozwiązaniem, a główne ramy już udostępniają hierarchiczne lub okienkowe pobieranie jako opcje konfiguracyjne. Większe okna kontekstowe zmniejszają karę za wysyłanie większych dokumentów nadrzędnych, co sprawia, że wzorzec jest tańszy do przyjęcia. Otwarte pytania pozostają dotyczące automatycznego wyboru granic dokumentu nadrzędnego, na przykład przy użyciu analizy układu dokumentu lub wyuczonych segmentacji zamiast polegania na nagłówkach. Coraz częściej łączy się to z ponownym ocenianiem i podejściami z osadzaniem kontekstowym, które próbują dać małym fragmentom świadomość ich otoczenia podczas indeksowania. Testowanie na własnych dokumentach, a nie na ogólnych benchmarkach, pozostaje wiarygodnym sposobem wyboru rozmiarów potomka i dokumentu nadrzędnego.
Darmowy newsletter
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Pobieranie dokumentu nadrzędnego, zwane także pobieraniem od małego do dużego, przeszukuje małe, precyzyjne fragmenty tekstu, ale przekazuje modelowi językowemu większy fragment lub dokument, z którego pochodzi dany fragment. Ma to znaczenie, ponieważ usuwa zwykłą kompromis przy dzieleniu na fragmenty: małe fragmenty dokładnie dopasowują zapytania, a większy dokument nadrzędny daje modelowi wystarczający kontekst, aby odpowiedzieć poprawnie.
Małe fragmenty zapewniają skupione osadzenie, ale zbyt mało kontekstu; duże fragmenty dają kontekst, ale są niewyraźne. Od małych do dużych wyszukuje małe i zwraca duże, aby uzyskać oba.
Elementy podrzędne są indeksowane w celu dokładnego dopasowania; rodzice są obserwowani dopiero po dopasowaniu dziecka.
Grupowanie według elementu nadrzędnego oznacza, że sekcja jest dołączona raz, co oszczędza tokeny i usuwa zduplikowane fragmenty.
Dzieci są umieszczane w magazynie wektorowym w celu wyszukiwania, podczas gdy pełnoprawni rodzice siedzą w magazynie dokumentów i są pobierani na podstawie dowodu tożsamości.
Wyszukiwanie w oknie zdań dopasowuje się do poziomu zdania, a następnie rozszerza się do okna otaczających zdań, aby zapewnić kontekst.
Ucz się dalej
Wybrano więcej przewodników na ten temat
NastępnyNastępny poradnik
Retrieval Metrics: Recall@K, MRR and nDCG
Techniczne