DalšíDalší průvodce
Vyhledávání pomocí ColBERT Late Interaction
Jazyk AI
Jazyk AI GUIDE
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR, představený Facebook AI v roce 2020, používá dva samostatné kodéry BERT: kodér otázek a kodér průchodu. Každý změní text na hustý vektor s pevnou délkou (často 768 rozměrů). Relevance je bodový součin mezi vektorem otázky a vektorem pasáže, takže vyhledávání se stává rychlým vyhledáváním nejbližšího souseda přes předem vypočítané vložení pasáže. Model je trénován s kontrastním cílem: přitáhnout vektor správné pasáže k otázce a odtlačit nesprávné pomocí negativů v dávce plus tvrdých negativů vytěžených z BM25. V testech kontroly kvality v otevřené doméně, jako je Natural Questions, DPR porazil dlouho dominantní BM25 s velkým náskokem, což ukazuje, že naučená sémantická shoda by mohla překonat vyhledávání klíčových slov pro zodpovězení otázek.
Systémy odpovědí na otázky v otevřené doméně, které stahují podpůrné pasáže Wikipedie, než LLM napíše odpověď
Vyhledávání podnikových dokumentů, kde zaměstnanci kladou přirozené otázky a získávají relevantní odstavce i bez přesných klíčových slov
Roboti zákaznické podpory získávají správný článek centra nápovědy z parafrázované stížnosti
Chatboti s rozšířeným vyhledáváním uzemňují odpovědi v soukromé znalostní bázi, aby se snížily halucinace
Husté vyhledávání nyní podporuje většinu generačních kanálů rozšířených o vyhledávání, které zásobují velké jazykové modely. Výzkum se posouvá směrem k hybridním systémům, které spojují hustá a lexikální skóre, modelům pozdních interakcí, jako je ColBERT, které uchovávají vektory na token pro jemnější shodu, a vkládáním vyladěným podle pokynů, které se přizpůsobují mnoha úkolům. Očekávejte levnější, vícejazyčné a delší kontextové kodéry plus těsnější společný výcvik retrieverů s generátory, které obsluhují.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity. Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR mapuje jak dotazy, tak pasáže do hustých vektorů a měří relevanci podle jejich podobnosti (bodový součin), přičemž zachycuje spíše význam než překrývání slov.
Bi-kodér má nezávislé kodéry pro otázky a pasáže, takže vektory pasáží lze předem vypočítat a indexovat předem.
Vzhledem k tomu, že kodér pasáže nezávisí na dotazu, lze všechna vložení pasáže předem vypočítat a uložit, takže v době hledání zůstane zakódován pouze dotaz.
Negativy v dávce zacházejí s ostatními pasážemi v minidávce jako s negativy pro danou otázku a efektivně vytvářejí mnoho kontrastních párů.
Learned representations can support paraphrase matching, but dense retrieval does not universally outperform lexical retrieval.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vyhledávání pomocí ColBERT Late Interaction
Jazyk AI