Dense Passage Retrieval
Dense Passage Retrieval (DPR) hittar relevant text genom att jämföra betydelsen av en fråga och passager som numeriska vektorer, inte matchande ord.
Översikt
It matters because it can retrieve correct answers even when the query and the document share zero vocabulary.
Djupdykning
DPR, som introducerades av Facebook AI 2020, använder två separata BERT-kodare: en frågekodare och en passagekodare. Varje förvandlar text till en tät vektor med fast längd (ofta 768 dimensioner). Relevans är punktprodukten mellan en frågevektor och en passagevektor, så hämtning blir en snabb sökning av närmaste granne över förberäknade passageinbäddningar. Modellen tränas med ett kontrastivt mål: dra den högra passagens vektor nära frågan och tryck bort fel, med hjälp av in-batch-negativ plus hårda negativ utvunna från BM25. På öppen domän QA-riktmärken som Natural Questions slog DPR den länge dominerande BM25 med stora marginaler, vilket visar att inlärd semantisk matchning kan överträffa nyckelordssökning för att svara på frågor.
Teknisk insikt
DPR är en bi-encoder: den kodar frågan och varje passage oberoende, så alla passagevektorer beräknas en gång och lagras i ett vektorindex (t.ex. FAISS). Vid frågetillfället kodar du bara frågan och kör sedan en ungefärlig sökning efter närmaste granne. Träning förlitar sig på in-batch negativer - andra passager i samma mini-batch fungerar som negativa exempel nästan gratis, vilket låter ett positivt par generera många kontrastiva jämförelser effektivt.
Strategisk inverkan
Speed and scale
Språkarbetsflöden kan gå snabbare utan att offra konsekvens.
Access and reach
Det utökar åtkomsten över språk och kommunikationsstilar.
Clearer decisions
Team kan lägga mer tid på bedömning medan automatisering hanterar upprepning.
The Future of Dense Passage Retrieval
Tät hämtning ligger nu till grund för de flesta hämtningsförstärkta generationspipelines som matar stora språkmodeller. Forskning går mot hybridsystem som kombinerar täta och lexikala poäng, modeller med sena interaktioner som ColBERT som håller vektorer per token för finare matchning och instruktionsjusterade inbäddningar som anpassar sig till många uppgifter. Förvänta dig billigare, flerspråkiga och längre kontextkodare, plus stramare samträning av retrievers med generatorerna de betjänar.
Real-World Implementation
Frågesvarssystem med öppen domän som drar stödjande Wikipedia-passager innan en LLM skriver svaret
Företagsdokumentsökning där anställda ställer naturliga frågor och får relevanta stycken även utan exakta nyckelord
Kundsupportrobotar som hämtar rätt hjälpcenterartikel från ett omskrivet klagomål
Hämtning-förstärkta chatbots jordar svar i en privat kunskapsbas för att minska hallucinationer
Risker & skyddsräcken
Hallucinerade fakta kan tyst lägga in rapporter, stödflöden eller forskningsresultat.
Snabb känslighet kan skapa inkonsekventa resultat över liknande förfrågningar.
Känsliga textdata kan exponeras om åtkomstkontrollerna är svaga.
Färdplan för genomförande
Definiera utdataformat, ton och kvalitetsstandarder innan lansering.
Marksvar med pålitliga källor närhelst noggrannhet är viktig.
Håll en kontrollpunkt för mänsklig granskning för höga insatser.
Spåra felmönster och träna om uppmaningar eller arbetsflöden regelbundet.
Fortsätt utforska
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dense Passage Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
ColBERT Late Interaction Retrieval
Frequently asked questions
What is Dense Passage Retrieval?
Dense Passage Retrieval (DPR) hittar relevant text genom att jämföra betydelsen av en fråga och passager som numeriska vektorer, inte matchande ord. Det är viktigt eftersom det kan hämta korrekta svar även när frågan och dokumentet delar noll ordförråd.
Vad är kärnidén bakom Dense Passage Retrieval?
DPR mappar både frågor och passager till täta vektorer och mäter relevans genom deras likhet (punktprodukt), och fångar betydelse snarare än ordöverlappning.
DPR använder en "bi-encoder"-arkitektur. Vad betyder det?
En bi-kodare har oberoende kodare för frågor och passager, så passagevektorer kan förberäknas och indexeras i förväg.
Varför kan passagevektorer beräknas i förväg i DPR?
Eftersom passagekodaren inte är beroende av frågan, kan alla passageinbäddningar förberäknas och lagras, så att endast frågan lämnas att koda vid söktillfället.
Vilket träningsknep låter DPR generera många negativa exempel billigt?
In-batch-negativ behandlar de andra passagerna i en mini-batch som negativa för en given fråga, vilket ger många kontrastiva par effektivt.
Vilket verktyg används vanligtvis för att göra DPR:s närmaste grannesökning snabb i skala?
Vektorindex som FAISS utför snabba sökningar efter närmaste granne över miljontals förberäknade passageinbäddningar.