VolgendeVolgende gids
ColBERT Late interactie-ophaalactie
Taal AI
Taal AI-GIDS
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity.
Luister naar deze gidsAI-verteld · ~2 min
Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR, geïntroduceerd door Facebook AI in 2020, maakt gebruik van twee afzonderlijke BERT-encoders: een vraag-encoder en een passage-encoder. Elke tekst wordt omgezet in een dichte vector met een vaste lengte (vaak 768 dimensies). Relevantie is het puntproduct tussen een vraagvector en een passagevector, dus het ophalen wordt een snelle zoektocht naar de dichtstbijzijnde buur via vooraf berekende passage-inbedding. Het model is getraind met een contrastief doel: de vector van de juiste passage dicht bij de vraag brengen en de verkeerde wegduwen, met behulp van in-batch negatieven plus harde negatieven uit BM25. Op open-domein QA-benchmarks zoals Natural Questions versloeg DPR de lang dominante BM25 met grote marges, wat aantoont dat geleerde semantische matching beter zou kunnen presteren dan zoeken op trefwoorden voor het beantwoorden van vragen.
Open-domein vraagantwoordsystemen die ondersteunende Wikipedia-passages ophalen voordat een LLM het antwoord schrijft
Zoeken naar bedrijfsdocumenten waarbij medewerkers natuurlijke vragen stellen en relevante alinea's krijgen, zelfs zonder exacte trefwoorden
Bots voor klantenondersteuning die het juiste Helpcentrum-artikel ophalen uit een geparafraseerde klacht
Ophaalbare chatbots die reacties in een privékennisbank baseren om hallucinaties te verminderen
Dichte ophaalmogelijkheden vormen nu de basis voor de meeste ophaal-verbeterde generatiepijplijnen die grote taalmodellen voeden. Onderzoek beweegt zich in de richting van hybride systemen die dichte en lexicale scores combineren, late-interactiemodellen zoals ColBERT die vectoren per token bijhouden voor een fijnere matching, en op instructies afgestemde inbedding die zich aan veel taken aanpast. Verwacht goedkopere, meertalige encoders met een langere context, plus een nauwere co-training van retrievers met de generatoren die ze bedienen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity. Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
DPR brengt zowel zoekopdrachten als passages in dichte vectoren in kaart en meet de relevantie aan de hand van hun gelijkenis (puntproduct), waarbij betekenis wordt vastgelegd in plaats van woordoverlap.
Een bi-encoder heeft onafhankelijke encoders voor vragen en passages, zodat passagevectoren vooraf kunnen worden berekend en geïndexeerd.
Omdat de passage-encoder niet afhankelijk is van de zoekopdracht, kunnen alle passage-inbeddingen vooraf worden berekend en opgeslagen, waardoor alleen de zoekopdracht overblijft om te coderen tijdens het zoeken.
In-batch-negatieven behandelen de andere passages in een mini-batch als negatief voor een bepaalde vraag, waardoor op efficiënte wijze veel contrastieve paren worden geproduceerd.
Learned representations can support paraphrase matching, but dense retrieval does not universally outperform lexical retrieval.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
ColBERT Late interactie-ophaalactie
Taal AI