Récupération de passages denses
Dense Passage Retrieval (DPR) trouve le texte pertinent en comparant la signification d'une question et des passages sous forme de vecteurs numériques, et non de mots correspondants.
Aperçu
It matters because it can retrieve correct answers even when the query and the document share zero vocabulary.
Plongée profonde
DPR, introduit par Facebook AI en 2020, utilise deux encodeurs BERT distincts : un encodeur de questions et un encodeur de passage. Chacun transforme le texte en un vecteur dense de longueur fixe (souvent 768 dimensions). La pertinence est le produit scalaire entre un vecteur de question et un vecteur de passage, de sorte que la récupération devient une recherche rapide du voisin le plus proche sur des intégrations de passages précalculées. Le modèle est entraîné avec un objectif contrastif : rapprocher le vecteur du bon passage de la question et repousser les mauvais, en utilisant des négatifs en lot ainsi que des négatifs durs extraits de BM25. Sur les benchmarks d'assurance qualité en domaine ouvert comme Natural Questions, DPR a largement battu le BM25, longtemps dominant, montrant que la correspondance sémantique apprise pourrait surpasser la recherche par mot clé pour répondre aux questions.
Aperçu technique
DPR est un bi-encodeur : il code la requête et chaque passage indépendamment, de sorte que tous les vecteurs de passage sont calculés une fois et stockés dans un index vectoriel (par exemple, FAISS). Au moment de la requête, vous encodez uniquement la question, puis exécutez une recherche approximative du voisin le plus proche. La formation repose sur des négatifs en lot - d'autres passages du même mini-lot servent d'exemples négatifs presque gratuitement, ce qui permet à une paire positive de générer efficacement de nombreuses comparaisons contrastées.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L'avenir de la récupération des passages denses
La récupération dense sous-tend désormais la plupart des pipelines de génération augmentés par récupération alimentant de grands modèles de langage. La recherche s'oriente vers des systèmes hybrides qui fusionnent des scores denses et lexicaux, des modèles d'interaction tardive comme ColBERT qui conservent des vecteurs par jeton pour une correspondance plus fine et des intégrations adaptées aux instructions qui s'adaptent à de nombreuses tâches. Attendez-vous à des encodeurs moins chers, multilingues et à contexte plus long, ainsi qu'à une co-formation plus stricte des récupérateurs avec les générateurs qu'ils servent.
Mise en œuvre dans le monde réel
Systèmes de réponse aux questions en domaine ouvert qui extraient les passages de Wikipédia avant qu'un LLM n'écrive la réponse
Recherche de documents d'entreprise où les employés posent des questions naturelles et obtiennent des paragraphes pertinents même sans mots clés exacts
Bots du support client récupérant le bon article du centre d'aide à partir d'une plainte paraphrasée
Des chatbots améliorés par la récupération fondant les réponses sur une base de connaissances privée pour réduire les hallucinations
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dense Passage Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Récupération tardive des interactions ColBERT
Questions fréquemment posées
What is Dense Passage Retrieval?
Dense Passage Retrieval (DPR) trouve le texte pertinent en comparant la signification d'une question et des passages sous forme de vecteurs numériques, et non de mots correspondants. C'est important car il peut récupérer des réponses correctes même lorsque la requête et le document ne partagent aucun vocabulaire.
Quelle est l’idée principale derrière la récupération de passages denses ?
DPR mappe à la fois les requêtes et les passages dans des vecteurs denses et mesure la pertinence par leur similarité (produit scalaire), capturant le sens plutôt que le chevauchement des mots.
DPR utilise une architecture « bi-encodeur ». Qu'est-ce que cela signifie?
Un bi-encodeur dispose d'encodeurs indépendants pour les questions et les passages, de sorte que les vecteurs de passage peuvent être précalculés et indexés à l'avance.
Pourquoi les vecteurs de passage peuvent-ils être calculés à l’avance dans DPR ?
Étant donné que l'encodeur de passage ne dépend pas de la requête, tous les intégrations de passages peuvent être précalculées et stockées, ne laissant que la requête à encoder au moment de la recherche.
Quelle astuce de formation permet à DPR de générer de nombreux exemples négatifs à moindre coût ?
Les négatifs en lot traitent les autres passages d'un mini-lot comme des négatifs pour une question donnée, produisant ainsi efficacement de nombreuses paires contrastées.
Quel outil est couramment utilisé pour accélérer la recherche du voisin le plus proche à grande échelle ?
Les index vectoriels comme FAISS effectuent une recherche rapide et approximative du voisin le plus proche sur des millions d'intégrations de passages précalculées.