À suivreGuide suivant
Récupération tardive des interactions ColBERT
IA linguistique
GUIDE IA du langage
Récupération de passages denses
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
Plongée profonde
DPR, introduit par Facebook AI en 2020, utilise deux encodeurs BERT distincts : un encodeur de questions et un encodeur de passage. Chacun transforme le texte en un vecteur dense de longueur fixe (souvent 768 dimensions). La pertinence est le produit scalaire entre un vecteur de question et un vecteur de passage, de sorte que la récupération devient une recherche rapide du voisin le plus proche sur des intégrations de passages précalculées. Le modèle est entraîné avec un objectif contrastif : rapprocher le vecteur du bon passage de la question et repousser les mauvais, en utilisant des négatifs en lot ainsi que des négatifs durs extraits de BM25. Sur les benchmarks d'assurance qualité en domaine ouvert comme Natural Questions, DPR a largement battu le BM25, longtemps dominant, montrant que la correspondance sémantique apprise pourrait surpasser la recherche par mot clé pour répondre aux questions.
Mise en œuvre dans le monde réel
Systèmes de réponse aux questions en domaine ouvert qui extraient les passages de Wikipédia avant qu'un LLM n'écrive la réponse
Recherche de documents d'entreprise où les employés posent des questions naturelles et obtiennent des paragraphes pertinents même sans mots clés exacts
Bots du support client récupérant le bon article du centre d'aide à partir d'une plainte paraphrasée
Des chatbots améliorés par la récupération fondant les réponses sur une base de connaissances privée pour réduire les hallucinations
L'avenir de la récupération des passages denses
La récupération dense sous-tend désormais la plupart des pipelines de génération augmentés par récupération alimentant de grands modèles de langage. La recherche s'oriente vers des systèmes hybrides qui fusionnent des scores denses et lexicaux, des modèles d'interaction tardive comme ColBERT qui conservent des vecteurs par jeton pour une correspondance plus fine et des intégrations adaptées aux instructions qui s'adaptent à de nombreuses tâches. Attendez-vous à des encodeurs moins chers, multilingues et à contexte plus long, ainsi qu'à une co-formation plus stricte des récupérateurs avec les générateurs qu'ils servent.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Dense Passage Retrieval quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Dense Passage Retrieval?
Dense Passage Retrieval learns vector representations of questions and passages and ranks passages by their similarity. Learned matching can retrieve relevant paraphrases with limited word overlap, but relevance depends on training and evaluation rather than semantic guarantees.
Comment Dense Passage Retrieval décide-t-il quels passages correspondent à une requête ?
DPR mappe à la fois les requêtes et les passages dans des vecteurs denses et mesure la pertinence par leur similarité (produit scalaire), capturant le sens plutôt que le chevauchement des mots.
DPR utilise une architecture « bi-encodeur ». Qu'est-ce que cela signifie?
Un bi-encodeur dispose d'encodeurs indépendants pour les questions et les passages, de sorte que les vecteurs de passage peuvent être précalculés et indexés à l'avance.
Pourquoi les vecteurs de passage peuvent-ils être calculés à l’avance dans DPR ?
Étant donné que l'encodeur de passage ne dépend pas de la requête, tous les intégrations de passages peuvent être précalculées et stockées, ne laissant que la requête à encoder au moment de la recherche.
Quelle astuce de formation permet à DPR de générer de nombreux exemples négatifs à moindre coût ?
Les négatifs en lot traitent les autres passages d'un mini-lot comme des négatifs pour une question donnée, produisant ainsi efficacement de nombreuses paires contrastées.
For what vocabulary mismatch can learned DPR representations be useful compared with lexical matching alone?
Learned representations can support paraphrase matching, but dense retrieval does not universally outperform lexical retrieval.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet