À suivreGuide suivant
Récupération tardive des interactions ColBERT
IA linguistique
GUIDE IA du langage
BM25 et récupération lexicale
BM25 est la fonction de classement classique basée sur des mots clés qui classe les documents en fonction de la fréquence d'apparition des termes de requête, ajustés en fonction de la rareté des termes et de la longueur du document.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Plongée profonde
BM25 (Best Matching 25) est une fonction de classement par sac de mots issue du cadre probabiliste Okapi des années 1990. Pour chaque terme de requête, il combine trois signaux : la fréquence du terme (la fréquence à laquelle le mot apparaît dans un document, avec des rendements décroissants contrôlés par un paramètre k1), la fréquence inverse du document (les mots les plus rares dans la collection comptent davantage) et la normalisation de la longueur du document (paramètre b, afin que les documents longs ne soient pas injustement favorisés). Additionnez ces scores par trimestre et vous obtenez le classement du document. Il ne nécessite aucune formation et s'exécute à une vitesse fulgurante via des index inversés, c'est pourquoi les moteurs de recherche comme Elasticsearch et Lucene l'utilisent par défaut. Malgré l'essor de la récupération neuronale, BM25 continue de gagner ou d'être à égalité dans de nombreux benchmarks, en particulier pour les termes rares, les identifiants exacts et les requêtes hors domaine.
Mise en œuvre dans le monde réel
Classement de pertinence par défaut dans Elasticsearch, OpenSearch et Apache Lucene/Solr
Récupération de candidats de première étape qui alimente un reclasseur neuronal plus lent dans une recherche en deux étapes
Recherche de codes et de journaux où les identifiants exacts et les codes d'erreur doivent correspondre précisément
Exploiter des exemples négatifs pour former des récupérateurs denses comme DPR
L'avenir du BM25 et de la récupération lexicale
Il est peu probable que le BM25 disparaisse ; au lieu de cela, il est de plus en plus associé à des méthodes neuronales dans la récupération hybride, où les scores lexicaux et denses sont fusionnés (souvent via une fusion de rangs réciproques). Les modèles clairsemés appris comme SPLADE mélangent la parcimonie de style BM25 avec une pondération des termes neuronaux, et BM25 sert fréquemment de récupérateur de premier étage avant les reclassements neuronaux. Sa rapidité, son interprétabilité et son coût de formation nul garantissent un rôle durable dans la recherche de production.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the BM25 and Lexical Retrieval quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is BM25 and Lexical Retrieval?
BM25 est la fonction de classement classique basée sur des mots clés qui classe les documents en fonction de la fréquence d'apparition des termes de requête, ajustés en fonction de la rareté des termes et de la longueur du document. Vieille de plusieurs décennies, elle reste une référence de recherche remarquablement solide et omniprésente.
Qu'est-ce que BM25 utilise principalement pour classer les documents ?
BM25 combine la fréquence des termes, la fréquence inverse des documents (rareté des termes) et la normalisation de la longueur des documents dans un score de pertinence.
Quel rôle joue la fréquence inverse des documents (IDF) dans BM25 ?
IDF récompense les termes rares dans la collection et minimise les mots courants, car les correspondances rares sont plus informatives.
Pourquoi BM25 applique-t-il la normalisation de la longueur du document (le paramètre b) ?
Sans normalisation, les documents plus longs accumuleraient davantage de correspondances de termes ; le paramètre b s'ajuste en fonction de la longueur afin que les comparaisons soient équitables.
Quelle structure de données rend le BM25 rapide à grande échelle ?
Un index inversé permet à BM25 de noter uniquement les documents contenant des termes de requête, ce qui rend la récupération très efficace.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet