語言人工智慧指南

BM25 和詞彙檢索

BM25 是經典的基於關鍵字的排名函數,它根據查詢術語出現的頻率對文件進行評分,並根據術語稀有度和文件長度進行調整。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. BM25 與詞彙檢索的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

Decades old, it remains a remarkably strong and ubiquitous baseline for search.

深入探討

BM25(最佳匹配 25)是來自 20 世紀 90 年代機率性 Okapi 框架的詞袋排序函數。對於每個查詢術語,它結合了三個訊號:術語頻率(單字在文件中出現的頻率,由參數 k1 控制收益遞減)、逆文件頻率(集合中越稀有的單字計數越多)和文件長度標準化(參數 b,因此長文件不會受到不公平的青睞)。將這些每學期的分數相加,即可得出文件的排名。它不需要訓練,而且透過倒排索引運行得非常快,這就是 Elasticsearch 和 Lucene 等搜尋引擎預設使用它的原因。儘管神經檢索興起,BM25 仍然在許多基準測試中獲勝或平局,特別是對於罕見術語、精確標識符和域外查詢。

現實世界的實施

Elasticsearch、OpenSearch 和 Apache Lucene/Solr 中的預設相關性排名

第一階段候選檢索在兩階段搜尋中提供較慢的神經重新排序器

代碼和日誌搜索,其中確切的標識符和錯誤代碼必須精確匹配

挖掘困難的負面例子來訓練 DPR 等密集檢索器

BM25 與詞彙檢索的未來

BM25不太可能消失;相反,它越來越多地與混合檢索中的神經方法配對,其中詞彙和密集分數被融合(通常通過倒數排名融合)。像 SPLADE 這樣的學習稀疏模型將 BM25 式的稀疏性與神經術語權重相結合,並且 BM25 經常充當神經重新排序器之前的第一階段檢索器。它的速度、可解釋性和零訓練成本保證了它在生產搜尋中的持久作用。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the BM25 and Lexical Retrieval quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is BM25 and Lexical Retrieval?

BM25 是經典的基於關鍵字的排名函數,它根據查詢術語出現的頻率對文件進行評分,並根據術語稀有度和文件長度進行調整。已有數十年歷史,它仍然是一個非常強大且無處不在的搜尋基線。

BM25 主要使用什麼來對文件進行排名?

BM25 將術語頻率、逆文檔頻率(稀有度一詞)和文件長度歸一化組合成相關性分數。

逆文檔頻率 (IDF) 在 BM25 中扮演什麼角色?

IDF 獎勵在集合中罕見的術語,並降低常見單字的權重,因為罕見的匹配資訊更豐富。

為什麼 BM25 應用文件長度標準化(b 參數)?

如果沒有標準化,較長的文件將累積更多的術語匹配; b 參數根據長度進行調整,因此比較是公平的。

什麼資料結構使 BM25 能夠大規模快速運作?

倒排索引讓 BM25 僅對包含查詢字詞的文件進行評分,使檢索非常有效率。

In the standard BM25 formula, what effect does setting b to zero have?

b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.