BM25 및 어휘 검색
BM25는 용어 희귀도 및 문서 길이에 따라 조정된 검색어가 나타나는 빈도에 따라 문서에 점수를 매기는 고전적인 키워드 기반 순위 기능입니다.
개요
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
심층 분석
BM25(Best Matching 25)는 1990년대 확률론적 Okapi 프레임워크의 Bag-of-Words 순위 기능입니다. 각 쿼리 용어에 대해 용어 빈도(문서에 단어가 나타나는 빈도, 매개변수 k1에 의해 제어되는 수익 감소), 역 문서 빈도(모음 수 전체에서 희귀한 단어가 더 많음) 및 문서 길이 정규화(매개변수 b, 긴 문서가 부당하게 선호되지 않음)의 세 가지 신호를 결합합니다. 이러한 학기별 점수를 합산하면 문서의 순위를 얻을 수 있습니다. 교육이 필요하지 않으며 반전된 인덱스를 통해 엄청나게 빠르게 실행됩니다. 이것이 Elasticsearch 및 Lucene과 같은 검색 엔진이 기본적으로 이를 사용하는 이유입니다. 신경 검색의 증가에도 불구하고 BM25는 특히 희귀 용어, 정확한 식별자 및 도메인 외부 쿼리에 대해 많은 벤치마크에서 여전히 승리하거나 동점을 기록했습니다.
기술적 통찰력
BM25의 용어-빈도 구성요소는 포화됩니다. k1 매개변수는 반복되는 단어가 점수를 높이는 정도를 제한하므로 50번 나타나는 용어는 한 번보다 50배 더 관련성이 높지 않습니다. b 매개변수는 원시 주파수와 길이 정규화 주파수를 혼합합니다. IDF는 'the'와 같은 일반적인 단어의 가중치를 낮추고 독특한 단어에 보상을 제공합니다. 각 단어를 문서 목록에 매핑하는 역 인덱스에서 작동하기 때문에 채점은 검색어가 포함된 문서에만 적용되므로 매우 효율적입니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
BM25와 어휘 검색의 미래
BM25는 사라질 것 같지 않습니다. 대신에 어휘 점수와 밀집 점수가 융합되는(종종 상호 순위 융합을 통해) 하이브리드 검색의 신경 방법과 점점 더 결합되고 있습니다. SPLADE와 같은 학습된 희소 모델은 BM25 스타일의 희소성과 신경 용어 가중치를 혼합하며, BM25는 신경 재순위 지정 이전의 1단계 검색기 역할을 하는 경우가 많습니다. 속도, 해석 가능성 및 교육 비용 제로는 생산 검색에서 지속적인 역할을 보장합니다.
실제 구현
Elasticsearch, OpenSearch 및 Apache Lucene/Solr의 기본 관련성 순위
2단계 검색에서 더 느린 신경 reranker를 제공하는 1단계 후보 검색
정확한 식별자와 오류 코드가 정확히 일치해야 하는 코드 및 로그 검색
DPR과 같은 밀도가 높은 검색기를 훈련하기 위한 하드 네거티브 예제 마이닝
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BM25 and Lexical Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
ColBERT 후기 상호작용 검색
자주 묻는 질문
What is BM25 and Lexical Retrieval?
BM25는 용어 희귀도 및 문서 길이에 따라 조정된 검색어가 나타나는 빈도에 따라 문서에 점수를 매기는 고전적인 키워드 기반 순위 기능입니다. 수십 년이 지났지만 검색을 위한 매우 강력하고 보편적인 기준으로 남아 있습니다.
BM25는 문서 순위를 매기기 위해 주로 무엇을 사용합니까?
BM25는 용어 빈도, 역 문서 빈도(용어 희소성) 및 문서 길이 정규화를 관련성 점수로 결합합니다.
BM25에서 IDF(역문서 빈도)는 어떤 역할을 합니까?
IDF는 컬렉션 전체에서 희귀한 용어를 보상하고, 희귀한 일치 항목이 더 많은 정보를 제공하므로 일반적인 단어의 가중치를 낮춥니다.
BM25가 문서 길이 정규화(b 매개변수)를 적용하는 이유는 무엇입니까?
정규화가 없으면 문서가 길수록 더 많은 용어 일치 항목이 누적됩니다. b 매개변수는 길이를 조정하므로 비교가 공정합니다.
BM25를 대규모로 빠르게 만드는 데이터 구조는 무엇입니까?
반전된 인덱스를 사용하면 BM25는 쿼리 용어가 포함된 문서에만 점수를 매길 수 있으므로 검색이 매우 효율적입니다.