A seguirPróximo guia
Recuperação de interação tardia ColBERT
IA de linguagem
GUIA de IA de linguagem
BM25 e recuperação lexical
BM25 é a função clássica de classificação baseada em palavras-chave que pontua documentos de acordo com a frequência com que os termos de consulta aparecem, ajustados pela raridade do termo e comprimento do documento.
Ouça este guiaNarrado por IA · ~2 min
Nesta página2 minutos de leitura
Visão geral
Com décadas de existência, continua sendo uma base de pesquisa notavelmente forte e onipresente.
Mergulho profundo
BM25 (Best Matching 25) é uma função de classificação de um conjunto de palavras da estrutura probabilística Okapi da década de 1990. Para cada termo de consulta, ele combina três sinais: frequência do termo (quantas vezes a palavra aparece em um documento, com retornos decrescentes controlados por um parâmetro k1), frequência inversa do documento (palavras mais raras na coleção contam mais) e normalização do comprimento do documento (parâmetro b, para que documentos longos não sejam favorecidos injustamente). Some essas pontuações por período e você obterá a classificação do documento. Ele não precisa de treinamento e funciona extremamente rápido por meio de índices invertidos, e é por isso que mecanismos de pesquisa como Elasticsearch e Lucene o usam por padrão. Apesar do aumento da recuperação neural, o BM25 ainda vence ou empata em muitos benchmarks, especialmente para termos raros, identificadores exatos e consultas fora de domínio.
Implementação no mundo real
Classificação de relevância padrão no Elasticsearch, OpenSearch e Apache Lucene/Solr
Recuperação de candidato de primeiro estágio que alimenta um reclassificador neural mais lento na pesquisa em dois estágios
Pesquisa de código e log onde identificadores exatos e códigos de erro devem corresponder com precisão
Extraindo exemplos negativos difíceis para treinar retrievers densos como DPR
O futuro do BM25 e da recuperação lexical
É improvável que o BM25 desapareça; em vez disso, está cada vez mais emparelhado com métodos neurais na recuperação híbrida, onde pontuações lexicais e densas são fundidas (muitas vezes por meio de fusão recíproca de classificações). Modelos esparsos aprendidos como SPLADE combinam a dispersão do estilo BM25 com ponderação de termos neurais, e o BM25 freqüentemente serve como o recuperador de primeiro estágio antes dos reclassificadores neurais. Sua velocidade, interpretabilidade e custo zero de treinamento garantem um papel duradouro na busca de produção.
Colocando em prática
Por que isso importa
- Velocidade e escala. Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
- Acesso e alcance. Ele expande o acesso entre idiomas e estilos de comunicação.
- Decisões mais claras. As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
Cuidado com
- Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
- A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
- Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Próximas etapas
- Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
- Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
- Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
- Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the BM25 and Lexical Retrieval quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
O que é BM25 e recuperação lexical?
BM25 é a função clássica de classificação baseada em palavras-chave que pontua documentos de acordo com a frequência com que os termos de consulta aparecem, ajustados pela raridade do termo e comprimento do documento. Com décadas de existência, continua sendo uma base de pesquisa notavelmente forte e onipresente.
O que o BM25 usa principalmente para classificar documentos?
O BM25 combina frequência de prazo, frequência inversa de documento (raridade de termo) e normalização de comprimento de documento em uma pontuação de relevância.
Qual é o papel da frequência inversa de documentos (IDF) no BM25?
O IDF recompensa os termos que são raros na coleção e reduz o peso das palavras comuns, uma vez que as correspondências raras são mais informativas.
Por que o BM25 aplica a normalização do comprimento do documento (o parâmetro b)?
Sem normalização, documentos mais longos acumulariam mais correspondências de prazo; o parâmetro b ajusta o comprimento para que as comparações sejam justas.
Qual estrutura de dados torna o BM25 rápido em escala?
Um índice invertido permite ao BM25 pontuar apenas os documentos que contêm termos de consulta, tornando a recuperação muito eficiente.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico