Il prossimoProssima guida
ColBERT Late Interaction Retrieval
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
BM25 è la classica funzione di classificazione basata su parole chiave che assegna un punteggio ai documenti in base alla frequenza con cui compaiono i termini della query, adattato alla rarità dei termini e alla lunghezza del documento.
Ascolta questa guidaNarrato dall'IA · ~2 min
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
BM25 (Best Matching 25) è una funzione di classificazione basata sul metodo probabilistico Okapi degli anni '90. Per ogni termine di query combina tre segnali: frequenza del termine (quanto spesso la parola appare in un documento, con rendimenti decrescenti controllati da un parametro k1), frequenza inversa del documento (le parole più rare nella raccolta contano di più) e normalizzazione della lunghezza del documento (parametro b, quindi i documenti lunghi non sono ingiustamente favoriti). Somma questi punteggi per trimestre e ottieni il rango del documento. Non necessita di formazione e funziona incredibilmente velocemente tramite indici invertiti, motivo per cui i motori di ricerca come Elasticsearch e Lucene lo utilizzano per impostazione predefinita. Nonostante l’aumento del recupero neurale, BM25 continua a vincere o a pareggiare in molti benchmark, soprattutto per termini rari, identificatori esatti e query fuori dominio.
Classificazione di pertinenza predefinita in Elasticsearch, OpenSearch e Apache Lucene/Solr
Recupero del candidato nella prima fase che alimenta un riclassificazione neurale più lenta nella ricerca in due fasi
Ricerca di codici e registri in cui gli identificatori esatti e i codici di errore devono corrispondere esattamente
Estrarre esempi negativi duri per addestrare retriever densi come DPR
È improbabile che il BM25 scompaia; è invece sempre più abbinato a metodi neurali nel recupero ibrido, dove i punteggi lessicali e densi sono fusi (spesso tramite fusione reciproca dei ranghi). I modelli sparsi appresi come SPLADE fondono la scarsità in stile BM25 con la ponderazione dei termini neurali e BM25 funge spesso da retriever di primo stadio prima dei riclassificatori neurali. La sua velocità, interpretabilità e zero costi di formazione garantiscono un ruolo duraturo nella ricerca di produzione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
BM25 è la classica funzione di classificazione basata su parole chiave che assegna un punteggio ai documenti in base alla frequenza con cui compaiono i termini della query, adattato alla rarità dei termini e alla lunghezza del documento. Vecchio di decenni, rimane una base di ricerca straordinariamente forte e onnipresente.
BM25 combina la frequenza dei termini, la frequenza inversa del documento (rarità dei termini) e la normalizzazione della lunghezza del documento in un punteggio di pertinenza.
IDF premia i termini rari nella raccolta e riduce il peso delle parole comuni, poiché le corrispondenze rare sono più informative.
Senza la normalizzazione, i documenti più lunghi accumulerebbero più corrispondenze di termini; il parametro b si adatta alla lunghezza, quindi i confronti sono equi.
Un indice invertito consente a BM25 di assegnare un punteggio solo ai documenti che contengono termini di query, rendendo il recupero molto efficiente.
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
ColBERT Late Interaction Retrieval
Intelligenza artificiale linguistica