VolgendeVolgende gids
ColBERT Late interactie-ophaalactie
Taal AI
Taal AI-GIDS
BM25 is de klassieke op trefwoorden gebaseerde rangschikkingsfunctie die documenten beoordeelt op basis van hoe vaak zoektermen voorkomen, aangepast voor de zeldzaamheid van de termen en de documentlengte.
Luister naar deze gidsAI-verteld · ~2 min
Het is tientallen jaren oud en blijft een opmerkelijk sterke en alomtegenwoordige basis voor zoeken.
BM25 (Best Matching 25) is een rangschikkingsfunctie voor een reeks woorden uit het probabilistische Okapi-raamwerk uit de jaren negentig. Voor elke zoekterm combineert het drie signalen: termfrequentie (hoe vaak het woord voorkomt in een document, met afnemende meeropbrengsten gecontroleerd door een parameter k1), inverse documentfrequentie (zeldzamere woorden in de collectie tellen meer) en normalisatie van de documentlengte (parameter b, dus lange documenten worden niet onterecht bevoordeeld). Tel deze scores per term bij elkaar op en je krijgt de rangorde van het document. Het heeft geen training nodig en werkt razendsnel via omgekeerde indexen. Daarom gebruiken zoekmachines als Elasticsearch en Lucene het standaard. Ondanks de opkomst van neurale retrieval wint BM25 nog steeds veel benchmarks, vooral voor zeldzame termen, exacte identificatiegegevens en zoekopdrachten buiten het domein.
Standaard relevantierangschikking in Elasticsearch, OpenSearch en Apache Lucene/Solr
Het ophalen van kandidaten in de eerste fase die een langzamere neurale reranker voedt bij zoeken in twee fasen
Code- en logzoekopdracht waarbij exacte identificatiegegevens en foutcodes nauwkeurig moeten overeenkomen
Harde negatieve voorbeelden verzamelen om dichte retrievers zoals DPR te trainen
Het is onwaarschijnlijk dat BM25 zal verdwijnen; in plaats daarvan wordt het steeds vaker gecombineerd met neurale methoden bij hybride retrieval, waarbij lexicale en dichte scores worden samengevoegd (vaak via wederzijdse rangschikking). Geleerde spaarzame modellen zoals SPLADE combineren spaarzaamheid in BM25-stijl met neurale termweging, en BM25 dient vaak als de eerste fase van retriever vóór neurale rerankers. De snelheid, interpreteerbaarheid en nultrainingskosten garanderen een blijvende rol in het productieonderzoek.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
BM25 is de klassieke op trefwoorden gebaseerde rangschikkingsfunctie die documenten beoordeelt op basis van hoe vaak zoektermen voorkomen, aangepast voor de zeldzaamheid van de termen en de documentlengte. Het is tientallen jaren oud en blijft een opmerkelijk sterke en alomtegenwoordige basis voor zoeken.
BM25 combineert termfrequentie, inverse documentfrequentie (termzeldzaamheid) en normalisatie van de documentlengte tot een relevantiescore.
IDF beloont termen die in de collectie zeldzaam zijn en weegt veel voorkomende woorden af, omdat zeldzame overeenkomsten informatiever zijn.
Zonder normalisatie zouden langere documenten meer termmatches opleveren; de b-parameter wordt aangepast aan de lengte, zodat vergelijkingen eerlijk zijn.
Dankzij een omgekeerde index kan BM25 alleen de documenten scoren die zoektermen bevatten, waardoor het ophalen zeer efficiënt wordt.
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
ColBERT Late interactie-ophaalactie
Taal AI