BM25 und lexikalisches Abrufen
BM25 ist die klassische schlüsselwortbasierte Ranking-Funktion, die Dokumente danach bewertet, wie oft Suchbegriffe vorkommen, angepasst an die Seltenheit der Begriffe und die Länge des Dokuments.
Übersicht
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Tiefer Einblick
BM25 (Best Matching 25) ist eine Bag-of-Words-Ranking-Funktion aus dem probabilistischen Okapi-Framework der 1990er Jahre. Für jeden Abfragebegriff werden drei Signale kombiniert: Begriffshäufigkeit (wie oft das Wort in einem Dokument vorkommt, wobei die abnehmenden Ergebnisse durch einen Parameter k1 gesteuert werden), inverse Dokumenthäufigkeit (seltenere Wörter in der Sammlung zählen mehr) und Normalisierung der Dokumentlänge (Parameter b, damit lange Dokumente nicht ungerechtfertigt bevorzugt werden). Summieren Sie diese Punkte pro Semester und Sie erhalten den Rang des Dokuments. Es erfordert keine Schulung und läuft rasend schnell über invertierte Indizes, weshalb Suchmaschinen wie Elasticsearch und Lucene es standardmäßig verwenden. Trotz des Aufstiegs des neuronalen Retrievals gewinnt BM25 immer noch in vielen Benchmarks, insbesondere bei seltenen Begriffen, genauen Bezeichnern und Abfragen außerhalb der Domäne.
Technischer Einblick
Die Begriffshäufigkeitskomponente von BM25 ist gesättigt: Der k1-Parameter begrenzt, um wie viel wiederholte Wörter eine Punktzahl steigern, sodass ein 50-mal vorkommender Begriff nicht 50-mal relevanter ist als einmal. Der b-Parameter mischt rohe und längennormalisierte Frequenz. IDF gewichtet gebräuchliche Wörter wie „das“ herab und belohnt markante Wörter. Da es mit einem invertierten Index arbeitet, der jedes Wort seiner Dokumentliste zuordnet, berührt die Bewertung nur Dokumente, die Suchbegriffe enthalten, was sie äußerst effizient macht.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft von BM25 und Lexical Retrieval
Es ist unwahrscheinlich, dass BM25 verschwindet. Stattdessen wird es beim Hybrid-Retrieval zunehmend mit neuronalen Methoden gepaart, bei denen lexikalische und dichte Scores fusioniert werden (häufig über reziproke Rangfusion). Gelernte Sparse-Modelle wie SPLADE kombinieren Sparsity im BM25-Stil mit neuronaler Termgewichtung, und BM25 dient häufig als Retriever der ersten Stufe vor neuronalen Rerankern. Seine Geschwindigkeit, Interpretierbarkeit und null Schulungskosten garantieren eine dauerhafte Rolle bei der Produktionssuche.
Reale Umsetzung
Standardrelevanzranking in Elasticsearch, OpenSearch und Apache Lucene/Solr
Kandidatenabruf der ersten Stufe, der einen langsameren neuronalen Reranker in der zweistufigen Suche speist
Code- und Protokollsuche, bei der genaue Bezeichner und Fehlercodes genau übereinstimmen müssen
Gewinnen Sie harte Negativbeispiele, um Dense Retriever wie DPR zu trainieren
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BM25 and Lexical Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
ColBERT Spätinteraktionsabruf
Häufig gestellte Fragen
What is BM25 and Lexical Retrieval?
BM25 ist die klassische schlüsselwortbasierte Ranking-Funktion, die Dokumente danach bewertet, wie oft Suchbegriffe vorkommen, angepasst an die Seltenheit der Begriffe und die Länge des Dokuments. Auch wenn es Jahrzehnte alt ist, stellt es nach wie vor eine bemerkenswert starke und allgegenwärtige Basis für die Suche dar.
Was verwendet BM25 hauptsächlich zur Einstufung von Dokumenten?
BM25 kombiniert die Häufigkeit von Begriffen, die inverse Dokumenthäufigkeit (Seltenheit von Begriffen) und die Normalisierung der Dokumentlänge zu einem Relevanzwert.
Welche Rolle spielt die Inverse Document Frequency (IDF) in BM25?
IDF belohnt Begriffe, die in der gesamten Sammlung selten vorkommen, und gewichtet häufig vorkommende Wörter herab, da seltene Übereinstimmungen informativer sind.
Warum wendet BM25 die Normalisierung der Dokumentlänge (den b-Parameter) an?
Ohne Normalisierung würden sich bei längeren Dokumenten mehr Begriffsübereinstimmungen ansammeln; Der b-Parameter passt die Länge an, sodass Vergleiche fair sind.
Welche Datenstruktur macht BM25 skalierbar?
Durch einen invertierten Index bewertet BM25 nur die Dokumente, die Abfragebegriffe enthalten, was den Abruf sehr effizient macht.