Als nächstesNächster Leitfaden
ColBERT Spätinteraktionsabruf
Sprach-KI
Sprach-KI-GUIDE
BM25 und lexikalisches Abrufen
BM25 ist die klassische schlüsselwortbasierte Ranking-Funktion, die Dokumente danach bewertet, wie oft Suchbegriffe vorkommen, angepasst an die Seltenheit der Begriffe und die Länge des Dokuments.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Auf dieser Seite2 Minuten gelesen
Übersicht
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Tiefer Einblick
BM25 (Best Matching 25) ist eine Bag-of-Words-Ranking-Funktion aus dem probabilistischen Okapi-Framework der 1990er Jahre. Für jeden Abfragebegriff werden drei Signale kombiniert: Begriffshäufigkeit (wie oft das Wort in einem Dokument vorkommt, wobei die abnehmenden Ergebnisse durch einen Parameter k1 gesteuert werden), inverse Dokumenthäufigkeit (seltenere Wörter in der Sammlung zählen mehr) und Normalisierung der Dokumentlänge (Parameter b, damit lange Dokumente nicht ungerechtfertigt bevorzugt werden). Summieren Sie diese Punkte pro Semester und Sie erhalten den Rang des Dokuments. Es erfordert keine Schulung und läuft rasend schnell über invertierte Indizes, weshalb Suchmaschinen wie Elasticsearch und Lucene es standardmäßig verwenden. Trotz des Aufstiegs des neuronalen Retrievals gewinnt BM25 immer noch in vielen Benchmarks, insbesondere bei seltenen Begriffen, genauen Bezeichnern und Abfragen außerhalb der Domäne.
Reale Umsetzung
Standardrelevanzranking in Elasticsearch, OpenSearch und Apache Lucene/Solr
Kandidatenabruf der ersten Stufe, der einen langsameren neuronalen Reranker in der zweistufigen Suche speist
Code- und Protokollsuche, bei der genaue Bezeichner und Fehlercodes genau übereinstimmen müssen
Gewinnen Sie harte Negativbeispiele, um Dense Retriever wie DPR zu trainieren
Die Zukunft von BM25 und Lexical Retrieval
Es ist unwahrscheinlich, dass BM25 verschwindet. Stattdessen wird es beim Hybrid-Retrieval zunehmend mit neuronalen Methoden gepaart, bei denen lexikalische und dichte Scores fusioniert werden (häufig über reziproke Rangfusion). Gelernte Sparse-Modelle wie SPLADE kombinieren Sparsity im BM25-Stil mit neuronaler Termgewichtung, und BM25 dient häufig als Retriever der ersten Stufe vor neuronalen Rerankern. Seine Geschwindigkeit, Interpretierbarkeit und null Schulungskosten garantieren eine dauerhafte Rolle bei der Produktionssuche.
In die Tat umsetzen
Warum es wichtig ist
- Geschwindigkeit und Umfang. Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
- Zugang und Erreichbarkeit. Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
- Klarere Entscheidungen. Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Achten Sie auf
- Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
- Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
- Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Nächste Schritte
- Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
- Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
- Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
- Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Kostenloser Newsletter
Erhalten Sie die tägliche KI-Briefing
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Take the BM25 and Lexical Retrieval quiz
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Häufig gestellte Fragen
What is BM25 and Lexical Retrieval?
BM25 ist die klassische schlüsselwortbasierte Ranking-Funktion, die Dokumente danach bewertet, wie oft Suchbegriffe vorkommen, angepasst an die Seltenheit der Begriffe und die Länge des Dokuments. Auch wenn es Jahrzehnte alt ist, stellt es nach wie vor eine bemerkenswert starke und allgegenwärtige Basis für die Suche dar.
Was verwendet BM25 hauptsächlich zur Einstufung von Dokumenten?
BM25 kombiniert die Häufigkeit von Begriffen, die inverse Dokumenthäufigkeit (Seltenheit von Begriffen) und die Normalisierung der Dokumentlänge zu einem Relevanzwert.
Welche Rolle spielt die Inverse Document Frequency (IDF) in BM25?
IDF belohnt Begriffe, die in der gesamten Sammlung selten vorkommen, und gewichtet häufig vorkommende Wörter herab, da seltene Übereinstimmungen informativer sind.
Warum wendet BM25 die Normalisierung der Dokumentlänge (den b-Parameter) an?
Ohne Normalisierung würden sich bei längeren Dokumenten mehr Begriffsübereinstimmungen ansammeln; Der b-Parameter passt die Länge an, sodass Vergleiche fair sind.
Welche Datenstruktur macht BM25 skalierbar?
Durch einen invertierten Index bewertet BM25 nur die Dokumente, die Abfragebegriffe enthalten, was den Abruf sehr effizient macht.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Lerne weiter
Verwandte Leitfäden
Weitere Leitfäden zu diesem Thema ausgewählt