СледваСледващо ръководство
ColBERT извличане чрез късно взаимодействие
Езиков AI
Език AI РЪКОВОДСТВО
BM25 и лексикално извличане
BM25 е класическата функция за класиране, базирана на ключови думи, която оценява документите според това колко често се появяват термините на заявката, коригирани за рядкост на термините и дължина на документа.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Дълбоко гмуркане
BM25 (Best Matching 25) е функция за класиране на пакет от думи от вероятностната рамка на Okapi от 90-те години. За всеки термин на заявка той комбинира три сигнала: честота на термина (колко често думата се появява в документ, с намаляващи резултати, контролирани от параметър k1), обратна честота на документа (по-редките думи в колекцията се броят повече) и нормализиране на дължината на документа (параметър b, така че дългите документи не са несправедливо предпочитани). Сумирайте тези резултати за семестър и ще получите ранга на документа. Не се нуждае от обучение и работи светкавично бързо чрез обърнати индекси, поради което търсачки като Elasticsearch и Lucene го използват по подразбиране. Въпреки нарастването на невронното извличане, BM25 все още печели или се изравнява по много показатели, особено за редки термини, точни идентификатори и заявки извън домейн.
Внедряване в реалния свят
Класиране по уместност по подразбиране в Elasticsearch, OpenSearch и Apache Lucene/Solr
Първоетапно извличане на кандидати, което захранва по-бавен невронен прекласатор при двуетапно търсене
Търсене на кодове и регистрационни файлове, където точните идентификатори и кодовете на грешки трябва да съвпадат точно
Копаене на твърди отрицателни примери за обучение на плътни ретривъри като DPR
Бъдещето на BM25 и лексикалното извличане
BM25 е малко вероятно да изчезне; вместо това все повече се съчетава с невронни методи при хибридно извличане, където лексикалните и плътните резултати се сливат (често чрез реципрочно рангово сливане). Научените редки модели като SPLADE съчетават рядкост в стила на BM25 с претегляне на невронни термини и BM25 често служи като ретривър на първи етап преди невронни препозиционери. Неговата скорост, интерпретируемост и нулеви разходи за обучение гарантират трайна роля в търсенето на продукция.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the BM25 and Lexical Retrieval quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is BM25 and Lexical Retrieval?
BM25 е класическата функция за класиране, базирана на ключови думи, която оценява документите според това колко често се появяват термините на заявката, коригирани за рядкост на термините и дължина на документа. На десетилетия, той остава забележително силна и повсеместна основа за търсене.
Какво основно използва BM25 за класиране на документи?
BM25 съчетава честотата на термина, обратната честота на документа (рядкост на термина) и нормализацията на дължината на документа в оценка за уместност.
Каква роля играе обратната документна честота (IDF) в BM25?
IDF награждава термини, които са редки в колекцията, и намалява теглото на често срещаните думи, тъй като редките съвпадения са по-информативни.
Защо BM25 прилага нормализиране на дължината на документа (параметър b)?
Без нормализация по-дългите документи биха натрупали повече съвпадения на термини; параметърът b коригира дължината, така че сравненията са справедливи.
Каква структура на данните прави BM25 бърз в мащаб?
Обърнатият индекс позволява на BM25 да оценява само документите, които съдържат термини на заявка, което прави извличането много ефективно.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема