ДалееСледующее руководство
ColBERT – извлечение позднего взаимодействия
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
BM25 и лексический поиск
BM25 — это классическая функция ранжирования на основе ключевых слов, которая оценивает документы по частоте появления терминов запроса с поправкой на редкость термина и длину документа.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Спустя десятилетия он остается чрезвычайно прочной и повсеместной основой для поиска.
Глубокое погружение
BM25 (25 лучших совпадений) — это функция ранжирования набора слов из вероятностной системы Окапи 1990-х годов. Для каждого термина запроса он объединяет три сигнала: частота термина (как часто слово появляется в документе, с убывающей отдачей, контролируемой параметром k1), обратная частота документов (более редкие слова в коллекции учитываются больше) и нормализация длины документа (параметр b, поэтому длинные документы не имеют несправедливого предпочтения). Суммируйте эти баллы за каждый термин, и вы получите рейтинг документа. Он не требует обучения и работает невероятно быстро с помощью инвертированных индексов, поэтому поисковые системы, такие как Elasticsearch и Lucene, используют его по умолчанию. Несмотря на рост популярности нейронного поиска, BM25 по-прежнему выигрывает или имеет равные результаты во многих тестах, особенно для редких терминов, точных идентификаторов и запросов из домена.
Реальная реализация
Рейтинг релевантности по умолчанию в Elasticsearch, OpenSearch и Apache Lucene/Solr
Поиск кандидатов на первом этапе, который обеспечивает более медленный нейронный механизм изменения ранжирования в двухэтапном поиске.
Поиск по коду и журналу, где точные идентификаторы и коды ошибок должны точно совпадать.
Извлечение жестких отрицательных примеров для обучения плотных ретриверов, таких как DPR.
Будущее BM25 и лексического поиска
БМ25 вряд ли исчезнет; вместо этого он все чаще сочетается с нейронными методами в гибридном поиске, где лексические и плотные оценки объединяются (часто посредством взаимного слияния рангов). Обученные разреженные модели, такие как SPLADE, сочетают в себе разреженность в стиле BM25 с нейронным взвешиванием терминов, а BM25 часто служит средством извлечения первого этапа перед нейронным переранжированием. Его скорость, интерпретируемость и нулевая стоимость обучения гарантируют его постоянную роль в поиске продукции.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the BM25 and Lexical Retrieval quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое BM25 и лексический поиск?
BM25 — это классическая функция ранжирования на основе ключевых слов, которая оценивает документы по частоте появления терминов запроса с поправкой на редкость термина и длину документа. Спустя десятилетия он остается чрезвычайно прочной и повсеместной основой для поиска.
Что в первую очередь использует BM25 для ранжирования документов?
BM25 объединяет частоту терминов, обратную частоту документов (редкость терминов) и нормализацию длины документа в показатель релевантности.
Какую роль в BM25 играет обратная частота документов (IDF)?
IDF поощряет термины, которые встречаются редко в коллекции, и снижает вес общих слов, поскольку редкие совпадения более информативны.
Почему BM25 применяет нормализацию длины документа (параметр b)?
Без нормализации в более длинных документах будет накапливаться больше совпадений терминов; параметр b регулирует длину, поэтому сравнения являются справедливыми.
Какая структура данных делает BM25 быстрым в масштабировании?
Инвертированный индекс позволяет BM25 оценивать только те документы, которые содержат термины запроса, что делает поиск очень эффективным.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме