Максимальная предельная релевантность
Максимальная предельная релевантность (MMR) — это метод повторного ранжирования, который сопоставляет степень релевантности результата с тем, насколько он отличается от уже выбранных результатов.
Обзор
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Глубокое погружение
Когда поисковая система оценивает документы исключительно по релевантности запросу, первые результаты часто оказываются избыточными — пять отрывков говорят об одном и том же. MMR, представленный Карбонеллом и Гольдштейном в 1998 году, исправляет это, выбирая результаты по одному. На каждом этапе он выбирает кандидата, который максимизирует взвешенное сочетание: лямбда, умноженная на его релевантность запросу, минус (1 минус лямбда), умноженная на максимальное сходство с чем-либо уже выбранным. Лямбда, близкая к 1, способствует чистой релевантности; около 0 способствует разнообразию. В генерации с расширенным поиском MMR популярен для извлечения разнообразного набора фрагментов, поэтому языковая модель видит дополнительные доказательства, а не повторение одного и того же факта, улучшая охват без расширения контекста.
Техническая информация
MMR — это жадный итеративный алгоритм. И релевантность, и сходство между документами обычно вычисляются как косинусное сходство между векторами внедрения. Формула подсчета очков: MMR = argmax по оставшимся документам [лямбда * sim(doc, query) - (1 - лямбда) * max sim(doc, selected)]. Поскольку каждый раунд он выполняет повторную оценку по растущему выбранному набору, он зависит от порядка и выполняет сравнения сходства примерно O(k*n) для k выборов из n кандидатов.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее максимальной предельной релевантности
MMR остается облегченным вариантом по умолчанию в клиентах векторных баз данных, таких как LangChain и Chroma, где он предлагается как однострочный режим поиска. Будущие системы все чаще сочетают его с изученными целями разнообразия, кластерным отбором и перекрестными кодировщиками реранжирования, которые оценивают новизну более семантически, чем косинусное расстояние. По мере увеличения контекстных окон акцент смещается с экономии места на подбор действительно взаимодополняющих доказательств, сохраняя актуальность отбора с учетом разнообразия, такого как вакцина MMR, даже при наличии большого количества исходных ресурсов.
Реальная реализация
Чат-бот RAG использует поиск MMR, поэтому его пять основных фрагментов охватывают различные аспекты политики, а не пять перефразировок одного и того же абзаца.
Инструмент обобщения исследований применяет MMR для выбора отрывков, которые сводят к минимуму дублирование, создавая более широкое и менее повторяющееся резюме.
Новостной агрегатор ранжирует статьи по MMR, чтобы показать разнообразное освещение события, а не десять СМИ, повторяющих одну новостную статью.
Средство извлечения векторного хранилища LangChain предоставляет search_type='mmr' с fetch_k и лямбда_mult для диверсификации возвращаемых документов.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Maximum Marginal Relevance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Немаксимальное подавление
Часто задаваемые вопросы
What is Maximum Marginal Relevance?
Максимальная предельная релевантность (MMR) — это метод повторного ранжирования, который сопоставляет степень релевантности результата с тем, насколько он отличается от уже выбранных результатов. Это важно, поскольку чистое ранжирование по релевантности часто возвращает почти повторяющиеся отрывки, которые занимают место в контекстном окне RAG.
Какую основную проблему призван решить MMR?
MMR учитывает тенденцию ранжирования только по релевантности, позволяющую выявлять множество результатов, говорящих по сути одно и то же, путем поощрения новизны.
Что подчеркивает значение лямбда, близкое к 1, в формуле MMR?
Релевантность лямбда-весов; вблизи 1 доминирует термин релевантности, а вблизи 0 доминирует термин разнообразия (низкого сходства).
Как MMR отбирает результаты?
MMR — это жадный итеративный метод: каждый выбор максимизирует релевантность минус максимальное сходство с уже выбранными элементами.
Какая мера сходства чаще всего используется внутри MMR для встраивания текста?
Косинусное сходство между векторами внедрения является стандартным выбором как для релевантности запроса, так и для сравнения между документами в MMR.
Почему MMR особенно полезен при генерации с расширенным поиском (RAG)?
Диверсифицируя извлеченные фрагменты, MMR помогает модели увидеть различные доказательства, а не повторяющиеся одни и те же факты, что улучшает охват.