Обзор
Максимальная предельная релевантность (MMR) — это метод повторного ранжирования, который сопоставляет степень релевантности результата с тем, насколько он отличается от уже выбранных результатов. Это важно, поскольку чистое ранжирование по релевантности часто возвращает почти повторяющиеся отрывки, которые занимают место в контекстном окне RAG.
Максимальная маржинальная релевантность — это часть стека языка и искусственного интеллекта, используемого для чтения, генерации, классификации и преобразования текста и речи в любом масштабе.
Глубокое погружение
Когда поисковая система оценивает документы исключительно по релевантности запросу, первые результаты часто оказываются избыточными — пять отрывков говорят об одном и том же. MMR, представленный Карбонеллом и Гольдштейном в 1998 году, исправляет это, выбирая результаты по одному. На каждом этапе он выбирает кандидата, который максимизирует взвешенное сочетание: лямбда, умноженная на его релевантность запросу, минус (1 минус лямбда), умноженная на максимальное сходство с чем-либо уже выбранным. Лямбда, близкая к 1, способствует чистой релевантности; около 0 способствует разнообразию. В генерации с расширенным поиском MMR популярен для извлечения разнообразного набора фрагментов, поэтому языковая модель видит дополнительные доказательства, а не повторение одного и того же факта, улучшая охват без расширения контекста.
Техническая информация
MMR — это жадный итеративный алгоритм. И релевантность, и сходство между документами обычно вычисляются как косинусное сходство между векторами внедрения. Формула подсчета очков: MMR = argmax по оставшимся документам [лямбда * sim(doc, query) - (1 - лямбда) * max sim(doc, selected)]. Поскольку каждый раунд он выполняет повторную оценку по растущему выбранному набору, он зависит от порядка и выполняет сравнения сходства примерно O(k*n) для k выборов из n кандидатов.
Освоение максимальной предельной релевантности
Максимальная предельная релевантность (MMR) — это метод повторного ранжирования, который сопоставляет степень релевантности результата с тем, насколько он отличается от уже выбранных результатов. Это важно, поскольку чистое ранжирование по релевантности часто возвращает почти повторяющиеся отрывки, которые занимают место в контекстном окне RAG. Максимальная маржинальная релевантность — это часть стека языка и искусственного интеллекта, используемого для чтения, генерации, классификации и преобразования текста и речи в любом масштабе. Чтобы достичь глубокого понимания, рассматривайте максимальную предельную релевантность как операционную модель, а не как отдельную функцию: определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие максимальную предельную релевантность, проектируют подсказки, поиск и циклы проверки как единую интегрированную коммуникационную систему. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью. В то же время галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Это расширяет доступ к различным языкам и стилям общения.
Это расширяет доступ к различным языкам и стилям общения. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Чат-бот RAG использует поиск MMR, поэтому его пять основных фрагментов охватывают различные аспекты политики, а не пять перефразировок одного и того же абзаца.
Инструмент обобщения исследований применяет MMR для выбора отрывков, которые сводят к минимуму дублирование, создавая более широкое и менее повторяющееся резюме.
Новостной агрегатор ранжирует статьи по MMR, чтобы показать разнообразное освещение события, а не десять СМИ, повторяющих одну новостную статью.
Средство извлечения векторного хранилища LangChain предоставляет search_type='mmr' с fetch_k и лямбда_mult для диверсификации возвращаемых документов.
Шаблоны реализации
Максимальная предельная релевантность на практике
Чат-бот RAG использует поиск MMR, поэтому его пять основных фрагментов охватывают различные аспекты политики, а не пять перефразировок одного и того же абзаца.
Чат-бот RAG использует извлечение MMR, поэтому его пять основных фрагментов охватывают различные аспекты политики, а не пять парафраз одного и того же абзаца. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь эскалации с участием человека для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Максимальная предельная релевантность на практике
Инструмент обобщения исследований применяет MMR для выбора отрывков, которые сводят к минимуму дублирование, создавая более широкое и менее повторяющееся резюме.
Инструмент обобщения исследований применяет MMR для выбора отрывков, которые минимизируют дублирование, создавая более широкое и менее повторяющееся резюме. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь эскалации с участием людей для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Максимальная предельная релевантность на практике
Новостной агрегатор ранжирует статьи по MMR, чтобы показать разнообразное освещение события, а не десять СМИ, повторяющих одну новостную статью.
Агрегатор новостей ранжирует статьи с помощью MMR, чтобы показать различное освещение события, а не десять источников, повторяющих одну новостную статью. Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Максимальная предельная релевантность на практике
Средство извлечения векторного хранилища LangChain предоставляет search_type='mmr' с fetch_k и лямбда_mult для диверсификации возвращаемых документов.
Средство извлечения векторного хранилища LangChain предоставляет search_type='mmr' с fetch_k и lambda_mult для диверсификации возвращаемых документов. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь эскалации вручную для крайних случаев и отслеживают как прирост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Перед развертыванием определите выходной формат, тон и стандарты качества. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Наземные ответы с помощью надежных источников, когда точность имеет значение. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.