Максимальна гранична релевантність
Максимальна гранична релевантність (MMR) — це метод переранжування, який порівнює релевантність результату з тим, наскільки він відрізняється від уже обраних результатів.
Огляд
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Глибоке занурення
Коли пошукова система оцінює документи лише за релевантністю запиту, найпопулярніші результати часто є зайвими — п’ять уривків містять одне й те саме. MMR, представлений Carbonell і Goldstein у 1998 році, виправляє це шляхом вибору результатів по одному. На кожному кроці він вибирає кандидата, який максимізує зважену суміш: лямбда, помножена на його релевантність для запиту, мінус (1 мінус лямбда), помножена на максимальну схожість із уже вибраним. Лямбда біля 1 сприяє чистій релевантності; біля 0 це сприяє різноманітності. У пошуково-доповненій генерації MMR популярний для отримання різноманітного набору фрагментів, тому мовна модель бачить додаткові докази, а не повторення того самого факту, покращуючи охоплення без розширення контексту.
Технічне розуміння
MMR — це жадібний ітеративний алгоритм. Як релевантність, так і подібність між документами зазвичай обчислюють як косинусну подібність між вбудованими векторами. Формула оцінки така: MMR = argmax над рештою документів [лямбда * сим(документ, запит) - (1 - лямбда) * максимальний сим(документ, вибрано)]. Оскільки кожен раунд виконує повторну оцінку щодо зростаючого вибраного набору, він залежить від порядку та виконує приблизно O(k*n) порівнянь подібності для k вибраних із n кандидатів.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє максимальної граничної релевантності
MMR залишається стандартним стандартом у клієнтах векторних баз даних, таких як LangChain і Chroma, де він пропонується як однорядковий режим пошуку. Майбутні системи все частіше поєднують його з вивченими цілями різноманітності, відбором на основі кластерів і перерахунками між кодувальниками, які оцінюють новизну більше семантично, ніж косинусну відстань. У міру того, як вікна контексту зростають, акцент зміщується з економії місця на кураторство справді додаткових доказів, зберігаючи відбір з урахуванням різноманітності, як-от MMR, актуальним навіть за наявності великої кількості вихідних ресурсів.
Реалізація в реальному світі
Чат-бот RAG використовує пошук MMR, тому його 5 найпоширеніших фрагментів охоплюють різні аспекти політики замість п’яти перефразів одного абзацу.
Інструмент підсумовування дослідження застосовує MMR для вибору уривків, які мінімізують збіги, створюючи ширший, менш повторюваний підсумок.
Агрегатор новин ранжує статті за допомогою MMR, щоб показати різноманітне висвітлення події, а не десять ЗМІ, які повторюють одну новину.
Програма пошуку векторних сховищ LangChain надає search_type='mmr' із fetch_k і lambda_mult, щоб урізноманітнити повернуті документи.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Maximum Marginal Relevance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Немаксимальне придушення
Часті запитання
What is Maximum Marginal Relevance?
Максимальна гранична релевантність (MMR) — це метод переранжування, який порівнює релевантність результату з тим, наскільки він відрізняється від уже обраних результатів. Це важливо, оскільки чисте ранжування за релевантністю часто повертає майже повторювані фрагменти, які витрачають місце у контекстному вікні RAG.
Яку основну проблему покликаний вирішити MMR?
MMR усуває тенденцію ранжування лише за релевантністю, щоб показувати багато результатів, які говорять, по суті, те саме, винагороджуючи за новизну.
У формулі MMR, що підкреслює значення лямбда, близьке до 1?
Релевантність лямбда-ваг; біля 1 домінує термін релевантності, тоді як біля 0 домінує термін різноманітності (низька схожість).
Як MMR відбирає результати?
MMR — це жадібний ітераційний метод: кожен вибір максимізує релевантність за вирахуванням максимальної схожості з уже вибраними елементами.
Який показник подібності найчастіше використовується в MMR для вставлення тексту?
Косинусна подібність між векторами вбудовування є стандартним вибором як для релевантності запиту, так і для порівняння між документами в MMR.
Чому MMR особливо корисний у пошуково-доповненій генерації (RAG)?
Урізноманітнюючи отримані фрагменти, MMR допомагає моделі бачити різноманітні докази, а не повторювати той самий факт, покращуючи охоплення.