Огляд
Максимальна гранична релевантність (MMR) — це метод переранжування, який порівнює релевантність результату з тим, наскільки він відрізняється від уже обраних результатів. Це важливо, оскільки чисте ранжування за релевантністю часто повертає майже повторювані фрагменти, які витрачають місце у контекстному вікні RAG.
Максимальна гранична релевантність є частиною мовного стеку штучного інтелекту, який використовується для читання, створення, класифікації та масштабного перетворення тексту та мови.
Глибоке занурення
Коли пошукова система оцінює документи лише за релевантністю запиту, найпопулярніші результати часто є зайвими — п’ять уривків містять одне й те саме. MMR, представлений Carbonell і Goldstein у 1998 році, виправляє це шляхом вибору результатів по одному. На кожному кроці він вибирає кандидата, який максимізує зважену суміш: лямбда, помножена на його релевантність для запиту, мінус (1 мінус лямбда), помножена на максимальну схожість із уже вибраним. Лямбда біля 1 сприяє чистій релевантності; біля 0 це сприяє різноманітності. У пошуково-доповненій генерації MMR популярний для отримання різноманітного набору фрагментів, тому мовна модель бачить додаткові докази, а не повторення того самого факту, покращуючи охоплення без розширення контексту.
Технічне розуміння
MMR — це жадібний ітеративний алгоритм. Як релевантність, так і подібність між документами зазвичай обчислюють як косинусну подібність між вбудованими векторами. Формула оцінки така: MMR = argmax над рештою документів [лямбда * сим(документ, запит) - (1 - лямбда) * максимальний сим(документ, вибрано)]. Оскільки кожен раунд виконує повторну оцінку щодо зростаючого вибраного набору, він залежить від порядку та виконує приблизно O(k*n) порівнянь подібності для k вибраних із n кандидатів.
Освоєння максимальної граничної релевантності
Максимальна гранична релевантність (MMR) — це метод переранжування, який порівнює релевантність результату з тим, наскільки він відрізняється від уже обраних результатів. Це важливо, оскільки чисте ранжування за релевантністю часто повертає майже повторювані фрагменти, які витрачають місце у контекстному вікні RAG. Максимальна гранична релевантність є частиною мовного стеку штучного інтелекту, який використовується для читання, генерації, класифікації та трансформації тексту та мови в масштабі. Щоб побудувати глибоке розуміння, розглядайте максимальну граничну релевантність як операційну модель, а не як окрему функцію: визначте бажані результати, уточніть припущення та відокремте те, що система може зробити надійно, від того, що все ще вимагає експертної оцінки.
На практиці сильні команди, які використовують максимальну граничну релевантність, проектують підказки, цикли пошуку та перегляду як одну інтегровану систему зв’язку. Вони документують чіткі критерії успіху, перевіряють реалістичні дані та робочі процеси та виконують ітерацію на основі спостережуваних моделей невдач, а не одноразових перемог у тестах. Саме тут теоретичне розуміння перетворюється на довготривалу здатність щодо продуктів, політики та операцій.
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості. У той же час галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень. Найбільш стійкий підхід полягає в поєднанні швидкості експериментів із дисципліною управління: запускайте пілотні проекти, збирайте докази, публікуйте журнали рішень і постійно оновлюйте запобіжні заходи в міру розвитку поведінки моделі, очікувань користувачів і нормативних вимог.
Стратегічний вплив
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Це розширює доступ до різних мов і стилів спілкування.
Це розширює доступ до різних мов і стилів спілкування. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням. У високоякісних розгортаннях це перетворюється на вимірювані правила роботи, межі власності та повторювані ритуали перевірки, щоб команди могли масштабувати впевненість замість масштабування неоднозначності.
Впровадження в реальному світі
Чат-бот RAG використовує пошук MMR, тому його 5 найпоширеніших фрагментів охоплюють різні аспекти політики замість п’яти перефразів одного абзацу.
Інструмент узагальнення дослідження застосовує MMR для вибору уривків, які мінімізують збіги, створюючи ширший, менш повторюваний підсумок.
Агрегатор новин ранжує статті за допомогою MMR, щоб показати різноманітне висвітлення події, а не десять ЗМІ, які повторюють одну новину.
Програма пошуку векторних сховищ LangChain надає search_type='mmr' із fetch_k і lambda_mult, щоб урізноманітнити повернуті документи.
Шаблони реалізації
Максимальна гранична релевантність на практиці
Чат-бот RAG використовує пошук MMR, тому його 5 найпоширеніших фрагментів охоплюють різні аспекти політики замість п’яти перефразів одного абзацу.
Чат-бот RAG використовує пошук MMR, тому його 5 найкращих блоків охоплюють різні аспекти політики замість п’яти парафразів того самого абзацу. Команди зазвичай отримують кращі результати, коли визначають порогові значення якості наперед, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Максимальна гранична релевантність на практиці
Інструмент узагальнення дослідження застосовує MMR для вибору уривків, які мінімізують збіги, створюючи ширший, менш повторюваний підсумок.
Інструмент підсумовування досліджень застосовує MMR, щоб вибирати фрагменти, які мінімізують збіги, створюючи ширший, менш повторюваний підсумок. Команди зазвичай отримують кращі результати, коли визначають порогові значення якості наперед, зберігають шлях людської ескалації для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Максимальна гранична релевантність на практиці
Агрегатор новин ранжує статті за допомогою MMR, щоб показати різноманітне висвітлення події, а не десять ЗМІ, які повторюють одну новину.
Агрегатор новин ранжує статті за допомогою MMR, щоб показати різноманітне висвітлення події, а не десять ЗМІ, які повторюють одну новину. Команди зазвичай отримують кращі результати, коли заздалегідь визначають порогові значення якості, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Максимальна гранична релевантність на практиці
Програма пошуку векторних сховищ LangChain надає search_type='mmr' із fetch_k і lambda_mult, щоб урізноманітнити повернуті документи.
Засіб обробки векторних сховищ LangChain надає search_type='mmr' із fetch_k і lambda_mult, щоб урізноманітнити повернуті документи. Команди зазвичай отримують кращі результати, коли визначають порогові значення якості наперед, зберігають шлях ескалації людини для крайніх випадків і відстежують підвищення продуктивності та витрати на помилки з часом.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Визначте вихідний формат, тон і стандарти якості перед розгортанням. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Якщо точність має значення, зв’яжіться з надійними джерелами. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Тримайте контрольну точку перевірки людьми для отримання високих ставок. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси. Розглядайте кожен крок як джерело доказів: якщо критерії не відповідають, призупиніть розгортання, закрийте прогалину й лише потім розширюйте використання.