Поиск плотного прохода
Функция плотного поиска отрывков (DPR) находит соответствующий текст, сравнивая значение вопроса и отрывков как числовые векторы, а не совпадающие слова.
Обзор
It matters because it can retrieve correct answers even when the query and the document share zero vocabulary.
Глубокое погружение
DPR, представленный Facebook AI в 2020 году, использует два отдельных кодировщика BERT: кодировщик вопросов и кодировщик отрывков. Каждый из них превращает текст в плотный вектор фиксированной длины (часто 768 измерений). Релевантность — это скалярное произведение вектора вопроса и вектора отрывка, поэтому извлечение превращается в быстрый поиск ближайшего соседа по заранее вычисленным вложениям отрывка. Модель обучена с контрастной целью: приблизить вектор правильного отрывка к вопросу и отодвинуть неправильный, используя пакетные негативы и жесткие негативы, добытые из BM25. В тестах качества открытого домена, таких как Natural Questions, DPR с большим отрывом превзошла давно доминировавшую BM25, показав, что изученное семантическое соответствие может превзойти поиск по ключевым словам для ответов на вопросы.
Техническая информация
DPR является бикодером: он кодирует запрос и каждый отрывок независимо, поэтому все векторы проходов вычисляются один раз и сохраняются в векторном индексе (например, FAISS). Во время запроса вы только кодируете вопрос, а затем запускаете приблизительный поиск ближайшего соседа. Обучение основано на внутрипакетных негативах — другие отрывки в той же мини-группе почти бесплатно служат отрицательными примерами, что позволяет одной положительной паре эффективно генерировать множество контрастирующих сравнений.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее поиска плотных проходов
Плотный поиск сейчас лежит в основе большинства конвейеров генерации расширенного поиска, питающих большие языковые модели. Исследования движутся к гибридным системам, объединяющим плотные и лексические оценки, моделям позднего взаимодействия, таким как ColBERT, которые сохраняют векторы для каждого токена для более точного сопоставления, и встраиваниям, настроенным на инструкции, которые адаптируются ко многим задачам. Ожидайте более дешевых, многоязычных кодировщиков с более длинным контекстом, а также более тесного совместного обучения ретриверов с генераторами, которые они обслуживают.
Реальная реализация
Системы ответов на вопросы открытого домена, которые извлекают подтверждающие отрывки из Википедии, прежде чем LLM напишет ответ.
Поиск корпоративных документов, при котором сотрудники задают естественные вопросы и получают соответствующие абзацы даже без точных ключевых слов.
Боты службы поддержки клиентов извлекают нужную статью справочного центра из перефразированной жалобы
Чат-боты с расширенной функцией поиска, фиксирующие ответы в частной базе знаний, чтобы уменьшить галлюцинации
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dense Passage Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
ColBERT – извлечение позднего взаимодействия
Часто задаваемые вопросы
What is Dense Passage Retrieval?
Функция плотного поиска отрывков (DPR) находит соответствующий текст, сравнивая значение вопроса и отрывков как числовые векторы, а не совпадающие слова. Это важно, поскольку он может получить правильные ответы, даже если запрос и документ имеют нулевой словарный запас.
Какова основная идея поиска плотных проходов?
DPR отображает как запросы, так и отрывки в плотные векторы и измеряет релевантность по их сходству (скалярному произведению), улавливая смысл, а не совпадение слов.
DPR использует архитектуру «би-кодировщика». Что это значит?
Би-кодировщик имеет независимые кодеры для вопросов и отрывков, поэтому векторы отрывков можно заранее вычислить и проиндексировать.
Почему в DPR можно заранее рассчитать векторы прохождения?
Поскольку кодировщик отрывка не зависит от запроса, все внедрения отрывков могут быть предварительно вычислены и сохранены, оставляя только запрос для кодирования во время поиска.
Какой обучающий трюк позволяет DPR дешево генерировать множество негативных примеров?
Внутрипакетные негативы рассматривают другие отрывки в мини-пакете как негативные для данного вопроса, эффективно создавая множество контрастирующих пар.
Какой инструмент обычно используется для быстрого и масштабного поиска ближайших соседей DPR?
Векторные индексы, такие как FAISS, выполняют быстрый приблизительный поиск ближайших соседей по миллионам заранее вычисленных вложений проходов.