ДалееСледующее руководство
Метрики извлечения: Recall@K, MRR и nDCG.
Технический
Техническое РУКОВОДСТВО
Поиск родительского документа, также называемый поиском от малого к большому, выполняет поиск по небольшим, точным фрагментам текста, но передает языковой модели более крупный раздел или документ, из которого взят каждый фрагмент.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это имеет значение, поскольку устраняет обычный компромисс между фрагментами: небольшие фрагменты точно соответствуют запросам, а более крупный родительский элемент дает модели достаточный контекст для правильного ответа.
Разделение на фрагменты фиксированного размера требует компромисса. Небольшие фрагменты, скажем, несколько предложений, дают четкое вложение: вектор представляет одну идею, поэтому запрос об этой идее точно соответствует ей. Но фрагмент из двух предложений редко содержит достаточный контекст, чтобы модель могла дать правильный ответ; оно может опустить определение, содержащееся тремя абзацами ранее, или исключение в следующем предложении. Большие фрагменты несут этот контекст, но их встраивание размывает несколько идей, поэтому извлечение становится менее точным, и соответствующий отрывок может быть упущен из виду фрагментом, который просто соответствует теме. Извлечение от малого к большому разделяет эти две работы. Система индексирует небольшие дочерние фрагменты для поиска, и каждый дочерний элемент сохраняет указатель на более крупный родительский элемент: раздел, страницу или весь документ. Во время запроса он находит лучших детей, затем ищет и возвращает их родителей. Если несколько дочерних элементов имеют одного родителя, родительский элемент отправляется один раз, что также удаляет дубликаты. ParentDocumentRetriever из LangChain реализует это с помощью векторного хранилища для дочерних элементов и отдельного хранилища документов для родителей. LlamaIndex предлагает связанные шаблоны: поиск в окне предложения, который возвращает совпадающее предложение плюс фиксированное количество соседних предложений, и поиск с автоматическим объединением, который заменяет множество извлеченных фрагментов листьев их общим родительским узлом, когда достаточное количество из них совпадает. Этот подход имеет тенденцию превосходить разбиение на блоки фиксированного размера в структурированных документах, таких как руководства, контракты, политики и учебники, где смысл зависит от окружающего раздела. Это помогает меньше, когда документы и так короткие или когда родительские элементы настолько велики, что некоторые из них переполняют контекстное окно или зарывают ответ в нерелевантный текст. Распространенным заблуждением является то, что здесь просто используются более крупные куски. Это не так: блок поиска и блок генерации намеренно имеют разные размеры, поэтому вы сохраняете точное соответствие, не ограничивая модель контекста.
Внутренний бот-бот ИТ-поддержки индексирует каждый шаг устранения неполадок как отдельный дочерний фрагмент, но когда шаг совпадает, он возвращает всю процедуру, поэтому модель не предлагает пользователям выполнять шаг 4 без шагов с 1 по 3.
Инструмент юридического исследования сопоставляет один пункт о сроках уведомления о расторжении контракта, а затем передает модели полный раздел контракта, включая определения и исключения, которые меняют значение этого пункта.
Ассистент университетского курса ищет в конспектах лекций фрагменты на уровне предложений и возвращает окружающую страницу, поэтому ответы о формуле также включают условия, при которых она применяется.
Помощник по страховым случаям извлекает несколько небольших совпадений из одного документа полиса, группирует их по родительскому элементу и отправляет этот раздел полиса один раз вместо пяти перекрывающихся фрагментов.
Переход от малого к большому становится скорее стандартным, чем трюком, и основные платформы уже предоставляют иерархический или оконный поиск в качестве параметров конфигурации. Контекстные окна большего размера уменьшают штраф за отправку родительских элементов большего размера, что удешевляет внедрение шаблона. Открытыми остаются вопросы об автоматическом выборе родительских границ, например, с использованием анализа макета документа или изученной сегментации вместо использования заголовков. Его все чаще комбинируют с механизмами изменения ранжирования и с подходами, основанными на встраивании в контекст, которые пытаются дать небольшим фрагментам информацию об их окружении во время индексации. Тестирование на собственных документах, а не на общих контрольных показателях, остается надежным способом выбора дочерних и родительских размеров.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Поиск родительского документа, также называемый поиском от малого к большому, выполняет поиск по небольшим, точным фрагментам текста, но передает языковой модели более крупный раздел или документ, из которого взят каждый фрагмент. Это имеет значение, поскольку устраняет обычный компромисс между фрагментами: небольшие фрагменты точно соответствуют запросам, а более крупный родительский элемент дает модели достаточный контекст для правильного ответа.
Маленькие фрагменты дают целенаправленное встраивание, но слишком мало контекста; большие фрагменты дают контекст, но размытые вложения. Метод «от малого к большому» ищет маленькое и возвращает большое, чтобы получить и то, и другое.
Дети индексируются для точного соответствия; родителей ищут только после совпадения ребенка.
Группировка по родительскому элементу означает, что раздел включается один раз, что позволяет экономить токены и удалять повторяющиеся фрагменты.
Дети встраиваются в хранилище векторов для поиска, а полноценные родители сидят в хранилище документов и выбираются по идентификатору.
Поиск в окне предложения сопоставляется на уровне предложения, а затем расширяется до окна окружающих предложений для предоставления контекста.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Метрики извлечения: Recall@K, MRR и nDCG.
Технический