Техническое РУКОВОДСТВО

Родительский документ и извлечение от малого к большому

Поиск родительского документа, также называемый поиском от малого к большому, выполняет поиск по небольшим, точным фрагментам текста, но передает языковой модели более крупный раздел или документ, из которого взят каждый фрагмент.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее родительских документов и извлечения от малого к большому
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это имеет значение, поскольку устраняет обычный компромисс между фрагментами: небольшие фрагменты точно соответствуют запросам, а более крупный родительский элемент дает модели достаточный контекст для правильного ответа.

Глубокое погружение

Разделение на фрагменты фиксированного размера требует компромисса. Небольшие фрагменты, скажем, несколько предложений, дают четкое вложение: вектор представляет одну идею, поэтому запрос об этой идее точно соответствует ей. Но фрагмент из двух предложений редко содержит достаточный контекст, чтобы модель могла дать правильный ответ; оно может опустить определение, содержащееся тремя абзацами ранее, или исключение в следующем предложении. Большие фрагменты несут этот контекст, но их встраивание размывает несколько идей, поэтому извлечение становится менее точным, и соответствующий отрывок может быть упущен из виду фрагментом, который просто соответствует теме. Извлечение от малого к большому разделяет эти две работы. Система индексирует небольшие дочерние фрагменты для поиска, и каждый дочерний элемент сохраняет указатель на более крупный родительский элемент: раздел, страницу или весь документ. Во время запроса он находит лучших детей, затем ищет и возвращает их родителей. Если несколько дочерних элементов имеют одного родителя, родительский элемент отправляется один раз, что также удаляет дубликаты. ParentDocumentRetriever из LangChain реализует это с помощью векторного хранилища для дочерних элементов и отдельного хранилища документов для родителей. LlamaIndex предлагает связанные шаблоны: поиск в окне предложения, который возвращает совпадающее предложение плюс фиксированное количество соседних предложений, и поиск с автоматическим объединением, который заменяет множество извлеченных фрагментов листьев их общим родительским узлом, когда достаточное количество из них совпадает. Этот подход имеет тенденцию превосходить разбиение на блоки фиксированного размера в структурированных документах, таких как руководства, контракты, политики и учебники, где смысл зависит от окружающего раздела. Это помогает меньше, когда документы и так короткие или когда родительские элементы настолько велики, что некоторые из них переполняют контекстное окно или зарывают ответ в нерелевантный текст. Распространенным заблуждением является то, что здесь просто используются более крупные куски. Это не так: блок поиска и блок генерации намеренно имеют разные размеры, поэтому вы сохраняете точное соответствие, не ограничивая модель контекста.

Реальная реализация

Внутренний бот-бот ИТ-поддержки индексирует каждый шаг устранения неполадок как отдельный дочерний фрагмент, но когда шаг совпадает, он возвращает всю процедуру, поэтому модель не предлагает пользователям выполнять шаг 4 без шагов с 1 по 3.

Инструмент юридического исследования сопоставляет один пункт о сроках уведомления о расторжении контракта, а затем передает модели полный раздел контракта, включая определения и исключения, которые меняют значение этого пункта.

Ассистент университетского курса ищет в конспектах лекций фрагменты на уровне предложений и возвращает окружающую страницу, поэтому ответы о формуле также включают условия, при которых она применяется.

Помощник по страховым случаям извлекает несколько небольших совпадений из одного документа полиса, группирует их по родительскому элементу и отправляет этот раздел полиса один раз вместо пяти перекрывающихся фрагментов.

Будущее родительских документов и извлечения от малого к большому

Переход от малого к большому становится скорее стандартным, чем трюком, и основные платформы уже предоставляют иерархический или оконный поиск в качестве параметров конфигурации. Контекстные окна большего размера уменьшают штраф за отправку родительских элементов большего размера, что удешевляет внедрение шаблона. Открытыми остаются вопросы об автоматическом выборе родительских границ, например, с использованием анализа макета документа или изученной сегментации вместо использования заголовков. Его все чаще комбинируют с механизмами изменения ранжирования и с подходами, основанными на встраивании в контекст, которые пытаются дать небольшим фрагментам информацию об их окружении во время индексации. Тестирование на собственных документах, а не на общих контрольных показателях, остается надежным способом выбора дочерних и родительских размеров.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Parent Document and Small-to-Big Retrieval quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое родительский документ и поиск от малого к большому?

Поиск родительского документа, также называемый поиском от малого к большому, выполняет поиск по небольшим, точным фрагментам текста, но передает языковой модели более крупный раздел или документ, из которого взят каждый фрагмент. Это имеет значение, поскольку устраняет обычный компромисс между фрагментами: небольшие фрагменты точно соответствуют запросам, а более крупный родительский элемент дает модели достаточный контекст для правильного ответа.

Какой основной компромисс решает задача поиска от малого к большому?

Маленькие фрагменты дают целенаправленное встраивание, но слишком мало контекста; большие фрагменты дают контекст, но размытые вложения. Метод «от малого к большому» ищет маленькое и возвращает большое, чтобы получить и то, и другое.

Что встраивается в систему от малого к большому и что ищется во время запроса?

Дети индексируются для точного соответствия; родителей ищут только после совпадения ребенка.

Если все три извлеченных дочерних фрагмента принадлежат одному и тому же родительскому разделу, что должна делать система?

Группировка по родительскому элементу означает, что раздел включается один раз, что позволяет экономить токены и удалять повторяющиеся фрагменты.

Как ParentDocumentRetriever LangChain хранит два уровня текста?

Дети встраиваются в хранилище векторов для поиска, а полноценные родители сидят в хранилище документов и выбираются по идентификатору.

Что возвращает поиск в окне предложений?

Поиск в окне предложения сопоставляется на уровне предложения, а затем расширяется до окна окружающих предложений для предоставления контекста.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →