ДалееСледующее руководство
Родительский документ и извлечение от малого к большому
Технический
Техническое РУКОВОДСТВО
Контекстуальный поиск — это метод RAG, который добавляет к каждому фрагменту краткое объяснение с учетом документов перед его внедрением и индексацией для поиска по ключевым словам, поэтому фрагмент по-прежнему имеет смысл при чтении сам по себе.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку фрагменты часто теряют ключевую информацию при отделении от документа, например, о том, к какой компании, продукту или периоду времени они относятся, и эта потеря приводит к тому, что искатель пропускает правильный отрывок.
Стандартный RAG разбивает документы на фрагменты, встраивает каждый фрагмент и извлекает фрагменты, наиболее похожие на вопрос. Проблема в том, что разбиение полоски контекста. Фрагмент, в котором говорится, что «выручка компании выросла на 3%», не говорит, какая компания или какой период, поэтому ни семантический поиск, ни поиск по ключевым словам не могут надежно сопоставить его с вопросом, в котором они называются. Anthropic описал контекстный поиск в сентябре 2024 года. Для каждого фрагмента языковой модели предоставляется весь документ и фрагмент и предлагается написать краткий контекст (обычно от 50 до 100 токенов), который размещает фрагмент внутри документа. Этот контекст добавляется к фрагменту. Объединенный текст затем используется в двух индексах: индексе внедрения (контекстное внедрение) и индексе ключевых слов BM25 (контекстное внедрение BM25). Во время запроса результаты обоих объединяются, и, при необходимости, средство изменения ранжирования меняет порядок лучших кандидатов. В отчетах Anthropic об экспериментах с несколькими наборами данных контекстное встраивание в сочетании с контекстным BM25 снизило частоту неудачных попыток извлечения из топ-20 примерно на 49 процентов по сравнению со стандартными встраиваниями, а добавление переранжирования привело к снижению примерно до 67 процентов. Результаты на ваших собственных данных могут отличаться, поэтому их стоит измерить. Стоимость указана во время индексации: один вызов модели на фрагмент, каждый из которых включает весь документ. Оперативное кэширование делает это намного дешевле, поскольку документ кэшируется один раз и повторно используется во всех его фрагментах. Заблуждения, которых следует избегать: добавленный контекст используется для извлечения, и вы можете выбрать, показывать ли его генератору. Это не заменяет хорошее разбиение на фрагменты, а для небольших баз знаний, которые помещаются в контекстное окно модели, отправка всего напрямую может быть проще, чем любой конвейер поиска.
В квартальном отчете говорится только: «Выручка выросла на 3% по сравнению с предыдущим кварталом»; контекстуальный поиск добавляет к началу, что он получен из отчетности конкретной компании за второй квартал, поэтому поиск по названию этой компании и квартала находит его.
В справочнике для сотрудников фрагмент с надписью «Это применимо через 90 дней» получает префикс, объясняющий, что он взят из раздела о праве на удаленную работу.
Помощник по документации программного обеспечения добавляет контекст, отмечая, что фрагмент конфигурации принадлежит версии 3 API, что уменьшает путаницу с аналогичным текстом из версии 2.
В базе знаний поддержки блоки устранения неполадок снабжены префиксами модели продукта, которую они охватывают, поэтому вопросы об одной модели перестают вызывать шаги для другой.
Контекстный поиск отражает более широкую тенденцию расходования большего количества вычислений во время индексации, чтобы сделать время запроса более надежным. Поскольку вызовы моделей становятся дешевле, а кэширование становится стандартным, добавление контекста к фрагментам, вероятно, станет шагом по умолчанию во многих конвейерах RAG. Более длинные контекстные окна уменьшают необходимость поиска в небольших коллекциях, но не в больших, поэтому подобные методы должны оставаться актуальными для больших баз знаний. Ожидайте большего количества комбинаций с фильтрацией метаданных, графиками знаний и поиском поздних взаимодействий, при этом команды будут выбирать на основе измеренного запоминаемости, а не моды.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Контекстуальный поиск — это метод RAG, который добавляет к каждому фрагменту краткое объяснение с учетом документов перед его внедрением и индексацией для поиска по ключевым словам, поэтому фрагмент по-прежнему имеет смысл при чтении сам по себе. Это важно, поскольку фрагменты часто теряют ключевую информацию при отделении от документа, например, о том, к какой компании, продукту или периоду времени они относятся, и эта потеря приводит к тому, что искатель пропускает правильный отрывок.
Разделение удаляет окружающий контекст, поэтому изолированный фрагмент может не упоминать сущность или период, о котором задается вопрос.
Модель получает полный документ и фрагмент и возвращает краткий контекст, который помещает фрагмент в документ.
Метод использует контекстные вложения и контекстный BM25, а затем объединяет их результаты.
Anthropic сообщил о снижении примерно на 49 процентов, а после изменения рейтинга этот показатель увеличился примерно до 67 процентов. Результаты по другим данным могут отличаться.
Вызов каждого фрагмента включает полный документ; кэширование этого общего префикса позволяет избежать повторной оплаты полной стоимости.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Родительский документ и извлечение от малого к большому
Технический