Техническое РУКОВОДСТВО

Точная настройка моделей внедрения для поиска

Точная настройка модели внедрения означает ее обучение на парах реальных запросов и документов, которые на них отвечают, так, чтобы в вашем домене релевантный текст располагался ближе друг к другу в векторном пространстве, чем нерелевантный текст.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее тонкой настройки моделей внедрения для поиска
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, потому что качество поиска ограничивает качество RAG: если правильный отрывок не извлекается, языковая модель не может его использовать, а встраивания общего назначения часто пропускают предметную лексику, сокращения и то, как ваши пользователи формулируют вопросы.

Глубокое погружение

Модель внедрения преобразует текст в вектор, так что семантически подобные тексты имеют схожие векторы, обычно измеряемые косинусным сходством. В RAG встроены как запросы, так и фрагменты документов, а также извлекаются ближайшие фрагменты. Общие модели обучаются на основе данных из Интернета и вопросов-ответов. Они работают достаточно хорошо везде, но могут иметь проблемы со специализированными терминами, внутренними названиями продуктов и разрывом между тем, как задает вопрос пользователь, и тем, как пишется документ. Точная настройка закрывает этот пробел с помощью обучающих данных в трех формах. Положительные пары — это вопрос и отрывок, который на него отвечает. В пакетных негативах используются другие отрывки из той же обучающей серии в качестве примеров того, что должно получить более низкую оценку. Жесткие негативы — это отрывки, которые выглядят релевантными, содержат общие слова или тему, но не отвечают на вопрос. Жесткие негативы учат тонким различиям, которые наиболее важны, потому что легкие негативы уже разделены базовой моделью. Хорошие источники данных включают журналы поиска с кликами, заявки в службу поддержки, связанные со статьями, страницы часто задаваемых вопросов и синтетические запросы, созданные на основе ваших документов с помощью языковой модели. Синтетические данные полезны, но их следует фильтровать, поскольку создаваемые вопросы часто копируют формулировку документа и слишком упрощают задачу. Частое заблуждение состоит в том, что точная настройка — это первое исправление плохого поиска. Часто лучшее разбиение на части, добавление поиска по ключевым словам, такого как BM25, в гибридной настройке или добавление средства изменения рейтинга дает больший результат с меньшими усилиями. Точная настройка наиболее целесообразна, когда вы измерили разрыв в поиске и имеете или можете создать по крайней мере несколько тысяч качественных пар. Еще одна ловушка — ложноотрицательные результаты: добытый жесткий отрицательный результат, который действительно отвечает на запрос. Обучение модели отталкивать ее ухудшает качество. Также обратите внимание, что изменение модели внедрения требует повторного внедрения всей коллекции документов, поскольку старые и новые векторы несопоставимы.

Реальная реализация

Страховая компания обучает встраивания парным вопросам клиентов и положениям полиса, которые отвечают на них, поэтому вопрос «застрахован ли мой телефон, если я его уроню» извлекает пункт о случайном повреждении.

Компания-разработчик программного обеспечения использует свою историю заявок в службу поддержки, сопоставляя каждый вопрос заявки с агентами справочной статьи, указанными в их ответе, в качестве бесплатных обучающих данных.

Группа юристов-исследователей извлекает явные негативы, беря предложения, которые имеют общие ключевые слова с запросом, но относятся к другой юрисдикции, обучая модель разделять их.

Фармацевтическая команда генерирует синтетические вопросы из внутренних документов с помощью языковой модели, отфильтровывает некачественные и использует пары для обучения модели внедрения домена.

Будущее тонкой настройки моделей внедрения для поиска

Общие модели внедрения продолжают улучшаться по сравнению с общедоступными тестами, такими как MTEB, что сужает, но не устраняет преимущества адаптации предметной области, поскольку данные тестов редко совпадают с частным корпусом. Генерация синтетических данных с помощью языковых моделей сделала точную настройку практичной для команд, не имеющих больших размеченных наборов данных. Ожидайте продолжения использования гибридных конвейеров, в которых точно настроенная модель внедрения обеспечивает отзыв на первом этапе, а механизм изменения ранжирования обеспечивает точность. Привычка к измерению имеет наибольшее значение: команды, отслеживающие отзыв по реальным запросам, будут знать, когда точная настройка окупится.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Fine-Tuning Embedding Models for Retrieval quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое точная настройка моделей внедрения для поиска?

Точная настройка модели внедрения означает ее обучение на парах реальных запросов и документов, которые на них отвечают, так, чтобы в вашем домене релевантный текст располагался ближе друг к другу в векторном пространстве, чем нерелевантный текст. Это важно, потому что качество поиска ограничивает качество RAG: если правильный отрывок не извлекается, языковая модель не может его использовать, а встраивания общего назначения часто пропускают предметную лексику, сокращения и то, как ваши пользователи формулируют вопросы.

Что является серьезным минусом во внедрении тонкой настройки?

Жесткие негативы разделяют слова или тему с запросом, но не являются правильными, обучая модель тонким различиям.

Почему жесткие негативы более полезны, чем легкие негативы?

Простые негативы уже далеки от вопроса; резкие негативы заставляют модель изучать тонкие различия.

Что такое ложноотрицательный результат в данном контексте?

Если предполагаемый негатив действительно имеет значение, обучение отталкивает правильный ответ и вредит его извлечению.

Какая потеря обычно используется для обучения моделей внедрения на парах запрос-проход?

Контрастные потери дают положительный результат по сравнению с внутрипартийными и резкими отрицательными значениями, выдвигая положительный результат наверх.

Что нужно сделать с индексом документа после перехода на новую, точно настроенную модель внедрения?

Векторы из разных моделей несопоставимы, поэтому необходимо перевстраивать всю коллекцию.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →