ДалееСледующее руководство
Продолжение предварительной подготовки против тонкой настройки
Технический
Техническое РУКОВОДСТВО
Точная настройка модели внедрения означает ее обучение на парах реальных запросов и документов, которые на них отвечают, так, чтобы в вашем домене релевантный текст располагался ближе друг к другу в векторном пространстве, чем нерелевантный текст.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, потому что качество поиска ограничивает качество RAG: если правильный отрывок не извлекается, языковая модель не может его использовать, а встраивания общего назначения часто пропускают предметную лексику, сокращения и то, как ваши пользователи формулируют вопросы.
Модель внедрения преобразует текст в вектор, так что семантически подобные тексты имеют схожие векторы, обычно измеряемые косинусным сходством. В RAG встроены как запросы, так и фрагменты документов, а также извлекаются ближайшие фрагменты. Общие модели обучаются на основе данных из Интернета и вопросов-ответов. Они работают достаточно хорошо везде, но могут иметь проблемы со специализированными терминами, внутренними названиями продуктов и разрывом между тем, как задает вопрос пользователь, и тем, как пишется документ. Точная настройка закрывает этот пробел с помощью обучающих данных в трех формах. Положительные пары — это вопрос и отрывок, который на него отвечает. В пакетных негативах используются другие отрывки из той же обучающей серии в качестве примеров того, что должно получить более низкую оценку. Жесткие негативы — это отрывки, которые выглядят релевантными, содержат общие слова или тему, но не отвечают на вопрос. Жесткие негативы учат тонким различиям, которые наиболее важны, потому что легкие негативы уже разделены базовой моделью. Хорошие источники данных включают журналы поиска с кликами, заявки в службу поддержки, связанные со статьями, страницы часто задаваемых вопросов и синтетические запросы, созданные на основе ваших документов с помощью языковой модели. Синтетические данные полезны, но их следует фильтровать, поскольку создаваемые вопросы часто копируют формулировку документа и слишком упрощают задачу. Частое заблуждение состоит в том, что точная настройка — это первое исправление плохого поиска. Часто лучшее разбиение на части, добавление поиска по ключевым словам, такого как BM25, в гибридной настройке или добавление средства изменения рейтинга дает больший результат с меньшими усилиями. Точная настройка наиболее целесообразна, когда вы измерили разрыв в поиске и имеете или можете создать по крайней мере несколько тысяч качественных пар. Еще одна ловушка — ложноотрицательные результаты: добытый жесткий отрицательный результат, который действительно отвечает на запрос. Обучение модели отталкивать ее ухудшает качество. Также обратите внимание, что изменение модели внедрения требует повторного внедрения всей коллекции документов, поскольку старые и новые векторы несопоставимы.
Страховая компания обучает встраивания парным вопросам клиентов и положениям полиса, которые отвечают на них, поэтому вопрос «застрахован ли мой телефон, если я его уроню» извлекает пункт о случайном повреждении.
Компания-разработчик программного обеспечения использует свою историю заявок в службу поддержки, сопоставляя каждый вопрос заявки с агентами справочной статьи, указанными в их ответе, в качестве бесплатных обучающих данных.
Группа юристов-исследователей извлекает явные негативы, беря предложения, которые имеют общие ключевые слова с запросом, но относятся к другой юрисдикции, обучая модель разделять их.
Фармацевтическая команда генерирует синтетические вопросы из внутренних документов с помощью языковой модели, отфильтровывает некачественные и использует пары для обучения модели внедрения домена.
Общие модели внедрения продолжают улучшаться по сравнению с общедоступными тестами, такими как MTEB, что сужает, но не устраняет преимущества адаптации предметной области, поскольку данные тестов редко совпадают с частным корпусом. Генерация синтетических данных с помощью языковых моделей сделала точную настройку практичной для команд, не имеющих больших размеченных наборов данных. Ожидайте продолжения использования гибридных конвейеров, в которых точно настроенная модель внедрения обеспечивает отзыв на первом этапе, а механизм изменения ранжирования обеспечивает точность. Привычка к измерению имеет наибольшее значение: команды, отслеживающие отзыв по реальным запросам, будут знать, когда точная настройка окупится.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Точная настройка модели внедрения означает ее обучение на парах реальных запросов и документов, которые на них отвечают, так, чтобы в вашем домене релевантный текст располагался ближе друг к другу в векторном пространстве, чем нерелевантный текст. Это важно, потому что качество поиска ограничивает качество RAG: если правильный отрывок не извлекается, языковая модель не может его использовать, а встраивания общего назначения часто пропускают предметную лексику, сокращения и то, как ваши пользователи формулируют вопросы.
Жесткие негативы разделяют слова или тему с запросом, но не являются правильными, обучая модель тонким различиям.
Простые негативы уже далеки от вопроса; резкие негативы заставляют модель изучать тонкие различия.
Если предполагаемый негатив действительно имеет значение, обучение отталкивает правильный ответ и вредит его извлечению.
Контрастные потери дают положительный результат по сравнению с внутрипартийными и резкими отрицательными значениями, выдвигая положительный результат наверх.
Векторы из разных моделей несопоставимы, поэтому необходимо перевстраивать всю коллекцию.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Продолжение предварительной подготовки против тонкой настройки
Технический