ДалееДалее в разделе Создание систем искусственного интеллекта
Векторные базы данных
Технический
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Качество поиска
Качество поиска измеряет, возвращает ли поисковая система полезные сведения для запроса и размещает ли их там, где их может использовать читатель или последующая модель.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Актуальность, охват, свежесть и авторизация — все имеет значение. Сам по себе высокий показатель сходства не доказывает, что отрывок отвечает на вопрос.
Ключевые выводы
- Определите актуальность вопроса, на который отвечаете.
- Сообщайте о ограничениях и правилах маркировки.
- Проверьте актуальность, разрешения и недостающие доказательства.
Глубокое погружение
Определите релевантность с учетом поставленной задачи. Документ о продукте может быть тематически связан, но не отвечать на конкретный вопрос о версии или дате. Отметьте примеры полностью подтверждающих доказательств, частичных доказательств и не относящихся к делу материалов. Измерьте набор кандидатов и рейтинг отдельно. Напоминание в выбранный момент спрашивает, сколько релевантного материала было получено; точность спрашивает, какая часть полученного материала актуальна. Метрики с учетом рангов позволяют оценить, появляются ли лучшие доказательства на ранней стадии. Укажите метод отсечения и маркировки для каждого балла. Проверьте шаблоны ошибок: точные идентификаторы, пропущенные при семантическом поиске, синонимы, пропущенные при поиске по ключевым словам, устаревшие документы, ранжированные выше текущих, или отрывки, вырезанные из их квалификации. Гибридный поиск и изменение ранжирования могут помочь в некоторых случаях, но их необходимо оценивать на одних и тех же фиксированных примерах. Включите в тестовый набор ограничения доступа и запросы, на которые нет ответа. Система не должна улучшать кажущуюся актуальность за счет возврата неавторизованных документов. Если адекватных доказательств не существует, определите, сообщает ли приложение об этом ограничении вместо того, чтобы выдавать неподтвержденный ответ.
04Рабочий пример
Вычисление точности поиска и отзыва
В построенном сборнике четыре отрывка отвечают на вопрос. Поиск возвращает пять отрывков, из которых три релевантны.
Точность в пять составляет 3/5 = 60%; вспоминание в пять составляет 3/4 = 75%.
Прежде чем выбрать изменение настройки, проверьте недостающий релевантный отрывок и два нерелевантных результата.
Что это показывает
Эти изобретенные подсчеты демонстрируют два разных свойства поиска; ни один из них сам по себе не измеряет правильность окончательного ответа.
Реальная реализация
Тестовое получение точного кода заказа и перефразированного вопроса в службу поддержки.
Проверьте, превосходят ли текущие версии политик архивные версии.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Источники и дальнейшее чтение
- PineconeПовысьте релевантность поиска
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Retrieval Quality quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Должен ли я всегда получать больше отрывков?
Нет. Большее количество отрывков может улучшить освещение, но также добавить нерелевантный или противоречивый контекст. Измерьте компромисс во всем приложении.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме