Техническое РУКОВОДСТВО

Метрики оценки RAG и RAGAS

При оценке RAG система генерации с расширенным поиском оценивается отдельно при поиске и при генерации, чаще всего по четырем показателям: достоверность, релевантность ответа, точность контекста и отзыв контекста.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее показателей оценки RAG и RAGAS
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

RAGAS — это платформа с открытым исходным кодом, которая рассчитывает эти показатели, в основном используя степень магистра в качестве судьи. Отдельные оценки имеют значение, поскольку они показывают, был ли плохой ответ получен из-за выбора неправильных отрывков или из-за неправильного использования правильных.

Глубокое погружение

Система RAG может дать сбой в двух местах: при поиске могут быть получены неправильные отрывки, а при генерации могут игнорироваться или искажаться правильные. Единая общая оценка качества скрывает происходящее, поэтому оценка RAG разделяет конвейер на измеримые части. RAGAS, платформа с открытым исходным кодом, представленная в статье Эса и его коллег в 2023 году, популяризировала набор основных показателей, охватывающих обе половины. Верность спрашивает, подтверждается ли каждое утверждение в ответе полученным контекстом; он улавливает галлюцинацию, даже когда ответ кажется правдоподобным. Релевантность ответа спрашивает, действительно ли ответ касается вопроса, наказывая уклончивые или дополненные ответы. Контекстная точность определяет, находятся ли извлеченные важные фрагменты наверху, а не затеряны среди шума. При вызове контекста спрашивается, содержит ли извлеченный контекст все необходимое для получения эталонного ответа, поэтому для каждого тестового вопроса требуется достоверный ответ. Большинство этих оценок рассчитываются LLM, выступающим в качестве судьи, и разбиваются на небольшие этапы. Для достоверности судья извлекает из ответа отдельные утверждения и сверяет каждое с контекстом; оценка — это поддерживаемая дробь. Для релевантности ответа RAGAS генерирует вопросы, на которые будет отвечать ответ, и сравнивает их с исходным вопросом, используя встраивания. Похожие идеи появляются и в других инструментах, таких как триада TruLens RAG (контекстная релевантность, обоснованность и релевантность ответа) и DeepEval. Распространены два заблуждения. Во-первых, верный не значит правильный: ответ может точно повторять устаревший или неправильный документ. Во-вторых, оценки судей LLM не являются достоверной истиной. Они различаются в зависимости от модели судьи и подсказки, поэтому команды выборочно проверяют их на соответствие человеческим ярлыкам и сравнивают системы при идентичных настройках, а не рассматривают оценку вроде 0,85 как абсолютную оценку.

Реальная реализация

Помощник банка по вопросам политики получает 0,95 за контекстное запоминание, но 0,70 за достоверность, что говорит о том, что групповой поиск в порядке и модель добавляет неподдерживаемые детали, поэтому они ужесточают подсказку, а не перестраивают индекс.

Команда поддержки сравнивает две модели внедрения в одном и том же наборе тестов из 200 вопросов и оставляет ту, у которой более высокая контекстная запоминаемость и точность контекста.

Больничный инструмент знаний оценивает достоверность на основе ежедневной выборки реальных вопросов и помечает ответы с неподтвержденными утверждениями для проверки человеком, прежде чем ситуация распространится.

Стартап добавляет средство изменения ранжирования после того, как увидел высокую запоминаемость контекста, но низкую точность контекста. Это означает, что правильные фрагменты были извлечены, но ранжированы ниже нерелевантных.

Будущее показателей оценки RAG и RAGAS

Оценка RAG переходит от случайных автономных отчетов к постоянным проверкам, при которых оценивается выборка производственного трафика, а регрессии вызывают оповещения. В фреймворки добавляются метрики для многоходовых диалогов, использования агентов и инструментов, а определения метрик меняются в зависимости от версии библиотеки, поэтому закрепление версий важно для сопоставимых результатов. Самая большая открытая проблема — надежность судей: судьи LLM могут проявлять предвзятость, например, отдавать предпочтение более длинным ответам, а согласие с рецензентами варьируется в зависимости от области. Калибровка судей по небольшим наборам данных, размеченным человеком, и сопоставление их с детерминированными метриками поиска, вероятно, останется хорошей практикой.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the RAG Evaluation Metrics and RAGAS quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое показатели оценки RAG и RAGAS?

При оценке RAG система генерации с расширенным поиском оценивается отдельно при поиске и при генерации, чаще всего по четырем показателям: достоверность, релевантность ответа, точность контекста и отзыв контекста. RAGAS — это платформа с открытым исходным кодом, которая рассчитывает эти показатели, в основном используя степень магистра в качестве судьи. Отдельные оценки имеют значение, поскольку они показывают, был ли плохой ответ получен из-за выбора неправильных отрывков или из-за неправильного использования правильных.

Какая метрика проверяет, поддерживается ли каждое утверждение в ответе полученным контекстом?

Верность измеряет долю утверждений об ответах, подкрепленных контекстом, нацеленным на галлюцинации.

Какой из этих показателей требует достоверного эталонного ответа на каждый вопрос теста?

Вызов контекста проверяет, содержит ли полученный контекст то, что необходимо для ссылочного ответа, поэтому ссылка должна существовать.

Что измеряет точность контекста?

Точность контекста вознаграждает за размещение полезных фрагментов на высоких позициях в рейтинге, а не закапывание их среди ненужных.

Как RAGAS оценивает релевантность ответов?

Если вопросы, порожденные ответом, напоминают реальный вопрос, ответ соответствует теме; вложения измеряют это сходство.

Система демонстрирует высокий уровень контекстной памяти, но низкую контекстную точность. Какое наиболее вероятное решение?

Правильные фрагменты извлекаются, но ранжируются плохо, и это проблема ранжирования, которую часто решает реранкер.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →